CN117495735A - 一种基于结构引导的建筑物立面纹理自动修复方法及系统 - Google Patents

Abstract

本发明涉及一种基于结构引导的建筑物立面纹理自动修复方法及系统,其方法包括对建筑物立面纹理影像进行全要素提取，并进行区域检测，得到建筑物立面纹理影像中的遮挡区域；确定非遮挡区域，并分别对建筑物非遮挡区域和遮挡区域进行网格划分，得到建筑物结构分布图;构建二维数值矩阵并对遮挡区域进行修复补全，得到建筑物完整立面结构图；构建扩散模型，并对建筑物完整立面结构图进行纹理修复。本发明通过对建筑物立面纹理影像进行要素提取，并确定其遮挡区域和非遮挡区域，再进行网格划分得到建筑物结构分布图，构建二维数值矩阵并对遮挡区域进行修复补全，能较好的对建筑物的纹理进行修复，修复的区域更加清晰，结构更加完整，图像质量更高。

Description

一种基于结构引导的建筑物立面纹理自动修复方法及系统

技术领域

本发明涉及地理信息测绘技术领域，尤其涉及一种基于结构引导的建筑物立面纹理自动修复方法及系统。

背景技术

在实景三维建设工作中，建筑物的三维模型单体构建具有十分重要的意义。在建筑物的单体结构构建后，还需要对建筑物单体的立面进行纹理映射。通常纹理映射是基于无人机航拍的二维影像，而由于航拍时镜头的高度以及角度等问题，拍摄到的建筑物纹理会受到树木以及其他建筑物的遮挡，从而导致映射的立面纹理效果达不到要求。目前针对这些存在遮挡的纹理，通常是由人工使用修图软件对纹理进行修复，浪费大量人力资源。因此，如何自动化的完成建筑物立面纹理修复工作是实景三维建设工作中一个非常重要的问题。自动化的建筑物立面纹理修复流程一般包含两个步骤：一是纹理修复区域的检测；二是对待修复区域进行自动修复。

纹理修复区域的检测一般是通过分割算法将分割区域分割出来，然后再对分割区域进行一些形态学处理，使得分割区域能包含所有的待修复纹理，其中分割算法包括传统的图像分割算法以及深度学习算法。传统的图像分割算法一般基于一些设定好的特征对图像进行分类，如阈值、区域等，而比较复杂的特征如HOG、LBP、SIFT等。这些人为设定的特征虽具有较好的可解释性，但基于这些特征的算法准确率较低。而基于深度学习的图像分割算法，则是通过大量的影像数据来学习如何提取特征。目前的深度学习图像分割模型都是由大量的卷积层或者Transformer层进行堆叠来组成特征提取模块，该模块通过学习大量带有标签的数据来不断拟合参数。深度学习模型都是通过数据驱动，针对不同的任务往往需要对应的数据进行训练，因此很难得到一个泛化的模型。

图像修复是一种在缺失区域合成替代内容的任务。目前存在两种主流的方法，基于补丁（Patch-based）填充的方法和通过神经网络的深度生成模型。对于建筑物立面纹理修复，待修复区域的纹理与未遮挡区域的纹理相似，属于简单的重复纹理修复。但是由于部分图像遮挡的区域较大，形状较为复杂，导致基于补丁填充的方法耗时太长，而且填充区域的边缘有较明显的边界痕迹。针对大面积的遮挡，设计出了分块地基于补丁填充方法。而一些方法则通过设计一个建筑物立面结构的图数据库，来预测遮挡区域的图节点。也有通过建筑物的对称性以及重复性来预测建筑物结构，但其算法过于依赖对称性，当出现大面积遮挡时，算法会失效。有些学者则将建筑物立面转换成图，并通过遗传算法迭代优化修复结果的。该算法的缺点则是迭代优化耗时太长，不容易收敛。当然，一些深度学习模型也被尝试使用，例如一些深度模型也在建筑物立面纹理上进行了测试。也有针对该任务的一些特定的模型，比如通过语义信息来预测，而文献则通过将预测建筑物结构的模块包含在模型中。而这些模型在修复区域较大时，往往会产生不尽如人意的结果。原因是建筑物立面的纹理往往是比较简单的纹理排列，包含的语义信息较少，而深度学习模型在预测较强规律性的纹理结构时也往往表现不佳。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于结构引导的建筑物立面纹理自动修复方法及系统。

本发明解决上述技术问题的技术方案如下：一种基于结构引导的建筑物立面纹理自动修复方法, 包括如下步骤：

S1：基于图像分割模型SAM对建筑物立面纹理影像I进行全要素提取，并进行区域检测，得到建筑物立面纹理影像I中的遮挡区域；

S2：根据建筑物立面纹理影像I中的遮挡区域确定非遮挡区域，并分别对建筑物非遮挡区域和遮挡区域进行网格划分，得到包含遮挡区域和非遮挡区域的建筑物结构分布图;

S3：基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全，得到建筑物完整立面结构图；

S4：构建扩散模型，并基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复。

本发明的有益效果是：本发明的基于结构引导的建筑物立面纹理自动修复方法，通过对建筑物立面纹理影像进行要素提取，并确定其遮挡区域和非遮挡区域，再进行网格划分得到建筑物结构分布图，基于建筑物结构分布图中的分割线构建二维数值矩阵，并对遮挡区域进行修复补全，最后基于得到的建筑物完整立面结构图能较好的对建筑物的纹理进行修复，修复的区域更加清晰，结构更加完整，图像质量更高。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步：所述S1中，对建筑物立面纹理影像I中的所有要素进行提取，得到包含建筑物立面纹理影像I中的遮挡区域具体包括如下步骤：

S11：在建筑物立面纹理影像I上均匀采样，并将得到的数量为N的采样点输入至所述图像分割模型SAM，得到4×N个要素分割结果Masks以及对应预测的重叠度IOU分数，其集合记为Iou_socres；

S12：根据预设重叠度分数阈值thresh _iou 对所述集合Iou_socres进行筛选，除去所述要素分割结果Masks中不达标的部分，得到筛选后的集合Masks _iou ，筛选公式为：

S13：利用非极大值抑制NMS对筛选后的所述集合Masks _iou 中的结果进行去重，得到去重后的集合Masks _nms ；

S14：选取去重后的所述集合Masks _nms 中要素面积最大的区域的补集作为建筑物立面纹理影像I中的遮挡区域M。

上述进一步方案的有益效果是：通过对所述建筑物立面纹理影像I进行均匀采样，并作为图像分割模型SAM的输入，进而得到包含要素分割结果和预测重叠度的集合，利用筛选去重后的集合中的要素面积来精确确定建筑物立面纹理影像I中的遮挡区域，同时也可以间接得到非遮挡区域。

进一步：所述S2中，对建筑物非遮挡区域进行网格划分，得到非遮挡区域对应的立面结构分布图，具体包括如下步骤：

S21：利用所述图像分割模型SAM对建筑物的非遮挡区域I _main 对应的所述集合Masks _nms 进行筛选，得到所有在非遮挡区域I _main 中的要素集合，筛选公式如下：

其中，I _main 表示非遮挡区域，即主立面区域，且，M表示遮挡区域；

S22：针对所述非遮挡区域I _main 中的每个要素求解其矩形相似度，并根据所述矩形相似度与预设矩形相似度阈值剔除矩形相似度小于预设矩形相似度阈值的噪声区域，得到立面区域的立面要素集合Masks _fin ；其中，所述矩形相似度为非遮挡区域I _main 中的每个要素的外接矩形面积与该要素自身面积的比值；

S23：选取DBSCAN聚类算法对所述主立面区域的立面要素集合Masks _fin 进行聚类，确定每个立面要素的类别标签y∈{1,…,C},其中，C为所述立面要素的聚类类别总数；

S24：利用不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masks _fin 进行进行网格划分，得到非遮挡区域对应的立面结构分布图。

上述进一步方案的有益效果是：通过对包含非遮挡区域对应的要素分割结果和预测重叠度的集合进行筛选，并确定非遮挡区域中每个要素的矩形相似度，以进行噪声区域剔除，主立面区域的立面要素集合，有利于保证后续修复结果的精确，同时通过对所述主立面区域的立面要素集合进行聚类分析，得到每个立面要素的类别标签，进而结合不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masks _fin 进行进行网格划分，精确得到建筑物中非遮挡区域的立面结构分布图。

进一步：所述S24中，利用不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masks _fin 进行网格划分具体包括如下步骤：

S241：构建水平度量函数和垂直度量函数/>，具体如下：

其中，为水平分割函数，/>为水平分割线之间的间隔，/>为垂直分割函数，/>为垂直分割线之间的间隔，h和w分别表示聚类后的所述立面要素集合Masks _fin 的行与列的序号，/>表示Kronecker指标函数，/>为当前的水平方向分割线集合，/>为当前的垂直方向分割线集合，停止条件包括水平分割线与垂直分割线的总数超过预设数量阈值K，或者水平度量函数/>和垂直度量函数/>均降低小于预设度量阈值η；

S242：根据所述水平度量函数和垂直度量函数/>分别对所述聚类后的所述立面要素集合Masks _fin 进行水平和垂直网格划分，并在满足停止条件时停止分割，得到建筑物的立面结构分布图。

上述进一步方案的有益效果是：利用水平度量函数和垂直度量函数可以直接对非遮挡区域对应的立面要素集合Masks _fin 进行网格划分，得到建筑物的立面结构分布图， 实习对非遮挡区域的划分。

进一步：所述S2中，对遮挡区域进行网格划分，得到建筑物的遮挡区域结构分布图具体包括如下步骤：

S25：分别对水平方向的分割线集合Hor和垂直方向的分割线集合Vec按照序号进行排序，并计算所述立面结构分布图中网格的行间距Dist _H 和列间距Dist _W ，计算公式为：

其中，n和m分别为水平方向的分割线集合Hor和垂直方向的分割线集合Vec中元素的个数；

S26：利用DBSCAN聚类算法分别对所述行间距Dist _H 和列间距Dist _W 进行聚类分析，得到每个所述行间距Dist _H 和列间距Dist _W 的类别标签，并形成类别标签序列seq；

S27：利用substring函数对所述类别标签序列seq进行统计，确定所述类别标签序列seq中长度为k的子串的最大重复次数之和，并根据长度为k的子串的最大重复次数之和的最大值对建筑物立面纹理影像I中的遮挡区域进行网格划分，得到建筑物的遮挡区域结构分布图；substring函数为：

其中，f(seq,k)为序列seq中长度为k 的子串最大重复次数，minlen为序列seq中子串的最小截取长度，maxlen为序列seq中子串的最大截取长度。

上述进一步方案的有益效果是：通过对所述立面结构分布图中网格的行间距

Dist _H 和列间距Dist _W 进行聚类分析，并将得到的所述类别标签序列seq进行统计，可以精确计算出标签序列seq中长度为k的子串的最大重复次数之和，用来表征立面结构分布图中网格的规律性和重复性，从而可以精确完成对遮挡区域的网格划分。

进一步：所述S3中，基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全具体包括如下步骤：

S31：根据所述水平方向的分割线集合Hor和垂直方向的分割线集合Vec将形状大小与建筑物的立面纹理影像I相同的语义类别图Y进行转换，生成二维数值矩阵S；

S32：利用矩阵补全算法对所述二维数值矩阵S中对应的遮挡区域进行修复补全；

S33：基于补丁补全算法，通过最小欧氏距离对补全后的所述二维数值矩阵S进行聚类，得到建筑物完整立面结构图。

上述进一步方案的有益效果是：通过将形状大小与建筑物的立面纹理影像I相同的语义类别图Y进行转换，得到二维数值矩阵，然后将二维数值矩阵S中对应的遮挡区域进行修复补全，可以得到建筑物完整立面结构图，作为后续纹理修复的基础。

进一步：所述S31中，生成二维数值矩阵S具体包括如下步骤：

S311：根据所述水平方向的分割线集合Hor和垂直方向的分割线集合Vec中元素的个数确定二维数值矩阵S的高和宽；

S312：当所述二维数值矩阵S中像素对应于遮挡区域时，则对应像素值为255；当所述二维数值矩阵S中像素对应于非遮挡区域时，则利用DBSCAN聚类算法对语义类别图Y中每个不规则矩形进行聚类，并将得到不规则矩形的类别索引值作为对应像素值；其中，所述语义类别图Y的形状大小与所述建筑物的立面纹理影像I的相同；

S313：根据所述二维数值矩阵的高和宽以及二维数值矩阵S中每个像素的像素值确定所述二维数值矩阵S。

上述进一步方案的有益效果是：通过所述水平方向的分割线集合Hor和垂直方向的分割线集合Vec中元素的个数可以准确确定对应二维数值矩阵S的高和宽，再根据二维数值矩阵S中遮挡区域的像素值和非遮挡区域的像素值，即可实现二维数值矩阵S的精确确定，方便后续确定建筑物完整立面结构图。

进一步：所述S31中，还包括对所述二维数值矩阵S进行补全，具体包括如下步骤：

S314：计算所述立面结构分布图中遮挡区域的不规则矩形面积与立面结构分布图中所有不规则矩形的总面积，并在所述比值低于预设阈值时，计算所述立面结构分布图中遮挡区域的不规则矩形与所有未遮挡区域的不规则矩形的欧式距离，并选择欧氏距离最小的未遮挡区域的不规则矩形及其像素值替换对应被遮挡区域的不规格矩形及其像素值，且将剩余像素值为255的遮挡区域进行元素填充，以使得填充后所在行和列中的子串具有最大重复次数之和。

上述进一步方案的有益效果是：通过对所述二维数值矩阵S进行补全，可以使得二维数值矩阵S与实际建筑物更加匹配，进而得到更加精确的建筑物完整立面结构图。

进一步：所述S4中，基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复具体包括如下步骤：

S41：将建筑物的立面纹理影像I与其遮挡区域作为所述扩散模型的初始引导条件输入至所述扩散模型的编码器中进行编码；

S42：将建筑物的立面纹理影像I的遮挡区域I _main 与建筑物完整立面结构图输入至所述扩散模型的控制模块中，并将所述扩散模型的控制模块的输出与编码器的输出组合输入至所述扩散模型的解码器中，得到建筑物立面纹理影像修复图。

上述进一步方案的有益效果是：通过将建筑物的立面纹理影像I与其遮挡区域进行编码，并结合建筑物完整立面结构图进行解码，即可通过所述扩散模型输出完整的建筑物立面纹理影像修复图，修复区域清晰，结构完整，图像质量高。

本发明还提供了一种基于结构引导的建筑物立面纹理自动修复系统, 包括要素提取模块、网格划分模块、修复补全模块和扩散修复模块；

所述要素提取模块，用于基于图像分割模型SAM对建筑物立面纹理影像I进行全要素提取，并进行区域检测，得到建筑物立面纹理影像I中的遮挡区域；

所述网格划分模块，用于根据建筑物立面纹理影像I中的遮挡区域确定非遮挡区域，并分别对建筑物非遮挡区域和遮挡区域进行网格划分，得到包含遮挡区域和非遮挡区域的建筑物结构分布图;

所述修复补全模块，用于基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全，得到建筑物完整立面结构图；

所述扩散修复模块，用于构建扩散模型，并基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复。

本发明的基于结构引导的建筑物立面纹理自动修复系统，通过对建筑物立面纹理影像进行要素提取，并确定其遮挡区域和非遮挡区域，再进行网格划分得到建筑物结构分布图，基于建筑物结构分布图中的分割线构建二维数值矩阵，并对遮挡区域进行修复补全，最后基于得到的建筑物完整立面结构图能较好的对建筑物的纹理进行修复，修复的区域更加清晰，结构更加完整，图像质量更高。

附图说明

图1为本发明一实施例的基于结构引导的建筑物立面纹理自动修复方法的流程示意图；

图2为本发明一实施例的建筑物立面纹理自动修复结果示例图；

图3为本发明的建筑物立面纹理自动修复方法与现有的修复方法对高层建筑立面纹理修复结果对比示意图；

图4为本发明的建筑物立面纹理自动修复方法与现有的修复方法对低矮建筑立面纹理修复结果对比示意图；

图5为本发明一实施例的基于结构引导的建筑物立面纹理自动修复系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于结构引导的建筑物立面纹理自动修复方法, 包括如下步骤：

S1：基于图像分割模型SAM对建筑物立面纹理影像I进行全要素提取，并进行区域检测，得到建筑物立面纹理影像I中的遮挡区域；

S2：根据建筑物立面纹理影像I中的遮挡区域确定非遮挡区域，并分别对建筑物非遮挡区域和遮挡区域进行网格划分，得到包含遮挡区域和非遮挡区域的建筑物结构分布图;

S3：基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全，得到建筑物完整立面结构图；

S4：构建扩散模型，并基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复。

本发明的基于结构引导的建筑物立面纹理自动修复方法，通过对建筑物立面纹理影像进行要素提取，并确定其遮挡区域和非遮挡区域，再进行网格划分得到建筑物结构分布图，基于建筑物结构分布图中的分割线构建二维数值矩阵，并对遮挡区域进行修复补全，最后基于得到的建筑物完整立面结构图能较好的对建筑物的纹理进行修复，修复的区域更加清晰，结构更加完整，图像质量更高。

在本发明的一个或多个实施例中，所述S1中，对建筑物立面纹理影像I中的所有要素进行提取，得到包含建筑物立面纹理影像I中的遮挡区域具体包括如下步骤：

S11：在建筑物立面纹理影像I上均匀采样，并将得到的数量为N的采样点输入至所述图像分割模型SAM，得到4*N个要素分割结果Masks以及对应预测的重叠度IOU分数，其集合记为Iou_socres；

S12：根据预设重叠度分数阈值thresh _iou 对所述集合Iou_socres进行筛选，除去所述要素分割结果Masks中不达标的部分，得到筛选后的集合Masks _iou ，筛选公式为：

S13：利用非极大值抑制NMS对筛选后的所述集合Masks _iou 中的结果进行去重，得到去重后的集合Masks _nms ；

S14：选取去重后的所述集合Masks _nms 中要素面积最大的区域的补集作为建筑物立面纹理影像I中的遮挡区域M。

通过对所述建筑物立面纹理影像I进行均匀采样，并作为图像分割模型SAM的输入，进而得到包含要素分割结果和预测重叠度的集合，利用筛选去重后的集合中的要素面积来精确确定建筑物立面纹理影像I中的遮挡区域，同时也可以间接得到非遮挡区域。

需要额外指出的是，实际中，为了让遮挡区域能完全包含所需要修复的纹理使得修复的边缘更加平滑，还需要对遮挡区域进行形态学上的膨胀处理，具体的处理公式为：

其中，为膨胀函数，/>为对函数求参数的函数，也就是求一个特定/>中能让sum（masknms）的值最大，即求分割结果Masks中的最大面积，/>为求和函数。

对遮挡区域的建筑结构进行预测的依据是未遮挡区域的建筑物结构要素分布，因此首先要得到非遮挡区域的建筑物立面结构分布图。

在本发明的一个或多个实施例中，所述S2中，对建筑物非遮挡区域进行网格划分，得到非遮挡区域对应的立面结构分布图，具体包括如下步骤：

S21：利用所述图像分割模型SAM对建筑物的非遮挡区域I _main 对应的所述集合Masks _nms 进行筛选，得到所有在非遮挡区域I _main 中的要素集合，筛选公式如下：

其中，I _main 表示非遮挡区域，即主立面区域，且 M表示遮挡区域；

S22：针对所述非遮挡区域I _main 中的每个要素求解其矩形相似度，并根据所述矩形相似度与预设矩形相似度阈值剔除矩形相似度小于预设矩形相似度阈值的噪声区域，得到立面区域的立面要素集合Masks _fin ；其中，所述矩形相似度为非遮挡区域I _main 中的每个要素的外接矩形面积与该要素自身面积的比值；

通常建筑物的立面要素的排列具有网格性，并且立面要素大部分本身呈规则的矩形。根据这些特性再去除中的非立面结构要素。对每个要素首先求其外接矩形，然后通过矩形面积和自身面积的比值作为要素的矩形相似度，同时也设置一个阈值，删除一些极小的面积要素，来去除噪声区域，最后得到最终的立面区域的立面要素集合Masks _fin 。

S23：选取DBSCAN聚类算法对所述主立面区域的立面要素集合Masks _fin 进行聚类，确定每个立面要素的类别标签y∈{1,…,C},其中，C为所述立面要素的聚类类别总数；

得到立面区域的立面要素集合Masks _fin 后，再通过一个聚类算法对要素进行聚类，将类似的要素聚为一类。本发明选取的聚类算法是DBSCAN，每个要素的特征为其外接矩形的宽高比以及左上角顶点的横坐标，即[w/h,x]。首先外接矩形的宽高比可以区分不同类别的建筑物里面要素，而选取左上角顶点的横坐标而不是纵坐标，是因为在建筑物立面纹理中绝大部分的遮挡物在建筑物下方，因此以横坐标为特征能在横轴方向得到更完整的列数。

S24：利用不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masks _fin 进行进行网格划分，得到非遮挡区域对应的立面结构分布图。

通过对包含非遮挡区域对应的要素分割结果和预测重叠度的集合进行筛选，并确定非遮挡区域中每个要素的矩形相似度，以进行噪声区域剔除，主立面区域的立面要素集合，有利于保证后续修复结果的精确，同时通过对所述主立面区域的立面要素集合进行聚类分析，得到每个立面要素的类别标签，进而结合不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masks _fin 进行进行网格划分，精确得到建筑物中非遮挡区域的立面结构分布图。

在利用不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masks _fin 进行进行网格划分之前，先定义建筑物立面纹理影像I的长宽分别为H与W,而与建筑物立面纹理影像I形状大小相同的语义类别图为Y,其中所有立面要素像素为其聚类后的标签值，其余非立面要素区域像素值为0。不规则矩形格IRL的提取算法是通过水平以及垂直的分割线来划分网格的。因此需要定义两项函数来求分割线。

可选地，在本发明的一个或多个实施例中，所述S24中，利用不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masks _fin 进行网格划分具体包括如下步骤：

S241：构建水平度量函数和垂直度量函数/>，具体如下：

其中，为水平分割函数，/>为水平分割线之间的间隔，/>为垂直分割函数，/>为垂直分割线之间的间隔，h和w分别表示聚类后的所述立面要素集合Masks _fin 的行与列的序号，/>表示Kronecker指标函数，/>为当前的水平方向分割线集合，/>为当前的垂直方向分割线集合，停止条件包括水平分割线与垂直分割线的总数超过预设数量阈值K，或者水平度量函数/>和垂直度量函数/>均降低小于预设度量阈值η；/>为对函数求参数的函数，也就是求一个特定点/>或/>，能让该点与分割线之间的距离/>或/>最小。

或/>函数的函数值越大，代表分割线更能将不同类别的像素分割开；或/>函数的函数值越大，则分割线之间的间隔越大。

S242：根据所述水平度量函数和垂直度量函数/>分别对所述聚类后的所述立面要素集合Masks _fin 进行水平和垂直网格划分，并在满足停止条件时停止分割，得到建筑物的立面结构分布图。

利用水平度量函数和垂直度量函数/>可以直接对非遮挡区域对应的立面要素集合Masks _fin 进行网格划分，得到建筑物的立面结构分布图， 实习对非遮挡区域的划分。

由于建筑物的立面遮挡较大，常常会将建筑物底部的部分全都遮挡，底部遮挡区域并未进行网格划分。因此在其基础上，需要进一步对遮挡区域的网格进行划分，得到更合理建筑物结构网络图。

在本发明的一个或多个实施例中，所述S2中，对遮挡区域进行网格划分，得到建筑物的遮挡区域结构分布图具体包括如下步骤：

S25：分别对水平方向的分割线集合Hor和垂直方向的分割线集合Vec按照序号进行排序，并计算所述立面结构分布图中网格的行间距Dist _H 和列间距Dist _W ，计算公式为：

其中，n和m分别为水平方向的分割线集合Hor和垂直方向的分割线集合Vec中元素的个数；

S26：利用DBSCAN聚类算法分别对所述行间距Dist _H 和列间距Dist _W 进行聚类分析，这样就将行间距相近的行和列间距相近的列分别聚为一类，得到每个所述行间距Dist _H 和列间距Dist _W 的类别标签，并形成类别标签序列seq；

S27：利用substring函数对所述类别标签序列seq进行统计，确定所述类别标签序列seq中长度为k的子串的最大重复次数之和，并根据长度为k的子串的最大重复次数之和的最大值对建筑物立面纹理影像I中的遮挡区域进行网格划分，得到建筑物的遮挡区域结构分布图；substring函数为：

其中，f(seq,k)为序列seq中长度为k 的子串最大重复次数，minlen为序列seq中子串的最小截取长度，maxlen为序列seq中子串的最大截取长度。

通过对所述立面结构分布图中网格的行间距Dist _H 和列间距Dist _W 进行聚类分析，并将得到的所述类别标签序列seq进行统计，可以精确计算出标签序列seq中长度为k的子串的最大重复次数之和，用来表征立面结构分布图中网格的规律性和重复性，从而可以精确完成对遮挡区域的网格划分。

经过对遮挡区域的网格划分，得到了更为合理的建筑物的立面网格结构图。而为了得到最终结果，还需要对遮挡区域里的网格进行类别预测，根据人为的先验知识得知，建筑物的立面元素排列具有很强的规律性以及重复性，且这种性质基本都是体现在水平以及垂直方向的。

在本发明的一个或多个实施例中，所述S3中，基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全具体包括如下步骤：

S31：根据所述水平方向的分割线集合Hor和垂直方向的分割线集合Vec将形状大小与建筑物的立面纹理影像I相同的语义类别图Y进行转换，生成二维数值矩阵S；

S32：利用矩阵补全算法对所述二维数值矩阵S中对应的遮挡区域进行修复补全；

S33：基于补丁补全算法，通过最小欧氏距离对补全后的所述二维数值矩阵S进行聚类，得到建筑物完整立面结构图。

通过将形状大小与建筑物的立面纹理影像I相同的语义类别图Y进行转换，得到二维数值矩阵，然后将二维数值矩阵S中对应的遮挡区域进行修复补全，可以得到建筑物完整立面结构图，作为后续纹理修复的基础。

在本发明的一个或多个实施例中，所述S31中，生成二维数值矩阵S具体包括如下步骤：

S311：根据所述水平方向的分割线集合Hor和垂直方向的分割线集合Vec中元素的个数确定二维数值矩阵S的高和宽；

这里，二维数值矩阵S的高和宽分别为len（Hor）-1和len（Vec）-1，其中，len（Hor）和len（Vec）分别为水平方向的分割线集合的元素数量和垂直方向的分割线集合的元素数量。

S312：当所述二维数值矩阵S中像素对应于遮挡区域时，则对应像素值为255；当所述二维数值矩阵S中像素对应于非遮挡区域时，则利用DBSCAN聚类算法对语义类别图Y中每个不规则矩形进行聚类，并将得到不规则矩形的类别索引值作为对应像素值；其中，所述语义类别图Y的形状大小与所述建筑物的立面纹理影像I的相同；

S313：根据所述二维数值矩阵的高和宽以及二维数值矩阵S中每个像素的像素值确定所述二维数值矩阵S。

通过所述水平方向的分割线集合Hor和垂直方向的分割线集合Vec中元素的个数可以准确确定对应二维数值矩阵S的高和宽，再根据二维数值矩阵S中遮挡区域的像素值和非遮挡区域的像素值，即可实现二维数值矩阵S的精确确定，方便后续确定建筑物完整立面结构图。

可选地，在本发明的一个或多个实施例中，所述S31中，还包括对所述二维数值矩阵S进行补全，具体包括如下步骤：

S314：计算所述立面结构分布图中遮挡区域的不规则矩形面积与立面结构分布图中所有不规则矩形的总面积，并在所述比值低于预设阈值时，计算所述立面结构分布图中遮挡区域的不规则矩形与所有未遮挡区域的不规则矩形的欧式距离，并选择欧氏距离最小的未遮挡区域的不规则矩形及其像素值替换对应被遮挡区域的不规格矩形及其像素值，且将剩余像素值为255的遮挡区域进行元素填充，以使得填充后所在行和列中的子串具有最大重复次数之和。

这里，对于只存在少量遮挡的区域，即遮挡区域面积与该不规则矩形总面积的比值低于一个阈值（本发明的阈值取0.2），进行补全。方法是计算该不规则举行与所有未遮挡区域的不规则矩形的欧式距离，选择距离最小的不规则矩形进行替换，对应的像素值也为该不规则矩形的像素值。由于不规则矩形的形状不同，在进行欧氏距离计算和替换时都需要变换成相同的形状。而对剩余的255位置，则使用一个简单的矩阵补全算法。补全算法的核心是让填补的元素能使其所在行列具有最大的规律性，而规律性的度量方法就是通过统计在一个长度范围内的子串的最大重复次数之和来表征。

通过对所述二维数值矩阵S进行补全，可以使得二维数值矩阵S与实际建筑物更加匹配，进而得到更加精确的建筑物完整立面结构图。

在本发明的一个或多个实施例中，所述S4中，扩散模型通过对一个高斯噪声图像逐渐去噪来生成图像，给定一个真实图片x ₀,满足一个分布q（x），扩散模型的前向过程q（x _t -1| x _t ）就是一个逐步加噪的马尔可夫过程，而反向过程q（x _t -1| x _t ）则是一个去噪采样的过程。

为了纹理修复效果更符合建筑物结构，本发明通过在扩散模型上添加额外的控制模块使用建筑物立面结构图作为额外的生成条件来引导模型生成。同时为了不改变非遮挡区域，并让生成区域的风格与非遮挡区域一致，采样方式采用随机微分方程，同时作为初始引导,整个前向过程满足：/>即在原始图像上添加均值为0的高斯噪声，然后再反向去噪，保证了生成图像与原图的相似性，其中，/>表示原始图像加噪的状态，

即图像到噪声这个变化过程中对应时间的状态， 表示原始图像对应的采样时间，上述公式表示原始图像加噪的状态满足均值为原始图像、方差为/>的高斯分布，这里，加噪过程是将均值为0的高斯噪声加上原始图像的像素与原始图像的初始化比值之间的乘积，原始图像的初始化比值一般取[0.1,0.2]之间。整个过程中控制模块会控制生成图像的结构，保证了结构的正确性。

在本发明的一个或多个实施例中，所述S4中，基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复具体包括如下步骤：

S41：将建筑物的立面纹理影像I与其遮挡区域作为所述扩散模型的初始引导条件输入至所述扩散模型的编码器中进行编码；

S42：将建筑物的立面纹理影像I的遮挡区域I _main 与建筑物完整立面结构图输入至所述扩散模型的控制模块中，并将所述扩散模型的控制模块的输出与编码器的输出组合输入至所述扩散模型的解码器中，得到建筑物立面纹理影像修复图。

通过将建筑物的立面纹理影像I与其遮挡区域进行编码，并结合建筑物完整立面结构图进行解码，即可通过所述扩散模型输出完整的建筑物立面纹理影像修复图，修复区域清晰，结构完整，图像质量高。

本发明的实施例中，通过实验对比，展示本文的所提出的算法在自动化的建筑物纹理修复任务上的效果，并在修复任务上与目前流行的图像修复算法进行了对比。

首先，本文收集了一个20K张的人工修复的建筑物纹理数据集，用来优化扩散模型，扩散模型的预训练权重是基于stable diffusion的v1-5版本，然后对这些图像依次提取语义分割图Y，用来训练结构引导的控制模块。其次，对一些本文提到的一些参数进行设置，threshold _iou =0.85，非极大值抑制的阈值设为0.7，分割线算法中K=40,η=0.02，采样算法中的t ₀取0.1，substring函数中的minlen为1，maxlen为6。

如图2所示，展示了自动修复效果。可以看到通过本发明的算法所补全的建筑物结构图能引导扩散模型得到较好的修复效果。

本发明还与其他的图像修复模型进行了对比，也包括目前流行的基于引导的修复算法，如图3、4为本发明与deepfill v2,edge-connect以及stable-diffusion的对比结果图。而为了更好量化实验结果，表1中通过各种图像质量评价指标进行评价对比。

表1各算法修复结果的指标对比

实验的结果表明,从各个模型修复的图像结果可以看出，本文提出的算法，修复的区域更清晰，结构更完整。而其他算法在面对大面积的修复区域时，修复的结果会出现模糊，以及结构不完整的情况。而从表1的客观图像评价指标上来看，本文算法生成的图像质量在PSNR以及SSIM上要比现有的流行算法高出10%,在FID评价指标上也大幅优于现有算法。

如图5所示，本发明还提供了一种基于结构引导的建筑物立面纹理自动修复系统,包括要素提取模块、网格划分模块、修复补全模块和扩散修复模块；

所述要素提取模块，用于基于图像分割模型SAM对建筑物立面纹理影像I进行全要素提取，并进行区域检测，得到建筑物立面纹理影像I中的遮挡区域；

所述网格划分模块，用于根据建筑物立面纹理影像I中的遮挡区域确定非遮挡区域，并分别对建筑物非遮挡区域和遮挡区域进行网格划分，得到包含遮挡区域和非遮挡区域的建筑物结构分布图;

所述修复补全模块，用于基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全，得到建筑物完整立面结构图；

所述扩散修复模块，用于构建扩散模型，并基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复。

本发明的基于结构引导的建筑物立面纹理自动修复系统，通过对建筑物立面纹理影像进行要素提取，并确定其遮挡区域和非遮挡区域，再进行网格划分得到建筑物结构分布图，基于建筑物结构分布图中的分割线构建二维数值矩阵，并对遮挡区域进行修复补全，最后基于得到的建筑物完整立面结构图能较好的对建筑物的纹理进行修复，修复的区域更加清晰，结构更加完整，图像质量更高。

本发明针对建筑物纹理的自动修复问题，提出了一种算法能够自动检测纹理遮挡区域，并利用结构引导的扩散模型对该区域进行修复，实现了建筑物立面纹理的自动修复，大幅减少了人工修模的工作量。通过对大量含有遮挡的建筑纹理进行实验，并与现有的深度学习图像修复方法进行了对比，实验结果表明本文的算法更适合于建筑物纹理修复任务。本发明具有如下优点：

（1）实现全自动的建筑物立面纹理修复流程，可以自动识别遮挡区域，无需人工进行标记。

（2）提供了一种提取建筑物立面结构的方法，即使立面纹理存在遮挡，也能对遮挡的建筑结构进行补全。

（3）基于补全的立面结构引导的纹理修复，即使在大块的遮挡下也能产生高质量的结果，和人工修复的效果相当，好于现有的算法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,包括如下步骤：

S1：基于图像分割模型SAM对建筑物立面纹理影像I进行全要素提取，并进行区域检测，得到建筑物立面纹理影像I中的遮挡区域；

S2：根据建筑物立面纹理影像I中的遮挡区域确定非遮挡区域，并分别对建筑物非遮挡区域和遮挡区域进行网格划分，得到包含遮挡区域和非遮挡区域的建筑物结构分布图;

S3：基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全，得到建筑物完整立面结构图；

S4：构建扩散模型，并基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复。

2.根据权利要求1所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S1中，对建筑物立面纹理影像I中的所有要素进行提取，得到包含建筑物立面纹理影像I中的遮挡区域具体包括如下步骤：

S11：在建筑物立面纹理影像I上均匀采样，并将得到的数量为N的采样点输入至所述图像分割模型SAM，得到4×N个要素分割结果Masks以及对应预测的重叠度IOU分数，其集合记为Iou_socres；

S12：根据预设重叠度分数阈值thresh _iou 对所述集合Iou_socres进行筛选，除去所述要素分割结果Masks中不达标的部分，得到筛选后的集合Masks _iou ，筛选公式为：

；

S13：利用非极大值抑制NMS对筛选后的所述集合Masks _iou 中的结果进行去重，得到去重后的集合Masks _nms ；

S14：选取去重后的所述集合Masks _nms 中要素面积最大的区域的补集作为建筑物立面纹理影像I中的遮挡区域M。

3.根据权利要求2所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S2中，对建筑物非遮挡区域进行网格划分，得到非遮挡区域对应的立面结构分布图，具体包括如下步骤：

S21：利用所述图像分割模型SAM对建筑物的非遮挡区域I _main 对应的所述集合Masks _nms 进行筛选，得到所有在非遮挡区域I _main 中的要素集合，筛选公式如下：

；

其中，I _main 表示非遮挡区域，即主立面区域，且 M表示遮挡区域；

S22：针对所述非遮挡区域I _main 中的每个要素求解其矩形相似度，并根据所述矩形相似度与预设矩形相似度阈值剔除矩形相似度小于预设矩形相似度阈值的噪声区域，得到立面区域的立面要素集合Masks _fin ；其中，所述矩形相似度为非遮挡区域I _main 中的每个要素的外接矩形面积与该要素自身面积的比值；

S23：选取DBSCAN聚类算法对所述主立面区域的立面要素集合Masks _fin 进行聚类，确定每个立面要素的类别标签y∈{1,…,C},其中，C为所述立面要素的聚类类别总数；

S24：利用不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masks _fin 进行进行网格划分，得到非遮挡区域对应的立面结构分布图。

4.根据权利要求3所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S24中，利用不规则矩形格IRL提取算法对聚类后的所述立面要素集合Masks _fin 进行网格划分具体包括如下步骤：

S241：构建水平度量函数和垂直度量函数/>，具体如下：

；；；

其中，为水平分割函数，/>为水平分割线之间的间隔，/>为垂直分割函数，/>为垂直分割线之间的间隔，h和w分别表示聚类后的所述立面要素集合Masks _fin 的行与列的序号，/>表示Kronecker指标函数，/>为当前的水平方向分割线集合，为当前的垂直方向分割线集合，停止条件包括水平分割线与垂直分割线的总数超过预设数量阈值K，或者水平度量函数/>和垂直度量函数/>均降低小于预设度量阈值η；

S242：根据所述水平度量函数和垂直度量函数/>分别对所述聚类后的所述立面要素集合Masks _fin 进行水平和垂直网格划分，并在满足停止条件时停止分割，得到建筑物的立面结构分布图。

5.根据权利要求4所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S2中，对遮挡区域进行网格划分，得到建筑物的遮挡区域结构分布图具体包括如下步骤：

S25：分别对水平方向的分割线集合Hor和垂直方向的分割线集合Vec按照序号进行排序，并计算所述立面结构分布图中网格的行间距Dist _H 和列间距Dist _W ，计算公式为：

；

；

其中，n和m分别为水平方向的分割线集合Hor和垂直方向的分割线集合Vec中元素的个数；

S26：利用DBSCAN聚类算法分别对所述行间距Dist _H 和列间距Dist _W 进行聚类分析，得到每个所述行间距Dist _H 和列间距Dist _W 的类别标签，并形成类别标签序列seq；

S27：利用substring函数对所述类别标签序列seq进行统计，确定所述类别标签序列seq中长度为k的子串的最大重复次数之和，并根据长度为k的子串的最大重复次数之和的最大值对建筑物立面纹理影像I中的遮挡区域进行网格划分，得到建筑物的遮挡区域结构分布图；substring函数为：

；

其中，f(seq,k)为序列seq中长度为k 的子串最大重复次数，minlen为序列seq中子串的最小截取长度，maxlen为序列seq中子串的最大截取长度。

6.根据权利要求5所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于,所述S3中，基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全具体包括如下步骤：

S31：根据所述水平方向的分割线集合Hor和垂直方向的分割线集合Vec将形状大小与建筑物的立面纹理影像I相同的语义类别图Y进行转换，生成二维数值矩阵S；

S32：利用矩阵补全算法对所述二维数值矩阵S中对应的遮挡区域进行修复补全；

S33：基于补丁补全算法，通过最小欧氏距离对补全后的所述二维数值矩阵S进行聚类，得到建筑物完整立面结构图。

7.根据权利要求6所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于:所述S31中，生成二维数值矩阵S具体包括如下步骤：

S311：根据所述水平方向的分割线集合Hor和垂直方向的分割线集合Vec中元素的个数确定二维数值矩阵S的高和宽；

S312：当所述二维数值矩阵S中像素对应于遮挡区域时，则对应像素值为255；当所述二维数值矩阵S中像素对应于非遮挡区域时，则利用DBSCAN聚类算法对语义类别图Y中每个不规则矩形进行聚类，并将得到不规则矩形的类别索引值作为对应像素值；其中，所述语义类别图Y的形状大小与所述建筑物的立面纹理影像I的相同；

S313：根据所述二维数值矩阵的高和宽以及二维数值矩阵S中每个像素的像素值确定所述二维数值矩阵S。

8.根据权利要求7所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于，所述S31中，还包括对所述二维数值矩阵S进行补全，具体包括如下步骤：

S314：计算所述立面结构分布图中遮挡区域的不规则矩形面积与立面结构分布图中所有不规则矩形的总面积，并在所述比值低于预设阈值时，计算所述立面结构分布图中遮挡区域的不规则矩形与所有未遮挡区域的不规则矩形的欧式距离，并选择欧氏距离最小的未遮挡区域的不规则矩形及其像素值替换对应被遮挡区域的不规格矩形及其像素值，且将剩余像素值为255的遮挡区域进行元素填充，以使得填充后所在行和列中的子串具有最大重复次数之和。

9.根据权利要求1-8任一项所述的基于结构引导的建筑物立面纹理自动修复方法, 其特征在于，所述S4中，基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复具体包括如下步骤：

S41：将建筑物的立面纹理影像I与其遮挡区域作为所述扩散模型的初始引导条件输入至所述扩散模型的编码器中进行编码；

S42：将建筑物的立面纹理影像I的遮挡区域I _main 与建筑物完整立面结构图输入至所述扩散模型的控制模块中，并将所述扩散模型的控制模块的输出与编码器的输出组合输入至所述扩散模型的解码器中，得到建筑物立面纹理影像修复图。

10.一种基于结构引导的建筑物立面纹理自动修复系统, 其特征在于,包括要素提取模块、网格划分模块、修复补全模块和扩散修复模块；

所述要素提取模块，用于基于图像分割模型SAM对建筑物立面纹理影像I进行全要素提取，并进行区域检测，得到建筑物立面纹理影像I中的遮挡区域；

所述网格划分模块，用于根据建筑物立面纹理影像I中的遮挡区域确定非遮挡区域，并分别对建筑物非遮挡区域和遮挡区域进行网格划分，得到包含遮挡区域和非遮挡区域的建筑物结构分布图;

所述修复补全模块，用于基于所述建筑物结构分布图中的分割线构建二维数值矩阵，并对所述二维数值矩阵对应的遮挡区域进行修复补全，得到建筑物完整立面结构图；

所述扩散修复模块，用于构建扩散模型，并基于所述扩散模型对所述建筑物完整立面结构图进行纹理修复。