CN114332006A - 一种城垛缺失自动定量评估方法 - Google Patents

Abstract

本发明涉及一种城垛缺失自动定量评估方法。使用倾斜影像及其生成的三维模型作为文物建筑损伤评估的数据源，通过设计损伤评估指标，得到关于建筑损坏情况的统计数据，用于指导后续文物的保护和修复工作；通过分析建筑物结构特点，自动检索和定位建筑中的缺失部件，为后续文物实际修复过程提供重要信息。本发明提出的方法不需要大量人工和专业仪器参与，节省人力物力，提高了对大型文物建筑损坏评估的效率。

Description

一种城垛缺失自动定量评估方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种城垛缺失自动定量评估方法。

背景技术

对文物的损坏程度进行自动定量评估，在文物保护与修复方面具有重要意义。传统方法需要人员借助专业仪器进行现场调查，费时费力，一些受损严重的文物甚至无法进行测量。非接触式技术的出现如光学影像、SAR、激光雷达等则大大加快了大型文物建筑损伤检测的进程。倾斜影像具有覆盖面大、成本低、采集快等优势，可生产真实尺寸的三维模型，为后续评估提供面积、体积等定量信息。

但是现有方法侧重于检测建筑表面的可见损伤，诸如识别损坏类型、定位损坏区域，缺乏对于建筑部件如结构性破坏的屋顶、墙壁等的定量损伤分析，而这些损伤分析都是文物建筑保护与修复过程中的有用信息。

发明内容

本发明针对现有技术的不足，提供一种城垛缺失自动定量评估方法。使用倾斜影像及其生成的三维模型作为文物建筑损伤评估的数据源，通过设计损伤评估指标，得到关于建筑损坏情况的统计数据，用于指导后续文物的保护和修复工作；通过分析建筑物结构特点，自动检索和定位建筑中的缺失部件，为后续文物实际修复过程提供重要信息。

为了达到上述目的，本发明提供的技术方案是一种城垛缺失自动定量评估方法，包括以下步骤：

步骤1，利用无人机采集的高分辨率倾斜影像，通过摄影测量方法重建得到具有真实尺寸和比例的三维模型；

步骤2，利用改进的Mask-RCNN深度学习图像分割算法对无人机采集的二维图像进行实例分割，并基于分割结果对三维模型进行对象提取；

步骤3，在三维对象提取的基础上，对单个城垛进行定量损伤评估；

步骤4，建筑物中缺失部分的检测及定位；

步骤4.1，在三维对象提取的基础上，通过参数化拟合得到对称面；

步骤4.1.1，根据空间连通性将步骤2识别出的城垛分成城墙的左右侧两组，每组使用2度多项式方程进行最小二乘意义下的三维曲面拟合，得到两侧城垛所在的墙面；

步骤4.1.2，计算两侧墙面各对应城垛之间的距离的中点，利用一系列中点重新拟合2度多项式曲面，得到对称面；

步骤4.2，将两侧城垛投影到对称面上，基于投影重叠率，检测和定位缺失部分；

步骤4.2.1，将对称面一侧的城垛沿其法方向投影到对称面上，根据投影结果建立局部坐标系；

步骤4.2.2，计算两侧城垛的投影重叠率，通过设定重叠率阈值T，小于阈值T的城垛为单一对象，大于阈值T的城垛为对称对象；

步骤4.2.3，定位物体的缺失部分。

而且，所述步骤2中对经典MaskRCNN网络掩膜预测分支的损失函数Loss_mask进行改进，通过在训练过程中使用5×5sobel算子对标签图像做卷积运算，提取图像梯度，得到像素的权重，然后在掩膜预测分支中使用加权二元交叉熵损失函数，从而赋予边缘像素更大的权重，以加强训练过程中对边缘像素的学习。

加权二元交叉熵损失函数计算公式如下：

其中：

式中，Loss_mask(y,p)表示损失函数，N代表像素总数，y_i表示第i个像素的标签值，p_i是网络分类分支预测的概率，W_i为卷积运算得到的像素权重，

为5×5sobel算子，I_i表示标签图像，☉为卷积符号。

利用改进的Mask-RCNN深度学习图像分割算法对无人机采集的二维图像进行实例分割，将分割结果投影到三维模型上，并通过剔除噪声碎片、聚合碎片，从场景三维模型中准确提取出目标对象城垛。由于单张影像仅记录物体的部分信息，需要聚合多视角的分割结果以建立完整的物体。聚合前，根据连通性剔除由于分割结果不准确而产生的噪声碎片；聚合时，定义碎片重叠度和碎片的三维包围盒重叠度，通过设置重叠度阈值，合并不同的碎片，最终完成三维对象的自动提取。

而且，所述步骤3中通过和完整的、未受损的城垛进行比较，可以评估当前城垛的损坏程度；使用体积减少量作为损伤评估指标，将损伤程度划分为三个等级：体积减少小于30％视为没有或轻度损害，30-60％为中度损害，高于60％则视为严重损坏；首先使用Poisson方法封闭三维物体表面，然后采用有限元边界积分方法计算当前物体的体积，若没有真实的物体体积数据时，可人工选择未损坏的物体作为近似真实数据。

而且，所述步骤4.1.1中2度多项式方程表达如下：

f_c(y,z)＝ay²+byz+cz²+dy+ez+f (3)

式中，a、b、c、d、e、f为2度多项式方程的参数，y、z为三维模型中三角面片的三维坐标。

而且，所述步骤4.2.1中以投影脚点为原点，法向量v、切向量n和三维模型的Z轴建立空间局部坐标系，脚点是经过城垛重心沿法方向的直线与对称面的交点，对称面另一侧城垛按相同方法投影。

而且，所述步骤4.2.2中投影重叠率proj计算公式如下：

式中，L₁为对称面一侧的城垛投影在对称面上的长度，L₂为对称面另一侧的城垛投影在对称面上的长度，L_proj为L₁和L₂重叠的长度。

而且，所述步骤4.2.3中对于步骤4.2.2得到的对称对象，其两侧的城垛都存在，因此不需要进行缺失定位；而单一对象，其对侧的城垛是缺失的，通过延长单一对象的重心和其对称面脚点间的连线，取对称面另一侧、距脚点相同距离的直线上的点坐标，作为缺失城垛的位置。

与现有技术相比，本发明具有如下优点：

1)提供一种低成本、高效的建筑损坏缺失情况自动评估方法，不需要大量人工和专业仪器参与，节省人力物力，提高了对大型文物建筑损坏评估的效率。

2)设计一种损伤评估指标，得到关于建筑损坏情况的统计数据，用于指导后续文物的保护和修复工作。

3)通过分析建筑物结构特点，自动检测和定位建筑物的缺失部分，为后续文物实际修复过程提供重要信息。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例对称面提取过程的示意图，图2(a)为两侧城垛墙面拟合的示意图，图2(b)为由两侧墙面拟合对称面的示意图。

图3为本发明实施例建筑物缺失部件定位过程的示意图，图3(a)为局部坐标系的方向示意图，图3(b)为投影重叠率计算的示意图，图3(c)为缺失部分定位的示意图。

图4为本发明实施例对单个物体损坏程度分析过程的示意图，第一行是从模型中直接分割出的原始物体，第二行是用Poisson方法封闭表面后的物体，并通过体积减少百分比判断损坏程度。

图5为本发明实施例结构性缺失检测及定位示意图，其中图5(a)为缺失定位的二维示意图，5(b)为模拟后续修复的示意图。

具体实施方式

本发明提供一种城垛缺失自动定量评估方法，使用倾斜影像及其生成的三维模型，计算体积等定量信息，同时研究建筑结构特点，提取隐含的重复和线性对称信息，通过计算损伤物体体积减小量，划分损伤程度；通过建筑对称性，定位缺失部件。

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图1所示，本发明实施例的流程包括以下步骤：

步骤1，利用无人机采集的高分辨率倾斜影像，通过摄影测量方法重建得到具有真实尺寸和比例的三维模型。

步骤2，利用改进的Mask-RCNN深度学习图像分割算法对无人机采集的二维图像进行实例分割，并基于分割结果对三维模型进行对象提取。

对经典MaskRCNN网络掩膜预测分支的损失函数Loss_mask进行改进，通过在训练过程中使用5×5sobel算子对标签图像做卷积运算，提取图像梯度，得到像素的权重，然后在掩膜预测分支中使用加权二元交叉熵损失函数，从而赋予边缘像素更大的权重，以加强训练过程中对边缘像素的学习。

加权二元交叉熵损失函数计算公式如下：

其中：

式中，Loss_mask(y,p)表示损失函数，N代表像素总数，y_i表示第i个像素的标签值，p_i是网络分类分支预测的概率，W_i为卷积运算得到的像素权重，

为5×5sobel算子，I_i表示标签图像，☉为卷积符号。

利用上述改进的Mask-RCNN深度学习图像分割算法对无人机采集的二维图像进行实例分割，将分割结果投影到三维模型上，并通过剔除噪声碎片、聚合碎片，从场景三维模型中准确提取出目标对象城垛。由于单张影像仅记录物体的部分信息，需要聚合多视角的分割结果以建立完整的物体。聚合前，根据连通性排除由于分割结果不准而产生的噪声碎片；聚合时，定义碎片重叠度和碎片的三维包围盒重叠度，通过设置重叠度阈值，合并不同的碎片，最终完成三维对象的自动提取。

步骤3，在三维对象提取的基础上，对单个城垛进行定量损伤评估。

由于城垛作为一种重复性对象，往往具有近乎相同的形状、面积、高度和体积。将步骤2提取到的城垛对象和完整的、未受损的城垛进行比较，可以评估当前城垛的损坏程度。使用体积减少量作为损伤评估指标，将损伤程度划分为三个等级：体积减少小于30％视为没有或轻度损害，30-60％为中度损害，高于60％则视为严重损坏。首先使用Poisson方法封闭三维物体表面，然后采用有限元边界积分(FEBI)方法计算当前物体的体积。若没有真实的物体体积数据时，可人工选择未损坏的物体作为近似真实数据。

步骤4，建筑物中缺失部分的检测及定位。

通常情况下，文物建筑存在区域性的损坏缺失，结构的完整性也被破坏。在三维对象提取的基础上，通过参数化拟合得到对称面，并基于对称面完成对缺失部分的检测和定位，工作流程如图2和图3所示。

步骤4.1，在三维对象提取的基础上，通过参数化拟合得到对称面。

步骤4.1.1，根据空间连通性将步骤2识别出的城垛分成城墙的左右侧两组，每组使用2度多项式方程进行最小二乘意义下的三维曲面拟合，得到两侧城垛所在的墙面。

2度多项式方程表达如下：

f_c(y,z)＝ay²+byz+cz²+dy+ez+f (3)

式中，a、b、c、d、e、f为2度多项式方程的参数，y、z为三维模型中三角面片的三维坐标。

一般而言，物体是垂直于地面的，因此将z作为独立变量之一，另一个自变量可以是y或x。

步骤4.1.2，计算两侧墙面各对应城垛之间的距离的中点，利用一系列中点重新拟合2度多项式曲面，得到对称面。

步骤4.2，将两侧城垛投影到对称面上，基于投影重叠率，检测和定位缺失部分。

步骤4.2.1，将对称面一侧的城垛沿其法方向投影到对称面上，根据投影结果建立局部坐标系。

以投影脚点为原点，法向量v、切向量n和三维模型的Z轴建立空间局部坐标系，脚点是经过城垛重心沿法方向的直线与对称面的交点；对称面另一侧城垛按相同方法投影。

步骤4.2.2，计算两侧城垛的投影重叠率，通过设定重叠率阈值T，小于阈值T的城垛为单一对象，大于阈值T的城垛为对称对象。投影重叠率proj计算公式如下：

式中，L₁为对称面一侧的城垛投影在对称面上的长度，L₂为对称面另一侧的城垛投影在对称面上的长度，L_proj为L₁和L₂重叠的长度。

步骤4.2.3，定位物体的缺失部分。

对于得到的对称对象，其两侧的城垛都存在，因此不需要进行缺失定位；而单一对象，其对侧的城垛是缺失的，通过延长单一对象的重心和其对称面脚点间的连线，取对称面另一侧、距脚点相同距离的直线上的点坐标，作为缺失城垛的位置。

具体实施时，以上流程可采用计算机软件技术实现自动运行流程。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种城垛缺失自动定量评估方法，其特征在于，包括以下步骤：

步骤1，利用无人机采集的高分辨率倾斜影像，通过摄影测量方法重建得到具有真实尺寸和比例的三维模型；

步骤2，利用改进的Mask-RCNN深度学习图像分割算法对无人机采集的二维图像进行实例分割，并基于分割结果对三维模型进行对象提取；

步骤3，在三维对象提取的基础上，对单个城垛进行定量损伤评估；

步骤4，建筑物中缺失部分的检测及定位；

步骤4.1，在三维对象提取的基础上，通过参数化拟合得到对称面；

步骤4.2，将两侧城垛投影到对称面上，基于投影重叠率，检测和定位缺失部分。

2.如权利要求1所述的一种城垛缺失自动定量评估方法，其特征在于：步骤2中利用改进的Mask-RCNN深度学习图像分割算法对无人机采集的二维图像进行实例分割，将分割结果投影到三维模型上，并通过剔除噪声碎片、聚合碎片，从场景三维模型中准确提取出目标对象城垛；由于单张影像仅记录物体的部分信息，需要聚合多视角的分割结果以建立完整的物体；聚合前，根据连通性剔除由于分割结果不准确而产生的噪声碎片；聚合时，定义碎片重叠度和碎片的三维包围盒重叠度，通过设置重叠度阈值，合并不同的碎片，最终完成三维对象的自动提取。

3.如权利要求2所述的一种城垛缺失自动定量评估方法，其特征在于：步骤2中对经典MaskRCNN网络掩膜预测分支的损失函数Loss_mask进行改进，通过在训练过程中使用5×5sobel算子对标签图像做卷积运算，提取图像梯度，得到像素的权重，然后在掩膜预测分支中使用加权二元交叉熵损失函数，从而赋予边缘像素更大的权重，以加强训练过程中对边缘像素的学习；

加权二元交叉熵损失函数计算公式如下：

其中：

式中，Loss_mask(y,p)表示损失函数，N代表像素总数，y_i表示第i个像素的标签值，p_i是网络分类分支预测的概率，W_i为卷积运算得到的像素权重，

为5×5sobel算子，I_i表示标签图像，☉为卷积符号。

4.如权利要求1所述的一种城垛缺失自动定量评估方法，其特征在于：步骤3中通过和完整的、未受损的城垛进行比较，可以评估当前城垛的损坏程度；使用体积减少量作为损伤评估指标，将损伤程度划分为三个等级：体积减少小于30％视为没有或轻度损害，30-60％为中度损害，高于60％则视为严重损坏；首先使用Poisson方法封闭三维物体表面，然后采用有限元边界积分方法计算当前物体的体积，若没有真实的物体体积数据时，可人工选择未损坏的物体作为近似真实数据。

5.如权利要求1所述的一种城垛缺失自动定量评估方法，其特征在于：步骤4.1中包括以下步骤：

步骤4.1.1，根据空间连通性将步骤2识别出的城垛分成城墙的左右侧两组，每组使用2度多项式方程进行最小二乘意义下的三维曲面拟合，得到两侧城垛所在的墙面；2度多项式方程表达如下：

f_c(y,z)＝ay²+byz+cz²+dy+ez+f (3)

式中，a、b、c、d、e、f为2度多项式方程的参数，y、z为三维模型中三角面片的三维坐标；

步骤4.1.2，计算两侧墙面各对应城垛之间的距离的中点，利用一系列中点重新拟合2度多项式曲面，得到对称面。

6.如权利要求1所述的一种城垛缺失自动定量评估方法，其特征在于：步骤4.2中包括以下步骤：

步骤4.2.1，将对称面一侧的城垛沿其法方向投影到对称面上，根据投影结果建立局部坐标系；

以投影脚点为原点，法向量v、切向量n和三维模型的Z轴建立空间局部坐标系，脚点是经过城垛重心沿法方向的直线与对称面的交点，对称面另一侧城垛按相同方法投影；

步骤4.2.2，计算两侧城垛的投影重叠率，通过设定重叠率阈值T，小于阈值T的城垛为单一对象，大于阈值T的城垛为对称对象；

步骤4.2.3，定位物体的缺失部分；

对于步骤4.2.2得到的对称对象，其两侧的城垛都存在，因此不需要进行缺失定位；而单一对象，其对侧的城垛是缺失的，通过延长单一对象的重心和其对称面脚点间的连线，取对称面另一侧、距脚点相同距离的直线上的点坐标，作为缺失城垛的位置。

7.如权利要求6所述的一种城垛缺失自动定量评估方法，其特征在于：步骤4.2.2中投影重叠率proj计算公式如下：

式中，L₁为对称面一侧的城垛投影在对称面上的长度，L₂为对称面另一侧的城垛投影在对称面上的长度，L_proj为L₁和L₂重叠的长度。

Images