CN114419080B - 一种幕墙巡检系统和方法 - Google Patents

Abstract

本发明公开了一种幕墙巡检系统和方法，该系统和方法第一装置从幕墙目标区域获取第一图像，并在该第一图像中插入标识项，经无线网络向远程设备发送第一图像；远程设备接收来第一图像，从第一图像中获取关于幕墙裂纹的第一内容项和第二内容项，生成并存储第二图像，向第二装置发送第二图像；第二装置终端接收部接收第二图像，存储部保存第二图像。该系统和方法提高了监测幕墙的效率，便于工作人员监控幕墙状态、及时分析并处理幕墙裂纹。

Description

一种幕墙巡检系统和方法

技术领域

本发明涉及图像处理领域，尤其涉及一种幕墙巡检系统和方法。

背景技术

有幕墙包覆的建筑需要定期对外立的幕墙面板进行巡检，及时发现裂纹并提供裂纹信息，以便工作人员及时修复裂纹或更换幕墙面板，规避幕墙面板破裂带来的风险。CN110967349A公开了一种幕墙爆裂主动监控方法，用扫描器向目标幕墙玻璃面板外立面发射光束，捕捉光线在裂缝中反射、折射时亮度产生的变化，识别出幕墙裂纹。常用的幕墙的材质还包括金属板、石材板、人造板等，而该方案仅适用于检测面板材质为玻璃的幕墙，使用范围有较大的局限性。CN113008983A公开了一种高空幕墙裂纹检测保护框架，在目标幕墙面板拼接的交界处安装一设备，该设备通过发射超声波检测幕墙是否出现裂纹，使用荧光剂和荧光识别探头定位裂纹。该方案依赖于特定设备，且检测裂纹需要花费的时间较长。因此，需要提出一种幕墙巡检方法，能够检测面板材质不限于玻璃的幕墙，并高效地识别和定位裂纹。

发明内容

针对上述问题，本发明提供了一种幕墙巡检系统，用于满足更准确、更快速地检测幕墙裂纹的需求。

本发明的目的可以采用以下技术方案实现：

一种幕墙巡检系统，其特征在于，包括：第一装置、远程设备和第二装置，第一装置经无线网络向远程设备发送未经处理的第一图像，远程设备经无线网络向第二装置发送经过处理的第二图像，第一图像显示幕墙的目标区域，第二图像包含第一图像、第一内容项和显示在第一内容项上非裂纹位置的第二内容项，其中，

第一装置包括摄像部、预处理部、图像发送部，摄像部获取幕墙目标区域的第一图像，预处理部在第一图像中插入标识项，图像发送部将预处理部处理后的第一图像发送至远程设备；

远程设备包括图像接收部、裂纹识别部、融合部、数据收发部，图像接收部接收来源于图像发送部的第一图像，裂纹识别部从第一图像中获取关于裂纹的第一内容项和第二内容项，融合部生成第二图像，数据收发部存储第二图像，并将第二图像发送至第二装置；

第二装置包括终端接收部和存储部，终端接收部接收数据收发部发送的第二图像，存储部保存第二图像。

在本发明中，所述标识项由描述第一图像拍摄位置的身份字符和拍摄时间的序列字符组成。

在本发明中，所述数据收发部按标识项中身份字符由小到大的顺序，将第二图像发送至第二装置。

在本发明中，所述第一内容项包括从背景中分离出的裂纹的二值化图像。

在本发明中，所述第二内容项包括描述裂纹的多个参数，包括裂纹面积、最大宽度和最大长度。

在本发明中，所述裂纹识别部包括裂纹识别模型和图像处理程序，第一图像经裂纹识别模型处理后得到裂纹的第一内容项，第一内容项经图像处理程序处理后得到裂纹的第二内容项。

在本发明中，所述幕墙裂纹识别模型使用resNet残差网络，通过基于深度学习的语义分割算法计算由第一图像提取的裂纹特征图的像素点属于幕墙裂纹和不属于幕墙裂纹的概率，将第一图像中属于幕墙裂纹概率高于阈值的像素点的值变更为1，否则变更为0，得到第一图像中裂纹的二值化图像作为第一图像的第一内容项。

在本发明中，所述幕墙裂纹识别模型在使用之前需要经过训练图像集预先训练，用于学习提取第一图像中幕墙裂纹特征，训练过程中除引入交叉熵优化模型参数，还引入训练图像的mask图像裂纹轮廓向量和该训练图像经幕墙裂纹识别模型处理后得到的二值化图像的裂纹轮廓的余弦距离、裂纹IOU精度优化模型参数。

在本发明中，所述第一内容项经图像处理程序处理后得到裂纹轮廓，图像处理程序依据裂纹的轮廓计算裂纹的第二内容项，包括裂纹的面积、最大宽度和最大长度，并将其显示在第一内容项的非裂纹位置上。

一种幕墙巡检方法，其特征在于，包括以下步骤：

第一装置获取幕墙目标区域的第一图像和第一图像的拍摄信息；

第一装置在第一图像中插入标识项，并经无线网络将该第一图像发送至远程设备；

远程设备接收来源于第一装置的第一图像，从第一图像中获取关于裂纹的第一内容项和第二内容项后生成第二图像，经无线网络向第二装置发送第二图像；

第二装置接收并存储来自远程设备的第二图像。

实施本发明的这种玻璃巡检系统，具有以下有益效果：与现有幕墙裂纹检测方法相比，有效地减少了裂纹识别和定位过程中对人工和某一特定设备的依赖，并且能够对各类面板材质的幕墙进行裂纹检测，不局限于玻璃材质。利用无线网络将图像处理结果传输到第二装置，便于工作人员监控幕墙状态、及时分析并处理幕墙裂纹。

附图说明

图1是本发明实施例所述的系统框架图；

图2是本发明实施例所述幕墙巡检过程流程图；

图3是本发明实施例所述的裂纹识别部处理图像过程流程图；

图4是本发明实施例所述幕墙裂纹识别模型训练过程流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

第一装置（例如搭载有面阵相机的航拍设备）可拍摄幕墙目标区域的第一图像、记录第一图像的拍摄信息（例如拍摄位置、拍摄时间等），并将其发送至远程设备（例如GPU服务器、机器学习云服务器等）进行处理，处理结果发送至第二装置（例如手机、电脑等可接收图像信息的终端）供工作人员远程监控幕墙状态。本文描述的实施例可以提供一种部署于远程设备上的裂纹识别模型，该裂纹识别模型可以处理多个第一图像，生成第一内容项和第二内容项，融合部根据第一图像、第一内容项和第二内容项生成第二图像。

幕墙巡检人员可以利用第一装置获取幕墙目标区域的第一图像并获取拍摄位置和拍摄时间。在一些实施方式中，拍摄位置可根据规划的拍摄路线确定，或通过在第一装置上装配距离传感器，根据拍摄时相对某一位置的距离确定。在一些实施方式中，第一装置捕获的第一图像可以包括幕墙的某个部分（例如，单元板、密封胶条、边框排水孔、限位块、金属件和/或类似物）的特写图像。

在一些实施方式中，幕墙巡检人员可利用第一装置定期（例如，每小时、每天、每周、每月和/或类似）进行幕墙巡检，获取第一图像和包括图像拍摄位置、拍摄时间的图像信息，并将第一图像和图像信息发送至远程设备，以保持幕墙信息的更新，及时排除可能因幕墙裂纹诱发的安全隐患。远程设备对第一图像进行处理得到第二图像，数据收发部保存第二图像。第一装置发送的第一图像均完成处理后，数据收发部自动向第二装置发送第二图像，从而实现对幕墙的定时自动巡检。

如图2所示为本实施例所述的幕墙巡检过程流程图，包括以下步骤：

第一装置获取幕墙目标区域的第一图像和第一图像的拍摄信息；

第一装置在第一图像中插入标识项，并经无线网络将该第一图像发送至远程设备；

远程设备接收来源于第一装置的第一图像，从第一图像中获取关于裂纹的第一内容项和第二内容项后生成并保存第二图像，经无线网络向第二装置发送第二图像；

第二装置接收并存储来自远程设备的第二图像。

所述第一图像的拍摄信息包括第一图像拍摄位置、拍摄时间，所述标识项由描述第一图像拍摄位置的身份字符和拍摄时间的序列字符组成，所述第一内容项包括从背景中分离出的裂纹的二值化图像，所述第二内容项包括描述裂纹的多个参数，包括裂纹面积、最大宽度和最大长度。

在本实施例中，所述远程设备具有裂纹识别部，可同时处理多个第一图像，生成第一内容项和第二内容项，第一内容项和第二内容项直观显示了裂纹的形状和裂纹面积、最大宽度、最大长度的数据，裂纹识别部包含裂纹识别模型和图像处理程序（例如OpenCV）。

如图3所示为本实施例所述的裂纹识别部处理图像过程流程图。第一图像输入裂纹识别部后，先由裂纹识别模型从中提取出裂纹特征图。为实现用深度较高的网络提高识别裂纹的准确率，同时避免网络深度增加带来的梯度爆炸、训练速度缓慢等问题，本实施例采用resNet残差网络提取裂纹特征，利用resNet跳连接的方式解决上述问题。本实施例在卷积层后添加BN层（Batch Normalization）对卷积层的输出数据进行批归一化处理后再输入下一卷积层。由于裂纹识别模型使用的语义分割算法是基于像素点进行的，经resNet卷积后从第一图像中提取到的裂纹特征图需进行上采样操作，将裂纹特征图分辨率恢复至与原图分辨率相同。进一步地，对上采样后的裂纹特征图，使用归一化指数函数softmax计算幕墙裂纹特征图各像素点属于裂纹和不属于裂纹的概率。裂纹识别模型内有一预设阈值，若某一像素点属于裂纹的概率大于该阈值，则该像素点的值变更为1，否则变更为0，由此可将裂纹特征图转换为二维矩阵，将二维矩阵以图像形式输出可得到从背景中分离出的裂纹的二值化图像，即第一内容项。

图像处理程序可识别出第一内容项中裂纹的轮廓，通过该轮廓计算出第一内容项中裂纹的面积、最大宽度和最大长度，再根据第一图像和实际拍摄幕墙目标区域的比例关系可计算出裂纹的实际面积、最大宽度和最大长度，此数据作为第二内容项显示在第一内容项的非裂纹位置。

远程设备融合第一图像、第一内容项和第二内容项拼接成第二图像。远程设备保存第二图像并使用无线网络将第二图像转发至第二装置。为方便工作人员确认幕墙裂纹位置，核实幕墙裂纹的实际情况，远程设备在向第二装置发送第二图像时，按标识符中身份字符由小到大的顺序发送。第二装置接收并保存由远程设备发送的第二图像。工作人员通过第二装置即可查看第二图像，了解幕墙当前是否出现裂纹以及裂纹的具体信息。

裂纹识别模型在使用前需要进行预先训练，学习提取裂纹特征，如图4所示，本实施例公开一优选训练实例：

裂纹训练模型学习幕墙裂纹特征需要使用含有幕墙裂纹的图像，因此需收集此前在其他幕墙巡检作业中保存的幕墙裂纹样本图像。为减少过度拟合并改善泛化，还需对样本图像进行平移、旋转、加噪等数据增广操作增加样本图像数量。使用Labelme软件对增广后的样本图像集进行像素级标注，将裂纹轮廓包裹在标注框，生成对应图像的Json标注文件，再将其转换为裂纹mask图像。由此可得到包含样本图像、Json标注文件和裂纹mask图像的样本数据集。将样本数据集按9:1的比例分为训练数据集和测试数据集，以确保有足够样本用于训练裂纹识别模型。

将训练数据集输入resNet残差网络，为减少数据发散程度、加速模型训练，优选地，本实施例在resNet的卷积层后添加BN层对卷积层输出的一批量数据进行归一化处理。经resNet卷积处理后得到裂纹特征图，使用双线性插值法上采样将其分辨率恢复至与原图相同，再使用softmax函数计算幕墙裂纹特征图各像素点属于裂纹和不属于裂纹的概率，计算过程可表示为：，其中x表示幕墙裂纹特征图中的行，y表示幕墙裂纹特征图中的列。h_i(x,y)表示幕墙裂纹特征图中的某个像素点，i表示属于裂纹或不属于裂纹两种情况。m表示像素点的分类总数，在本实施例中需要判断的类别只有属于裂纹和不属于裂纹两种情况，m取值为2。模型内有一预设的裂纹概率阈值，将裂纹特征图中属于幕墙裂纹概率高于阈值的像素点的值变更为1，否则变更为0，由此得到二维矩阵，以图像形式输出该二维矩阵得到裂纹二值化图像。

利用交叉熵计算幕墙裂纹识别模型预测概率与真实结果的差异可分析幕墙裂纹识别模型的判断结果与真实结果的差异，计算过程可表示为：，其中m为类别的数量，取值为2。N表示裂纹特征图经softmax计算后输出的概率矩阵的行数。y_ic为符号函数，c表示像素点属于裂纹类别，像素点i的真实类别属于裂纹则y_ic的值为1，否则值为0。p_ic为模型判断像素点i为类别c属于裂纹的概率。输入裂纹特征图经softmax计算后各个像素点分类概率的矩阵，输出的计算值L越小，裂纹识别模型判断像素点分类属于裂纹的准确度越高。

因分析裂纹对语义分割精度要求较高，还需继续优化模型参数、提高裂纹识别模型精度。进一步地，本训练实例还计算训练图像裂纹轮廓和该图像经幕墙裂纹识别模型处理后得到的二值化图像裂纹轮廓的相似度，以两者向量的余弦距离作为相似度评判标准，余弦值越接近1，相似夹角越接近0度，两者相似度越高，不断增加两者的相似度即可增强幕墙裂纹识别模型的精度。计算过程可表示为：，其中a_i为训练图像经幕墙裂纹识别模型处理后得到的二值化图像中裂纹轮廓的向量，b_i为训练数据集中该训练图像的mask图像的裂纹轮廓，n为轮廓上标记点的数量。

进一步地，本训练实例还引入裂纹IOU精度判断裂纹识别模型的精度，该过程可表示为，其中A为训练图像经幕墙裂纹识别模型处理后得到的二值化图像中的裂纹部分像素点集，B为训练数据集中的该图像的mask图像中的裂纹部分像素点集。理想情况下，若由训练图像得到的二值化图像的裂纹部分与该图像在测试数据集中的mask图像的裂纹部分完全一致，IOU的值将为1。因此计算得到的IOU值越接近1，幕墙裂纹识别模型的准确度越高。同时本发明采用SGD优化器优化模型，利用梯度下降方法进行参数迭代更新网络权值，加快损失函数收敛。通过训练数据集完成裂纹识别模型参数训练后，还需输入测试集进一步检验模型提取幕墙裂纹特征的准确性。

如图1所示为本实施例所述的系统框架图，包括：第一装置、远程设备和第二装置，第一装置经无线网络向远程设备发送未经处理的第一图像，远程设备经无线网络向第二装置发送经过处理的第二图像，第一图像显示幕墙的目标区域，第二图像包含第一图像、第一内容项和显示在第一内容项上非裂纹位置的第二内容项，其中：

第一装置包括摄像部、预处理部、图像发送部，摄像部获取幕墙目标区域的第一图像，预处理部在第一图像中插入标识项，图像发送部将预处理部处理后的第一图像发送至远程设备。

远程设备包括图像接收部、裂纹识别部、融合部、数据收发部。图像接收部接收来源于图像发送部的第一图像。裂纹识别部中的裂纹识别模型从第一图像中获取关于裂纹的第一内容项，图像处理程序根据第一内容项获取第二内容项。融合部融合第一图像、第一内容项和第二内容项，拼接生成第二图像。数据收发部存储第二图像，并通过无线网络将第二图像发送至第二装置。

第二装置包括终端接收部和存储部，终端接收部接收数据收发部发送的第二图像，存储部保存第二图像。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种幕墙巡检系统，其特征在于，包括：第一装置、远程设备和第二装置，第一装置经无线网络向远程设备发送未经处理的第一图像，远程设备经无线网络向第二装置发送经过处理的第二图像，第一图像显示幕墙的目标区域，第二图像包含第一图像、第一内容项和显示在第一内容项上非裂纹位置的第二内容项，其中，

第一装置包括摄像部、预处理部、图像发送部，摄像部获取幕墙目标区域的第一图像，预处理部在第一图像中插入标识项，图像发送部将预处理部处理后的第一图像发送至远程设备；

远程设备包括图像接收部、裂纹识别部、融合部、数据收发部，图像接收部接收来源于图像发送部的第一图像，裂纹识别部从第一图像中获取关于裂纹的第一内容项和第二内容项，融合部生成第二图像，数据收发部存储第二图像，并将第二图像发送至第二装置；

第二装置包括终端接收部和存储部，终端接收部接收数据收发部发送的第二图像，存储部保存第二图像，其中，

所述裂纹识别部包括裂纹识别模型和图像处理程序，第一图像经裂纹识别模型处理后得到裂纹的第一内容项，第一内容项经图像处理程序处理后得到裂纹的第二内容项，

所述幕墙裂纹识别模型使用resNet残差网络，通过基于深度学习的语义分割算法计算由第一图像提取的裂纹特征图的像素点属于幕墙裂纹和不属于幕墙裂纹的概率，将第一图像中属于幕墙裂纹概率高于阈值的像素点的值变更为1，否则变更为0，得到第一图像中裂纹的二值化图像作为第一图像的第一内容项，

所述幕墙裂纹识别模型在使用之前需要经过训练图像集预先训练，用于学习提取第一图像中幕墙裂纹特征，训练过程中除引入交叉熵优化模型参数，还引入训练图像的mask图像裂纹轮廓向量和该训练图像经幕墙裂纹识别模型处理后得到的二值化图像的裂纹轮廓的余弦距离、裂纹IOU精度优化模型参数。

2.根据权利要求1所述的一种幕墙巡检系统，其特征在于，所述标识项由描述第一图像拍摄位置的身份字符和拍摄时间的序列字符组成。

3.根据权利要求2所述的一种幕墙巡检系统，其特征在于，所述数据收发部按标识项中身份字符由小到大的顺序，将第二图像发送至第二装置。

4.根据权利要求1所述的一种幕墙巡检系统，其特征在于，所述第一内容项包括从背景中分离出的裂纹的二值化图像。

5.根据权利要求1所述的一种幕墙巡检系统，其特征在于，所述第二内容项包括描述裂纹的多个参数，包括裂纹面积、最大宽度和最大长度。

6.根据权利要求1所述的一种幕墙巡检系统，其特征在于，所述第一内容项经图像处理程序处理后得到裂纹轮廓，图像处理程序依据裂纹的轮廓计算裂纹的第二内容项，包括裂纹的面积、最大宽度和最大长度，并将其显示在第一内容项的非裂纹位置上。

7.一种权利要求1所述幕墙巡检系统的幕墙巡检方法，其特征在于，包括以下步骤：

第一装置获取幕墙目标区域的第一图像和第一图像的拍摄信息；

第一装置在第一图像中插入标识项，并经无线网络将该第一图像发送至远程设备；

远程设备接收来源于第一装置的第一图像，从第一图像中获取关于裂纹的第一内容项和第二内容项后生成第二图像，经无线网络向第二装置发送第二图像；

第二装置接收并存储来自远程设备的第二图像。

Images