CN113160209A - 用于建筑外立面损伤检测的目标标注方法及目标识别方法 - Google Patents

Abstract

本发明公开了一种用于建筑外立面损伤检测的目标标注方法及目标识别方法，通过该目标标注方法，可以对目标识别模型进行快速微调。在目标识别方法中，采用目标标注方法微调后的目标识别模型，使得建筑外立面损伤检测过程中所采用的目标识别模型与目标建筑物更加契合，提高了识别过程的准确性以及适应性，解决了不同建筑的建筑外立面差异过大、目标识别模型泛化能力和准确率难以兼顾的问题。

Description

用于建筑外立面损伤检测的目标标注方法及目标识别方法

技术领域

本发明涉及机器学习领域，具体涉及一种用于建筑外立面损伤检测的目标标注方法及目标识别方法。

背景技术

传统建筑外立面损伤检测通常需检测人员近距离拍照记录并识别损伤，但人为识别建筑表面损伤效率较低，识别质量不稳定，常需检测人员投入大量时间进行检查。因此，亟需发展一种快速有效的智能化损伤检测方法。

为了提高损伤检测效率，近年来提出了一些基于机器学习的智能检测方法。基于Faster R-CNN的裂缝检测算法被用于桥梁工程的损伤检测中，但其对背景噪声较为敏感，计算较慢，无法做到实时显示损伤，且只能用于识别裂缝，不能识别其他类型损伤。Yolo算法已被用于实时目标识别，但数据标注常由并非专业检测人员的开发者在后台完成，准确率与效率均不理想，实际应用价值较小。此外，卷积神经网络对输入图像分辨率的限制使其无法处理高分辨率图像中的细小特征，易造成目标识别的遗漏，仍存在改进空间。

发明内容

本发明的目的是根据上述现有技术的不足之处，提供一种用于建筑外立面损伤检测的目标标注方法及目标识别方法，该目标识别方法在每次检测任务的初始阶段采用该目标标注方法对目标识别模型进行针对性地微调优化，解决了现有技术中存在的问题。

本发明目的实现由以下技术方案完成：

一种用于建筑外立面损伤检测的目标标注方法，包括：

(S11)检测人员通过图片采集设备获取建筑外立面图片，并将其作为待标注图片；

(S12)通过显示屏将获取的待标注图片实时显示在用户端，检测人员通过人机交互界面控制生成标注框，产生标注文件以及标注图片，并将标注图片与标注文件传输至服务器端；

(S13)通过图片切割处理算法对标注图片与标注文件进行预处理，使其适应目标识别模型的要求；

(S14)通过获取到的标注图片与标注文件，对预训练过的目标识别模型进行微调，生成对该建筑针对性优化的目标识别模型，并将训练好的模型参数传输至用户端。

本发明的进一步改进在于：所述标注文件包含以下信息：标注框坐标，标注框大小，标注损伤类型；所述损伤类型包括裂缝、水渍、局部破损、空鼓、空调支架锈蚀。

本发明的进一步改进在于：所述服务器端为私有服务器或云服务器；所述用户端可为PC、平板电脑或手机。

本发明的进一步改进在于：所述目标识别模型为卷积神经网络模型。

本发明的进一步改进在于：所述微调通过冻结预训练模型的部分临近输入的卷积层，并训练其余的卷积层和全连接层实现。

本发明还包括一种用于建筑外立面损伤检测的目标检测方法，对目标建筑的建筑外立面进行损伤检测之前，针对目标建筑物采用上述的目标标注方法对目标识别模型进行微调，得到优化的目标识别模型；对目标建筑的建筑外立面进行损伤检测的过程包括：

(S21)检测人员通过图片采集设备获取建筑外立面图片；

(S22)通过图片切割处理算法对建筑外立面图片进行预处理，得到若干子图片，使其适应目标识别模型的要求；

(S23)采用优化后的目标识别模型对切割出的子图片进行目标识别，生成检测文件；

(S24)通过图片拼接处理算法将切割出的子图片拼接，得到完整图片，将检测文件处理并生成全图坐标下的目标框；

(S25)通过显示屏在完整图片上显示识别出的目标框与损伤类型。

本发明的进一步改进在于：步骤(S22)对建筑外立面图片进行图片切割的过程中，对建筑外立面图片进行第二次错位切割。

本发明的进一步改进在于：步骤(S24)中所述的拼接处理算法包含删除重复目标框的NMS算法。

本发明的优点是：

通过该目标标注方法，可以对目标识别模型进行快速微调。在目标识别方法中，采用目标标注方法微调后的目标识别模型，使得建筑外立面损伤检测过程中所采用的目标识别模型与目标建筑物更加契合，提高了识别过程的准确性以及适应性，解决了不同建筑的建筑外立面差异过大、目标识别模型泛化能力和准确率难以兼顾的问题。

本发明的智能化目标标注与检测方法具有实时标注的特点。由于建筑外立面的背景条件差异大，采用传统的训练模式难以达到准确率要求，实际应用价值较小。相对于传统的检测完毕后集中标注的模式，本发明采用的实时标注支持在服务器端运行微调训练的机器学习方法，对需检测的建筑进行针对性优化，可提高检测准确率，同时也可提高标注效率。

本发明的目标标注与检测方法具有分割图片的特点。建筑外立面损伤检测具有图片分辨率大、图片范围广、目标尺寸小等特点，直接使用yolov5算法进行分析会降低图片分辨率，造成特征的漏识别。相对于传统的目标识别，本发明使用分割图像的方法有效保留图片信息，通过二次分割的方法避免漏识别分界处的特征。

附图说明

图1为本发明实施例提供的一种训练损伤检测模型方法的流程图；

图2为本发明实施例提供的一种对建筑外立面损伤图片进行标注的标注图片样本；

图3为本发明实施例提供的一种检测建筑外立面损伤方法的流程图；

图4为本发明实施例提供的一种图片切割方法；

图5为本发明实施例提供的一种损伤识别结果。

具体实施方式

以下结合附图通过实施例对本发明的特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解：

利用计算机视觉进行图像识别，需通过目标识别模型检测出图像中特定的目标，并进行分类，而可靠的目标识别模型需使用大量样本进行训练。为训练目标识别模型，需先对获取到的损伤图像进行标注。由于损伤图像标注样本多来源于实际工程，检测人员常常在现场就已发现损伤，如果在检测完成后再重新标注会很大程度降低作业效率，也会降低标注的准确程度。此外，建筑外立面检测图像相对桥梁、道路等检测图像具有多样性的特点，使用获取到的某一具体建筑的部分标注过的图像对该建筑进行优化可提高该建筑其余图像的识别准确率。因此，在用户端直接进行标注是十分必要的。

下面结合图1描述本发明实施例的一种用于训练损伤检测模型的实时标注方法的流程图。

在本发明的一种具体实施方式中，本发明实施例提供一种用于建筑外立面损伤检测的目标标注方法，该方法包括：

步骤S11：检测人员通过图片采集设备获取建筑外立面图片，并将其作为待标注图片，其中，作为待标注图片的建筑外立面图片的信息可能包含需识别的若干种损伤。

在本发明实例中，首先需要采集包含建筑外立面损伤的图片，具体地可使用高清相机远距离拍摄，也可以使用无人机近距离获取图片。拍摄图片时，需注意视角与建筑外立面法线夹角不应过大，避免目标特征变形过大，影响训练效果。

步骤S12：通过显示屏将获取的待标注图片显示在用户端，检测人员通过人机交互界面控制生成标注框，产生标注文件以及标注图片，并将标注图片与文件传输至服务器端。

采集图片后，需在用户端对图片进行标注。图2提供了一种标注图片样本，检测人员用标注框框出损伤位置，并为标注框选择一种损伤类型。根据标注损伤类型的不同，标注框会显示为不同颜色。

标注后会生成一个与标注图片对应的标注文件，其中包含了该标注图片上的标注框信息，为一个b×5的矩阵，其中b为标注框数量，每个标注框对应5个参数：(x,y,w,h,t)。其中，x为标注框中心点横坐标，y为标注框中心点纵坐标，均以标注图片的左上角点为原点，通过取横(纵)坐标真实值(以像素为单位)与照片横(纵)向长度的比值进行归一化处理。w为标注框宽度，h为标注框高度，也通过类似的方法进行归一化处理。t为标注框所属的损伤类型编码，取值为1至s的整数，其中s为预定义的损伤类型的数量。

标注完成后，需通过网络将标注图片与标注文件传输至服务器端，作为后续微调训练的样本。

步骤S13：通过图片切割处理算法对标注图片进行预处理，使其适应目标识别模型的要求。

由图2可以看出，建筑外立面损伤具有相对尺度小、类型复杂的特点。因此，获取标注图片后，需对标注图片进行处理，在适应机器学习模型的同时保留图片特征，同时也能增加训练样本数量。在本发明实例中，使用图片切割的方法，将原分辨率的标注图片切割为更适应模型要求的分辨率。

切割后，还需对每张子图片生成新的标注文件。假设将图片切割为n*m个，其中n为列数，m为行数。则参数为(x,y,w,h,t)的标注框可被分配至[x*n]+1行，[y*m]+1列的子图片，其中[]为取整号。在子图片中生成新的标注文件时，需将整张图片坐标下的标注框参数(x,y,w,h,t)转为子图片坐标下的参数(x*n-[x*n],y*m-[y*m],w*n,h*m,t),并使用每张子图片的坐标进行训练。

步骤S14：通过获取到的子图片与标注文件，对预训练过的目标识别模型进行微调，生成对该建筑针对性优化的目标识别模型，并将训练好的目标识别模型参数传输至用户端。

具体的，当标注好的训练样本达到一定数量时，可对预训练过的目标识别模型进行微调，目标识别模型为卷积神经网络模型。在一个具体实施例中，目标识别模型可使用yolov5模型。该模型由输入端、Backbone、Neck、Prediction四个部分组成，可处理的图片尺寸为640*640像素，对于非640*640像素的图片，会通过自适应图片缩放进行处理。如步骤S13所述，对图片进行切割后使其分辨率接近640*640，尽可能避免自适应缩放对目标特征的影响。

模型的预训练使用以往获取到的建筑外立面检测图片，训练成果为一个权重文件，其中包含训练完毕模型的参数信息。在进行微调时，需冻结预训练模型的靠近输入的部分卷积层，训练剩下的靠近输出的卷积层和全连接层。微调需使用获取自待检测建筑的切割后的子图片，调整模型的权重文件，改变靠近输出的卷积层和全连接层的参数信息。进行检测时，通过网络将更新后的权重文件传输至用户端，就可在用户端进行针对该建筑的目标识别检测。

下面结合图3描述本发明实施例的一种用于通过目标识别模型检测建筑外立面损伤的方法。

本发明实施例提供一种用于建筑外立面损伤检测的目标检测方法，该方法包括两个阶段，阶段1在对目标建筑的建筑外立面进行损伤检测之前执行，该阶段中针对目标建筑物采用上述的目标标注方法对目标识别模型进行微调，得到优化的目标识别模型。阶段2自动对目标建筑的建筑外立面进行损伤检测，阶段2包括：

步骤S21：检测人员通过图片采集设备获取建筑外立面图片，其中，建筑外立面图片的信息可能包含需识别的若干种损伤。

与步骤S11类似，可使用高清相机或无人机获取建筑外立面图片。获取建筑外立面图片时，可通过补光设备提升图片质量，以提高识别效果。

步骤S22：用于通过图片切割处理算法对建筑外立面图片进行预处理，使其适应目标识别模型的要求。

需进行目标识别的建筑外立面图片同样需要进行切割。然而，单次切割时，位于切割边界处的目标特征可能被切开，影响识别效果。基于此，本发明实施例中采用二次错位切割的方法，如图4所示，先沿实线切割一次，再沿虚线切割一次，后续分别对两次切割得到的两组子图片进行识别。

步骤S23：通过针对性微调过的目标识别模型，对切割出的子图片进行目标识别，生成检测文件。

在本发明实例中，使用yolov5模型，通过目标识别实现建筑外立面损伤的检测。基于步骤S14中获取的更新后的权重文件，对步骤S22中得到的两组子图片分别进行目标识别，得到含有目标框位置、大小、损伤类型的识别文件。

步骤S24：通过图片拼接处理算法将切割出的子图片拼接，得到完整图片并显示在用户端，将检测文件处理并生成全图坐标下的目标。全图坐标为完整图片下的坐标。

为实时显示识别结果，需在原图片(分割前图片)上显示识别结果，需将第i列第j行子图片坐标下的参数(x,y,w,h,t)转为整张图片坐标下的参数((i+x)/n,(j+y)/m,w/n,h/m,t)。

步骤S22中进行了两次切割，需将两次识别重复的目标框消除，在本发明实例中，使用NMS算法实现。

具体的，消除重复目标框的步骤如下：

步骤S241：将所有目标框(包含所有两组子图片)按置信度排序，选中置信度最高的目标框；

步骤S242：遍历其余所有的目标框，如果和选中的目标框的重叠面积(IOU)大于一定阈值，就将该框删除；

步骤S243：从未被选中过的目标框中重新选中置信度最高的框，重复步骤S242。

步骤S25：通过显示屏在拼接图片上显示识别出的目标框与损伤类型。

完成图片后处理后，需在客户端显示识别结果。由于yolov5计算速度快，该发明实例可实现实时显示识别结果，检测人员可通过客户端了解模型识别出的损伤。图5展示了本发明实施例提供的一种损伤识别结果。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以通过软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于建筑外立面损伤检测的目标标注方法，包括：

(S11)检测人员通过图片采集设备获取建筑外立面图片，并将其作为待标注图片；

(S12)通过显示屏将获取的待标注图片实时显示在用户端，检测人员通过人机交互界面控制生成标注框，产生标注文件以及标注图片，并将标注图片与标注文件传输至服务器端；

(S13)通过图片切割处理算法对标注图片与标注文件进行预处理，使其适应目标识别模型的要求；

(S14)通过获取到的标注图片与标注文件，对预训练过的目标识别模型进行微调，生成对该建筑针对性优化的目标识别模型，并将训练好的模型参数传输至用户端。

2.根据权利要求1所述的一种用于建筑外立面损伤检测的目标标注方法，其特征在于：所述标注文件包含以下信息：标注框坐标，标注框大小，标注损伤类型；所述损伤类型包括裂缝、水渍、局部破损、空鼓、空调支架锈蚀。

3.根据权利要求1所述的一种用于建筑外立面损伤检测的目标标注方法，其特征在于：所述服务器端为私有服务器或云服务器；所述用户端为PC、平板电脑或手机。

4.根据权利要求1所述的一种用于建筑外立面损伤检测的目标标注方法，其特征在于：所述目标识别模型为卷积神经网络模型。

5.根据权利要求4所述的一种用于建筑外立面损伤检测的目标标注方法，其特征在于：所述微调通过冻结预训练模型的部分临近输入的卷积层，并训练其余的卷积层和全连接层实现。

6.一种用于建筑外立面损伤检测的目标检测方法，其特征在于，对目标建筑的建筑外立面进行损伤检测之前，针对目标建筑物采用权利要求1至5中任一所述的目标标注方法对目标识别模型进行微调，得到优化的目标识别模型；对目标建筑的建筑外立面进行损伤检测的过程包括：

(S21)检测人员通过图片采集设备获取建筑外立面图片；

(S22)通过图片切割处理算法对建筑外立面图片进行预处理，得到若干子图片，使得子图片适应目标识别模型的要求；

(S23)采用优化后的目标识别模型对切割出的子图片进行目标识别，生成检测文件；

(S24)通过图片拼接处理算法将切割出的子图片拼接，得到完整图片，将检测文件处理并生成全图坐标下的目标框；

(S25)通过显示屏在完整图片上显示识别出的目标框与损伤类型。

7.根据权利要求6所述的一种用于建筑外立面损伤检测的目标检测方法，其特征在于，步骤(S22)对建筑外立面图片进行图片切割的过程中，对建筑外立面图片进行第二次错位切割。

8.根据权利要求6所述的一种用于建筑外立面损伤检测的目标检测方法，其特征在于，步骤(S24)中所述的拼接处理算法包含删除重复目标框的NMS算法。

Images