CN113252700A

CN113252700A - 一种结构裂缝检测方法、设备及系统

Info

Publication number: CN113252700A
Application number: CN202110743988.0A
Authority: CN
Inventors: 王维; 吴智博; 邓露; 史鹏; 褚鸿鹄
Original assignee: Hunan University
Current assignee: Hunan University
Priority date: 2021-07-01
Filing date: 2021-07-01
Publication date: 2021-08-13
Anticipated expiration: 2041-07-01
Also published as: CN113252700B

Abstract

本申请公开了一种结构裂缝检测方法、设备及系统。其中，方法应用于包括图像采集设备和多个相对距离已知的测距仪的结构裂缝检测系统，各测距仪所成平面与图像采集设备所在平面相平行。方法包括：根据各测距仪输出的图像采集设备与待测平面之间的距离，确定待测平面与图像采集设备的位置关系；将待测平面图像、位置关系和拍摄参数输入至预先训练的裂缝检测模型；裂缝检测模型用于对待测平面图像进行裂缝识别，并根据位置关系和拍摄参数计算裂缝尺寸；根据裂缝检测模型输出的裂缝检测结果确定待测平面是否存在裂缝以及相应的裂缝尺寸，本申请不受拍摄距离以及拍摄角度的影响，可高速、准确地实现建筑物结构中裂缝的检测。

Description

一种结构裂缝检测方法、设备及系统

技术领域

本申请涉及工程安全技术领域，特别是涉及一种结构裂缝检测方法、设备及系统。

背景技术

桥梁、道路、堤坝、房屋等建筑在经过地震作用或者使用年限过长或者产生不均匀沉降时，可能会逐渐变形甚至出现建筑裂缝，裂缝的存在可能会导致整个建筑结构失稳或者破坏倒塌，影响整个建筑结构的安全使用。虽然裂缝在混凝土结构中是很常见的，但当裂缝的尺寸超过一定限值时，会严重影响建筑物的正常使用和正常承载。在对建筑物结构进行安全鉴定评估或者裂缝修复过程中，都需要对建筑物结构存在的裂缝进行准确的测量。

传统结构裂缝检测方法为：人工直接用肉眼观测或者借助脚手架、橡皮艇、高倍望远镜等小型辅助工具检测建筑物结构是否存在裂缝，并借用直尺、游标卡尺和裂缝测宽仪等设备测量裂缝尺寸。例如在对道路表面进行裂缝测量时，由人工操控道路检测车测量道路表面裂缝宽度。而人工检测裂缝只能接触建筑物表面，故人工测量也称为接触式测量方法。尽管人工检测方法实现时操作灵活，可适用于多种复杂环境的下的裂缝检测，但由于人工测量结构裂缝时有诸多的不便和局限，这些方法只限于在低矮的房屋和跨度较小的桥梁上进行，而对于高耸的建筑或者大型高架桥梁基本不适合；其次，人工检测方法是由检测人员直接观测、读数和记录，会受到检测人员主观意识的影响，往往会引起检测结果不稳定，而且精确度比较差；当工作量很大时，测量人员容易眼睛疲劳，不仅耗时费力，也大大降低了检测人员安全性。而目前对于路面等可以直接进行裂缝测量的结构物表面，通常采用检测车来实现裂缝的采集和检测，大型检测车是一种装载在大型汽车上，配备有裂缝检测仪器，主要用于偏高的建筑或者大型桥梁的定期检测和维修作业。它可以将检测人员与设备托举至建筑物外复杂区域对建筑或大桥的侧面、底部以及柱、梁等关键结构构件进行检查和养护，并且检测车有良好的稳定性和承载能力。但是检测车存在结构复杂，车型庞大，造价昂贵，在对道路桥梁进行维护作业时需要进行交通管制等问题。而且，因为大多数时间是在建筑物外进行高空作业，测量人员精神紧张，工作强度大，极易疲劳，从而导致检度慢，精确度差，检测效率很低。

为了解决人工测量的弊端，相关技术基于图像识别的爬壁机器人和无人机设备实现裂缝测量，这两种设备尽管可解决诸如桥梁底部图像采集困难的问题。但二者均是基于物距法进行图像采集，故需要保证拍摄距离基本一致，而且需要测量被拍摄图像的实际尺寸大小，即图像的实际范围大小。但是，在具体实际应用过程中，很难保证拍摄距离一致，而且对于不同的距离每次都需要测量图像的实际尺寸，这是不现实的。

发明内容

本申请提供了一种结构裂缝检测方法、设备及系统，不仅解决了人工测量存在的测量效率低、检测准确度低的弊端，而且不受拍摄距离以及拍摄角度的影响，可高速、准确地实现裂缝的检测。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种结构裂缝检测方法，应用于包括图像采集设备和多个相对距离已知的测距仪的结构裂缝检测系统，所述测距仪总数不少于3个，各测距仪所成平面与所述图像采集设备所在平面相平行；所述方法包括：

根据各测距仪输出的所述图像采集设备与待测平面之间的距离，确定所述待测平面与所述图像采集设备的位置关系；

将待测平面图像、所述位置关系和拍摄参数输入至预先训练的裂缝检测模型；所述裂缝检测模型用于对所述待测平面图像进行裂缝识别，并根据所述位置关系和所述拍摄参数计算裂缝尺寸；

根据所述裂缝检测模型输出的裂缝检测结果确定所述待测平面是否存在裂缝以及相应的裂缝尺寸；

可选的，所述对所述待测平面图像进行裂缝识别，并根据所述位置关系和所述拍摄参数计算裂缝尺寸，包括：

若识别到所述待测平面图像包含裂缝，提取裂缝图像；

基于所述裂缝图像计算所述裂缝的像素尺寸；

根据所述位置关系对所述裂缝的像素尺寸进行修正，得到实际像素尺寸；

基于预先拟合的图像真实尺寸和物距间的对应关系，和所述实际像素尺寸计算所述裂缝的真实尺寸。

可选的，所述根据所述裂缝检测模型输出的裂缝检测结果确定所述待测平面是否存在裂缝以及相应的裂缝尺寸之后，还包括：

若所述待测平面存在裂缝，将所述裂缝的尺寸输入至预先构建的裂缝危险等级评估模型；所述裂缝危险等级评估模型用于基于裂缝所处建筑物的位置、裂缝宽度与危险级别之间的对应关系，根据所述裂缝所在所述待测平面所属目标建筑物的当前位置和所述裂缝尺寸确定相应的危险级别；

根据所述裂缝危险等级评估模型的输出结果确定所述待测平面的危险等级。

获取所述待测平面所属目标建筑物的多角度视图影像；

将各角度视图影像和相应的图像拍摄顺序和拍摄参数输入预先构建的裂缝标注模型中；所述裂缝标注模型用于基于各角度视图影像和相应的图像拍摄顺序和拍摄参数进行三维模型重建，得到所述目标建筑物的三维实体模型；并基于所述裂缝在所述待测平面的位置在所述三维实体模型中标记所述裂缝的空间位置和尺寸信息。

可选的，所述根据所述位置关系对所述裂缝的像素尺寸进行修正，得到实际像素尺寸，包括：

预先通过深度学习拟合图像中图像真实尺寸和物距间的对应关系为

，a为拍摄图像在现实世界的实际宽度；

调用角度修正关系式对所述裂缝的像素尺寸进行修正，所述角度修正关系式为：

；

式中，

为所述测距仪总个数，n=1，2，3……，

、

、

为所述裂缝图像沿各测距仪所形成多边形的各边方向的像素尺寸，

、

、

为经过角度修正后所述裂缝图像沿各测距仪所形成多边形的各边方向的像素尺寸，

、

、

为各测距仪所形成多边形的每条边与测距仪或图像采集设备所在平面之间的夹角；

相应的，所述基于预先拟合的图像真实尺寸和物距间的对应关系，和所述实际像素尺寸计算所述裂缝的真实尺寸，包括：

调用真实尺寸计算关系式计算所述裂缝的真实尺寸，所述真实尺寸计算关系式为：

式中，

、

、

为所述裂缝图像沿各测距仪所形成多边形的各边方向的真实尺寸，

表示图像中图像真实尺寸和物距间的对应关系，

为所述图像采集设备的焦距，

为所述物距，

为所述裂缝图像的像素宽度或像素高度。

可选的，所述对所述待测平面图像进行裂缝识别，包括：

对所述待测平面图像进行灰度化处理，以得到灰度图像；

基于预先设定的灰度阈值确定所述灰度图像中的裂缝边缘；

基于所述裂缝边缘，采用区域连通算法对所述灰度图像中的裂缝图像块进行连通处理，得到所述裂缝图像。

本发明实施例另一方面提供了一种结构裂缝检测设备，应用于包括图像采集设备和多个相对距离已知的测距仪的结构裂缝检测系统，所述测距仪总数不少于3个，各测距仪所成平面与所述图像采集设备所在平面相平行；所述装置包括：

模型预构建模块，用于预先训练裂缝检测模型；所述裂缝检测模型用于对所述待测平面图像进行裂缝识别，并根据所述位置关系和所述拍摄参数计算裂缝尺寸；

位置关系确定模块，用于根据各测距仪输出的所述图像采集设备与待测平面之间的距离，确定所述待测平面与所述图像采集设备的位置关系；

裂缝识别模块，用于将待测平面图像、所述位置关系和拍摄参数输入至所述裂缝检测模型，根据所述裂缝检测模型输出的裂缝检测结果确定所述待测平面是否存在裂缝以及相应的裂缝尺寸；

其中，所述模型预构建模块进一步用于：若识别到所述待测平面图像包含裂缝，提取裂缝图像；基于所述裂缝图像计算所述裂缝的像素尺寸；根据所述位置关系对所述裂缝的像素尺寸进行修正，得到实际像素尺寸；基于预先拟合的图像真实尺寸和物距间的对应关系，和所述实际像素尺寸计算所述裂缝的真实尺寸。

本发明实施例还提供了一种结构裂缝检测设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述结构裂缝检测方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有裂缝检测程序，所述裂缝检测程序被处理器执行时实现如前任一项所述结构裂缝检测方法的步骤。

本申请提供的技术方案的优点在于，通过参数已知且固定的设备拍摄采集裂缝的图像，拍摄过程中，同时记录下镜头与被拍摄平面的距离，通过多个测距仪的测量数据可以确定相机平面与实际被测图像的相对位置关系，这样图像采集和裂缝检测都不受拍摄距离以及拍摄角度等外部拍摄环境的影响；利用预先训练的裂缝检测模型基于待测平面与图像采集设备的位置关系和拍摄参数便可直接对待测平面进行裂缝的检测，并得到裂缝的尺寸信息，能在短时间内完成大面积结构的裂缝检测，实现高速、准确地裂缝检测，不仅解决了人工测量存在的测量效率低、检测准确度低的弊端，而且也无需对于不同距离都需要测量图像的实际尺寸，同时避免了传统的物距法与标尺法测量精度易受环境影响以及使用地点易受限制的不足。

此外，本发明实施例还针对结构裂缝检测方法提供了相应的实现设备、系统及计算机可读存储介质，进一步使得所述方法更具有实用性，所述设备、系统及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种结构裂缝检测方法的流程示意图；

图2为本发明实施例提供的裂缝检测模型的训练流程示意图；

图3为本发明实施例提供的另一种结构裂缝检测方法的流程示意图；

图4为本发明实施例提供的裂缝标注模型的训练流程示意图；

图5为本发明实施例提供的结构裂缝检测设备的一种具体实施方式结构图；

图6为本发明实施例提供的结构裂缝检测设备的另一种具体实施方式结构图；

图7为本发明实施例提供的结构裂缝检测系统的一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

需要注意的是，上述应用场景仅是为了便于理解本申请的思想和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种结构裂缝检测方法的流程示意图，本实施例所示结构裂缝检测方法应用于结构裂缝检测系统中，结构裂缝检测系统包括图像采集设备和多个测距仪由于各测距仪所成平面要与图像采集设备的镜头平面相平行，而三点确定一个平面，故测距仪的总数不少于3个。为了确定图像采集设备与被拍摄平面之间的相对位置关系，且不受拍摄角度和拍摄环境影响，各测距仪的相对距离已知，通过这个参数已知且固定的数据采集设备即包括图像采集设备和多个测距仪，在拍摄裂缝图像过程中，同时记录下镜头与被拍摄平面的距离，即各测距仪的读数。因为三点以上便可确定一个平面，所以通过多个测距仪的读数可以确定相机平面与被测平面的相对距离和相对倾角，这样一来相机与实际被测图像就建立了一个相对位置关系。本结构裂缝检测系统中的拍摄距离固定，只需要测量一次被拍摄物图像的实际尺寸，后面的每一次拍摄都将物距固定为同样的距离即可，无需每改变一次拍摄距离，就需要测量一次图像的实际尺寸。基于上述硬件系统的结构裂缝检测方法的实施例可包括以下内容：

S101：根据各测距仪输出的图像采集设备与待测平面之间的距离，确定待测平面与图像采集设备的位置关系。

本实施例的测距仪用于测量图像采集设备与被拍摄平面也即待测平面之间的距离，待测平面即是用于检测是否含有裂缝的某个建筑物结构的某个二维平面，多个测距仪的读数可以确定图像采集设备所在平面与待测平面的相对距离和相对倾角，这样一来图像采集设备与实际被测图像就建立了一个相对位置关系。

S102：将待测平面图像、位置关系和拍摄参数输入至预先训练的裂缝检测模型。

本实施例的待测平面图像即为图像采集设备采集的待测平面的图像，位置关系即为图像采集设备与待测平面之间的位置关系例如可包括相对距离和相对倾角，相对距离也即可代表为物距，也即镜头焦距与被拍摄物体的距离。由于本实施例采用多个测距仪，相应的，就会存在多个物距值，可将多个测距仪的测距读数平均值作为图像采集设备与待测平面的物距，也可根据实际场景选择其中某个测距仪的读数或者是某几个测距仪读数的平均值作为图像采集设备与待测平面的物距，所属领域技术人员可根据实际情况灵活调整。拍摄参数包括但并不限制于为图像采集设备的焦距、各测距仪的读数、各测距仪之间的距离值。裂缝检测模型可使用任何一种机器学习算法训练大量样本所得，样本数据包括带裂缝的图像和不带裂缝的图像，且各样本图像都携带标签，标签中记录是否有裂缝以及裂缝的像素尺寸和真实尺寸，像素尺寸是指裂缝图像中的裂缝尺寸，真实尺寸是指现实世界中裂缝的宽度和长度，从而建立图像比例尺关系，所谓图像比例尺即为是指图像中单位的像素点代表的实际距离。裂缝检测图像用于对待测平面图像进行裂缝识别，并根据位置关系和拍摄参数计算得到裂缝尺寸。

S103：根据裂缝检测模型输出的裂缝检测结果确定待测平面是否存在裂缝以及相应的裂缝尺寸。

在上个步骤获取裂缝检测模型输出结果也即裂缝检测模型会输出待测图像中是否存在裂缝之后，若存在裂缝则会输出裂缝的尺寸信息，为了便于用户使用，输出的裂缝尺寸可为裂缝在真实世界中的尺寸信息也即真实尺寸，尺寸信息例如可包括裂缝的宽度和长度。

在本发明实施例提供的技术方案中，通过参数已知且固定的设备拍摄采集裂缝的图像，拍摄过程中，同时记录下镜头与被拍摄平面的距离，通过多个测距仪的测量数据可以确定相机平面与实际被测图像的相对位置关系，这样图像采集和裂缝检测都不受拍摄距离以及拍摄角度等外部拍摄环境的影响；利用预先训练的裂缝检测模型基于待测平面与图像采集设备的位置关系和拍摄参数便可直接对待测平面进行裂缝的检测，并得到裂缝的尺寸信息，能在短时间内完成大面积结构的裂缝检测，实现高速、准确地裂缝检测，不仅解决了人工测量存在的测量效率低、检测准确度低的弊端，而且也无需对于不同距离都需要测量图像的实际尺寸，同时避免了传统的物距法与标尺法测量精度易受环境影响以及使用地点易受限制的不足。

在上述实施例中，对于如何执行步骤S101并不做限定，本实施例中给出二者位置关系的一种确定方式，可包括如下步骤：

在本实施例中，图像采集设备的镜头所在平面和待测平面之间的位置关系可使用图像采集设备镜头所在平面和待测平面之间的物距即图像采集设备的镜头所在平面和待测平面的相对距离、图像采集设备镜头所在平面相对于待测平面之间的倾斜角度即图像采集设备镜头所在平面相对于待测平面之间的相对角度来表示，其中，两个平面之间的物距

可利用

来计算，n为测距仪的总个数，n=1，2，……，

为第n个测距仪的读数。而至于图像采集设备相对待测平面的倾角可使用各测距仪之间的差值来确定，倾角的个数与测距仪的总数相同，

为第n个测距仪和第n+1个测距仪之间的距离，可用下面这些关系式来表述：

；

；

；

；

。

在上述实施例中，将待测平面图像与其对应的拍摄参数、位置关系一起输入到预先训练好的裂缝检测模型中，可以先通过对图像进行即时处理，实时输出裂缝信息，只需要极短的时间，便可以输出裂缝的处理结果。实现了裂缝检测的零等待。裂缝检测模型对待测平面图像需要先进行裂缝识别和尺寸计算两个步骤，在进行裂缝识别过程中可包括图像处理、裂缝边缘识别、裂缝连接提取。具体的，可包括：

首先，可先对待测平面图像进行灰度化处理，得到灰度图像。在本步骤中，可采用分量法等对待测平面图像进行灰度化处理，将从图像采集设备中获取的彩色图像转化为灰度图像。进一步的，为了提高裂缝的识别准确度，还可采用拉普拉斯算子等，通过拉伸或压缩原始图像的灰度区间，从而增加图像的灰度对比度，突出图像中与裂缝相关的特征，且抑制一些无关紧要的特征。在图像灰度化后还可采用滤波降噪方法如 FCN-VOC2012—master语义分割算法去除图像中的冗余信息，这种方法可以有效的区分背景和前景，去除无关紧要的背景信息，保证裂缝的正常识别提取和测量。

其次，基于预先设定的灰度阈值确定灰度图像中的裂缝边缘。在本步骤中，裂缝边缘即裂缝区域和非裂缝区域的分界线，在边缘上的像素灰度往往会突变，基于此，本实施例可以通过例如U-Net卷积神经网络检测出裂缝的边缘，具体的方法为通过确定一个灰度阈值，低于阈值的像素点的灰度值全部取为0，高于阈值的像素点的灰度值全部设置为255，从而将背景和裂缝明显分割开来，进而识别出图像中的裂缝，获得裂缝的边缘图像。阈值的获取通过对卷积神经网络的训练获得。

最后，基于裂缝边缘，采用区域连通算法对灰度图像中的裂缝图像块进行连通处理，得到裂缝图像。在裂缝边缘识别完成后，由于存在许多的不确定性因素，会有一部分裂缝被错误的分成了几段裂缝，所以采用区域连通算法如最小生成树算法，将错误的被分为多条裂缝的断裂裂缝连通在一起，避免一缝多分的错误，然后通过裂缝提取算法提取出上一步识别出的经过连通处理后的裂缝图像。区域连通算法的具体实施过程为：通过计算裂缝边框的区域重合率，和两个边框的相对位置，设置一个重合率的阈值和相对位置的链接算法，将两个裂缝的相对距离和相对角度分别计算，通过拟合回归，计算两条裂缝在同一条曲线上面的概率，再结合两个裂缝边框的重合率，从而计算出两条裂缝属于同一条裂缝的概率，概率大于等于0.7则两条裂缝属于同一条裂缝，否则不属于同一条裂缝。

对于尺寸计算，本实施例可包括裂缝像素尺寸测量和裂缝实际尺寸计算两个步骤，具体的，若识别到待测平面图像包含裂缝，提取裂缝图像；裂缝图像提取出来之后，可基于裂缝图像计算裂缝的像素尺寸。举例来说，可采用定量算法，通过计算像素点的方式，运用最短距离法，来计算提取出的裂缝的宽度像素值和长度像素值，为下一步的计算做准备。具体的方法为遍历裂缝边缘的像素点，通过裂缝中线的方向描述出裂缝的整体发展趋势，再对边缘的每一个像素点寻找与之对应的像素点，两个像素点的连线与裂缝中线相互垂直，通过计算两个对应的像素点的距离，作为裂缝宽度的像素尺寸，中线的长度作为裂缝的长度像素值。通过对裂缝检测模型前期的训练，模型已经掌握了位置关系如物距、拍摄角度以及拍摄参数与图像比例尺之间的关系，例如物距与图像比例尺的关系建立过程如下：通过对比原始图像与标注图像的裂缝尺寸信息与物距信息，运用Polynomial Regression多项式回归来拟合图像的实际尺寸与物距的关系，通过对大量的拍摄距离不同的图像进行训练，推导出二者的关系如下：

，其中

是物距，a为拍摄图像在现实世界的宽度，单位为毫米。通过位置关系中的物距，计算图像比例尺，然后与上一步的宽度和长度像素值相乘，计算出裂缝的尺寸。在本实施例中，可根据位置关系对裂缝的像素尺寸进行修正，得到实际像素尺寸。最后基于预先拟合的图像真实尺寸和物距间的对应关系，和实际像素尺寸计算裂缝的真实尺寸。

作为一种可选的实施方式，可调用角度修正关系式对裂缝的像素尺寸进行修正，角度修正关系式可表示为：

；

式中，

为测距仪总个数，n=1，2，3……，

、

、

为裂缝图像沿各测距仪所形成多边形的各边方向的像素尺寸，

、

、

为经过角度修正后裂缝图像沿各测距仪所形成多边形的各边方向的像素尺寸，

、

、

相应的，基于预先拟合的图像真实尺寸和物距间的对应关系，和实际像素尺寸计算裂缝的真实尺寸这个步骤的一种可选的实施方式为：调用真实尺寸计算关系式计算裂缝的真实尺寸，真实尺寸计算关系式可表示为：

式中，

、

、

为裂缝图像沿各测距仪所形成多边形的各边方向的真实尺寸，

表示拍摄图像中图像真实尺寸和物距间的对应关系，

为图像采集设备的焦距，

为物距，

为裂缝图像的像素宽度或像素高度。

为了便于本领域技术人员清楚裂缝尺寸的计算方式，本实施例以三个呈等边三角形分布的测距仪为例阐述上述计算过程，

待测平面与图像采集设备的位置关系包括物距和相对角度，图像采集设备与待测平面的相对距离为

，通过三个测距仪相互之间读数的差值来计算图像采集设备的左右、上下倾角为

、

和

。

通过裂缝的像素尺寸与图像采集设备的角度计算出经过角度修正后的裂缝的实际像素尺寸，即：

其中，

、

、

分别为裂缝图像沿测距仪所成三角形三边方向的像素尺寸，

、

、

分别为经过角度修正后裂缝图像沿测距仪所成三角形三边方向的像素尺寸，

、

、

为三角形的两边之间的夹角。

基于裂缝检测模型根据物距计算出的图像比例尺之间的关系和裂缝的实际像素尺计算出裂缝经过距离修正后的实际尺寸，也即：

；

。

其中，

、

、

分别为经过距离和角度修正后裂缝图像沿测距仪所成三角形三边方向的实际尺寸，

为裂缝的长度尺寸或宽度尺寸，

为相机的焦距，

为图像的实际像素大小，即图像的像素宽度或像素高度。

本实施例可以通过模型的训练来修正拍摄角度和距离对裂缝尺寸测量的影响，换言之，模型会建立与角度和距离相关的图像比例尺计算方法，故不会因为拍摄角度和距离的原因而造成测量误差，从而可有效提高裂缝检测精度。

在上述实施例并未对裂缝检测模型的训练过程进行限定，所属领域技术人员可基于实际应用场景灵活选择相匹配的模型结构和算法，如卷积神经网络等，作为一个示意性例子，结合图2，本实施例还给出裂缝检测模型的训练过程，可包括：

（1）获取裂缝检测模型的训练样本集、测试样本集以及验证样本集。

裂缝检测模型的建立，首先需要拍摄大量的裂缝图像。每拍摄一张图片，均先垂直拍摄一次，然后再按一定的规律变换距离和倾角，对同一个目标裂缝拍摄多张图片，分别记录下对应的距离和摄像机参数，然后对图片中的裂缝进行标注，标注包括标注出实际的裂缝轮廓，然后标注出裂缝的长度和宽度，长度的测量可以采用手工测量，宽度的测量可以采用裂缝测宽仪，精度不低于0.01mm。这样重复多次，拍摄大量的裂缝图像，并标记，从而得到训练样本集、测试样本集以及验证样本集。

（2）采用上述实施例的物距和相对角度的计算方式，通过MATLAB程序计算拍摄图像与相机的平均物距以及相对角度，作为基本参数。

（3）计算基本参数后，将基本参数作为裂缝图像的附加参数，两者一起，输入进裂缝检测模型进行训练，此时采用训练样本集图像，网络采用深度学习网络，训练的内容包括裂缝的识别，裂缝像素尺寸的测量以及裂缝实际尺寸的计算，通过这一系列的训练，学习上述基本参数与图像比例尺的基本关系。

（4）当训练的样本图像识别和计算精度满足要求后，采用测试样本集进行泛化能力测试，检查模型的泛化能力，具体的方式为：将测试样本集的图像及其拍摄时的基本参数输入裂缝检测模型中，通过对比裂缝检测模型的识别计算结果和真实裂缝的信息，计算两者的识别和计算误差，设置一个误差阈值，即模型预测的超过阈值的样本为不合格样本，统计不合格样本的数量，计算模型的预测准确率，若准确率满足要求，则训练完成，若准确率不满足要求，则增加训练的样本数量或者增加训练的次数，直到测试的样本准确率满足要求。

此外，为了增强模型识别能力，提高模型识别精确度，可通过增加有干扰因素的样本图像的数量，增加对裂缝检测模型的训练，训练裂缝检测模型的识别干扰因素的能力，如签字笔的字迹等，排除类似于裂缝的干扰因素的影响。

为了进一步提高裂缝检测的实际应用性能，基于上述实施例，在根据裂缝检测模型输出的裂缝检测结果确定待测平面是否存在裂缝以及相应的裂缝尺寸之后，如图3所示，还可包括：

若待测平面存在裂缝，将裂缝的尺寸输入至预先构建的裂缝危险等级评估模型；裂缝危险等级评估模型用于基于裂缝所处建筑物的位置、裂缝宽度与危险级别之间的对应关系，根据裂缝所在待测平面所属目标建筑物的当前位置和裂缝尺寸确定相应的危险级别；

根据裂缝危险等级评估模型的输出结果确定待测平面的危险等级。

在本实施例中，通过预先设置对不同结构或构件可能造成危险的裂缝宽度的阈值，经过上述实施例的裂缝尺寸计算后，再进行关键部位的识别，例如对桥梁的支座，建筑物的主梁等进行识别，关键部位的识别重在对结构的构件类别进行识别，从而判定该构件的重要性。识别之后将识别结果输入进裂缝危险等级评估模块，用来确定该关键部位的危险裂缝的宽度阈值和该部位对整体结构的重要性系数。将该部位的裂缝尺寸与所设阈值进行比较，大于所设阈值的裂缝为危险裂缝，根据超出阈值的大小来判定危险等级，小于所设阈值的裂缝为安全裂缝，根据与阈值的远近给出安全等级，等于阈值的裂缝为临界裂缝。通过筛选，给出危险裂缝信息，同时将危险裂缝的信息与该部位的重要性系数相结合，两者相乘，通过重要性系数来体现结构的不同构件的重要程度，然后进行危险等级评估，并且做出标记。

作为一种可选的实施方式，为了提高工作人员的工作效率，工作人员可无需去现场实地勘察，本实施例可通过所采集的数据直接还原现场，结合图3及图4，可包括下述内容：

获取待测平面所属目标建筑物的多角度视图影像和裂缝的危险等级；

将各角度视图影像和相应的图像拍摄顺序和拍摄参数、危险等级输入预先构建的裂缝标注模型中；裂缝标注模型基于各角度视图影像和相应的图像拍摄顺序和拍摄参数进行三维模型重建，得到目标建筑物的三维实体模型。基于裂缝在待测平面的位置在三维实体模型中标记裂缝的空间位置、尺寸信息和危险等级。

基于拍摄的图像顺序、拍摄距离，拍摄角度，相对位置与拍摄方向等信息，可以通过计算机，采用运动恢复结构（Structure from Motion, SfM）和多视图立体匹配算法（Multi View Stereo, MVS），利用无人机或摄像机通过多视角序列影像重构建筑物三维实景模型，生成被测结构的整体三维信息图。三维重建的基本流程可如下：首先获取建筑物结果的多角度视图影像，接着对获取到的多角度视图影像进行高斯图像金字塔-多尺度空间的构建，通过对图像金字塔的空间特征点进行提取，获取结构空间的关键点信息，随后对关键点进行同名点匹配，即在不同的图像中寻找相同的特征点，然后采用光束法区域网平差空间三角测量，通过输入物距以及拍摄角度，解算地面坐标，建立稀疏点云模型。以稀疏点云作为输入，经扩散、过滤实现影像密集匹配，最终实现三维点云模型，对三维密集点云进行三角剖分，构建不规则三角网格，进一步将三维网格经纹理映射，最终形成三维实体模型。在三维实体模型生成之后，可根据二维图像中裂缝的位置与三维重建过程中该位置在三维模型中的相对位置关系，确定裂缝的三维位置信息，在三维模型中标记出危险裂缝的位置、危险等级和尺寸信息。如需要，非危险裂缝信息也可以选择显示在三维模型中。通过三维模型的生成，使裂缝检测的可视化大大增加，大大减少了裂缝定位所需要的时间，提高了裂缝检测的效率，极大地方便了检测人员对裂缝整体特征的了解。

本实施例可根据结构不同部位的不同重要程度，对裂缝的危险等级进行评估，还可以基于裂缝采集的图像建立结构的三维实体模型，从而实现了裂缝的三维标注与定位。建立了裂缝测量，裂缝危险等级评估与三维定位一体化的检测体系，只需要采集一次数据和图像，便可以完成上述过程，简单快捷，方便检测人员对裂缝的危险等级以及位置进行了解，极大地便利了对结构裂缝的检测以及评估，实现了裂缝检测的高效快捷准确。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1-图4只是一种示意方式，并不代表只能是这样的执行顺序。

本发明实施例还针对结构裂缝检测方法提供了相应的设备，进一步使得方法更具有实用性。其中，设备可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的结构裂缝检测设备进行介绍，下文描述的结构裂缝检测设备与上文描述的结构裂缝检测方法可相互对应参照。

基于功能模块的角度，参见图5，图5为本发明实施例提供的结构裂缝检测设备在一种具体实施方式下的结构图，应用于包括图像采集设备和多个相对距离已知的测距仪的结构裂缝检测系统，测距仪总数不少于3个，各测距仪所成平面与图像采集设备所在平面相平行；该设备可包括：

模型预构建模块501，用于预先训练裂缝检测模型；裂缝检测模型用于对待测平面图像进行裂缝识别，并根据位置关系和拍摄参数计算裂缝尺寸。

位置关系确定模块502，用于根据各测距仪输出的图像采集设备与待测平面之间的距离，确定待测平面与图像采集设备的位置关系。

裂缝识别模块503，用于将待测平面图像、位置关系和拍摄参数输入至裂缝检测模型，根据裂缝检测模型输出的裂缝检测结果确定待测平面是否存在裂缝以及相应的裂缝尺寸。

可选的，在本实施例的一些实施方式中，上述设备还可以包括危险等级输出模块，用于若待测平面存在裂缝，将裂缝的尺寸输入至预先构建的裂缝危险等级评估模型；裂缝危险等级评估模型用于基于裂缝所处建筑物的位置、裂缝宽度与危险级别之间的对应关系，根据裂缝所在待测平面所属目标建筑物的当前位置和裂缝尺寸确定相应的危险级别；根据裂缝危险等级评估模型的输出结果确定待测平面的危险等级。

在本实施例的另一些实施方式中，上述设备例如还可以包括裂缝标记模块，用于将待测平面所属目标建筑物的多个角度视图影像和相应的图像拍摄顺序和拍摄参数输入预先构建的裂缝标注模型中；裂缝标注模型基于各角度视图影像和相应的图像拍摄顺序和拍摄参数进行三维模型重建，得到目标建筑物的三维实体模型；基于裂缝在待测平面的位置在三维实体模型中标记裂缝的空间位置和尺寸信息。

可选的，在本实施例的其他一些实施方式中，上述模型预构建模块501包括图像处理单元和尺寸计算单元；图像处理单元用于若识别到待测平面图像包含裂缝，提取裂缝图像；尺寸计算单元用于基于裂缝图像计算裂缝的像素尺寸；根据位置关系对裂缝的像素尺寸进行修正，得到实际像素尺寸；基于预先拟合的图像真实尺寸和物距间的对应关系，和实际像素尺寸计算裂缝的真实尺寸。

作为本实施例的一种可选的实施方式，上述尺寸计算单元进一步可以用于：

调用角度修正关系式对裂缝的像素尺寸进行修正，角度修正关系式为：

；

式中，

为测距仪总个数，n=1，2，3……，

、

、

、

、

、

、

，a为拍摄图像在现实世界的实际宽度；

调用真实尺寸计算关系式计算裂缝的真实尺寸，真实尺寸计算关系式为：

式中，

、

、

表示拍摄图像中图像真实尺寸和物距间的对应关系，

为图像采集设备的焦距，

为物距，

为裂缝图像的像素宽度或像素高度。

作为本实施例的另外一种可选的实施方式，上述图像处理单元还可进一步用于：对待测平面图像进行灰度处理，以得到灰度图像；基于预先设定的灰度阈值确定灰度图像中的裂缝边缘；基于裂缝边缘，采用区域连通算法对灰度图像中的裂缝图像块进行连通处理，得到裂缝图像。

本发明实施例结构裂缝检测设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例不仅解决了人工测量存在的测量效率低、检测准确度低的弊端，而且不受拍摄距离以及拍摄角度的影响，可高速、准确地实现裂缝的检测。

上文中提到的结构裂缝检测设备是从功能模块的角度描述，进一步的，本申请还提供一种结构裂缝检测设备，是从硬件角度描述。图6为本申请实施例提供的另一种结构裂缝检测设备的结构图。如图6所示，该设备包括存储器60，用于存储计算机程序；处理器61，用于执行计算机程序时实现如上述任一实施例提到的结构裂缝检测方法的步骤。

其中，处理器61可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器61可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器61也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器61可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器61还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器60可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器60还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器60至少用于存储以下计算机程序601，其中，该计算机程序被处理器61加载并执行之后，能够实现前述任一实施例公开的结构裂缝检测方法的相关步骤。另外，存储器60所存储的资源还可以包括操作系统602和数据603等，存储方式可以是短暂存储或者永久存储。其中，操作系统602可以包括Windows、Unix、Linux等。数据603可以包括但不限于裂缝检测结果对应的数据等。

在一些实施例中，结构裂缝检测设备还可包括有显示屏62、输入输出接口63、通信接口64或者称为网络接口、电源65以及通信总线66。其中，显示屏62、输入输出接口63比如键盘（Keyboard）属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在结构裂缝检测设备中处理的信息以及用于显示可视化的用户界面。通信接口64可选的可以包括有线接口和/或无线接口，如WI-FI接口、蓝牙接口等，通常用于在该结构裂缝检测设备与其他电子设备之间建立通信连接。通信总线66可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本领域技术人员可以理解，图6中示出的结构并不构成对结构裂缝检测设备的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器67。

可以理解的是，如果上述实施例中的结构裂缝检测方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种计算机可读存储介质，存储有裂缝检测程序，裂缝检测程序被处理器执行时如上任意一实施例结构裂缝检测方法的步骤。

本发明实施例还提供了一种结构裂缝检测系统，请参见图7，可包括：

结构裂缝检测系统可包括图像采集设备71、结构裂缝检测设备72和多个测距仪73。结构裂缝检测设备72与图像采集设备71相连，以接收图像采集设备71输出的图像数据；结构裂缝检测设备72与各测距仪73相连，以接收各测距仪73输出的图像采集设备71与被拍摄面之间的距离数据。

本实施例中的图像采集设备71可为任何一种可执行图像采集功能的设备，如无人机、摄像机等，摄像机可以采用分辨率较高的佳能 EOS C700，无人机可以采用大疆经纬M300 RTK。由于测距仪是为了测量图像采集设备与被测平面之间的距离，故可将各测距仪73直接安装在图像采集设备71上。测距仪可为任何一种可执行测距功能的硬件设备，如激光测距仪，测距仪的参数如精度可根据实际应用场景进行灵活选择。为了保证测距仪可准确测量摄像头与被测平面之间的距离，多个测距仪构成的平面要与摄像头平面平行，即各测距仪所形成的平面与图像采集设备71的镜头平面平行，故测距仪的总数不少于3个。各测距仪73的相对距离已知。作为一种可选的实施方式，在图像采集设备71上面可安装三个相对距离已知的呈等边三角形分布的激光测距仪，测距仪的精度大于等于0.01mm，且保证三个测距仪所成的平面与镜头平面平行，通过这个参数已知且固定的设备，拍摄采集大量裂缝的图像，拍摄过程中，同时记录下镜头与被拍摄平面的距离，即三个激光测距仪的读数。因为三点确定一个平面，所以通过三点测距仪的读数可以确定相机平面与被测平面的相对距离和相对倾角，这样一来相机与实际被测图像就建立了一个相对位置关系。

其中，可直接在图像采集设备71中设置无线通信模块，如wifi、蓝牙等，图像采集设备71可通过该无线通信模块将图像数据和拍摄参数发送至结构裂缝检测设备72中，同样的，各测距仪也可通过该无线通信模块将其测量数据发送至结构裂缝检测设备72中。当然，图像采集设备71、多个测距仪73与结构裂缝检测设备也可通过线缆进行数据传输，这均不影响本申请的实现。进一步的，也可通过图像采集设备71上安装的无线通信模块将采集的图像数据、拍摄参数如物距等实时传输到结构裂缝检测设备72所在系统的存储设备上进行储存，方便对图像进行实时处理。

本发明实施例所述结构裂缝检测系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种结构裂缝检测方法、设备及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。