CN110751656B - 一种裂缝参数自动提取方法、装置及存储装置 - Google Patents

Abstract

本发明公开了一种裂缝参数自动提取方法、装置及存储装置。其中，该裂缝参数自动提取方法包括：基于卷积神经网络分割提取目标图片中的裂缝图像、并利用所述目标图片中的标定图案矫正所述裂缝图像获得矫正裂缝图像，或，利用目标图片中的标定图案矫正所述目标图片获得矫正目标图片、并基于卷积神经网络分割提取所述矫正目标图片中的矫正裂缝图像；通过所述目标图片中的标定图案得到的所述矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取所述矫正裂缝图像在真实世界坐标下的裂缝尺寸参数。实施本发明的裂缝参数自动提取方法，通过采用基于卷积神经网络的深度学习方式提取裂缝图像并矫正，实现裂缝参数数据的准确自动提取。

Description

一种裂缝参数自动提取方法、装置及存储装置

技术领域

本申请涉及图像提取领域，特别是涉及一种裂缝参数自动提取方法、装置及存储装置。

背景技术

桥梁、隧道、建筑、混凝土路面、金属表面在应力、震动、温差等因素的影响下可能出现裂缝，可以对裂缝的图像进行处理以提取裂缝的参数。

由于裂缝存在的环境多种多样，自然天气、光照和污损等原因也限制了图像的呈现效果，导致现有技术具有局限性，都很难在复杂环境下准确地分割裂缝区域，使得获得的裂缝参数精度有限。

发明内容

本申请提供一种裂缝参数自动提取方法、装置及存储装置，以解决现有技术很难在复杂环境下准确地分割裂缝区域，使得获得的裂缝参数精度有限的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种裂缝参数自动提取方法，包括：基于卷积神经网络分割提取目标图片中的裂缝图像、并利用所述目标图片中的标定图案矫正所述裂缝图像获得矫正裂缝图像，或，利用目标图片中的标定图案矫正所述目标图片获得矫正目标图片、并基于卷积神经网络分割提取所述矫正目标图片中的矫正裂缝图像；

通过所述目标图片中的标定图案得到的所述矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取所述矫正裂缝图像在真实世界坐标下的裂缝尺寸参数。

进一步的，所述利用所述目标图片中的标定图案矫正所述裂缝图像获得矫正裂缝图像、或利用所述目标图片中的标定图案矫正所述目标图片获得矫正目标图片包括：

计算出所述标定图案的单应性矩阵；

将单应性矩阵作用于所述裂缝图像或所述目标图片，矫正所述裂缝图像或所述目标图片的变形。

进一步的，所述标定图案是棋盘格标定板；

所述计算出所述标定图案的单应性矩阵包括：

通过角点检测算法提取出所述目标图片中所述棋盘格标定板的角点；

采用未变形的所述棋盘格标定板的角点与所述目标图片的角点进行匹配；

利用匹配成功的角点计算出所述单应性矩阵。

进一步的，所述真实世界尺度的尺度因子通过至少以下步骤得到：

将所述单应性矩阵作用于所述目标图片中的所述棋盘格标定板，以得到矫正后的所述棋盘格标定板；

计算所述棋盘格标定板相邻两角点的角点距离；

比较真实世界坐标系下相邻两角点的实际距离与所述角点距离以得到每个像素对应真实世界的尺度因子。

进一步的，所述未变形的模拟棋盘格标定板的角点为根据预存的所述棋盘格标定板的参数生成的指定方向的模拟标定板图片中的角点。

进一步的，所述基于卷积神经网络分割提取目标图片中的裂缝图像、或基于卷积神经网络分割提取所述矫正目标图片中的裂缝图像包括：

编码步骤：对所述目标图片或所述矫正目标图片进行卷积和池化操作，输出第一特征层；

解码步骤：对所述第一特征层进行上采样、特征加权直连和卷积操作得到所述裂缝图像或矫正裂缝图像。

进一步的，所述编码步骤包括：

将所述目标图片或所述矫正目标图片经过多个卷积层、多个最大池化层进行交替卷积、池化操作。

进一步的，所述编码步骤进一步包括：

将经过所述交替卷积、池化操作的所述目标图片或所述矫正目标图片经过多个空洞卷积层进行空洞卷积操作。

进一步的，所述解码步骤包括：

将所述第一特征层经过多个上采样层、多个卷积层进行交替上采样、卷积操作，其中至少一次所述上采样操作和所述卷积操作之间进一步包括所述特征加权直连操作。

进一步的，所述编码步骤包括n次所述池化操作，所述解码步骤包括n次上采样操作，n为大于1的整数；

第i次所述上采样操作之后的所述特征加权直连操作包括：

对第i-1个解码特征层进行全局平均池化得到加权因子，所述第i-1个解码特征层为第i次所述上采样操作的目标；

将所述加权因子与第n-i个编码特征层相乘得到第n-i个加权编码特征层，所述第n-i个编码特征层为所述编码步骤中第n-i次所述池化操作输出的编码特征层；

将第i个预解码特征层与所述第n-i个加权编码特征层串行连接，所述第i个预解码特征层为第i次所述上采样操作的结果。

进一步的，所述通过所述目标图片中的标定图案得到的所述矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取所述矫正裂缝图像在真实世界坐标下的裂缝尺寸参数包括：

计算所述矫正裂缝图像中裂缝的像素长度、以及裂缝区域所占的像素面积；

根据所述像素长度、所述像素面积及所述尺度因子计算所述真实世界坐标下的裂缝长度、裂缝面积和裂缝平均宽度。

进一步的，所述计算所述矫正裂缝图像中裂缝的像素长度包括：

利用形态学处理对所述矫正裂缝图像进行细化；

统计细化后的所述矫正裂缝图像中裂缝长度像素数量；

基于所述裂缝长度像素数量计算所述裂缝的像素长度。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种裂缝参数自动提取装置，所述自动提取装置包括：

图像处理模块，用于基于卷积神经网络分割提取目标图片中的裂缝图像、并利用所述目标图片中的标定图案矫正所述裂缝图像获得矫正裂缝图像，或，利用目标图片中的标定图案矫正所述目标图片获得矫正目标图片、并基于卷积神经网络分割提取所述矫正目标图片中的矫正裂缝图像；

计算模块，用于通过所述目标图片中的标定图案得到的所述矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取所述矫正裂缝图像在真实世界坐标下的裂缝尺寸参数。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种裂缝参数自动提取装置，所述提取装置包括处理器、与所述处理器耦接的存储器，其中，

所述存储器存储有用于实现如上述的裂缝参数自动提取方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以获取裂缝参数数据。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储装置，所述存储装置内存储有能够实现上述的裂缝参数自动提取方法的程序文件。

本申请的有益效果是：本发明的裂缝参数自动提取方法、装置及存储装置通过基于卷积神经网络分割提取目标图片中的裂缝图像、并利用该目标图片中的标定图案矫正该裂缝图像获得矫正裂缝图像，或，利用目标图片中的标定图案矫正该目标图片获得矫正目标图片、并基于卷积神经网络分割提取该矫正目标图片中的矫正裂缝图像；通过该目标图片中的标定图案得到的该矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取该矫正裂缝图像在真实世界坐标下的裂缝尺寸参数；通过上述方式，能够在复杂环境下有效分割裂缝像素，提取裂缝真实参数信息，再根据裂缝像素数据及尺度因子计算真实世界坐标下的裂缝参数数据，从而实现裂缝参数数据的准确自动提取。

附图说明

图1是本发明第一实施例的裂缝参数自动提取方法的流程示意图；

图2是本发明第一实施例的裂缝参数自动提取方法中获得矫正裂缝图像的子流程示意图；

图3是本发明第一实施例中基于卷积神经网络分割提取目标图片中的裂缝图像方法的流程示意图；

图4是本发明第一实施例中卷积神经网络的结构示意图。

图5是本发明第二实施例的裂缝参数自动提取方法的流程示意图；

图6是本发明第二实施例的裂缝参数自动提取方法中获得矫正目标图片的子流程示意图；

图7是本发明第二实施例中基于卷积神经网络分割提取矫正目标图片中的矫正裂缝图像方法的流程示意图；

图8是本发明实施例的裂缝参数自动提取装置的第一结构示意图；

图9是本发明实施例的裂缝参数自动提取装置的第二结构示意图；

图10是本发明实施例的存储装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明第一实施例的裂缝参数自动提取方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：

步骤S101：基于卷积神经网络分割提取目标图片中的裂缝图像。

在步骤S101中，通过拍摄设备拍摄包含裂缝和标定图案的目标图片，可选地，拍摄设备包括移动机器人和无人机等载具、以及搭载在这些载具上的传感器设备，如单目相机等；然后基于卷积神经网络，采用深度学习方法对该目标图片进行精确的裂缝形态检测及参数提取，运用卷积神经网络提取目标图片中的裂缝区域，结合一定的后处理方法，提取出裂缝对象。

具体的，在本发明中，目标图片中的裂缝图像分割提取包括对目标图片进行编码、解码等步骤，从而获得裂缝图像，详后述。

步骤S102：利用目标图片中的标定图案矫正裂缝图像获得矫正裂缝图像。

在步骤S102中，该标定图案为带有多个角点特征的图案。

如图2所示，该步骤S102的至少包括以下子步骤：

子步骤S1021：计算出标定图案的单应性矩阵。

子步骤S1022：将单应性矩阵作用于裂缝图像，矫正该裂缝图像的变形。

提取目标图片中的角点，目标图片中的角点包括标定图案的角点，由于镜头内参、拍摄设备的位姿等因素的影响，目标图片可能存在变形。将目标图片的角点与未变形的标定图案角点进行匹配，以确定目标图片的角点中哪些是标定图案的角点。利用匹配成功的角点(即已确定的目标图片中标定图案的角点)计算出标定图案的单应性矩阵。将该单应性矩阵作用于裂缝图像整体，矫正裂缝图像整体的变形。未变形的标定图案的角点可以为根据预存的标定图案的参数生成的指定方向的模拟标定图案图片中的角点。

可选的，该标定图案为棋盘格标定板，该棋盘格标定板由阵列分布的多个大小相等的正方形棋盘格组成，相邻两正方形棋盘格颜色不同，如，第一棋盘格为黑色，与该第一棋盘格相邻的第二棋盘格则为白色。每个正方形棋盘格的尺寸和棋盘格标定板的尺寸已知，例如，每个正方形棋盘格的长宽均为1cm，该标定板长度方向设有五个棋盘格，该标定板宽度方向设有四个棋盘格，即棋盘格标定板的整体长度为5cm，整体宽度为4cm。

具体的，通过角点检测算法提取出目标图片中的角点，这些角点包括棋盘格标定板的角点，然后采用未变形的棋盘格标定板的角点与目标图片的角点进行匹配，未变形的棋盘格标定板的角点为根据预存的棋盘格标定板的参数生成的指定方向的模拟标定板图片中的角点。利用匹配成功的角点计算出单应性矩阵，最后将单应性矩阵作用于整个裂缝图像，矫正整个裂缝的畸变。

步骤S103：通过目标图片中的标定图案得到的该矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取该矫正裂缝图像在真实世界坐标下的裂缝尺寸参数。

在步骤S103中，将根据棋盘格标定板角点匹配计算出的单应性矩阵作用于目标图片中的棋盘格标定板，获得矫正后的棋盘格标定板。计算矫正后的棋盘格标定板中相邻两个角点的角点距离，比较真实世界坐标下相邻两角点的实际距离与角点距离以得到每个像素对应真实世界的尺度因子。

具体的，在完成棋盘格标定板矫正之后，即可计算出矫正后的棋盘格标定板中相邻两角点之间的角点距离D。棋盘格标定板中可能存在多组相邻的角点，此时D可以为部分或全部相邻角点之间的距离的平均值。而此时相邻两角点之间在真实世界坐标下的实际距离d是已知的(如上述：d＝1cm)，即可根据真实世界坐标下相邻两角点的实际距离与角点距离计算每个像素对应真实世界的尺度因子，该尺度因子∝＝d/D。

在获得尺度因子后，计算该矫正裂缝图像中裂缝的像素长度、以及裂缝区域所占的像素面积，根据该像素长度、像素面积及尺度因子计算真实世界坐标下的裂缝长度、裂缝平均宽度和裂缝面积等裂缝尺寸参数。

具体的，利用形态学处理对该矫正裂缝图像进行细化，计算细化后的矫正裂缝图像中裂缝长度像素数量，然后基于该裂缝长度像素数量计算裂缝的像素长度L，统计裂缝像素区域所占的像素面积A，然后根据像素面积A和裂缝像素长度L计算裂缝的平均像素宽度W＝A/L。

进一步的，再根据尺度因子∝＝d/D，计算在真实世界坐标下的裂缝长度l＝∝·L，在真实世界坐标下的裂缝宽度w＝∝·W，在真实世界坐标下的裂缝面积S＝l·w，即可获得真实世界坐标下的裂缝长度l、真实世界坐标下的裂缝宽度w、以及真实世界坐标下的裂缝面积S等尺寸参数。

实施本发明的裂缝参数自动提取方法，通过基于卷积神经网络的深度学习、分割提取目标图片中的裂缝图像，并利用目标图片中的标定图案对裂缝图像进行矫正，可矫正裂缝图像在拍摄过程中产生的畸变。之后通过标定图案获得矫正裂缝图像中每个像素对应真实世界坐标下的尺度因子，并根据该尺度因子计算矫正裂缝图像在真实世界坐标下的裂缝尺寸参数，即可对裂缝尺寸参数进行精确的自动提取。通过采用基于卷积神经网络的深度学习方式提取裂缝图像，能够在复杂环境下有效分割裂缝像素，提取裂缝真实参数信息。在提取裂缝图像及矫正后，再根据裂缝像素数据及尺度因子计算真实世界坐标下的裂缝参数数据，从而实现裂缝参数数据的准确自动提取。

图3是本发明第一实施例中的基于卷积神经网络分割提取目标图片中的裂缝图像方法的流程示意图。如图3所示，该方法包括步骤：

步骤S1011，编码步骤：对目标图片进行卷积和池化操作，输出第一特征层。

在步骤S1011中，将目标图片经过多个卷积层、多个最大池化层进行交替卷积、池化操作。进一步的，将经过交替卷积、池化操作的目标图片经过多个空洞卷积层进行空洞卷积操作。

步骤S1012，解码步骤：对第一特征层进行上采样、特征加权直连和卷积操作得到裂缝图像。

在步骤S1012中，将第一特征层经过多个上采样层，多个卷积层进行交替上采样、卷积操作。可选的，在至少一次上采样操作和卷积操作之间进一步包括特征加权直连操作。

具体的，编码步骤包括n次池化操作，解码步骤包括n次上采样操作，n为大于1的整数；第i次上采样操作之后的特征加权直连操作包括：对第i-1个解码特征层进行全局平均池化得到加权因子，第i-1个解码特征层为第i次上采样操作的目标。若i＝1，则第i-1个解码特征层为第一特征层。将加权因子与第n-i个编码特征层相乘得到第n-i个加权编码特征层，第n-i个编码特征层为编码步骤中第n-i次池化操作输出的编码特征层；将第i个预解码特征层与第n-i个加权编码特征层串行连接，第i个预解码特征层为第i次上采样操作的结果。

请一并参阅图4，图4是本发明第一实施例中卷积神经网络的结构示意图。如图4所示，该卷积神经网络结构主要包括编码和解码两个部分，其中，编码部分包括一系列的卷积(conv)，池化(pool)交替操作，在低分辨率的特征层中还包括空洞卷积(atr_conv)操作以提升图像的分割结果，提高分割精度，最终输出第一特征层；解码部分包括一系列的上采样(upsample)、卷积交替操作，其中该卷积操作与编码部分的卷积操作相对应，上采样操作对应于编码部分的池化操作；每次池化操作后输出的特征层尺寸缩小为原来的一半，而每次上采样操作后输出的特征层尺寸放大为原来的一倍，因此经过相同数量的池化和上采样操作后最终输出的特征层尺寸与原始图像尺寸相同。在至少一个上采样操作与卷积操作之间进一步还包括特征加权直连操作，该特征加权直连操作主要连接编码和解码对应的特征层，如第1个特征加权直连操作连接第1个编码特征层和第2个预解码特征层，第1个编码特征层即为编码过程中第1次池化操作输出的特征层，第2个解码特征层即为解码过程中第2次上采样操作的结果；在编码过程中，每个阶段的特征层都将保留，通过特征加权直连操作作为解码过程中各阶段的特征部分之一；该特征加权直连操作可以充分考虑特征层在低层编码阶段精细的细节、位置信息和解码阶段丰富的高层特征信息，通过全局平均池化将高层特征信息转换为低层的细节、位置信息的通道权重，突出低层特征层的不同通道对于高层类别信息的贡献，进一步保证高层类别信息的准确性，有效提升裂缝的分割精度。

举例来说，当使用图4中所示的卷积神经网络对目标图片进行裂缝分割时，目标图片经过的整个编码过程为：input-conv1-conv1-pool1-conv2-conv2-pool2-conv3-conv3-pool3-conv4-co nv4-atr_conv4-atr_conv4-atr_conv4-atr_conv4，即目标图片一共经过了8个3x3卷积层、3个2x2的最大池化层和4个空洞卷积层(膨胀系数分别为2、2、4、4)后输出第一特征层，该第一特征层的尺寸为目标图片原始尺寸的八分之一；然后，该第一特征层经过的整个解码过程为：upsample1-concatenate-conv5-conv5-upsample2-concatenate-conv6-conv6-upsample3-conv7-conv7-output，即该第一特征层一共经过了3个上采样层、6个卷积层、以及2次特征加权直连后输出裂缝图像，该裂缝图像的尺寸与目标图片原始尺寸相同。

图4所示的卷积神经网络结构中，编码部分包括3次池化操作，解码步骤包括3次上采样操作，承接上述举例，第2(i＝2)次上采样操作之后的特征加权直连操作主要连接第1个编码特征层和第2个预解码特征层，具体包括：对第1个解码特征层进行全局平均池化得到加权因子；将该加权因子与第1个编码特征层相乘得到第1个加权编码特征层；将第2个预解码特征层与第1个加权编码特征层串行连接(contatenate)之后，经过两次卷积操作之后得到第2个编码特征层，第2个解码特征层即为第3次上采样操作的目标，重复上述操作，直至最终输出裂缝图像。

图5是本发明第二实施例的裂缝参数自动提取方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图5所示的流程顺序为限。如图5所示，该方法包括步骤：

步骤S201：利用目标图片中的标定图案矫正目标图片获得矫正目标图片。

在步骤S201中，拍摄设备拍摄包含裂缝和标定图案的目标图片，可选地，拍摄设备包括移动机器人和无人机等载具、以及搭载在这些载具上的传感器设备，如单目相机等；其中，该标定图案为带有多个角点特征的图案。

如图6所示，该步骤S201的至少包括以下子步骤：

子步骤S2021：计算出标定图案的单应性矩阵。

在本实施例中，图6中的步骤S2021和图2中的步骤S1021类似，为简约起见，在此不再赘述。

子步骤S2022：将单应性矩阵作用于目标图片，矫正目标图片的变形。

将计算出的标定图案的单应性矩阵作用于目标图片整体，矫正目标图片整体的变形。未变形的标定图案的角点可以为根据预存的标定图案的参数生成的指定方向的模拟标定图案图片中的角点。

可选的，该标定图案为棋盘格标定板，该棋盘格标定板由阵列分布的多个大小相等的正方形棋盘格组成，相邻两正方形棋盘格颜色不同，如，第一棋盘格为黑色，与该第一棋盘格相邻的第二棋盘格则为白色。每个正方形棋盘格的尺寸和棋盘格标定板的尺寸已知，例如，每个正方形棋盘格的长宽均为1cm，该标定板长度方向设有五个棋盘格，该标定板宽度方向设有四个棋盘格，即棋盘格标定板的整体长度为5cm，整体宽度为4cm。

具体的，通过角点检测算法提取出目标图片中的角点，这些角点包括棋盘格标定板的角点，然后采用未变形的棋盘格标定板的角点与目标图片的角点进行匹配，未变形的棋盘格标定板的角点为根据预存的棋盘格标定板的参数生成的指定方向的模拟标定板图片中的角点。利用匹配成功的角点计算出单应性矩阵，最后将单应性矩阵作用于整个目标图片，矫正整个目标图片的畸变。

步骤S202：基于卷积神经网络分割提取矫正目标图片中的矫正裂缝图像。

在步骤S202中，基于卷积神经网络，采用深度学习方法进行精确的裂缝形态检测及参数提取，运用卷积神经网络提取图像中的裂缝区域，结合一定的后处理方法，提取出裂缝对象。

具体的，在本发明中，矫正目标图片中的裂缝图像分割提取包括对目标图片进行编码、解密等步骤，从而获得矫正裂缝图像，详后述。

步骤S203：通过目标图片中的标定图案得到的矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取该矫正裂缝图像在真实世界坐标下的裂缝尺寸参数。

在本实施例中，图5中的步骤S203和图1中的步骤S103类似，为简约起见，在此不再赘述。

实施本发明的裂缝参数自动提取方法，通过利用目标图片中的标定图案对目标图片进行矫正，可矫正目标图片在拍摄过程中产生的畸变，基于卷积神经网络的深度学习、分割提取矫正目标图片中的矫正裂缝图像。之后通过标定图案获得矫正裂缝图像中每个像素对应真实世界坐标下的尺度因子，并根据该尺度因子计算矫正裂缝图像在真实世界坐标下的裂缝尺寸参数，即可对裂缝尺寸参数进行精确的自动提取。通过采用基于卷积神经网络的深度学习方式提取裂缝图像，能够在复杂环境下有效分割裂缝像素，提取裂缝真实参数信息。在提取裂缝图像及矫正后，再根据裂缝像素数据及尺度因子计算真实世界坐标下的裂缝参数数据，从而实现裂缝参数数据的准确自动提取。

图7是本发明第二实施例中的基于卷积神经网络分割提取矫正目标图片中的矫正裂缝图像方法的流程示意图。如图7所示，该方法包括步骤：

步骤S2021，编码步骤：对矫正目标图片进行卷积和池化操作，输出第一特征层。

在步骤S2021中，将矫正目标图片经过多个卷积层、多个最大池化层进行交替卷积、池化操作。进一步的，将经过交替卷积、池化操作的目标图片经过多个空洞卷积层进行空洞卷积操作。

步骤S2022，解码步骤：对第一特征层进行上采样、特征加权直连和卷积操作得到矫正裂缝图像。

在步骤S2022中，将第一特征层经过多个上采样层，多个卷积层进行交替上采样、卷积操作。可选的，在至少一次上采样操作和卷积操作之间进一步包括特征加权直连操作。

具体的，编码步骤包括n次池化操作，解码步骤包括n次上采样操作，n为大于1的整数；第i次上采样操作之后的特征加权直连操作包括：对第i-1个解码特征层进行全局平均池化得到加权因子，第i-1个解码特征层为第i次上采样操作的目标。若i＝1，则第i-1个解码特征层为第一特征层。将加权因子与第n-i个编码特征层相乘得到第n-i个加权编码特征层，第n-i个编码特征层为编码步骤中第n-i次池化操作输出的编码特征层；将第i个预解码特征层与第n-i个加权编码特征层串行连接，第i个预解码特征层为第i次上采样操作的结果。

本实施例中卷积神经网络结构与图4中的卷积神经网络结构类似，为简约起见，在此不再赘述。

图8是本发明实施例的裂缝参数自动提取装置的第一结构示意图，如图8所示，该提取装置30包括图像处理模块31和计算模块32。

图像处理模块31用于基于卷积神经网络分割提取目标图片中的裂缝图像、并利用目标图片中的标定图案矫正裂缝图像获得矫正裂缝图像，或，利用目标图片中的标定图案矫正目标图片获得矫正目标图片、并基于卷积神经网络分割提取矫正目标图片中的矫正裂缝图像。

计算模块32用于通过目标图片中的标定图案得到的矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取矫正裂缝图像在真实世界坐标下的裂缝尺寸参数。

可选的，该图像处理模块31包括第一计算单元、图像矫正单元、角点检测单元、角点匹配单元。

第一计算单元用于计算出标定图案的单应性矩阵。

图像矫正单元用于将单应性矩阵作用于裂缝图像或目标图片，矫正该裂缝图像或该目标图片的变形。

角点检测单元用于通过角点检测算法提取出该目标图片中棋盘格标定板的角点。

角点匹配单元用于采用未变形的棋盘格标定板的角点与目标图片的角点进行匹配。

该第一计算单元还用于利用匹配成功的角点计算出所述单应性矩阵。

该图像矫正单元还用于将该单应性矩阵作用于目标图片中的棋盘格标定板，以得到矫正后的棋盘格标定板。

该计算模块32还用于计算棋盘格标定板相邻两角点的角点距离，比较真实世界坐标下相邻两角点的实际距离与角点距离以得到每个像素对应真实世界的尺度因子。

可选的，该图像处理模块31包括编码单元、解码单元。

该编码单元用于对目标图片或矫正目标图片进行卷积和池化操作，输出第一特征层。

该解码单元用于对第一特征层进行上采样、特征加权直连和卷积操作得到该裂缝图像或矫正裂缝图像。

请参阅图9，图9为本发明实施例的裂缝参数自动提取装置的第二结构示意图。如图9所示，该裂缝参数自动提取装置40包括处理器41及和处理器41耦接的存储器42。

存储器42存储有用于实现上述任一实施例所述的裂缝参数自动提取方法的程序指令。

处理器41用于执行存储器42存储的程序指令以获取裂缝参数数据。

其中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器41、数字信号处理器41(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器41可以是微处理器41或者该处理器41也可以是任何常规的处理器41等。

参阅图10，图10为本发明实施例的存储装置的结构示意图。本发明实施例的存储装置存储有能够实现上述所有方法的程序文件51，其中，该程序文件51可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种裂缝参数自动提取方法，其特征在于，包括：

基于卷积神经网络分割提取目标图片中的裂缝图像、并利用所述目标图片中的标定图案矫正所述裂缝图像获得矫正裂缝图像，或，利用目标图片中的标定图案矫正所述目标图片获得矫正目标图片、并基于卷积神经网络分割提取所述矫正目标图片中的矫正裂缝图像；

通过所述目标图片中的标定图案得到的所述矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取所述矫正裂缝图像在真实世界坐标下的裂缝尺寸参数；

其中，所述基于卷积神经网络分割提取目标图片中的裂缝图像、或基于卷积神经网络分割提取所述矫正目标图片中的裂缝图像包括：编码步骤：对所述目标图片或所述矫正目标图片进行卷积和池化操作，输出第一特征层；解码步骤：对所述第一特征层进行上采样、特征加权直连和卷积操作得到所述裂缝图像或矫正裂缝图像

所述编码步骤包括：将所述目标图片或所述矫正目标图片经过多个卷积层、多个最大池化层进行交替卷积、池化操作；

所述解码步骤包括：将所述第一特征层经过多个上采样层、多个卷积层进行交替上采样、卷积操作，其中至少一次所述上采样操作和所述卷积操作之间进一步包括所述特征加权直连操作；

所述编码步骤包括n次所述池化操作，所述解码步骤包括n次上采样操作，n为大于1的整数；

第i次所述上采样操作之后的所述特征加权直连操作包括：对第i-1个解码特征层进行全局平均池化得到加权因子，所述第i-1个解码特征层为第i次所述上采样操作的目标；将所述加权因子与第n-i个编码特征层相乘得到第n-i个加权编码特征层，所述第n-i个编码特征层为所述编码步骤中第n-i次所述池化操作输出的编码特征层；将第i个预解码特征层与所述第n-i个加权编码特征层串行连接，所述第i个预解码特征层为第i次所述上采样操作的结果。

2.根据权利要求1所述的方法，其特征在于，所述利用所述目标图片中的标定图案矫正所述裂缝图像获得矫正裂缝图像、或利用所述目标图片中的标定图案矫正所述目标图片获得矫正目标图片包括：

计算出所述标定图案的单应性矩阵；

将单应性矩阵作用于所述裂缝图像或所述目标图片，矫正所述裂缝图像或所述目标图片的变形。

3.根据权利要求2所述的方法，其特征在于，

所述标定图案是棋盘格标定板；

所述计算出所述标定图案的单应性矩阵包括：

通过角点检测算法提取出所述目标图片中所述棋盘格标定板的角点；

采用未变形的所述棋盘格标定板的角点与所述目标图片的角点进行匹配；

利用匹配成功的角点计算出所述单应性矩阵。

4.根据权利要求3所述的方法，其特征在于，所述真实世界尺度的尺度因子通过至少以下步骤得到：

将所述单应性矩阵作用于所述目标图片中的所述棋盘格标定板，以得到矫正后的所述棋盘格标定板；

计算所述棋盘格标定板相邻两角点的角点距离；

比较真实世界坐标系下相邻两角点的实际距离与所述角点距离以得到每个像素对应真实世界的尺度因子。

5.根据权利要求3所述的方法，其特征在于，

所述未变形的所述棋盘格标定板的角点为根据预存的所述棋盘格标定板的参数生成的指定方向的模拟标定板图片中的角点。

6.根据权利要求1所述的方法，其特征在于，所述编码步骤进一步包括：

将经过所述交替卷积、池化操作的所述目标图片或所述矫正目标图片经过多个空洞卷积层进行空洞卷积操作。

7.根据权利要求1所述的方法，其特征在于，

所述通过所述目标图片中的标定图案得到的所述矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取所述矫正裂缝图像在真实世界坐标下的裂缝尺寸参数包括：

计算所述矫正裂缝图像中裂缝的像素长度、以及裂缝区域所占的像素面积；

根据所述像素长度、所述像素面积及所述尺度因子计算所述真实世界坐标下的裂缝长度、裂缝面积和裂缝平均宽度。

8.根据权利要求7所述的方法，其特征在于，

所述计算所述矫正裂缝图像中裂缝的像素长度包括：

利用形态学处理对所述矫正裂缝图像进行细化；

统计细化后的所述矫正裂缝图像中裂缝长度像素数量；

基于所述裂缝长度像素数量计算所述裂缝的像素长度。

9.一种裂缝参数自动提取装置，其特征在于，所述提取装置包括：

图像处理模块，用于基于卷积神经网络分割提取目标图片中的裂缝图像、并利用所述目标图片中的标定图案矫正所述裂缝图像获得矫正裂缝图像，或，利用目标图片中的标定图案矫正所述目标图片获得矫正目标图片、并基于卷积神经网络分割提取所述矫正目标图片中的矫正裂缝图像；

计算模块，用于通过所述目标图片中的标定图案得到的所述矫正裂缝图像每个像素对应真实世界坐标下的尺度因子获取所述矫正裂缝图像在真实世界坐标下的裂缝尺寸参数；

其中，所述基于卷积神经网络分割提取目标图片中的裂缝图像、或基于卷积神经网络分割提取所述矫正目标图片中的裂缝图像包括：编码步骤：对所述目标图片或所述矫正目标图片进行卷积和池化操作，输出第一特征层；解码步骤：对所述第一特征层进行上采样、特征加权直连和卷积操作得到所述裂缝图像或矫正裂缝图像

所述编码步骤包括：将所述目标图片或所述矫正目标图片经过多个卷积层、多个最大池化层进行交替卷积、池化操作；

所述解码步骤包括：将所述第一特征层经过多个上采样层、多个卷积层进行交替上采样、卷积操作，其中至少一次所述上采样操作和所述卷积操作之间进一步包括所述特征加权直连操作；

所述编码步骤包括n次所述池化操作，所述解码步骤包括n次上采样操作，n为大于1的整数；

第i次所述上采样操作之后的所述特征加权直连操作包括：对第i-1个解码特征层进行全局平均池化得到加权因子，所述第i-1个解码特征层为第i次所述上采样操作的目标；将所述加权因子与第n-i个编码特征层相乘得到第n-i个加权编码特征层，所述第n-i个编码特征层为所述编码步骤中第n-i次所述池化操作输出的编码特征层；将第i个预解码特征层与所述第n-i个加权编码特征层串行连接，所述第i个预解码特征层为第i次所述上采样操作的结果。

10.一种裂缝参数自动提取装置，其特征在于，所述提取装置包括处理器、与所述处理器耦接的存储器，其中，

所述存储器存储有用于实现如权利要求1-8中任一项所述的裂缝参数自动提取方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以获取裂缝参数数据。

11.一种存储装置，其特征在于，所述存储装置内存储有能够实现如权利要求1-8中任一项所述的裂缝参数自动提取方法的程序文件。

Images