CN111008956A - 基于图像处理的梁底裂纹检测方法、系统、装置及介质 - Google Patents

Abstract

本发明涉及一种基于图像处理的梁底裂纹检测方法、系统、装置和介质，方法包括获取桥梁底面的多个原始裂纹图像，并对所有原始裂纹图像进行预处理，得到多个处理裂纹图像；从所有处理裂纹图像中获取多个待拼接裂纹图像，基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，得到待检测裂纹图像；获取预设的神经网络裂纹检测模型，并利用所述神经网络裂纹检测模型对所述待检测裂纹图像进行检测，得到目标裂纹图像；对所述目标裂纹图像进行分析，得到裂纹检测数据。本发明能避免图像拍摄距离对梁底裂纹识别和检测的影响，提高裂纹检测精度，能够避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测。

Description

基于图像处理的梁底裂纹检测方法、系统、装置及介质

技术领域

本发明涉及桥梁安全监控技术领域，尤其涉及一种基于图像处理的梁底裂纹检测方法、系统、装置和介质。

背景技术

桥梁在使用过程中，由于振动、自然天气、外力等原因会在桥梁水泥主体上产生裂纹。对桥梁裂纹的定期检查，有助于了解桥梁的运行状态，提高桥梁的安全性。由于大型桥梁桥面较宽，桥梁下方可能是河、绿化带以及公路，而桥梁底面出现的裂纹初期，通常是细小的裂纹，不容易被轻易检测到，一旦形成大的裂纹，已经错过了桥梁修补的最佳时期。大型桥梁底面的检测，一直是桥梁裂缝检测的难点。

目前对桥梁底面裂纹进行安全监测的方法有：利用图像处理技术，在不同载荷的作用下，进行桥梁裂缝变形量的精确检测；利用图像分析技术进行混凝土裂缝的量化研究，通过设计图像处理软件进行开裂面积的推算；通过视觉成像的方式，进行混凝土桥梁图像的采集，利用脊波变换的多尺度分析方法对采集到的图像进行去噪处理，然后，利用自适应阈值，并结合形态学的方法对裂缝进行识别和提取，准确找到裂缝的位置。上述方法都采用图像处理方法进行桥梁裂纹的监测，基于图像处理技术的桥梁裂缝检测技术具有再现性好、处理精度高、适用面宽、灵活性高等显著的优点，利用图像处理技术进行裂缝的检测比单纯的依靠人工进行检测有着显著的优越性。

然而，上述方法也有如下问题存在：由于不同的拍摄距离对裂缝的识别精度的影响很大，距离越远，裂缝的识别精度就越低，因此上述方法无法避免拍摄距离对裂纹识别和检测的影响，导致裂纹检测精度不高；另外，由于受到图像的分辨率的影响，对裂纹长度小于2mm的短裂纹来说，它将会被当作图像噪声而被过滤掉，因此上述方法无法较好地检测出梁底的微小裂纹，不适用于检测微小裂纹。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于图像处理的梁底裂纹检测方法、系统、装置和介质，能够避免图像拍摄距离对梁底裂纹识别和检测的影响，提高裂纹检测精度，能够避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测。

本发明解决上述技术问题的技术方案如下：

一种基于图像处理的梁底裂纹检测方法，包括以下步骤：

步骤1：获取桥梁底面的多个原始裂纹图像，并对所有原始裂纹图像进行预处理，得到多个处理裂纹图像；

步骤2：从所有处理裂纹图像中获取多个待拼接裂纹图像，基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，得到待检测裂纹图像；

步骤3：获取预设的神经网络裂纹检测模型，并利用所述神经网络裂纹检测模型对所述待检测裂纹图像进行检测，得到目标裂纹图像；

步骤4：对所述目标裂纹图像进行分析，得到裂纹检测数据。

本发明的有益效果是：通过获取多个原始裂纹图像，并对所有原始裂纹图像进行预处理，方便后续的图像拼接过程，从而便于获得待检测裂纹图像，由于原始裂纹图像对拍摄距离和拍摄角度无要求，因此能够避免图像拍摄距离对梁底裂纹识别和检测的影响；在图像拼接过程中，通过基于SURF(Speeded Up Robust Feature，加速稳健特征)图像处理方法，将所有待拼接裂纹图像进行拼接，能够将不同拍摄距离和/或不同拍摄角度的处理裂纹图像拼接在一起，便于获取质量较高且拼接效果较好的待检测裂纹图像，拼接效率高，能便于后续根据预设的神经网络裂纹检测对待检测裂纹图像进行检测和对检测到的目标裂纹图像进行分析，进而提高裂纹检测精度和检测效率，并有效避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测，鲁棒性强，普适性高，大幅度降低了裂纹检测成本，有效保障了桥梁维修工人的安全，并有效提升了维修工作效率。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步：所述步骤1具体包括：

步骤1.1：利用无人机遥感在多个拍摄角度和/或多个拍摄距离拍摄所述桥梁底面的裂纹，得到多个原始裂纹图像；

步骤1.2：按照预设标准尺寸，将每个原始裂纹图像的图像尺寸分别进行标准化处理，得到每个原始裂纹图像一一对应的中间裂纹图像；

步骤1.3：按照预设筛选标准，对所有中间裂纹图像进行筛选，得到多个处理裂纹图像。

进一步：所述步骤2具体包括：

步骤2.0：从所有处理裂纹图像中获取多个待拼接裂纹图像；步骤2.1：从所有待拼接裂纹图像中选取任一个待拼接裂纹图像，基于SURF图像处理方法，对选取的一个待拼接裂纹图像构建黑塞矩阵，并根据所述黑塞矩阵得到选取的一个待拼接裂纹图像中的兴趣点集合；

步骤2.2：对选取的一个待拼接裂纹图像构建尺度空间，并利用所述尺度空间对所述兴趣点集合进行定位，得到选取的一个待拼接裂纹图像的关键点集合；

步骤2.3：对选取的一个待拼接裂纹图像的所述关键点集合进行过滤，得到选取的一个待拼接裂纹图像的特征点集合；

步骤2.4：计算所述特征点集合中每个特征点在圆形邻域内一一对应的Harr小波特征，根据每个Harr小波特征确定选取的一个待拼接裂纹图像中每个特征点一一对应的特征点主方向；

步骤2.5：根据选取的一个待拼接裂纹图像的特征点集合和所有特征点的特征点主方向，生成选取的一个待拼接裂纹图像的特征描述子；

步骤2.6：遍历所有待拼接裂纹图像中的每个待拼接裂纹图像，按照所述步骤2.1至所述步骤2.5的方法，得到每个待拼接裂纹图像一一对应的特征描述子；

步骤2.7：从所有待拼接裂纹图像中选取任意两个待拼接裂纹图像，根据选取的两个待拼接裂纹图像的特征描述子，获取选取的两个待拼接裂纹图像之间的匹配点集；并利用FindHomography函数，根据选取的两个待拼接裂纹图像之间的匹配点集，计算得到选取的两个待拼接裂纹图像之间的变换矩阵；

步骤2.8：根据选取的两个待拼接裂纹图像之间的变换矩阵，对选取的两个待拼接图像进行拼接，得到选取的两个待拼接裂纹图像所对应的已拼接裂纹图像；

步骤2.9：遍历所有待拼接裂纹图像中每两个待拼接裂纹图像，按照所述步骤2.7至所述步骤2.8的方法，得到每两个待拼接裂纹图像所对应的已拼接裂纹图像，并根据所有已拼接裂纹图像得到所述待检测裂纹图像。

进一步：在所述步骤3中，获取预设的所述神经网络裂纹检测模型的具体步骤包括：

步骤3.1：获取数据集，按照预设划分比例将所述数据集划分训练集、测试集和验证集；

步骤3.2：构建特征金字塔网络训练模型，利用所述训练集对所述特征金字塔网络训练模型进行训练，并利用所述验证集对所述特征金字塔网络训练模型进行参数调优，得到所述神经网络裂纹检测模型。

进一步：在所述步骤3.2之后还包括以下步骤：

步骤3.3：按照预设的评估指标，利用所述测试集对所述神经网络裂纹检测模型进行评估，若评估通过，则利用所述神经网络裂纹检测模型对所述待检测裂纹图像进行检测，若评估不通过，则返回所述步骤3.2；

其中，所述评估指标包括所述神经网络裂纹检测模型的交叉熵损失，以及所述测试集的平均交联、第一准确率指标和第二准确率指标；

计算所述交叉熵损失的具体公式为：

Loss(W,w,h)＝argmin[λ_side(W,w)+λ_fuse(W,w,h)]；

其中，Loss(W,w,h)为所述神经网络裂纹检测模型的所述交叉熵损失的函数，W为所述神经网络裂纹检测模型的网络参数，w为所述神经网络裂纹检测模型中的边网权重，h为所述神经网络裂纹检测模型中的融合权重，λ_fuse(W,w,h)为融合层的损失函数，λ_side(W,w)为边网的损失函数，arg(·)为自变量函数；

计算所述测试集中第i个测试图像的交联的具体公式为：

则计算所述测试集的所述平均交联的具体公式为：

其中，AIU_i为所述测试集中第i个测试图像的交联，AIU为所述测试集的平均交联，m为所述测试集中的测试图像的总数，t为像素阈值，t_j为像素阈值所划分的第j个像素阈值，N_t为像素阈值所划分的阈值个数，对于第j个像素阈值t_j，

和

分别为在该像素阈值t_j下，所述测试集中第i个测试图像的预测结果中所包含的像素数和真实结果中所包含的像素数，

为在该像素阈值t_j下，所述测试集中第i个测试图像的预测结果与真实结果之间重叠的像素数；

计算所述测试集在像素阈值t_j下的最优准确率的具体公式为：

其中，

为所述测试集中所有测试图像在像素阈值t_j下的最优准确率，

和

分别为所述测试集中第i个测试图像在像素阈值t_j下的准确率、查准率和查全率；

则计算所述测试集的所述第一准确率指标的具体公式为：

其中，ODS为所述测试集在所有像素阈值下的所述第一准确率指标；

则计算所述测试集的所述第二准确率指标的具体公式为：

其中，t_p为根据所述第一准确率指标ODS得到的最优像素阈值，OIS为所述测试集在所述最优像素阈值下的第二准确率指标，

和

为所述测试集中所有图像在所述最优像素阈值t_p下的最优准确率均值、查准率均值和查全率均值。

进一步：在所述步骤3中，得到所述目标裂纹图像的具体步骤包括：

步骤3.4：根据所述最优像素阈值将所述待检测裂纹图像中的每个像素进行二分类，得到每个像素一一对应的像素分类结果；

其中，所述像素分类结果包括一类像素和二类像素，在所述待检测裂纹图像中，符合所述最优像素阈值的像素对应的所述像素分类结果为一类像素，不符合所述最优像素阈值的像素的所述像素分类结果为二类像素；

步骤3.5：将所述待检测裂纹图像中所有一类像素的像素值赋值为255，将所述待检测裂纹图像中所有二类像素的像素值赋值为0，根据所述待检测裂纹图像中所有像素的像素值赋值结果得到所述目标裂纹图像。

进一步：所述裂纹检测数据包括实际梁底裂纹对应的实际裂纹长度和实际裂纹宽度；

所述步骤4具体包括：

步骤4.1：获取所述目标裂纹图像中像素值赋值为0的所有二类像素的第一像素总数，将所述第一像素总数确定为所述目标裂纹图像中目标裂纹对应的裂纹图像面积；

步骤4.2：对所述目标裂纹图像进行细化处理，得到细化目标裂纹图像；

步骤4.3：获取所述细化目标裂纹图像中像素值赋值为0的所有二类像素的第二像素总数，将所述第二像素总数确定为所述目标裂纹图像中所述目标裂纹对应的裂纹图像长度；

步骤4.4：根据所述裂纹图像面积和所述裂纹图像长度，计算得到所述目标裂纹图像中所述目标裂纹对应的裂纹图像宽度；

计算所述裂纹图像宽度的具体公式为：

其中，CW为所述裂纹图像宽度，A为所述裂纹图像面积，CL为所述裂纹图像长度；

步骤4.5：获取参照物图像和实际参照物之间的尺寸比例，根据所述尺寸比例和所述裂纹图像长度，计算得到所述实际梁底裂纹对应的所述实际裂纹长度，根据所述尺寸比例和所述裂纹图像宽度，计算得到所述实际梁底裂纹对应的所述实际裂纹宽度。

依据本发明的另一方面，提供了一种基于图像处理的梁底裂纹检测系统，包括图像获取模块、图像预处理模块、图像拼接模块、图像检测模块和图像分析模块；

所述图像获取模块，用于获取桥梁底面的多个原始裂纹图像；

所述图像预处理模块，用于对所有原始裂纹图像进行预处理，得到多个处理裂纹图像；

所述图像拼接模块，用于从所有处理裂纹图像中获取多个待拼接裂纹图像，基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，得到待检测裂纹图像；

所述图像检测模块，用于获取预设的神经网络裂纹检测模型，并利用所述神经网络裂纹检测模型对所述待检测裂纹图像进行检测，得到目标裂纹图像；

所述图像分析模块，用于对所述目标裂纹图像进行分析，得到裂纹检测数据。

本发明的有益效果是：通过图像获取模块获取多个原始裂纹图像，并通过图像预处理模块对所有原始裂纹图像进行预处理，方便后续的图像拼接过程，从而便于获得待检测裂纹图像，由于原始裂纹图像对拍摄距离和拍摄角度无要求，因此能够避免图像拍摄距离对梁底裂纹识别和检测的影响；在图像拼接过程中，通过图像拼接模块基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，能够将不同拍摄距离和/或不同拍摄角度的处理裂纹图像拼接在一起，便于获取质量较高且拼接效果较好的待检测裂纹图像，拼接效率高，能便于后续通过图像检测模块根据预设的神经网络裂纹检测对待检测裂纹图像进行检测，并通过图像分析模块对检测得到的目标裂纹图像进行分析，进而提高裂纹检测精度和检测效率，并有效避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测，鲁棒性强，普适性高，大幅度降低了裂纹检测成本，有效保障了桥梁维修工人的安全，并有效提升了维修工作效率。

依据本发明的另一方面，提供了一种基于图像处理的梁底裂纹检测装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现本发明的一种基于图像处理的梁底裂纹检测方法中的步骤。

本发明的有益效果是：通过存储在存储器上的计算机程序，并运行在处理器上，实现本发明的梁底裂纹的检测，基于图像处理，提高了裂纹检测精度和检测效率，并有效避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测，鲁棒性强，普适性高，大幅度降低了裂纹检测成本，有效保障了桥梁维修工人的安全，并有效提升了维修工作效率。

依据本发明的另一方面，提供了一种计算机存储介质，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现本发明的一种基于图像处理的梁底裂纹检测方法中的步骤。

本发明的有益效果是：通过执行包含至少一个指令的计算机存储介质，实现本发明的梁底裂纹的检测，基于图像处理，提高了裂纹检测精度和检测效率，并有效避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测，鲁棒性强，普适性高，大幅度降低了裂纹检测成本，有效保障了桥梁维修工人的安全，并有效提升了维修工作效率。

附图说明

图1为本发明实施例一中一种基于图像处理的梁底裂纹检测方法的流程示意图；

图2为本发明实施例一中得到多个处理裂纹图像的流程示意图；

图3为本发明实施例一中得到待检测裂纹图像的流程示意图；

图4-1和图4-2为本发明实施例一中两个待拼接裂纹图像的示意图；

图5为本发明实施例一中两个待拼接裂纹图像拼接后的效果示意图；

图6为本发明实施例一中得到的待检测裂纹图像的结果示意图；

图7为本发明实施例一中得到神经网络裂纹检测模型和得到目标裂纹图像的流程示意图；

图8为本发明实施例一中神经网络裂纹检测模型的训练模型图；

图9为本发明实施例一中得到裂纹检测数据的流程示意图；

图10为本发明实施例一中得到的细化目标裂纹图像的结果示意图；

图11为本发明实施例一中得到的裂纹检测数据的结果示意图；

图12为本发明实施例二中一种基于图像处理的梁底裂纹检测系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

下面结合附图，对本发明进行说明。

实施例一、如图1所示，一种基于图像处理的梁底裂纹检测方法，包括以下步骤：

S1：获取桥梁底面的多个原始裂纹图像，并对所有原始裂纹图像进行预处理，得到多个处理裂纹图像；

S2：从所有处理裂纹图像中获取多个待拼接裂纹图像，基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，得到待检测裂纹图像；

S3：获取预设的神经网络裂纹检测模型，并利用所述神经网络裂纹检测模型对所述待检测裂纹图像进行检测，得到目标裂纹图像；

S4：对所述目标裂纹图像进行分析，得到裂纹检测数据。

通过获取多个原始裂纹图像，并对所有原始裂纹图像进行预处理，方便后续的图像拼接过程，从而便于获得待检测裂纹图像，由于原始裂纹图像对拍摄距离和拍摄角度无要求，因此能够避免图像拍摄距离对梁底裂纹识别和检测的影响；在图像拼接过程中，通过基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，能够将不同拍摄距离和/或不同拍摄角度的处理裂纹图像拼接在一起，便于获取质量较高且拼接效果较好的待检测裂纹图像，拼接效率高，能便于后续根据预设的神经网络裂纹检测对待检测裂纹图像进行检测和对检测到的目标裂纹图像进行分析，进而提高裂纹检测精度和检测效率，并有效避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测，鲁棒性强，普适性高，大幅度降低了裂纹检测成本，有效保障了桥梁维修工人的安全，并有效提升了维修工作效率。

优选地，如图2所示，S1的具体步骤包括：

S1.1：利用无人机遥感在多个拍摄角度和/或多个拍摄距离拍摄所述桥梁底面的裂纹，得到多个原始裂纹图像；

S1.2：按照预设标准尺寸，将每个原始裂纹图像的图像尺寸分别进行标准化处理，得到每个原始裂纹图像一一对应的中间裂纹图像；

S1.3：按照预设筛选标准，对所有中间裂纹图像进行筛选，得到多个处理裂纹图像。

通过无人机遥感拍摄的桥梁地面的裂纹，能获取大量的原始裂纹图像，对拍摄角度和拍摄距离无要求，与传统的通过拍摄照片获得图像的方式相比，能在短时间内获得大量原始裂纹图像，省时省力，方便后续的图像预处理和图像拼接，并能克服图像拍摄距离对梁底裂纹识别和检测的影响；通过标准化处理，将所有原始裂纹图像中的同一个物体点统一到一个标准下，便于后续的图像拼接过程，通过所有中间裂纹图像的筛选，将拍摄质量较差的或明显不包含裂纹的图像筛除掉，进一步便于后续的图像拼接过程，从而便于有效提高裂纹的检测精度和检测效率。

优选地，如图3所示，S2的具体步骤包括：

S2.0：从所有处理裂纹图像中获取多个待拼接裂纹图像；

S2.1：从所有待拼接裂纹图像中选取任一个待拼接裂纹图像，基于SURF图像处理方法，对选取的一个待拼接裂纹图像构建黑塞矩阵，并根据所述黑塞矩阵得到选取的一个待拼接裂纹图像中的兴趣点集合；

S2.2：对选取的一个待拼接裂纹图像构建尺度空间，并利用所述尺度空间对所述兴趣点集合进行定位，得到选取的一个待拼接裂纹图像的关键点集合；

S2.3：对选取的一个待拼接裂纹图像的所述关键点集合进行过滤，得到选取的一个待拼接裂纹图像的特征点集合；

S2.4：计算所述特征点集合中每个特征点在圆形邻域内一一对应的Harr小波特征，根据每个Harr小波特征确定选取的一个待拼接裂纹图像中每个特征点一一对应的特征点主方向；

S2.5：根据选取的一个待拼接裂纹图像的特征点集合和所有特征点的特征点主方向，生成选取的一个待拼接裂纹图像的特征描述子；

S2.6：遍历所有待拼接裂纹图像中的每个待拼接裂纹图像，按照S2.1至S2.5的方法，得到每个待拼接裂纹图像一一对应的特征描述子；

S2.7：从所有待拼接裂纹图像中选取任意两个待拼接裂纹图像，根据选取的两个待拼接裂纹图像的特征描述子，获取选取的两个待拼接裂纹图像之间的匹配点集；并利用FindHomography函数，根据选取的两个待拼接裂纹图像之间的匹配点集，计算得到选取的两个待拼接裂纹图像之间的变换矩阵；

S2.8：根据选取的两个待拼接裂纹图像之间的变换矩阵，对选取的两个待拼接图像进行拼接，得到选取的两个待拼接裂纹图像所对应的已拼接裂纹图像；

S2.9：遍历所有待拼接裂纹图像中每两个待拼接裂纹图像，按照S2.7至S2.8的方法，得到每两个待拼接裂纹图像所对应的已拼接裂纹图像，并根据所有已拼接裂纹图像得到所述待检测裂纹图像。

在不同角度和/或不同距离拍摄的桥梁裂纹图片有可能大小都不同，让裂纹检测的精准度不好把控，因此按照S2.1至S2.6的方法，基于SURF图像处理方法的原理，引入了尺度不变特征的概念，即不仅在任何尺度下拍摄的物体都能检测到一致的关键点，而且每个被检测的特征点都对应一个尺度因子；本实施例中基于SURF图像处理方法，不仅引入了尺度不变特征，还具有较高的运行效率，可以获取能准确描述每个待拼接裂纹图像中的特征点的特征描述子，便于后续根据特征描述子来获取每两个待拼接裂纹图像之间的匹配点集，按照S2.7至S2.9的方法，根据该匹配点集获得对应的两个待拼接裂纹图像之间的变换矩阵，便于根据该变换矩阵实现对应的两个待拼接裂纹图像的拼接；按照上述的图像拼接处理方法，拼接效果好，便于根据得到的待检测裂纹图像进行检测，进而有效提高裂纹的检测精度和检测效率。

具体地，在本实施例中，在利用FindHomography函数，根据选取的两个待拼接裂纹图像之间的匹配点集，计算得到选取的两个待拼接裂纹图像之间的变换矩阵之后，对于该两个待拼接裂纹图像的交接处，两图由于光照色泽等原因使得两图交界处的过渡不平滑，因此在实际拼接过程中，通过加权融合的方法，在重叠部分由前一个待拼接裂纹图像慢慢过渡到第二个待拼接裂纹图像，即将两个待拼接裂纹图像的重叠区域的像素值按一定的权值相加合成新的图像；其中，具体的权值取值根据实际情况选择和调整。

具体地，在本实施例中，在S1.3中得到的多个处理裂纹图像中随机选取若干待拼接裂纹图像，其中的两个待拼接裂纹图像如图4-1和图4-2所示，按照S2.1至S2.8的方法，对这两个待拼接裂纹图像进行拼接，得到的已拼接裂纹图像的结果示意图如图5所示；按照同样的方法，对选取的所有待拼接裂纹图像进行拼接，得到的待检测裂纹图像的结果示意图如图6所示。

优选地，如图7所示，在S3中，获取预设的所述神经网络裂纹检测模型的具体步骤包括：

S3.1：获取数据集，按照预设划分比例将所述数据集划分训练集、测试集和验证集；

S3.2：构建特征金字塔网络训练模型，利用所述训练集对所述特征金字塔网络训练模型进行训练，并利用所述验证集对所述特征金字塔网络训练模型进行参数调优，得到所述神经网络裂纹检测模型。

通过上述预设的神经网络裂纹图像，方便后续直接根据该神经网络裂纹图像对待检测裂纹图像进行检测，检测效率高，检测得到的目标裂纹图像准确率高。

具体地，在本实施例中，为了训练好深度学习的裂缝模型，我们选用的数据集为500幅大小约为2000×1500像素的路面裂缝数据集，该数据集被命名为CRACK500，每个裂纹图像都有一个像素级的带注释的二进制图，数据集划分为包含250张训练图像的训练集、包含50张验证图像的验证集和包含200张测试图像的测试集；对应任一个训练图像或验证图像或测试图像，根据注释可以确定对应的裂纹的真实结果；构建自底向上的特征金字塔网络训练模型，对于任一个训练图像，将该训练图像输入该特征金字塔网络训练模型，以提取不同级别的特征，每个卷积极层对应于金字塔中的一个级别；在除第五级之外的每个级别上，都执行特征合并操作，以将较高级的特征映射逐层合并到较低级的特征映射中，以使上下文信息从较高的特征映射到较低的层次；在每个级别上，自顶向下的体系结构中的特征图都被馈送到大小为1×1的卷积滤波器以进行降维，而反卷积滤波器则将特征图的大小调整为输入图像的相同大小；然后将每个调整大小后的特征图引入到层次增强模块中，产生裂纹的预测结果图；其中，在该训练过程中，卷积滤波器、反卷积滤波器和每一级的损耗层都包含一个边网；最后，将所有五个调整大小后的特征图通过连接层融合在一起，然后是1×1卷积滤波器，生成最终的裂纹预测结果，具体的训练模型图如图8所示。

优选地，如图7所示，在S3.2之后还包括以下步骤：

S3.3：按照预设的评估指标，利用所述测试集对所述神经网络裂纹检测模型进行评估，若评估通过，则执行S3.4，若评估不通过，则返回S3.2；

其中，所述评估指标包括所述神经网络裂纹检测模型的交叉熵损失，以及所述测试集的平均交联、第一准确率指标和第二准确率指标；

计算所述交叉熵损失的具体公式为：

Loss(W,w,h)＝argmin[λ_side(W,w)+λ_fuse(W,w,h)]；

其中，Loss(W,w,h)为所述神经网络裂纹检测模型的所述交叉熵损失的函数，W为所述神经网络裂纹检测模型的网络参数，w为所述神经网络裂纹检测模型中的边网权重，h为所述神经网络裂纹检测模型中的融合权重，λ_fuse(W,w,h)为融合层的损失函数，λ_side(W,w)为边网的损失函数，arg(·)为自变量函数；

计算所述测试集中第i个测试图像的交联的具体公式为：

则计算所述测试集的所述平均交联的具体公式为：

其中，AIU_i为所述测试集中第i个测试图像的交联，AIU为所述测试集的平均交联，m为所述测试集中的测试图像的总数，t为像素阈值，t_j为像素阈值所划分的第j个像素阈值，N_t为像素阈值所划分的阈值个数，对于第j个像素阈值t_j，

和

分别为在该像素阈值t_j下，所述测试集中第i个测试图像的预测结果中所包含的像素数和真实结果中所包含的像素数，

为在该像素阈值t_j下，所述测试集中第i个测试图像的预测结果与真实结果之间重叠的像素数；

计算所述测试集在像素阈值t_j下的最优准确率的具体公式为：

其中，

为所述测试集中所有测试图像在像素阈值t_j下的最优准确率，

和

分别为所述测试集中第i个测试图像在像素阈值t_j下的准确率、查准率和查全率；

则计算所述测试集的所述第一准确率指标的具体公式为：

其中，ODS为所述测试集在所有像素阈值下的所述第一准确率指标；

则计算所述测试集的所述第二准确率指标的具体公式为：

其中，t_p为根据所述第一准确率指标ODS得到的最优像素阈值，OIS为所述测试集在所述最优像素阈值下的第二准确率指标，

和

为所述测试集中所有图像在所述最优像素阈值t_p下的最优准确率均值、查准率均值和查全率均值。

按照上述评估指标对神经网络裂纹预测模型进行预测，能保障其具有较高的预测性能，从而保证目标裂纹图像的准确性和可靠性；其中，神经网络裂纹预测模型的交叉熵损失Loss(W,w,h)是衡量整个数据集(或测试集)的预测结果和真实结果之间的差异大小的性能指标，Loss(W,w,h)越小表示预测性能越好；测试集的平均交联AIU是衡量整个数据集(或测试集)的预测结果和真实结果之间的总体重叠程度的性能指标，AIU越大表示预测性能越好；第一准确率指标ODS是衡量整个数据集(或测试集)的预测结果在采用同一阈值得到的性能指标，ODS越大表示预测性能越好；第二准确率指标OIS是衡量预测结果在每个数据上采用最优阈值时得到的整个数据集(或测试集)的平均性能指标，OIS越大表示预测性能越好。

具体地，对于神经网络裂纹预测模型的交叉熵损失Loss(W,w,h)，λ_fuse(W,w,h)为融合层的损失函数，λ_side(W,w)为边网的损失函数，这两个损失函数的计算公式如下：

其中，

为第n个边网的边网损失，N为边网个数，w⁽ⁿ⁾为第n个边网的边网权重，

为预测结果与真实结果之间的距离，Y为真实结果，

为预测结果；其中，本实施例中预测结果与真实结果之间的距离的最大容差设置为0.0075；

具体地，对于测试集的平均交联AIU，本实施例中的像素阈值t∈[0.01,0.99]，像素阈值间隔为0.01，因此按照0.01的像素阈值间隔进行划分得到的阈值个数为99，分别为0.01、0.02、0.03……和0.99。

具体地，对于测试集的第一准确率指标，查准率P(Precision)和查全率R是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量，查准率P指算法边缘检测结果中预测为正确的边缘有多少是真正为正确的边缘，查全率R(Recall)是指边缘检测算法中真正为正确的边缘的有多少被预测正确了，而最优准确率F是查准率和查全率的调和平均值，因此

表示第i个测试图像在像素阈值t_j选择下边缘检测结果中被正确检测出为正的边缘占所有真正为正的边缘的比重，

表示第i个测试图像在像素阈值t_j选择下边缘检测算法中被正确检测出为正的边缘占所有被正确检测的边缘的比重；同理，

所述的最优准确率均值是表示测试集中所有图像在最优像素阈值t_p下，边缘检测结果中被正确检测出为正的边缘占所有真正为正的边缘的比重的平均值，

所述的查全率均值表示测试集中所有图像在最优像素阈值t_p下，边缘检测算法中被正确检测出为正的边缘占所有被正确检测的边缘的比重的平均值。

优选地，如图7所示，在S3中，得到所述目标裂纹图像的具体步骤包括：

S3.4：根据所述最优像素阈值将所述待检测裂纹图像中的每个像素进行二分类，得到每个像素一一对应的像素分类结果；

其中，所述像素分类结果包括一类像素和二类像素，在所述待检测裂纹图像中，符合所述最优像素阈值的像素对应的所述像素分类结果为一类像素，不符合所述最优像素阈值的像素的所述像素分类结果为二类像素；

S3.5：将所述待检测裂纹图像中所有一类像素的像素值赋值为255，将所述待检测裂纹图像中所有二类像素的像素值赋值为0，根据所述待检测裂纹图像中所有像素的像素值赋值结果得到所述目标裂纹图像。

通过评估过程可以得到神经网络裂纹检测模型的最优像素阈值，通过该最优像素阈值可以将待检测裂纹图像中的目标裂纹和背景区域进行二分类，符合最优像素阈值的即为目标裂纹，赋值为255，即为白色，不符合最优像素阈值的即为背景区域，赋值为0，即为黑色，通过上述赋值方法，即可将待检测裂纹图像中的目标裂纹准确地识别出来，即得到准确率较高且清晰度较高的目标裂纹图像，便于有效提高后续对目标裂纹图像分析的准确率。

优选地，所述裂纹检测数据包括实际梁底裂纹对应的实际裂纹长度和实际裂纹宽度；

如图9所示，S4的具体步骤包括：

S4.1：获取所述目标裂纹图像中像素值赋值为0的所有二类像素的第一像素总数，将所述第一像素总数确定为所述目标裂纹图像中目标裂纹对应的裂纹图像面积；

S4.2：对所述目标裂纹图像进行细化处理，得到细化目标裂纹图像；

S4.3：获取所述细化目标裂纹图像中像素值赋值为0的所有二类像素的第二像素总数，将所述第二像素总数确定为所述目标裂纹图像中所述目标裂纹对应的裂纹图像长度；

S4.4：根据所述裂纹图像面积和所述裂纹图像长度，计算得到所述目标裂纹图像中所述目标裂纹对应的裂纹图像宽度；

计算所述裂纹图像宽度的具体公式为：

其中，CW为所述裂纹图像宽度，A为所述裂纹图像面积，CL为所述裂纹图像长度；

S4.5：获取参照物图像和实际参照物之间的尺寸比例，根据所述尺寸比例和所述裂纹图像长度，计算得到所述实际梁底裂纹对应的所述实际裂纹长度，根据所述尺寸比例和所述裂纹图像宽度，计算得到所述实际梁底裂纹对应的所述实际裂纹宽度。

目标裂纹图像中的目标裂纹的面积即为白色像素点的总数，即目标裂纹图像中像素值赋值为0的所有二类像素的第一像素总数，由于目标裂纹图中中的一条目标裂纹的宽度可能是由几个或者几十个白色像素点组成的，因此通过对目标裂纹图像进行细化，可以将目标裂纹的宽度细化到只有一个白色像素点的情形，这时细化目标裂纹图像中的白色像素点的总数即为目标裂纹的裂纹图像长度，即细化目标裂纹图像中像素值赋值为0的所有二类像素的第二像素总数为裂纹图像长度，方法简单有效，进而可以方便后续获取到目标裂纹的裂纹图像宽度；最终，通过获取参照物图像和实际参照物之间的尺寸比例，根据该尺寸比例可以方便地将裂纹图像长度转化为实际裂纹长度，将裂纹图像宽度转化为实际裂纹宽度；其中，参照物的选取可以根据实际情况选择；基于图像处理的裂纹检测方法，智能化程度高，极大地帮助了桥梁工程人员对裂纹进行预测，有效保障了桥梁工程人员对的安全性，并有效提升了维修工作效率。

具体地，在本实施例中，获取裂纹图像面积的具体过程如下：

1、用M×N矩阵来表示目标裂纹图像B的图像矩阵，将所有连通域的面积变量A[label]的初始值都设为0；

2、按自左向右、自上向下的顺序遍历目标裂纹图像B中的所有像素点，当像素点的标记(label)非零时，将该像素所在区域的面积加一，即：

A[label′]＝A[label]+1；

3、当遍历完目标裂纹图像B后，各区域的面积则保存在相应的A[label]变量中。

具体地，本实施例在细化处理过程中，利用Pavlidis细化方法，逐行遍历目标裂纹图像中的像素点，若某一行中出现连续的白色像素，则找出中间白色像素的位置，最后得到宽度只有一个白色像素点的细化目标裂纹图像；其中，Pavlidis细化方法的具体操作方法为现有技术，具体细节此处不再赘述；具体地，本实施例中得到的细化目标裂纹图像的结果示意图如图10所示。

具体地，本实施例的实际参照物为一个标定尺子，该标定尺子的量程为200mm，其在图像中的所占的像素为320×240，则标定尺子对应的参照物图像的图像高度为240个像素点，其在图像中的图像高度对应的实际高度为29mm，因此尺寸比例为a＝29mm/240pixel≈0.121mm/pixel，可以满足检测精度0.2mm的要求；具体地，根据上述尺寸比例，本实施例中目标裂纹的实际裂纹长度和实际裂纹宽度的结果示意图如图11所示。

实施例二、如图12所示，一种基于图像处理的梁底裂纹检测系统，包括图像获取模块、图像预处理模块、图像拼接模块、图像检测模块和图像分析模块；

所述图像获取模块，用于获取桥梁底面的多个原始裂纹图像；

所述图像预处理模块，用于对所有原始裂纹图像进行预处理，得到多个处理裂纹图像；

所述图像拼接模块，用于从所有处理裂纹图像中获取多个待拼接裂纹图像，基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，得到待检测裂纹图像；

所述图像检测模块，用于获取预设的神经网络裂纹检测模型，并利用所述神经网络裂纹检测模型对所述待检测裂纹图像进行检测，得到目标裂纹图像；

所述图像分析模块，用于对所述目标裂纹图像进行分析，得到裂纹检测数据。

通过图像获取模块获取多个原始裂纹图像，并通过图像预处理模块对所有原始裂纹图像进行预处理，方便后续的图像拼接过程，从而便于获得待检测裂纹图像，由于原始裂纹图像对拍摄距离和拍摄角度无要求，因此能够避免图像拍摄距离对梁底裂纹识别和检测的影响；在图像拼接过程中，通过图像拼接模块基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，能够将不同拍摄距离和/或不同拍摄角度的处理裂纹图像拼接在一起，便于获取质量较高且拼接效果较好的待检测裂纹图像，拼接效率高，能便于后续通过图像检测模块根据预设的神经网络裂纹检测对待检测裂纹图像进行检测，并通过图像分析模块对检测得到的目标裂纹图像进行分析，进而提高裂纹检测精度和检测效率，并有效避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测，鲁棒性强，普适性高，大幅度降低了裂纹检测成本，有效保障了桥梁维修工人的安全，并有效提升了维修工作效率。

实施例三、基于实施例一和实施例二，本实施例还公开了一种基于图像处理的梁底裂纹检测装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如图1所示的S1至S4的具体步骤。

通过存储在存储器上的计算机程序，并运行在处理器上，实现本发明的梁底裂纹的检测，基于图像处理，提高了裂纹检测精度和检测效率，并有效避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测，鲁棒性强，普适性高，大幅度降低了裂纹检测成本，有效保障了桥梁维修工人的安全，并有效提升了维修工作效率。

本实施例还提供一种计算机存储介质，所述计算机存储介质上存储有至少一个指令，所述指令被执行时实现所述S1至S4的具体步骤。

通过执行包含至少一个指令的计算机存储介质，实现本发明的梁底裂纹的检测，基于图像处理，提高了裂纹检测精度和检测效率，并有效避免微小裂纹的图像被当做噪声过滤掉，极其适用于微小裂纹的检测，鲁棒性强，普适性高，大幅度降低了裂纹检测成本，有效保障了桥梁维修工人的安全，并有效提升了维修工作效率。

本实施例中S1至S4的未尽细节，详见实施例一及图1至图11的内容，具体不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理的梁底裂纹检测方法，其特征在于，包括以下步骤：

步骤1：获取桥梁底面的多个原始裂纹图像，并对所有原始裂纹图像进行预处理，得到多个处理裂纹图像；

步骤2：从所有处理裂纹图像中获取多个待拼接裂纹图像，基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，得到待检测裂纹图像；

步骤3：获取预设的神经网络裂纹检测模型，并利用所述神经网络裂纹检测模型对所述待检测裂纹图像进行检测，得到目标裂纹图像；

步骤4：对所述目标裂纹图像进行分析，得到裂纹检测数据。

2.根据权利要求1所述的基于图像处理的梁底裂纹检测方法，其特征在于，所述步骤1具体包括：

步骤1.1：利用无人机遥感在多个拍摄角度和/或多个拍摄距离拍摄所述桥梁底面的裂纹，得到多个原始裂纹图像；

步骤1.2：按照预设标准尺寸，将每个原始裂纹图像的图像尺寸分别进行标准化处理，得到每个原始裂纹图像一一对应的中间裂纹图像；

步骤1.3：按照预设筛选标准，对所有中间裂纹图像进行筛选，得到多个处理裂纹图像。

3.根据权利要求2所述的基于图像处理的梁底裂纹检测方法，其特征在于，所述步骤2具体包括：

步骤2.0：从所有处理裂纹图像中获取多个待拼接裂纹图像；

步骤2.1：从所有待拼接裂纹图像中选取任一个待拼接裂纹图像，基于SURF图像处理方法，对选取的一个待拼接裂纹图像构建黑塞矩阵，并根据所述黑塞矩阵得到选取的一个待拼接裂纹图像中的兴趣点集合；

步骤2.2：对选取的一个待拼接裂纹图像构建尺度空间，并利用所述尺度空间对所述兴趣点集合进行定位，得到选取的一个待拼接裂纹图像的关键点集合；

步骤2.3：对选取的一个待拼接裂纹图像的所述关键点集合进行过滤，得到选取的一个待拼接裂纹图像的特征点集合；

步骤2.4：计算所述特征点集合中每个特征点在圆形邻域内一一对应的Harr小波特征，根据每个Harr小波特征确定选取的一个待拼接裂纹图像中每个特征点一一对应的特征点主方向；

步骤2.5：根据选取的一个待拼接裂纹图像的特征点集合和所有特征点的特征点主方向，生成选取的一个待拼接裂纹图像的特征描述子；

步骤2.6：遍历所有待拼接裂纹图像中的每个待拼接裂纹图像，按照所述步骤2.1至所述步骤2.5的方法，得到每个待拼接裂纹图像一一对应的特征描述子；

步骤2.7：从所有待拼接裂纹图像中选取任意两个待拼接裂纹图像，根据选取的两个待拼接裂纹图像的特征描述子，获取选取的两个待拼接裂纹图像之间的匹配点集；并利用FindHomography函数，根据选取的两个待拼接裂纹图像之间的匹配点集，计算得到选取的两个待拼接裂纹图像之间的变换矩阵；

步骤2.8：根据选取的两个待拼接裂纹图像之间的变换矩阵，对选取的两个待拼接图像进行拼接，得到选取的两个待拼接裂纹图像所对应的已拼接裂纹图像；

步骤2.9：遍历所有待拼接裂纹图像中每两个待拼接裂纹图像，按照所述步骤2.7至所述步骤2.8的方法，得到每两个待拼接裂纹图像所对应的已拼接裂纹图像，并根据所有已拼接裂纹图像得到所述待检测裂纹图像。

4.根据权利要求3所述的基于图像处理的梁底裂纹检测方法，其特征在于，在所述步骤3中，获取预设的所述神经网络裂纹检测模型的具体步骤包括：

步骤3.1：获取数据集，按照预设划分比例将所述数据集划分训练集、测试集和验证集；

步骤3.2：构建特征金字塔网络训练模型，利用所述训练集对所述特征金字塔网络训练模型进行训练，并利用所述验证集对所述特征金字塔网络训练模型进行参数调优，得到所述神经网络裂纹检测模型。

5.根据权利要求4所述的基于图像处理的梁底裂纹检测方法，其特征在于，在所述步骤3.2之后还包括以下步骤：

步骤3.3：按照预设的评估指标，利用所述测试集对所述神经网络裂纹检测模型进行评估，若评估通过，则利用所述神经网络裂纹检测模型对所述待检测裂纹图像进行检测，若评估不通过，则返回所述步骤3.2；

其中，所述评估指标包括所述神经网络裂纹检测模型的交叉熵损失，以及所述测试集的平均交联、第一准确率指标和第二准确率指标；

计算所述交叉熵损失的具体公式为：

Loss(W,w,h)＝argmin[λ_side(W,w)+λ_fuse(W,w,h)]；

其中，Loss(W,w,h)为所述神经网络裂纹检测模型的所述交叉熵损失的函数，W为所述神经网络裂纹检测模型的网络参数，w为所述神经网络裂纹检测模型中的边网权重，h为所述神经网络裂纹检测模型中的融合权重，λ_fuse(W,w,h)为融合层的损失函数，λ_side(W,w)为边网的损失函数，arg(·)为自变量函数；

计算所述测试集中第i个测试图像的交联的具体公式为：

则计算所述测试集的所述平均交联的具体公式为：

其中，AIU_i为所述测试集中第i个测试图像的交联，AIU为所述测试集的平均交联，m为所述测试集中的测试图像的总数，t为像素阈值，t_j为像素阈值所划分的第j个像素阈值，N_t为像素阈值所划分的阈值个数，对于第j个像素阈值t_j，

和

分别为在该像素阈值t_j下，所述测试集中第i个测试图像的预测结果中所包含的像素数和真实结果中所包含的像素数，

为在该像素阈值t_j下，所述测试集中第i个测试图像的预测结果与真实结果之间重叠的像素数；

计算所述测试集在像素阈值t_j下的最优准确率的具体公式为：

其中，

为所述测试集中所有测试图像在像素阈值t_j下的最优准确率，

和

分别为所述测试集中第i个测试图像在像素阈值t_j下的准确率、查准率和查全率；

则计算所述测试集的所述第一准确率指标的具体公式为：

其中，ODS为所述测试集在所有像素阈值下的所述第一准确率指标；

则计算所述测试集的所述第二准确率指标的具体公式为：

其中，t_p为根据所述第一准确率指标ODS得到的最优像素阈值，OIS为所述测试集在所述最优像素阈值下的第二准确率指标，

和

为所述测试集中所有图像在所述最优像素阈值t_p下的最优准确率均值、查准率均值和查全率均值。

6.根据权利要求5所述的基于图像处理的梁底裂纹检测方法，其特征在于，在所述步骤3中，得到所述目标裂纹图像的具体步骤包括：

步骤3.4：根据所述最优像素阈值将所述待检测裂纹图像中的每个像素进行二分类，得到每个像素一一对应的像素分类结果；

其中，所述像素分类结果包括一类像素和二类像素，在所述待检测裂纹图像中，符合所述最优像素阈值的像素对应的所述像素分类结果为一类像素，不符合所述最优像素阈值的像素的所述像素分类结果为二类像素；

步骤3.5：将所述待检测裂纹图像中所有一类像素的像素值赋值为255，将所述待检测裂纹图像中所有二类像素的像素值赋值为0，根据所述待检测裂纹图像中所有像素的像素值赋值结果得到所述目标裂纹图像。

7.根据权利要求6所述的基于图像处理的梁底裂纹检测方法，其特征在于，所述裂纹检测数据包括实际梁底裂纹对应的实际裂纹长度和实际裂纹宽度；

所述步骤4具体包括：

步骤4.1：获取所述目标裂纹图像中像素值赋值为0的所有二类像素的第一像素总数，将所述第一像素总数确定为所述目标裂纹图像中目标裂纹对应的裂纹图像面积；

步骤4.2：对所述目标裂纹图像进行细化处理，得到细化目标裂纹图像；

步骤4.3：获取所述细化目标裂纹图像中像素值赋值为0的所有二类像素的第二像素总数，将所述第二像素总数确定为所述目标裂纹图像中所述目标裂纹对应的裂纹图像长度；

步骤4.4：根据所述裂纹图像面积和所述裂纹图像长度，计算得到所述目标裂纹图像中所述目标裂纹对应的裂纹图像宽度；

计算所述裂纹图像宽度的具体公式为：

其中，CW为所述裂纹图像宽度，A为所述裂纹图像面积，CL为所述裂纹图像长度；

步骤4.5：获取参照物图像和实际参照物之间的尺寸比例，根据所述尺寸比例和所述裂纹图像长度，计算得到所述实际梁底裂纹对应的所述实际裂纹长度，根据所述尺寸比例和所述裂纹图像宽度，计算得到所述实际梁底裂纹对应的所述实际裂纹宽度。

8.一种基于图像处理的梁底裂纹检测系统，其特征在于，包括图像获取模块、图像预处理模块、图像拼接模块、图像检测模块和图像分析模块；

所述图像获取模块，用于获取桥梁底面的多个原始裂纹图像；

所述图像预处理模块，用于对所有原始裂纹图像进行预处理，得到多个处理裂纹图像；

所述图像拼接模块，用于从所有处理裂纹图像中获取多个待拼接裂纹图像，基于SURF图像处理方法，将所有待拼接裂纹图像进行拼接，得到待检测裂纹图像；

所述图像检测模块，用于获取预设的神经网络裂纹检测模型，并利用所述神经网络裂纹检测模型对所述待检测裂纹图像进行检测，得到目标裂纹图像；

所述图像分析模块，用于对所述目标裂纹图像进行分析，得到裂纹检测数据。

9.一种基于图像处理的梁底裂纹检测装置，其特征在于，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如权利要求1至7任一项权利要求所述的方法步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现如权利要求1至7任一项所述的方法步骤。

Images