发明内容
为克服相关技术中存在的问题,本发明提供隧道爆破振动监测方法、系统、介质及设备,对有缺陷的图像先分类后检测,可以快速、准确、智能地处理隧道衬砌图像。
根据本文的第一方面,提供一种隧道爆破振动监测方法,包括:将获取的原始图像输入到预训练好的全卷积网络模型分类,得到不同类别的特征图;检测输入到区域建议网络RPN的所述特征图以生成ROI区域的位置敏感得分图;计算所述ROI区域的位置敏感得分图,所述位置敏感得分图位置敏感池化操作得到ROI区域的响应值;基于所述响应值输出所述类别以及对应的位置信息。
基于前述方案,所述类别包括泄漏、裂缝、分段接头、管道和衬砌。
基于前述方案,所述检测输入到区域建议网络RPN的所述特征图以生成ROI区域,包括:不同类别的特征图基于选择的锚框,通过滑动窗口后生成带边界框的特征图。
基于前述方案,所述计算所述ROI区域的位置敏感得分图,所述位置敏感得分图位置敏感池化操作得到ROI区域的响应值,包括:
其中,n为得分图的数量,那么C表示缺陷类别种数,每个类别都有K*K个得分图;
其中,
为第
个子区域的响应值,
为子区域的坐标;
为ROI区域左上角的坐标值,m为子区域的像素值,
为得分图中的像素值。
基于前述方案,所述基于所述响应值获得所述类别对应的得分,包括:
其中,
是每个ROI区域的C维向量,
是不同类别上离散概率分布的C维向量。
基于前述方案,所述S4中增大爆破药量与爆破延时的比值,所述比值为1/4。
基于前述方案,还包括对边界框进行回归计算,所述回归计算包括:
其中,
;定义边界框预测输出的元组为
,回归的元组为
;
为分类损失函数,
为回归损失函数。
根据本申请的另一方面,提供一种隧道爆破振动监测系统,包括:分类单元,用于将获取的原始图像输入到预训练好的全卷积网络模型分类,得到不同类别的特征图;生成单元,用于检测输入到区域建议网络RPN的所述特征图以生成ROI区域的位置敏感得分图;计算单元,用于计算所述ROI区域的位置敏感得分图,所述位置敏感得分图位置敏感池化操作得到ROI区域的响应值;输出单元,用于基于所述响应值输出所述类别以及对应的位置信息。
根据本申请的另一方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时一种隧道爆破振动监测方法的步骤。
根据本申请的另一方面,提供一种计算机设备,包括处理器、存储器和存储于所述存储器上的计算机程序,所述处理器执行所述计算机程序时实现一种隧道爆破振动监测方法的步骤。
本申请提供一种隧道爆破振动监测方法即系统,将获取的原始图像输入到预训练好的全卷积网络模型分类,得到不同类别的特征图;检测输入到区域建议网络RPN的所述特征图以生成ROI区域的位置敏感得分图;计算所述ROI区域的位置敏感得分图,所述位置敏感得分图位置敏感池化操作得到ROI区域的响应值;基于所述响应值输出所述类别以及对应的位置信息。首先通过全卷积网络模型对图像的缺陷进行分类,筛选出有用的图像,方便后续检测;然后基于区域建议网络将筛选出的有用图像提取感兴趣的区域,对每个感兴趣的区域进行位置敏感池化操作得分计算,进一步确认每个图像缺陷的类别和位置,可以快速、准确、智能地处理隧道衬砌图像。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本文。
具体实施方式
为使本文实施例的目的、技术方案和优点更加清楚,下面将结合本文实施例中的附图,对本文实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本文一部分实施例,而不是全部的实施例。基于本文中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本文保护的范围。需要说明的是,在不冲突的情况下,本文中的实施例及实施例中的特征可以相互任意组合。
除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
图1是根据一示例性实施例示出的一种隧道爆破振动监测方法的流程图。参照图1,所述监测方法至少包括:
S100:将获取的原始图像输入到预训练好的全卷积网络模型分类,得到不同类别的特征图;
具体地说,获取的原始图像是基于移动隧道检测(MTI)系统获取隧道衬砌表面图像,该MTI系统配备6个高分辨率线性CCD相机和12个发光二极管 LED作为光源。CCD相机需要均匀的照明,获得的图像会受到亮度不均匀的影响。MTI扫描方向的宽度可以根据需要设置。通过MTI获取的图像像素一般会大。图2是隧道检测图像的示意图。
需要说明的是,全卷积网络模型是将传统CNN中的全连接层转化成一个个的卷积层。在传统的CNN结构中,前5层是卷积层,第6层和第7层分别是一个长度为4096的一维向量,第8层是长度为1000的一维向量,分别对应1000个类别的概率。全卷积网络模型将这3层表示为卷积层,卷积核的大小即(通道数,宽,高)分别为(4096,1,1)、(4096,1,1)、(1000,1,1)。
需要说明的是,在当前的深度学习模型中,没有关于隧道缺陷的数据集,好的数据集会使模型训练的更好。训练数据集包含泄漏、裂缝、管片分段接头、管道和衬砌五个对象类别。根据预先采集的图像,手动标记该数据集,每个数据集的图像都包含上述一个类别标签。检测数据集包含裂缝、泄漏和划痕类别,划痕是一种常见的噪声模式,划痕不是衬砌的缺陷,但它们非常类似于裂缝的外观,增加划痕类别,检测训练集有利于提高全卷积网络模型的检测能力。
值得一提的是,由于隧道的背景图像复杂,并且图像像素很大,为了提高图像处理的效率和准确性,本申请的全卷积网络模型用于图像分类,可以接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入的原始图像相同的尺寸,从而可以对每一个像素都产生一个预测,同时保留了输入的原始图像中的空间信息,最后在上采样的特征图进行像素的分类。便于后续对该图像中缺陷的检测。
值得一提的是,全卷积网络模型输出的是已经分类好的不同类别的特征图。
S200:检测输入到区域建议网络RPN的所述特征图以生成ROI区域的位置敏感得分图;
具体地说,区域建议网络 (RPN)可以检测图像中的缺陷类别,输出一组建议的矩形对象框;进一步地,选择一个锚框作为特征图的模板,不同类别的特征图基于选择的锚框,通过滑动窗口后生成带边界框的特征图。锚框由两个参数定义:纵横比和尺寸类别;纵横比包括1:2、1:3、2:1、3:1、1:1;尺寸类别包括大尺寸、中尺寸、小尺寸;在训练阶段,预测的边界框由一个二分类层和一个边界框回归计算;在测试阶段,预测的边界框是用一个图像类别的得分来计算的。
通过RPN提取出来的RoI区域,其是包含了“坐标、长宽”属性的,也就是说不同的RoI区域能够对应到得分图的不同位置上,而一个RoI区域会分成 K*K个子区域。每个子区域都对应到得分图上的某一个区域。
S300:计算所述ROI区域的位置敏感得分图,所述位置敏感得分图位置敏感池化操作得到ROI区域的响应值;
具体地说,位置敏感得分图position-sensitive score map的设计思路如下:如果一个RoI区域含有一个类别C的缺陷,将该RoI区域划分为K*K个子区域,分别表示该物缺陷的各个部位,比如假设该RoI区域中含有裂缝这个缺陷,设k=3,将裂缝划分为9个子区域,将RoI区域划分为K*K 个区域是期望RoI区域在每一个区域都应该含有该类别C,而当这所有子区域都含有各自对应的缺陷的相应部位后,那么分类器才会将该RoI区域判断为该类别。
那么如何判断RoI子区域是否含有缺陷的部位,是位置敏感得分图接下来要做的。用于计算位置敏感的得分图如下,
n为得分图的数量,那么C表示缺陷类别种数,可选的,C=5;缺陷类别种数再加上1个背景类别,每个类别都有K*K个得分图。
池化操作就是在该子区域对应的得分图上执行,且执行的是平均池化。第i个子区域对在第i个得分图上找响应值,且池化是取子区域这个范围内的所有值的平均值。所述位置敏感得分图位置敏感池化操作得到ROI区域的响应值;即RoI区域的K*K个子区域在各个类别的得分图上找到其每个子区域的响应值。
其中,
为第
个子区域的响应值,
为子区域的坐标;
为ROI区域左上角的坐标值,m为子区域的像素值,
为得分图中的像素值。
S400:基于所述响应值输出所述类别以及对应的位置信息。
具体地说,对于每个类别,该类别的K*K个值都表示该RoI区域属于该
类别的响应值,那么将这K*K个数相加就得到该类别的得分,一共有C+1 个得分,那么将C+1 个数使用简单的softmax函数就可以得到属于各个类别的概率。
其中,
是每个ROI区域的C维向量,
是不同类别上离散概率分布的C维向量。
进一步地,对于每一个缺陷图像的边界框进行边界框回归计算,来确定缺陷图像的位置。
首先定义边界框预测输出的元组为
,回归的元组为
;那么计算边界框回归的损失函数如下式:
进一步地,每个RoI区域上用于分类和边界框回归计算,
是两阶段目标检测框架常用的形式,包括一个分类
和一个回归
。
用来平衡两者的重要性。
本申请首先通过全卷积网络模型对图像的缺陷进行分类,筛选出有用的图像,方便后续检测;然后基于区域建议网络将筛选出的有用图像提取感兴趣的区域,对每个感兴趣的区域进行位置敏感池化操作得分计算,进一步确认每个图像缺陷的类别和位置,可以快速、准确、智能地处理隧道衬砌图像。
图3是根据一示例性实施例,示出的一种隧道爆破振动监测系统30。所述系统30包括:
分类单元301,用于将获取的原始图像输入到预训练好的全卷积网络模型分类,得到不同类别的特征图;
生成单元302,用于检测输入到区域建议网络RPN的所述特征图以生成ROI区域的位置敏感得分图;
计算单元303,用于计算所述ROI区域的位置敏感得分图,所述位置敏感得分图位置敏感池化操作得到ROI区域的响应值;
输出单元304,用于基于所述响应值输出所述类别以及对应的位置信息。
不难发现,本实施方式为与第一实施方式相对应的系统实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
在另外的一个方面,本文提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现以上任意方法实施例所描述的减小爆破振动的爆破方法。
图4是根据一示例性实施例示出的一种用于计算机设备40的框图。参照图4,设备40包括处理器401,处理器的个数可以根据需要设置为一个或者多个。设备40还包括存储器402,用于存储可由处理器401的执行的指令,例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器401被配置为执行指令,以执行上述方法。
存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员应明白,本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本文的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。
显然,本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样,倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内,则本文的意图也包含这些改动和变型在内。