CN110147714B - 基于无人机的煤矿采空区裂缝识别方法及检测系统 - Google Patents

基于无人机的煤矿采空区裂缝识别方法及检测系统 Download PDF

Info

Publication number
CN110147714B
CN110147714B CN201910245321.0A CN201910245321A CN110147714B CN 110147714 B CN110147714 B CN 110147714B CN 201910245321 A CN201910245321 A CN 201910245321A CN 110147714 B CN110147714 B CN 110147714B
Authority
CN
China
Prior art keywords
image
convolution
representing
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910245321.0A
Other languages
English (en)
Other versions
CN110147714A (zh
Inventor
程健
叶亮
郭一楠
王瑞彬
陈邵颖
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
China Coal Research Institute CCRI
Original Assignee
China University of Mining and Technology CUMT
China Coal Research Institute CCRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT, China Coal Research Institute CCRI filed Critical China University of Mining and Technology CUMT
Priority to CN201910245321.0A priority Critical patent/CN110147714B/zh
Publication of CN110147714A publication Critical patent/CN110147714A/zh
Application granted granted Critical
Publication of CN110147714B publication Critical patent/CN110147714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机的煤矿采空区裂缝识别方法及检测系统，包括摄像头、无人机、无人机地面站和数据服务器；通过对数据增广处理，结合图像的深度语义信息，构建深度语义分割模型，采用密集深度可分离卷积单元，充分利用图像特征，结合空间金字塔实现裂缝的多尺度特征提取；根据训练样本中裂缝占图像的权重，自适应设置损失函数，从而加速训练过程；采用密集分类，最终获得像素级检测结果。本发明具有较高的裂缝检测精度，训练速度快，能有效减少巡视时间，提高检测可靠性，适用于大规模复杂背景下的煤矿采空区地表裂缝检测，能推广应用到其它行业的地质异常检测。

Description

基于无人机的煤矿采空区裂缝识别方法及检测系统
技术领域
本发明涉及基于无人机的煤矿采空区裂缝检测系统及其裂缝识别方法，属于计算机视觉领域。
背景技术
煤矿开采过程中，随着地下煤炭和矸石的不断运出，会产生煤矿采空区，相应的地表区域会逐渐生成裂缝，并最终产生地表塌陷，严重破坏环境，甚至造成人员生命危险。因此，及时检测裂缝的发育状况至关重要，直接影响着煤矿企业的经济效益与人员安全。
目前，煤矿采空区的裂缝检测主要依靠人工巡视。工人对采空区进行巡视，在发现裂缝时，通过拍照存档，完成裂缝的检测。文献(张娟，沙爱民，孙朝云，等，基于相位编组法的路面裂缝自动识别[J].中国公路学报，2008，21(2)：39-42)采用相位编组法进行裂缝提取，有利于检测出与背景存在弱对比度的裂缝，特别是细小裂缝；专利(罗明帅，董彩虹，罗东旭，等，一种道路裂缝检测装置，CN107798293[P]，2018)设计了一种道路裂缝检测装置，针对拍摄获取的路面图像，利用图像灰度信息和形态学进行图像预处理及边缘检测，采用阈值分割方法，发现道路裂缝。文献(李良福、马卫飞、李丽，等，基于深度学习的桥梁裂缝检测算法研究[J].自动化学报，2018，DOI 10.16383/j.aas.2018.c170052)采用窗口滑动算法，将桥梁图像切分为较小的桥梁裂缝面元图像和桥梁背景面元图像，分别通过分类模型进行识别。专利(胡振琪，顾大钊，杨俊哲，等，一种采煤地表裂缝形态的探测方法，CN104267449[P]，2015)提出一种探测采煤地表裂缝形态的方法，首先在裂缝中填充雷达感应示踪剂，其次在裂缝两侧采用发射天线和接受天线来检测裂缝形态。专利(李良福，孙瑞赟，一种基于语义分割的桥梁裂缝图像分割模型，CN108961270[P]，2018)提出一种用于桥梁裂缝检测的语义分割模型。
上述两种道路裂缝检测方法虽然能有效检测出路面裂缝，但是路面裂缝图像及其背景复杂程度远远低于煤矿采空区地表，并且其检测图像多为地面近距离拍摄，因此，只能检测局部小范围的裂缝。基于深度学习的桥梁检测方法虽然能较准确地检测和定位桥梁路面的裂缝，但是该方法将单张图片的检测分成了多个子区域进行分类，增加了裂缝识别的复杂程度，而且桥梁路面裂缝与背景特征差异明显。采用雷达感应示踪剂，虽然能够有效检测出裂缝的形态，但是需要先确定裂缝位置，且操作繁琐，在大尺度裂缝检测中的可实现性差。基于语义分割的桥梁裂缝图像分割模型，虽然能很好地检测出桥梁裂缝位置，但是没有考虑裂缝图像的非平衡性。相比上述裂缝识别问题，煤矿采空区地表图像具有背景复杂、光照不均匀特性。特别是，裂缝与断崖、阴影等地貌特性区别不明显，而且不同裂缝之间存在树木遮挡程度和地表植被覆盖状态的不一致性。因此，不同裂缝之间存在不同特征，且无人机拍摄到的俯视图中裂缝占图像比重较低，导致训练数据存在较显著的非平衡特性。已有方法很难直接用于煤矿采空区地表的裂缝检测。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于无人机的煤矿采空区裂缝识别方法。无人机不受采空区地形的限制，能够稳定飞行，并且可以搭载高清摄像头，对采空区地表进行较大范围巡视，显著提高巡视效率，有效避免人工巡视时可能造成的意外伤亡。同时，结合图像深度语义信息，根据训练数据中裂缝所占图像的权重，自适应设置损失函数，从而有效提取图像特征，提升模型训练效率，有效解决复杂场景下的煤矿采空区地表裂缝检测问题，显著提高地表裂缝检测的准确性。基于此，本专利面向具有复杂背景且裂缝不一致性的煤矿采空区地表，构建了无人机裂缝检测系统，设计了一种结合图像深度语义信息的裂缝检测方法，解决无人机俯视航拍视角下的煤矿采空区地表裂缝检测问题。
为实现上述目的，本发明采用的技术方案为：
一种基于无人机的煤矿采空区裂缝识别方法，通过对数据增广处理，结合图像的深度语义信息，构建深度语义分割模型，采用密集深度可分离卷积单元，充分利用图像特征，结合空间金字塔实现裂缝的多尺度特征提取。根据训练样本中裂缝占图像的权重，自适应设置损失函数，从而加速训练过程。采用密集分类，最终获得像素级检测结果。具体包括如下步骤：
步骤1.对采集到的图像进行标注和随机裁剪，构建数据集，具体过程为：
步骤11)对采集到的图像进行双边滤波处理，并采用双线性插值降采样方法，标准化图像分辨率为W0*H0，其中，W0表示降采样后的图像宽度，H0表示降采样后的图像高度。
步骤12)根据先验知识，标注标准化图像中的裂缝，裂缝所对应像素点标注为类别1，其余像素点作为背景，标注为类别0。
步骤13)采用随机裁剪方法，从每张图像中裁剪出五幅分辨率为Wc*Hc的图像，Wc表示裁剪后的图像宽度，Hc表示裁剪后的图像高度，其计算公式为：
imgCropLx＝xij (1)
imgCropLy＝yij (2)
imgCropRx＝xij+Wc (3)
imgCropRy＝yij+Hc (4)
其中，(imgCropLx，imgCropLy)为裁剪图像的左上角坐标，(imgCropRx，imgCropRy)为裁剪图像的右下角坐标，(xij,yij)表示在第i幅图像中进行第j次裁剪时的图像左上角坐标，xij∈[0,W0-Wc]，yij∈[0,H0-Hc]，i＝1,2…N,N为图像的总数,j＝1,2…5。
步骤14)计算裁剪后单幅图像中裂缝像素所占比例：
Figure GDA0004236459360000031
其中，
Figure GDA0004236459360000032
表示图像中裂缝所占比例，/>
Figure GDA0004236459360000033
表示图像中被标注为裂缝的像素数，
Figure GDA0004236459360000034
表示图像中的像素规模，丢弃比例小于比例调节参数/>
Figure GDA0004236459360000035
的图像。并对剩余图像进行分类，构建用于训练深度语义分割模型的训练集、验证集和测试集。
步骤2.对步骤1)获得的数据集，进行数据增广处理，具体步骤为：
步骤21)对训练集和验证集中的图像进行随机亮度调整，对任意图像中第a个通道的第b个像素点调整亮度，如下所示：
Figure GDA0004236459360000036
其中，Iijab表示RGB图像第a个通道中第b个像素点的亮度调整值,a＝1,2,3，v∈[-Δ,Δ]表示亮度调整参数，Δ为亮度调整峰值，遍历图像上所有像素点，完成随机亮度调整。
步骤22)对训练集和验证集中的图片进行随机对比度调整，对任意图像中第a个通道的第b个像素点调整对比度，如下所示：
Figure GDA0004236459360000037
其中，Jijab表示RGB图像第a个通道中第b个像素点的对比度调整值，
Figure GDA0004236459360000038
表示任意通道中所有像素点的平均值，n为图像的像素规模，/>
Figure GDA0004236459360000039
表示对比度调节因子，c表示对比度调节因子最小值，/>
Figure GDA00042364593600000310
表示对比度调节因子最大值，遍历图像上所有像素点，完成随机对比度调整。
步骤23)对训练集和验证集中的图像进行镜像处理，对任意图像中第a个通道进行水平镜像，计算公式如下：
Figure GDA00042364593600000311
Figure GDA00042364593600000312
其中，Wija表示图像宽度，(xija,yia)表示原图像的坐标，
Figure GDA00042364593600000313
表示水平镜像变换后的图像坐标。任意图像中第a个通道进行垂直镜像，计算公式如下：
Figure GDA0004236459360000041
Figure GDA0004236459360000042
其中，Hija表示图像高度，(xija,yija)表示原图像的坐标，
Figure GDA0004236459360000043
表示垂直镜像变换后的图像坐标。
步骤3.构建并训练深度语义分割模型，具体步骤为：
步骤31)构建深度语义分割模型，所述深度语义分割模型包括四个密集深度可分离卷积单元-最大池化单元、一个Atrous空间金字塔单元、四个反卷积-卷积单元、密集分类单元，其中：密集深度可分离卷积单元-最大池化单元构成下采样路径，用于裂缝的深度特征提取。Atrous空间金字塔单元用于裂缝的多尺度特征提取。四个反卷积-卷积单元构成上采样路径，用于还原裂缝的高分辨率特征。在每个卷积单元后加入批标准化单元，用于加速模型训练、避免过拟合。密集分类单元设置反卷积-卷积单元之后，用于根据还原裂缝的高分辨率特征得到像素级的检测结果。
密集深度可分离卷积单元由4个深度可分离卷积组成。深度可分离卷积采用不同的卷积核对输入特征映射图的各通道做卷积操作，得到的特征映射图采用1*1的卷积核做线性映射求和，输出通道数为24的特征映射图。前两层的深度可分离卷积使用7*7的卷积核，后两层的深度可分离卷积分别使用5*5和3*3的卷积核。每个深度可分离卷积的输入为之前的深度可分离卷积输出特征映射图的通道拼接。
最大池化单元采用2*2的滑动窗口，在特征映射图中以大小为2的步长进行滑动，保留滑动窗口内的最大值。
Atrous空间金字塔单元分别采用1*1的卷积、三个Atrous卷积，对输入特征映射图卷积求和，对所有输出进行通道拼接，提取图像多尺度特征。Atrous卷积单元采用带孔的卷积对特征映射图卷积求和。三个Atrous卷积的卷积核为3*3，采样间隔r分别为3、6、9，卷积核数目均为64。记L为一维输入信号，w(k)表示长度为k的卷积核，r表示输入信号采样间隔，一维特征映射图的Atrous卷积计算公式为：
Figure GDA0004236459360000044
卷积单元采用特定卷积核对输入特征映射图进行卷积求和。前两个卷积核尺寸分别为3*3和5*5，后两个卷积核尺寸为7*7，卷积核数目分别为32、64、128、256。记Fl为当前层的二维特征映射图，Fl+1为经卷积操作之后的特征映射图，Kl(m,n)表示尺寸为m×n的卷积核，bl表示偏差值，二维特征映射图的卷积计算公式为：
Figure GDA0004236459360000051
反卷积单元，对特征映射图的所有元素根据步长间隔填充0，恢复特征映射图的高分辨率尺寸，再对其进行卷积求和。反卷积的卷积核尺寸为3*3，步长strides＝2，卷积核数目分别为32、64、128、256。
密集分类单元，对特征映射图做1x1的卷积映射，得到包含有背景和裂缝两个通道的特征映射图，通过对两个通道求最大值索引做密集分类。
批标准化单元用于加速模型训练，并防止数据过拟合，其计算公式为：
Figure GDA0004236459360000052
Figure GDA0004236459360000053
其中，m表示批尺寸，zc表示第c批特征映射图中的数据规模,
Figure GDA0004236459360000054
表示批均值，/>
Figure GDA0004236459360000055
表示批方差，γ和β为可学习参数，/>
Figure GDA0004236459360000056
表示归一化后批数据，uc表示经过缩放和平移微调处理后批数据。
步骤32)计算训练集中所有裂缝占图像的整体权重：
Figure GDA0004236459360000057
其中，ρ表示训练集中所有图像中裂缝的权重值，Nmask表示所有图像中被标注为裂缝的像素数，Nimage表示所有图像的像素规模。
步骤33)构建加权softmax的交叉熵损失函数，其公式如下：
Ha(p)＝-∑xαdqdlog(pd) (15)
Figure GDA0004236459360000058
αd＝αd-1ρ (17)
其中，Ha(p)是交叉熵损失函数，pd表示像素点属于第d类的概率，qd表示第d类的标签值，αd表示损失函数中第d类所占权重。fd表示模型预测像素点属于第d类的分数。
步骤34)数据归一化，采用梯度更新算法训练模型，其更新公式如下：
Figure GDA0004236459360000059
mt＝β1mt-1+(1-β1)gt (19)
Figure GDA00042364593600000510
Figure GDA00042364593600000511
其中，t表示时刻，β1表示一阶矩估计的衰减率，β2表示二阶矩估计的衰减率，lrt表示t时刻的学习率，gt表示t时刻的梯度值，mt表示t时刻的梯度一阶矩估计，vt表示第t时刻的梯度二阶矩估计，∈为预先设定常数，θt表示t时刻的模型参数。
步骤4.采用深度语义分割模型对待检测图像进行识别，并在图像上标注分类结果，具体步骤为：
步骤41)采用深度语义分割模型，对待检测图像进行分类。
步骤42)对图像上所有识别为裂缝的像素点进行类别标注。
优选的：所述降采样后的图像宽度W0为1366，降采样后的图像高度H0为768，裁剪后的图像宽度Wc为512，裁剪后的图像高度Hc为512。
优选的：比例调节参数
Figure GDA0004236459360000061
为0.05。
优选的：亮度调整峰值Δ为32。
优选的：对比度调节因子最小值为0.2，对比度调节因子最大值为1.8。
优选的：损失函数中第1类所占权重α1为0.2595。
一种基于无人机的煤矿采空区裂缝检测系统，其特征在于：包括摄像头、无人机、无人机地面站和数据服务器。所述摄像头、无人机、无人机地面站构成系统的数据采集部分。所述无人机用于搭载摄像头，获取煤矿采空区地表的图像。所述无人机地面站控制无人机在采空区内根据航迹飞行。所述数据服务器用于保存采集到的高清俯视图，对数据进行标注和模型训练，并利用图片，采用基于无人机的煤矿采空区裂缝识别方法，实现裂缝检测。
本发明相比现有技术，具有以下有益效果：
本发明实现了煤矿采空区的地表裂缝检测。相比传统的路面裂缝检测方法，本发明在进行煤矿采空区地表裂缝检测时，可以直接对降采样后的煤矿采空区地表原图进行裂缝检测，属于端到端的检测，简化了处理过程。相比于采用滑动窗口算法的深度学习分类模型和基于语义分割的桥梁裂缝检测模型，本发明在进行煤矿采空区地表裂缝检测时，采用密集深度可分离卷积单元，通过多次利用图像特征来减少模型参数。采用Atrous空间金字塔来提取裂缝的多尺度特征，并根据训练样本中裂缝占图像的权重，自适应调整损失函数，提升了训练效率。采用密集分类得到像素级的检测结果，识别过程更加简化，检测识别准确性更高。
本发明的优点在于：1)采用无人机搭载高情摄像头获取煤矿采空区的地表俯视图像，能够避免恶劣环境影响，减少巡视时间，提高巡视效率和安全性。2)对数据增广处理，并结合图像的深度语义信息，显著提高图像特征提取能力和泛化性能。3)采用本发明中的识别方法进行采空区地表裂缝检测，可以有效重复利用图像特征，在复杂的采空区地表俯视图中准确检测出地表裂缝。
本发明是通过无人机高空采集到的高清俯视图实现煤矿采空区的地表裂缝检测，大大节省了人力巡视时间，保障了巡视人员的安全状况，能有效提升煤炭企业的经济效益，并且对相似地貌特性的地物检测具有较好推广能力。
附图说明
图1是煤矿采空区裂缝检测系统示意图
图2是结合深度语义信息的裂缝检测方法示意图
图3是裂缝检测结果图
图4是裂缝检测标注图
图5是深度语义模型的结构示意图
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于无人机的煤矿采空区裂缝检测系统，包括高清摄像头、工业级四旋翼无人机、无人机地面站和数据服务器。所述高清摄像头、工业级四旋翼无人机、无人机地面站构成系统的数据采集部分。所述工业级四旋翼无人机用于搭载高清摄像头，获取煤矿采空区地表的俯视图像。所述无人机地面站控制无人机在采空区内根据航迹飞行。所述数据服务器用于保存采集到的高清俯视图，对数据进行标注，进行网络的训练，并采用以下识别方法，对图片进行裂缝检测。
一种基于无人机的煤矿采空区裂缝识别方法，具体步骤为：
步骤1.对采集到的图像进行标注和随机裁剪，构建数据集，具体过程为：
步骤11)对采集到的图像进行双边滤波处理，并采用双线性插值降采样方法，标准化图像分辨率为W0*H0，其中，W0表示降采样后的图像宽度，H0表示降采样后的图像高度。
步骤12)根据先验知识，标注标准化图像中的裂缝，裂缝所对应像素点标注为类别1，其余像素点作为背景，标注为类别0。
步骤13)采用随机裁剪方法，从每张图像中裁剪出五幅分辨率为Wc*Hc的图像，Wc表示裁剪后的图像宽度，Hc表示裁剪后的图像高度，其计算公式为：
imgCropLx＝xij (1)
imgCropLy＝yij (2)
imgCropRx＝xij+Wc (3)
imgCropRy＝yij+Hc (4)
其中，(imgCropLx，imgCropLy)为裁剪图像的左上角坐标，(imgCropRx，imgCropRy)为裁剪图像的右下角坐标，(xij,yij)表示在第i幅图像中进行第j次裁剪时的图像左上角坐标，xij∈[0,W0-Wc]，yij∈[0,H0-Hc]，令W0＝1366，H0＝768，Wc＝512,Hc＝512。i＝1,2…N,N为图像的总数,j＝1,2…5。
步骤14)计算裁剪后单幅图像中裂缝像素所占比例：
Figure GDA0004236459360000081
其中，
Figure GDA0004236459360000082
表示图像中裂缝所占比例，/>
Figure GDA0004236459360000083
表示图像中被标注为裂缝的像素数，
Figure GDA0004236459360000084
表示图像中的像素规模，丢弃比例小于比例调节参数/>
Figure GDA0004236459360000085
的图像，/>
Figure GDA0004236459360000086
为比例调节参数，令/>
Figure GDA0004236459360000087
并对剩余图像进行分类，构建用于训练深度语义分割模型的训练集、验证集和测试集。
步骤2.对步骤1)获得的数据集，进行数据增广处理，具体步骤为：
步骤21)对训练集和验证集中的图像进行随机亮度调整，对任意图像中第a个通道的第b个像素点调整亮度，如下所示：
Figure GDA0004236459360000088
其中，Iijab表示RGB图像第a个通道中第b个像素点的亮度调整值,a＝1,2,3，v∈[-Δ,Δ]表示亮度调整参数，Δ为亮度调整峰值，令Δ＝32。遍历图像上所有像素点，完成随机亮度调整。
步骤22)对训练集和验证集中的图片进行随机对比度调整，对任意图像中第a个通道的第b个像素点调整对比度，如下所示：
Figure GDA0004236459360000089
其中，Jijab表示RGB图像第a个通道中第b个像素点的对比度调整值，
Figure GDA00042364593600000810
表示任意通道中所有像素点的平均值，n为图像的像素规模，/>
Figure GDA00042364593600000811
表示对比度调节因子，令c＝0.2,/>
Figure GDA00042364593600000812
遍历图像上所有像素点，完成随机对比度调整。
步骤23)对训练集和验证集中的图像进行镜像处理，对任意图像中第a个通道进行水平镜像，计算公式如下：
Figure GDA0004236459360000091
Figure GDA0004236459360000092
其中，Wija表示图像宽度，(xija,yia)表示原图像的坐标，
Figure GDA0004236459360000093
表示水平镜像变换后的图像坐标。任意图像中第a个通道进行垂直镜像，计算公式如下：
Figure GDA0004236459360000094
Figure GDA0004236459360000095
其中，Hija表示图像高度，(xija,yija)表示原图像的坐标，
Figure GDA0004236459360000096
表示垂直镜像变换后的图像坐标。
步骤3.构建并训练深度语义分割模型，具体步骤为：
步骤31)构建深度语义分割模型，所述深度语义分割模型主要包括：由四个密集深度可分离卷积-最大池化单元构成下采样路径，用于裂缝的深度特征提取。一个Atrous空间金字塔单元用于裂缝的多尺度特征提取。四个反卷积-卷积单元构成上采样路径，用于还原裂缝的高分辨率特征。在每个卷积单元后加入批标准化单元，用于加速模型训练、避免过拟合。在最后设置一个密集分类单元，得到像素级的检测结果。
密集深度可分离卷积单元由4个深度可分离卷积组成。深度可分离卷积采用不同的卷积核对输入特征映射图的各通道做卷积操作，得到的特征映射图采用1*1的卷积核做线性映射求和，输出通道数为24的特征映射图。前两层中深度可分离卷积使用7*7的卷积核，后两层中深度可分离卷积分别使用5*5和3*3的卷积核。每个深度可分离卷积的输入为之前的深度可分离卷积输出特征映射图的通道拼接。
最大池化单元采用2*2的滑动窗口，在特征映射图中以大小为2的步长进行滑动，保留滑动窗口内的最大值。
Atrous空间金字塔单元分别采用1*1的卷积、三个Atrous卷积，对输入特征映射图卷积求和，对所有输出进行通道拼接，提取图像多尺度特征。Atrous卷积单元采用带孔的卷积对特征映射图卷积求和。三个Atrous卷积的卷积核为3*3，采样间隔r分别为3、6、9，卷积核数目均为64。记L为一维输入信号，w(k)表示长度为k的卷积核，r表示输入信号采样间隔，一维特征映射图的Atrous卷积计算公式为：
Figure GDA0004236459360000097
卷积单元采用特定卷积核对输入特征映射图进行卷积求和。前两个卷积核尺寸分别为3*3和5*5，后两个卷积核尺寸为7*7，卷积核数目分别为32、64、128、256。记Fl为当前层的二维特征映射图，Fl+1为经卷积操作之后的特征映射图，Kl(m,n)表示尺寸为m×n的卷积核，bl表示偏差值，二维特征映射图的卷积计算公式为：
Figure GDA0004236459360000101
反卷积单元，对特征映射图的所有元素根据步长间隔填充0，恢复特征映射图的高分辨率尺寸，再对其进行卷积求和。反卷积的卷积核尺寸为3*3，步长strides＝2，卷积核数目分别为32、64、128、256。
密集分类单元，对特征映射图做1x1的卷积映射，得到包含有背景和裂缝两个通道的特征映射图，通过对两个通道求最大值索引做密集分类。
批标准化单元用于加速模型训练，并防止数据过拟合，其计算公式为：
Figure GDA0004236459360000102
Figure GDA0004236459360000103
其中，m表示批尺寸，zc表示第c批特征映射图中的数据规模,
Figure GDA0004236459360000104
表示批均值，/>
Figure GDA0004236459360000105
表示批方差，γ和β为可学习参数，/>
Figure GDA0004236459360000106
表示归一化后批数据，uc表示经过缩放和平移微调处理后批数据。
步骤32)计算训练集中所有裂缝占图像的整体权重：
Figure GDA0004236459360000107
其中，ρ表示训练集中所有图像中裂缝的权重值，Nmask表示所有图像中被标注为裂缝的像素数，Himage表示所有图像的像素规模。
步骤33)构建加权softmax的交叉熵损失函数，其公式如下：
Ha(p)＝-∑xαdqdlog(pd) (15)
Figure GDA0004236459360000108
αd＝αd-1ρ (17)
其中，Ha(p)是交叉熵损失函数，pd表示像素点属于第d类的概率，qd表示第d类的标签值，αd表示损失函数中第d类所占权重。fd表示模型预测像素点属于第d类的分数，令α1＝0.2595，α2＝α1ρ。
步骤34)数据归一化，采用梯度更新算法训练模型，其更新公式如下：
Figure GDA0004236459360000111
mt＝β1mt-1+(1-β1)gt (19)
Figure GDA0004236459360000112
Figure GDA0004236459360000113
其中，t表示时刻，β1表示一阶矩估计的衰减率，β2表示二阶矩估计的衰减率，lrt表示t时刻的学习率，gt表示t时刻的梯度值，mt表示t时刻的梯度一阶矩估计，vt表示第t时刻的梯度二阶矩估计，∈为预先设定常数，θt表示t时刻的模型参数。
步骤4.采用深度语义分割模型对待检测图像进行识别，并在图像上标注分类结果。具体步骤为：
步骤41)采用深度语义分割模型，对待检测图像进行分类。
步骤42)对图像上所有识别为裂缝的像素点进行类别标注。
本发明提出的煤矿采空区地表裂缝检测系统及裂缝识别方法为煤矿采空区地表裂缝检测提供了一种新思路，具有较高的裂缝检测精度，可以有效减少人员巡视时间，提高检测安全性，适用于大规模复杂背景下的煤矿采空区地表裂缝检测，能推广应用于其它行业的地质异常检测，对实现采空区的高效管理具有深远意义。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于无人机的煤矿采空区裂缝识别方法，其特征在于：通过对数据增广处理，结合图像的深度语义信息，构建深度语义分割模型，采用密集深度可分离卷积单元，充分利用图像特征，结合空间金字塔实现裂缝的多尺度特征提取；根据训练样本中裂缝占图像的权重，自适应设置损失函数，从而加速训练过程；采用密集分类，最终获得像素级检测结果；
包括如下步骤：
步骤1.对采集到的图像进行标注和随机裁剪，构建数据集，具体过程为：
步骤11)对采集到的图像进行双边滤波处理，并采用双线性插值降采样方法，标准化图像分辨率为W0*H0，其中，W0表示降采样后的图像宽度，H0表示降采样后的图像高度；
步骤12)根据先验知识，标注标准化图像中的裂缝，裂缝所对应像素点标注为类别1，其余像素点作为背景，标注为类别0；
步骤13)采用随机裁剪方法，从每张图像中裁剪出五幅分辨率为Wc*Hc的图像，Wc表示裁剪后的图像宽度，Hc表示裁剪后的图像高度，其计算公式为：
imgCropLx＝xij (1)
imgCropLy＝yij (2)
imgCropRx＝xij+Wc (3)
imgCropRy＝yij+Hc (4)
其中，(imgCropLx，imgCropLy)为裁剪图像的左上角坐标，(imgCropRx，imgCropRy)为裁剪图像的右下角坐标，(xij，yij)表示在第i幅图像中进行第j次裁剪时的图像左上角坐标，xij∈[0，W0-Wc]，yij∈[0，H0-Hc]，i＝1，2…N，N为图像的总数，j＝1，2…5；
步骤14)计算裁剪后单幅图像中裂缝像素所占比例：
Figure FDA0004236459350000011
其中，
Figure FDA0004236459350000012
表示图像中裂缝所占比例，/>
Figure FDA0004236459350000013
表示图像中被标注为裂缝的像素数，/>
Figure FDA0004236459350000014
表示图像中的像素规模，丢弃比例小于比例调节参数/>
Figure FDA0004236459350000015
的图像；并对剩余图像进行分类，构建用于训练深度语义分割模型的训练集、验证集和测试集；
步骤2.对步骤1)获得的数据集，进行数据增广处理，具体步骤为：
步骤21)对训练集和验证集中的图像进行随机亮度调整，对任意图像中第a个通道的第b个像素点调整亮度，如下所示：
Figure FDA0004236459350000021
其中，Iijab表示RGB图像第a个通道中第b个像素点的亮度调整值，a＝1，2，3，v∈[-Δ，Δ]表示亮度调整参数，Δ为亮度调整峰值，遍历图像上所有像素点，完成随机亮度调整；
步骤22)对训练集和验证集中的图片进行随机对比度调整，对任意图像中第a个通道的第b个像素点调整对比度，如下所示：
Figure FDA0004236459350000022
其中，Jijab表示RGB图像第a个通道中第b个像素点的对比度调整值，
Figure FDA0004236459350000023
表示任意通道中所有像素点的平均值，n为图像的像素规模，/>
Figure FDA0004236459350000024
表示对比度调节因子，c表示对比度调节因子最小值，/>
Figure FDA0004236459350000025
表示对比度调节因子最大值，遍历图像上所有像素点，完成随机对比度调整；
步骤23)对训练集和验证集中的图像进行镜像处理，对任意图像中第a个通道进行水平镜像，计算公式如下：
Figure FDA0004236459350000026
Figure FDA0004236459350000027
其中，Wija表示图像宽度，(xija，yia)表示原图像的坐标，
Figure FDA0004236459350000028
表示水平镜像变换后的图像坐标；任意图像中第a个通道进行垂直镜像，计算公式如下：
Figure FDA0004236459350000029
Figure FDA00042364593500000210
其中，Hija表示图像高度，(xija，yija)表示原图像的坐标，
Figure FDA00042364593500000211
表示垂直镜像变换后的图像坐标；
步骤3.构建并训练深度语义分割模型，具体步骤为：
步骤31)构建深度语义分割模型，所述深度语义分割模型包括四个密集深度可分离卷积单元-最大池化单元、一个Atrous空间金字塔单元、四个反卷积-卷积单元、密集分类单元，其中：密集深度可分离卷积单元-最大池化单元构成下采样路径，用于裂缝的深度特征提取；Atrous空间金字塔单元用于裂缝的多尺度特征提取；四个反卷积-卷积单元构成上采样路径，用于还原裂缝的高分辨率特征；在每个卷积单元后加入批标准化单元，用于加速模型训练、避免过拟合；密集分类单元设置反卷积-卷积单元之后，用于根据还原裂缝的高分辨率特征得到像素级的检测结果；
密集深度可分离卷积单元由4个深度可分离卷积组成；深度可分离卷积采用不同的卷积核对输入特征映射图的各通道做卷积操作，得到的特征映射图采用1*1的卷积核做线性映射求和，输出通道数为24的特征映射图；前两层的深度可分离卷积使用7*7的卷积核，后两层的深度可分离卷积分别使用5*5和3*3的卷积核；每个深度可分离卷积的输入为之前的深度可分离卷积输出特征映射图的通道拼接；
最大池化单元采用2*2的滑动窗口，在特征映射图中以大小为2的步长进行滑动，保留滑动窗口内的最大值；
Atrous空间金字塔单元分别采用1*1的卷积、三个Atrous卷积，对输入特征映射图卷积求和，对所有输出进行通道拼接，提取图像多尺度特征；Atrous卷积单元采用带孔的卷积对特征映射图卷积求和；三个Atrous卷积的卷积核为3*3，采样间隔r分别为3、6、9，卷积核数目均为64；记L为一维输入信号，w(k)表示长度为k的卷积核，r表示输入信号采样间隔，一维特征映射图的Atrous卷积计算公式为：
Figure FDA0004236459350000031
卷积单元采用特定卷积核对输入特征映射图进行卷积求和；前两个卷积核尺寸分别为3*3和5*5，后两个卷积核尺寸为7*7，卷积核数目分别为32、64、128、256；记Fl为当前层的二维特征映射图，Fl+1为经卷积操作之后的特征映射图，Kl(m，n)表示尺寸为m×n的卷积核，bl表示偏差值，二维特征映射图的卷积计算公式为：
Figure FDA0004236459350000032
反卷积单元，对特征映射图的所有元素根据步长间隔填充0，恢复特征映射图的高分辨率尺寸，再对其进行卷积求和；反卷积的卷积核尺寸为3*3，步长strides＝2，卷积核数目分别为32、64、128、256；
密集分类单元，对特征映射图做1x1的卷积映射，得到包含有背景和裂缝两个通道的特征映射图，通过对两个通道求最大值索引做密集分类；
批标准化单元用于加速模型训练，并防止数据过拟合，其计算公式为：
Figure FDA0004236459350000033
Figure FDA0004236459350000034
其中，m表示批尺寸，zc表示第c批特征映射图中的数据规模，
Figure FDA0004236459350000035
表示批均值，
Figure FDA0004236459350000036
表示批方差，γ和β为可学习参数，/>
Figure FDA0004236459350000037
表示归一化后批数据，uc表示经过缩放和平移微调处理后批数据；
步骤32)计算训练集中所有裂缝占图像的整体权重：
Figure FDA0004236459350000041
其中，ρ表示训练集中所有图像中裂缝的权重值，Nmask表示所有图像中被标注为裂缝的像素数，Nimage表示所有图像的像素规模；
步骤33)构建加权softmax的交叉熵损失函数，其公式如下：
Ha(p)＝-∑xαdqdlog(pd) (15)
Figure FDA0004236459350000042
αd＝αd-1ρ (17)
其中，Ha(p)是交叉熵损失函数，pd表示像素点属于第d类的概率，qd表示第d类的标签值，αd表示损失函数中第d类所占权重；fd表示模型预测像素点属于第d类的分数；
步骤34)数据归一化，采用梯度更新算法训练模型，其更新公式如下：
Figure FDA0004236459350000043
mt＝β1mt-1+(1-β1)gt (19)
Figure FDA0004236459350000044
Figure FDA0004236459350000045
其中，t表示时刻，β1表示一阶矩估计的衰减率，β2表示二阶矩估计的衰减率，lrt表示t时刻的学习率，gt表示t时刻的梯度值，mt表示t时刻的梯度一阶矩估计，vt表示第t时刻的梯度二阶矩估计，∈为预先设定常数，θt表示t时刻的模型参数；
步骤4.采用深度语义分割模型对待检测图像进行识别，并在图像上标注分类结果，具体步骤为：
步骤41)采用深度语义分割模型，对待检测图像进行分类；
步骤42)对图像上所有识别为裂缝的像素点进行类别标注。
2.根据权利要求1所述基于无人机的煤矿采空区裂缝识别方法，其特征在于：所述降采样后的图像宽度W0为1366，降采样后的图像高度H0为768，裁剪后的图像宽度Wc为512，裁剪后的图像高度Hc为512。
3.根据权利要求2所述基于无人机的煤矿采空区裂缝识别方法，其特征在于：比例调节参数
Figure FDA0004236459350000046
为0.05。
4.根据权利要求1所述基于无人机的煤矿采空区裂缝识别方法，其特征在于：亮度调整峰值Δ为32。
5.根据权利要求1所述基于无人机的煤矿采空区裂缝识别方法，其特征在于：对比度调节因子最小值为0.2，对比度调节因子最大值为1.8。
6.根据权利要求1所述基于无人机的煤矿采空区裂缝识别方法，其特征在于：损失函数中第1类所占权重α1为0.2595。
7.一种基于无人机的煤矿采空区裂缝检测系统，其特征在于：包括摄像头、无人机、无人机地面站和数据服务器；所述摄像头、无人机、无人机地面站构成系统的数据采集部分；所述无人机用于搭载摄像头，获取煤矿采空区地表的图像；所述无人机地面站控制无人机在采空区内根据航迹飞行；所述数据服务器用于保存采集到的高清俯视图，对数据进行标注和模型训练，并利用图片，采用权利要求1至6任一所述的基于无人机的煤矿采空区裂缝识别方法，实现裂缝检测。
CN201910245321.0A 2019-03-28 2019-03-28 基于无人机的煤矿采空区裂缝识别方法及检测系统 Active CN110147714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910245321.0A CN110147714B (zh) 2019-03-28 2019-03-28 基于无人机的煤矿采空区裂缝识别方法及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910245321.0A CN110147714B (zh) 2019-03-28 2019-03-28 基于无人机的煤矿采空区裂缝识别方法及检测系统

Publications (2)

Publication Number Publication Date
CN110147714A CN110147714A (zh) 2019-08-20
CN110147714B true CN110147714B (zh) 2023-06-23

Family

ID=67588690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910245321.0A Active CN110147714B (zh) 2019-03-28 2019-03-28 基于无人机的煤矿采空区裂缝识别方法及检测系统

Country Status (1)

Country Link
CN (1) CN110147714B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008956B (zh) * 2019-11-13 2024-06-28 武汉工程大学 基于图像处理的梁底裂纹检测方法、系统、装置及介质
CN111257341B (zh) * 2020-03-30 2023-06-16 河海大学常州校区 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN111830408B (zh) * 2020-06-23 2023-04-18 朗斯顿科技(北京)有限公司 一种基于边缘计算和深度学习的电机故障诊断系统及方法
CN112184687B (zh) * 2020-10-10 2023-09-26 南京信息工程大学 基于胶囊特征金字塔的道路裂缝检测方法和存储介质
CN113496221B (zh) * 2021-09-08 2022-02-01 湖南大学 基于深度双边滤波的点监督遥感图像语义分割方法及系统
CN114812398B (zh) * 2022-04-10 2023-10-03 同济大学 一种基于无人机的高精度实时裂缝检测平台
CN115082450A (zh) * 2022-07-26 2022-09-20 北京中科慧眼科技有限公司 基于深度学习网络的路面裂缝检测方法和系统
CN118351077A (zh) * 2024-04-16 2024-07-16 武汉大学 基于mdta和gdfn的路面裂缝图像检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108520516A (zh) * 2018-04-09 2018-09-11 陕西师范大学 一种基于语义分割的桥梁路面裂缝检测和分割方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109521019A (zh) * 2018-11-09 2019-03-26 华南理工大学 一种基于无人机视觉的桥梁底面裂缝检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108520516A (zh) * 2018-04-09 2018-09-11 陕西师范大学 一种基于语义分割的桥梁路面裂缝检测和分割方法
CN109521019A (zh) * 2018-11-09 2019-03-26 华南理工大学 一种基于无人机视觉的桥梁底面裂缝检测方法

Also Published As

Publication number Publication date
CN110147714A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110147714B (zh) 基于无人机的煤矿采空区裂缝识别方法及检测系统
Kakooei et al. Fusion of satellite, aircraft, and UAV data for automatic disaster damage assessment
US9846946B2 (en) Objection recognition in a 3D scene
CN109029381B (zh) 一种隧道裂缝的检测方法、系统及终端设备
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Zheng et al. A novel vehicle detection method with high resolution highway aerial image
CN105574488B (zh) 一种基于低空航拍红外图像的行人检测方法
CN110120046B (zh) 一种融合dem、光学遥感和形变信息的潜在滑坡识别方法
EP2874097A2 (en) Automatic scene parsing
EP3408828B1 (en) Systems and methods for detecting imaged clouds
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN112633185A (zh) 图像处理的方法及装置
Moussa et al. A new object based method for automated extraction of urban objects from airborne sensors data
CN110852179A (zh) 基于视频监控平台的可疑人员入侵的检测方法
CN111768429A (zh) 一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
Liu et al. Vehicle detection from aerial color imagery and airborne LiDAR data
CN115082668A (zh) 遥感图像中感兴趣区域的筛选方法、装置、设备及介质
CN111462310A (zh) 一种基于多视几何的螺栓缺陷空间定位方法
CN115063698A (zh) 斜坡地表变形裂缝自动识别与信息提取方法及系统
CN113673326B (zh) 一种基于图像深度学习的无人机平台人群计数方法及系统
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN114494845A (zh) 一种用于施工项目现场人工智能隐患排查系统及其排查方法
Abraham et al. Vehicle detection and classification from high resolution satellite images
CN117745709A (zh) 一种铁路异物侵限检测方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220505

Address after: 100013 No. 5 Youth Road, Chaoyang District, Beijing, Hepingli

Applicant after: CHINA COAL Research Institute

Applicant after: China University of Mining and Technology

Address before: 221116 Research Institute of China University of Mining and Technology, Tongshan University Road, Xuzhou City, Jiangsu Province

Applicant before: CHINA University OF MINING AND TECHNOLOGY

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant