CN116208829A - 岩层钻孔环境全景成像、状态识别系统及其方法 - Google Patents

Abstract

本发明公开了一种岩层钻孔环境全景成像、状态识别系统及其方法，包括分别设置在前端外壳、中端外壳和后端外壳内的鱼眼镜头摄像模组、高分辨率镜头模组和核心控制电路板；鱼眼镜头摄像模组和高分辨率镜头模组均与AHD连接驱动电连接，AHD连接驱动与核心控制电路板相连，核心控制电路板分别与可充电电池和连接线相连。本发明图像采集设备的体积小，设备具有小型化、轻量化等特点；且通过本系统设备进行图像采集，对采集的图像和全景图像的处理具有更完整、更有效的方式、所获得的待识别图像质量高；通过最后的CNN识别，可以直接在系统上显示该岩层属于什么类型，检测结果具有直观、地层状态识别准确性高和检测技术可靠等优势。

Description

岩层钻孔环境全景成像、状态识别系统及其方法

技术领域

本发明属于地质勘察的技术领域，具体涉及一种岩层钻孔环境全景成像、状态识别系统及其方法。

背景技术

随着我国经济的发展，我国基建力度不断的增大，大规模的道路、建筑、隧道等投入建设。建筑物在建设之前，需要对区域范围内的地质情况进行勘察，通过勘查分析区域内的岩土力学情况、地质环境，才能够合理安排后续的施工手段，分析识别其岩层图像是勘查任务中很重要的一个手段。对于如何采集岩层图像，目前存在的方法主要分为以下四类：传统岩层探测法、地球物理探测法、钻孔成像法和随钻参数动态响应识别法。

文件1(CN 115082454 A)公开了岩芯判别方法、装置、电子设备和存储介质。其中方法包括获取岩芯图像、岩层图像、岩芯钻取速度；对所述岩芯图像进行图像处理，确定岩芯破碎度；将所述岩芯图像、所述岩芯钻取速度和所述岩芯破碎度输入CAD岩芯判定算法模型，获取第一岩芯判定结果；将所述岩层图像、所述岩芯钻取速度和所述岩芯破碎度输入CAD岩层判定算法模型，获取第二岩芯判定结果；根据所述第一岩芯判定结果和所述第二岩芯判定结果，确定岩芯类别。

文件1在图像采集方面使用的是钻孔机取芯的方法，该方法成本高，设备规模大，过程也比较繁琐，耗费时间长；实际应用时，通过工业相机等获取岩芯图像、岩层图像，图像的精度和质量不高。

发明内容

本发明的目的在于针对现有技术中的上述不足，提供一种岩层钻孔环境全景成像、状态识别系统及其方法，以解决现有技术采集的图像精度和质量不高的问题。

为达到上述目的，本发明采取的技术方案是：

第一方面，一种岩层钻孔环境全景成像、状态识别系统及其方法，其包括鱼眼镜头摄像模组、高分辨率镜头模组和核心控制电路板；鱼眼镜头摄像模组、高分辨率镜头模组和核心控制电路板分别设置于前端外壳、中端外壳和后端外壳内部；鱼眼镜头摄像模组和高分辨率镜头模组均与AHD连接驱动电连接，AHD连接驱动与核心控制电路板相连，核心控制电路板分别与可充电电池和连接线相连。

进一步地，鱼眼镜头摄像模组包括沿竖直方向布置的鱼眼镜头，鱼眼镜头通过安装板固定于前端外壳的边端，且在鱼眼镜头的外围环设有一圈前端LED。

进一步地，高分辨率镜头模组包括沿水平方向布置的高分辨镜头，高分辨镜头通过安装板设置于中端外壳上，且在高分辨镜头的外围环设有一圈中端LED。

进一步地，前端LED和中端LED均与双线LED驱动电连接；双线LED驱动设置于中端外壳内。

第二方面，一种岩层钻孔环境全景成像、状态识别系统的全景成像、状态识别方法，其特征在于，包括以下步骤：

S1、采用鱼眼镜头摄像模组和高分辨率镜头模组实时采集岩层钻孔环境的图像；

S2、对采集后的图像进行预处理；

S3、基于坐标换算对预处理后的图像进行全景展开；

S4、采用图像配准和图像融合对步骤S3中展开的图像进行全景图拼接，得到岩层钻孔环境完整的图像；

S5、对步骤S4所得的岩层钻孔环境完整图像，进行传统数据增强和GAN对抗网络，制作得到若干的图像样本；

S6、将图像样本经过CBAM机制，得到图像样本的最终特征图；

S7、采用优化后的残差结构识别最终特征图，以识别岩层钻孔环境图像的状态。

进一步地，步骤S2具体包括以下步骤：

S2.1、采用加权平均值法对采集的岩层钻孔环境图像进行灰度化处理；

S2.2、对灰度化后的图像进行滤波去噪；

S2.3、对步骤S2.2处理后的图像进行对比度增强。

进一步地，步骤S3具体包括以下步骤：

选取一段钻孔孔壁，其三维模型为圆柱体，假设其高为h，平面圆半径为r，选取圆柱面上任意一点P，并将其植入空间三维坐标系内，令点P在XY面上的投影与X轴的夹角为α，其实得到的全景图像是由圆柱面的某一段图像经过锥面反射镜反射成像于锥面反射镜底部的某一平面或近似平面上的图像，假设点P在全景图像上的成像点为(x，y，z)，该点极坐标(ρ，θ)，内圆和外圆的半径分别为r1和r2，计算点P的坐标为：

y＝rcosα

x＝rsinα

r1＜ρ＜r20＜θ＜2π

θ＝αr2－ρz＝r2－r1h

z＝r2－ρr2－r1h。

进一步地，步骤S4中对展开的图像进行图像配准，包括对处理后的鱼眼镜头图像和高分辨率图像：

将待匹配的两幅图像中2 2邻域内的像素点的像素值分别取平均，作为这一区域(2 2)像素值，得到分辨率低一级的图像；将此分辨率低一级的图像再作同样的处理，即将低一级的图像4 4邻域内的像素点的像素值分别取平均，作为这一区域(4 4)点的像素值，得到分辨率更低一级的图像；依次处理，得到一组分辨率依次降低的图像；

从待匹配的两幅图像中分辨率最低的图像开始进行匹配搜索，在分辨率更高一级的图像中搜索时，在上一次匹配位置的附近进行搜索；依次进行搜索，直到在原始图像中寻找到精确的匹配位置。

进一步地，步骤S4中对展开的图像进行图像融合，对两幅图像分别分解得到拉普拉斯金字塔，采取最高层系数取平均，其余各层系数绝对值取大的融合策略进行融合，具体包括：

对配准后的两张源图像分别进行隔行、隔列降采样，利用高斯窗口函数与得到的图像做卷积操作，反复进行卷积操作，形成一系列的分辨率逐渐递减且完成了低通滤波后的塔层，塔层组成的金字塔即为高斯金字塔；

采用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即LP分解图像；从金字塔底层图像重建上层未采样图像，即预测残差，其图像序列的分解公式为：

LP_N＝G_N，当l＝N

当0≤l＜N

其中，LP_N为第N层拉普拉斯图像，G_N为第N层高斯图像，LP_l为第l层拉普拉斯图像，G_l为l层高斯图像，

为G_l+1内插放大后的图像；

通过对所获取的每个图像的拉普拉斯金字塔，相应层次的图像进行融合，获取融合后的拉普拉斯金字塔图像；

拉普拉斯金字塔图像重构，对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下按下式进行递推，恢复其对应的高斯金字塔，并最终可得到原图像G0，其重构公式为：

LP_N＝LG_N，当l＝N

当0≤l＜N。

进一步地，步骤S6具体包括：

将输入的特征图，分别经过基于width和height的全局最大池化和全局平均池化，再分别经过MLP，将MLP输出的特征进行基于element-wise的加和操作，再经过sigmoid激活操作，生成最终的通道注意力特征图，将该通道注意力特征图和输入特征图做elementwise乘法操作，生成空间注意力模块所需的输入特征，其表达式为：

其中，F为特征图，Mc(F)为通道注意力特征图，MLP为多层感知器，σ为sigmoid激活函数，AvgPool为最大池化，MaxPool为最大平均池化；

将通道注意力特征图作为输入特征图，首先做一个基于通道的全局最大池化和全局平均池化，然后将这两个结果基于通道做concatenate操作，经过一个卷积操作，降维为1个channel，再经过sigmoid生成空间注意力特征图，最后将该feature和该模块的输入feature做乘法，得到最终生成的特征，其表达式为：

M_s(F)＝σ(f^7×7([AvgPool(F)；MaxPool(F)]))

其中，f^7×7为滤波为7×7的卷积层，Ms(F)指的是空间注意力特征图。

本发明提供的岩层钻孔环境全景成像、状态识别系统及其方法，具有以下有益效果：

本发明图像采集设备的体积小，不需要投入过多的人力成本，并且流程也相对简单，省去了取芯、再采样的过程，设备具有小型化、轻量化等特点；

本专利采用鱼眼镜头和高分辨镜头相结合的双摄像模组方式对比现有专利使用的工业相机，获得的图像分辨率更高、视场更大、质量更高；

本发明对采集图像和全景图像的处理具有更完整、更有效的方式、所获得的待识别图像质量高；通过最后的CNN识别，可以直接在系统上显示该岩层属于什么类型，检测结果具有直观、地层状态识别准确性高和检测技术可靠等优势。

附图说明

图1为本发明岩层钻孔环境全景成像、状态识别系统的结构图。

图2为本发明图像处理流程图。

图3为本发明预处理流程图。

图4为本发明钻孔内壁三维模型示意图。

图5为本发明环带式全景图像。

图6为本发明图像拼接流图.

图7为本发明拉普拉斯金字塔图像分解过程图。

图8为本发明拉普拉斯金字塔融合示意图。

图9为本发明训练集生成过程图。

图10为本发明CBAM混合机制示意图。

图11为本发明通道注意力机制示意图。

图12为本发明空间注意力机制示意图。

图13、14、15为本发明残差结构进行二次抄近道流程图。

图16为本发明岩层钻孔环境全景成像、状态识别系统的主视图。

图17为本发明岩层钻孔环境全景成像、状态识别系统的侧视图。

图18为本发明图像融合采用过程。

其中；1、前端LED；2、鱼眼镜头摄像模组；3、前端外壳；4、双线LED驱动；5、AHD连接驱动；6、核心控制电路板；7、可充电电池；8、鱼眼镜头；9、中端外壳；10、高分辨率镜头模组；11、高分辨镜头；12、中端LED；13、后端外壳；14、连接线。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1

参考图1、图16和图17，本实施例提供一种岩层钻孔环境全景成像、状态识别系统，本实施例的设备可直接进入岩层内部从而能够对孔壁进行直接观测，具有检测结果直观、地层状态识别准确性高和检测技术可靠等优势，同时解决了传统设备定量能力不足和结果表现手段有限的问题，在采矿工程、地质工程、岩土工程等领域有着优秀的表现，其具体包括：

鱼眼镜头8摄像模组2、高分辨率镜头模组10和核心控制电路板6，鱼眼镜头8摄像模组2、高分辨率镜头模组10和核心控制电路板6分别设置于前端外壳3、中端外壳9和后端外壳13内部。

鱼眼镜头8摄像模组2和高分辨率镜头模组10均与AHD连接驱动5电连接，AHD连接驱动5与核心控制电路板6相连，核心控制电路板6分别与可充电电池7和连接线14相连，核心控制电路板6通过外接的连接线14与上位机相连，上位机优选为计算机，用于实时传输采集的图像信息。

具体的，本实施例的鱼眼镜头8摄像模组2包括沿竖直方向布置的鱼眼镜头8，鱼眼镜头8通过安装板固定于前端外壳3的边端，且在鱼眼镜头8的外围环设有一圈前端LED1。

高分辨率镜头模组10包括沿水平方向布置的高分辨镜头11，高分辨镜头11通过安装板设置于中端外壳9上，且在高分辨镜头11的外围环设有一圈中端LED12。

前端LED1和中端LED12均与双线LED驱动4电连接；所述双线LED驱动4设置于中端外壳9内。

本实施例系统在具体使用时：

采用双摄像单元模式实现岩层钻孔模拟体的内壁大视角和高分辨成像，其中，系统的前端采用大视角鱼眼镜头8，保证岩层钻孔目标探测时，能够单幅图像完成岩土孔内壁的“无死角”成像，鱼眼摄像镜头视场角需满足内壁物距限制，同时，能尽可能多的保障成像分辨率；

系统的侧面设计有高分辨摄像模组，该模块用于试验管的细节观察，镜头采用无畸变的细节观察镜头，保证探测时，发现异常情况，可采集到管内壁的细节图像，为更丰富的细节作业提供数据支撑。

实施例2

本实施例提供一种岩层钻孔环境全景成像、状态识别系统的全景成像、状态识别方法，本实施例基于实施例1中设备的图像采集，对图像进行全景成像和状态识别，其采用CNN识别技术，采用人工神经网络和深度学习技术结合而产生的一个新型人工神经网络方法，具有局部感知区域、层次结构化、特征抽取和分类过程结合的全局训练等特点,因为其各层次之间的紧密联系和空间信息使得其特别适用于图像的处理和理解，并且能够自动的从图像中抽取出丰富的相关特性，其具体包括，岩层钻孔环境的全景成像和状态识别；

其中，参考图2，岩层钻孔环境的全景成像包括以下步骤：

步骤S1、采用鱼眼镜头8摄像模组2、高分辨率镜头模组10实时采集岩层钻孔环境的图像；

步骤S2、参考图3，对采集后的图像进行预处理，其具体包括：

步骤S1.1、将采集到的岩层钻孔环境的图像放入matlab中，采用加权平均值法将图像灰度化；

步骤S1.2、使用Gui界面选择去噪方式例如均值滤波可以有效抑制加性噪声，维纳滤波器对于去除高斯噪声效果明显，通过试错选择最优方式；

步骤S1.3、在Gui提供的两种方式中选择效果更好的对比度增强方式处理图像。

步骤S3、基于坐标换算对预处理后的图像进行全景展开；

图像展开的基本方法是基于坐标换算，首先确定圆心和半径形成了如图5所示的环带式全景图像，逐一提取圆周上的像素点，将环形图像圆周上的像素点的坐标根据坐标变换关系以及北－东－南－西的方位变换到展开的矩形的直角坐标系中，最终形成展开的矩形图，以展开图像与原始图像的像素点的坐标变换为基本原理对环形图像按照北－东－南－西－北的方位进行圆周展开；

通过图像与原真实钻孔内部空间的映射关系可以得到此方法的正确性，具体如下：

选取一段钻孔孔壁，其三维模型应该为圆柱体，假设其高为h，平面圆半径为r，选取圆柱面上任意一点P()，并将其植入空间三维坐标系内，令点P在XY面上的投影与X轴的夹角为α，如图5所示；其实得到的全景图像是由圆柱面的某一段图像经过锥面反射镜反射成像于锥面反射镜底部的某一平面或近似平面上的图像，称该图像为全景图像。

由图5可得知井下钻孔全景图像由两个圆组成，内圆内部不成像，也就是所谓的盲区，为黑色图像，能够成像的部分为外圆与内圆之间的环带区域，也称该全景图像为环带式全景图像，假设点P在全景图像上的成像点为(x，y，z)，该点极坐标(ρ，θ)，内圆和外圆的半径分别为r1和r2，如图4所示；

计算点P的坐标为：

y＝rcosα

x＝rsinα

r1＜ρ＜r20＜θ＜2π

θ＝αr2－ρz＝r2－r1h

z＝r2－ρr2－r1h

步骤S4、采用图像配准和图像融合对步骤S3中展开的图像进行全景图拼接，得到岩层钻孔环境完整的图像；

参考图6和图18，钻孔图像展开以后互相之间含有重复区域，为了将这些图像形成一幅完整的的新图像，需要对展开后的图像进行拼接，图像的拼接主要包括了图像配准和图像融合两个方面；图像配准是指将两个具有相同特征信息的图像配接到一起。图像融合是指图像融合是多幅配准的图像进行合成，最终形成一幅完整的图像；

图像配准

采用分层比较法：在逐一比较法的基础上，利用图像的塔形分解，可以分析图像中不同大小的物体。同时，通过对低分辨率、尺寸较小的上层进行分析所得到的信息还可以用来指导对高分辨率、尺寸较大的下层进行分析，从而大大简化分析和计算。在搜索过程中，首先进行粗略匹配，每次水平或垂直移动一个步长，计算对应像素点灰度差的平方和，记录最小值的网格位置。其次，以此位置为中心进行精确匹配。每次步长减半，搜索当前最小值，循环这个过程，直到步长为零，最后确定出最佳匹配位置，其具体流程为：

将待匹配的两幅图像中2 2邻域内的像素点的像素值分别取平均，作为这一区域(2 2)像素值，得到分辨率低一级的图像，然后，将此分辨率低一级的图像再作同样的处理，也就是将低一级的图像4 4邻域内的像素点的像素值分别取平均，作为这一区域(4 4)点的像素值，得到分辨率更低一级的图像。依次处理，得到一组分辨率依次降低的图像；

从待匹配的两幅图像中分辨率最低的开始进行匹配搜索，由于这两幅图像像素点的数目少，图像信息也被消除一部分，因此，此匹配位置是不精确的。所以，在分辨率更高一级的图像中搜索时，应该在上一次匹配位置的附近进行搜索。依次进行下去，直到在原始图像中寻找到精确的匹配位置。

图像融合

具体为对配准后的两幅图像分别分解得到拉普拉斯金字塔，采取最高层系数取平均，其余各层系数绝对值取大的融合策略进行融合；

采用基于多尺度的图像融合方法中的拉普拉斯金字塔方法，对源图像分别进行隔行、隔列降采样，然后利用高斯窗口函数与得到的图像做卷积操作，反复重复上述操作，就可以形成一系列的分辨率逐渐递减并且进行了低通滤波后的塔层，这些塔层组成的金字塔即为高斯金字塔；

用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即LP分解图像，其拉普拉斯金字塔分解图像的构建过程如图7所示，从金字塔底层图像重建上层未采样图像，即预测残差，把图像最大程度的还原。它所表现出来的是一组图像序列，记为L；其分解公式即：

LP_N＝G_N，当l＝N

当0≤l＜N

其中，LP_N为第N层拉普拉斯图像，G_N为第N层高斯图像，LP_l为第l层拉普拉斯图像，G_l为l层高斯图像，

为G_l+1内插放大后的图像；

通过对所获取的每个图像的拉普拉斯金字塔，相应层次的图像进行融合，即可获取融合后的拉普拉斯金字塔图像，拉普拉斯金字塔融合示意图如图11所示；

拉普拉斯金字塔图像重构：

对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下按下式进行递推，可以恢复其对应的高斯金字塔，并最终可得到原图像G0，即从最高层开始使用内插的方法，其重构公式如下：

LP_N＝LG_N，当l＝N

当0≤l＜N

图像的状态识别

图像识别部分首先使用图像分割技术为目标检测提供形状和结构特征，其次通过目标归一化、训练CNN、构建训练集这样的方式以实现CNN识别功能；

识别部分的基本思想是通过优化的Resnext50网络模型对采集图像识别，针对实际中训练集样本难以获取，且异常样本较少的特点，引入传统数据增强手段翻转、镜像等操作以及采用GAN生成对抗网络，增强数据集，此外再原有模型上，增加混合注意力机制-CBAM，优化特征图的特征权重然后对残差网络进行再次抄近道；

步骤S5、参考图9，对于采集到的原始图像，通过传统数据增强和GAN对抗网络制作大量的样本；

步骤S6、输入特征图先经过通道注意力机制，将权重和输入特征图相乘后再送入空间注意力机制，将归一化权重和空间注意力机制的输入特征图相乘，得到最终的特征图，其流程图如图10所示；

其中通道注意力机制通道注意力模块如图11所示，将输入的特征图，分别经过基于width和height的全局最大池化和全局平均池化然后分别经过MLP。将MLP输出的特征进行基于element-wise的加和操作，再经过sigmoid激活操作，生成最终的通道注意力特征图；将该通道注意力特征图和输入特征图做elementwise乘法操作，生成空间注意力模块需要的输入特征，其表达式为：

其中，F为特征图，Mc(F)为通道注意力特征图，MLP为多层感知器，σ为sigmoid激活函数，AvgPool为最大池化，MaxPool为最大平均池化；

空间注意力模块如图12所示；将通道模块输出的特征图作为本模块的输入特征图，首先做一个基于通道的全局最大池化和全局平均池化，然后将这2个结果基于通道做concatenate操作。然后经过一个卷积操作，降维为1个channel。再经过sigmoid生成空间注意力特征图。最后将该feature和该模块的输入feature做乘法，得到最终生成的特征，其表达式为：

M_s(F)＝σ(f^7×7([AvgPool(F)；MaxPool(F)]))，

其中，f^7×7为滤波为7×7的卷积层，Ms(F)指的是空间注意力特征图；

步骤S7、参考图13、14和图15，对于残差结构进行二次抄近道，在两个小残差结构之上，再加一层结构，由于不同block有不同的输入，所以抄近道的卷积层会有下列两种方式；

采用预训练网络模型是基于resnext50网络模型改进的模型，在此基础上新增了预训练步骤，并且优化了结构，改进后的网络模型见图15。

本实施例模型在大量的数据集下，进行训练，在将采集到的图片处理后，通过CNN识别他的结构特征，先判断识别属于岩浆岩、沉积岩、变质岩中的类别，然后再根据结构和构造细分为具体岩石；例如:千枚岩的识别，首先根据其碎裂结构或者变晶结构特征判断为变质岩结构，其次根据千枚状构造，则判断其属于千枚岩。

本发明基于鱼眼镜头8和高分辨镜头11相结合的双摄像模组方式，在结构优化研究的基础上，实现一种大视场和高分辨成像一体化的小型、轻量化的钻孔摄像系统；然后，研究模拟岩层钻孔环境内壁目标特点，通过图像配准、坐标映射等工作开展，实现大视场成像结果的全景展开研究；接着，对多帧展开全景图像进行图像拼接问题研究，实现试验管内部的全区域视频数据的有效融合研究；最后，基于岩层钻孔样品的全景图像，经融合的图像纹理和梯度矢量场方法，开展岩层目标分割和基于卷积神经网络模型的岩层钻孔内壁目标样本识别研究。

虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (10)

1.一种岩层钻孔环境全景成像、状态识别系统，其特征在于，包括鱼眼镜头摄像模组、高分辨率镜头模组和核心控制电路板；所述鱼眼镜头摄像模组、高分辨率镜头模组和核心控制电路板分别设置于前端外壳、中端外壳和后端外壳内部；所述鱼眼镜头摄像模组和高分辨率镜头模组均与AHD连接驱动电连接，AHD连接驱动与核心控制电路板相连，所述核心控制电路板分别与可充电电池和连接线相连。

2.根据权利要求1所述的岩层钻孔环境全景成像、状态识别系统，其特征在于，所述鱼眼镜头摄像模组包括沿竖直方向布置的鱼眼镜头，鱼眼镜头通过安装板固定于前端外壳的边端，且在鱼眼镜头的外围环设有一圈前端LED。

3.根据权利要求2所述的岩层钻孔环境全景成像、状态识别系统，其特征在于，所述高分辨率镜头模组包括沿水平方向布置的高分辨镜头，所述高分辨镜头通过安装板设置于中端外壳上，且在高分辨镜头的外围环设有一圈中端LED。

4.根据权利要求2所述的岩层钻孔环境全景成像、状态识别系统，其特征在于，所述前端LED和中端LED均与双线LED驱动电连接；所述双线LED驱动设置于中端外壳内。

5.一种根据权利要求1～4任一所述的岩层钻孔环境全景成像、状态识别系统的全景成像、状态识别方法，其特征在于，包括以下步骤：

S1、采用鱼眼镜头摄像模组和高分辨率镜头模组实时采集岩层钻孔环境的图像；

S2、对采集后的图像进行预处理；

S3、基于坐标换算对预处理后的图像进行全景展开；

S4、采用图像配准和图像融合对步骤S3中展开的图像进行全景图拼接，得到岩层钻孔环境完整的图像；

S5、对步骤S4所得的岩层钻孔环境完整图像，进行传统数据增强和GAN对抗网络，制作得到若干的图像样本；

S6、将图像样本经过CBAM机制，得到图像样本的最终特征图；

S7、采用优化后的残差结构识别最终特征图，以识别岩层钻孔环境图像的状态。

6.根据权利要求5所述的岩层钻孔环境全景成像、状态识别系统的全景成像、状态识别方法，其特征在于，所述步骤S2具体包括以下步骤：

S2.1、采用加权平均值法对采集的岩层钻孔环境图像进行灰度化处理；

S2.2、对灰度化后的图像进行滤波去噪；

S2.3、对步骤S2.2处理后的图像进行对比度增强。

7.根据权利要求5所述的岩层钻孔环境全景成像、状态识别系统的全景成像、状态识别方法，其特征在于，所述步骤S3具体包括以下步骤：

选取一段钻孔孔壁，其三维模型为圆柱体，假设其高为h，平面圆半径为r，选取圆柱面上任意一点P，并将其植入空间三维坐标系内，令点P在XY面上的投影与X轴的夹角为α，其实得到的全景图像是由圆柱面的某一段图像经过锥面反射镜反射成像于锥面反射镜底部的某一平面或近似平面上的图像，假设点P在全景图像上的成像点为(x，y，z)，该点极坐标(ρ，θ)，内圆和外圆的半径分别为r1和r2，计算点P的坐标为：

y＝rcosα

x＝rsinα

r1＜ρ＜r20＜θ＜2π

θ＝αr2－ρz＝r2－r1h

z＝r2－ρr2－r1h。

8.根据权利要求5所述的岩层钻孔环境全景成像、状态识别系统的全景成像、状态识别方法，其特征在于，所述步骤S4中对展开的图像进行图像配准，包括对处理后的鱼眼镜头图像和高分辨率图像：

将待匹配的两幅图像中2 2邻域内的像素点的像素值分别取平均，作为这一区域(2 2)像素值，得到分辨率低一级的图像；将此分辨率低一级的图像再作同样的处理，即将低一级的图像4 4邻域内的像素点的像素值分别取平均，作为这一区域(4 4)点的像素值，得到分辨率更低一级的图像；依次处理，得到一组分辨率依次降低的图像；

从待匹配的两幅图像中分辨率最低的图像开始进行匹配搜索，在分辨率更高一级的图像中搜索时，在上一次匹配位置的附近进行搜索；依次进行搜索，直到在原始图像中寻找到精确的匹配位置。

9.根据权利要求8所述的岩层钻孔环境全景成像、状态识别系统的全景成像、状态识别方法，其特征在于，所述步骤S4中对展开的图像进行图像融合，对两幅图像分别分解得到拉普拉斯金字塔，采取最高层系数取平均，其余各层系数绝对值取大的融合策略进行融合，具体包括：

对配准后的两张源图像分别进行隔行、隔列降采样，利用高斯窗口函数与得到的图像做卷积操作，反复进行卷积操作，形成一系列的分辨率逐渐递减且完成了低通滤波后的塔层，塔层组成的金字塔即为高斯金字塔；

采用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即LP分解图像；从金字塔底层图像重建上层未采样图像，即预测残差，其图像序列的分解公式为：

LP_N＝G_N，当l＝N

当0≤l＜N

其中，LP_N为第N层拉普拉斯图像，G_N为第N层高斯图像，LP_l为第l层拉普拉斯图像，G_l为l层高斯图像，

为G_l+1内插放大后的图像；

通过对所获取的每个图像的拉普拉斯金字塔，相应层次的图像进行融合，获取融合后的拉普拉斯金字塔图像；

拉普拉斯金字塔图像重构，对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下按下式进行递推，恢复其对应的高斯金字塔，并最终可得到原图像G0，其重构公式为：

LP_N＝LG_N，当l＝N

当0≤l＜N。

10.根据权利要求9所述的岩层钻孔环境全景成像、状态识别系统的全景成像、状态识别方法，其特征在于，所述步骤S6具体包括：

将输入的特征图，分别经过基于width和height的全局最大池化和全局平均池化，再分别经过MLP，将MLP输出的特征进行基于element-wise的加和操作，再经过sigmoid激活操作，生成最终的通道注意力特征图，将该通道注意力特征图和输入特征图做elementwise乘法操作，生成空间注意力模块所需的输入特征，其表达式为：

其中，F为特征图，Mc(F)为通道注意力特征图，MLP为多层感知器，σ为sigmoid激活函数，AvgPool为最大池化，MaxPool为最大平均池化；

将通道注意力特征图作为输入特征图，首先做一个基于通道的全局最大池化和全局平均池化，然后将这两个结果基于通道做concatenate操作，经过一个卷积操作，降维为1个channel，再经过sigmoid生成空间注意力特征图，最后将该feature和该模块的输入feature做乘法，得到最终生成的特征，其表达式为：

M_s(F)＝σ(f^7×7([AvgPool(F)；MaxPool(F)]))

其中，f^7×7为滤波为7×7的卷积层，Ms(F)指的是空间注意力特征图。

Images