CN115656952A - 一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法 - Google Patents
一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法 Download PDFInfo
- Publication number
- CN115656952A CN115656952A CN202211270648.1A CN202211270648A CN115656952A CN 115656952 A CN115656952 A CN 115656952A CN 202211270648 A CN202211270648 A CN 202211270648A CN 115656952 A CN115656952 A CN 115656952A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- feature
- information
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于U型多维多尺度融合神经网络的地下目标多分类检测方法(RIUNet)。首先采用编码‑解码(Encoder‑Decoder)的模型框架将地下目标与后景分割。然后，在不同维度中使用不同多尺度融合方法保留不同分辨率下的像素级细节，补足传统方法无法充分利用原始特征图信息的缺点。在编码层的骨干网络(Backbone)采取跳层连接将原始特征图信息与特征提取信息相结合；在特征拼接层提取不同感受野信息进行聚类，在编码‑解码层与层之间将编码层特征信息添加到解码层丰富转置卷积上采样时的解码信息。最后，利用形态学处理输出图像信息，得到结果框选图。本发明所述模型体积小容易，在硬件中部署只需少量图像进行训练即可得到较好的效果。
Description
技术领域
本发明涉及探地雷达信号处理领域，尤其涉及一种U型多维多尺度融合神经网络的地下目标多分类检测方法。
背景技术
GPR作为一种无损检测技术，被广泛应用于地下目标的检测和定位。电磁波在地下传播，在介质交界面发生反射和折射，接收天线接收多道反射回波，经过信号处理组成B-Scan图像。由于B-Scan图像庞大且背景等无用信息占据图像绝大部分的空间，因此从复杂的B-Scan中手动分割目标标签会耗费大量的精力和时间。随着全卷积网络的出现，这一问题可以得到解决。
目前对于目标检测与识别有很多研究，但是传统的算法需要大量的样本进行训练，而实际的城市道路勘测中，往往只能得到较少的有用数据。同时，传统算法的模型层次越来越深，在卷积过程中逐渐丢失图像的底层信息，此时传统的算法难以达到要求。
然而，采用编码器-解码器结构的神经网络，例如FCN，U-Net，将传统CNN在卷积层之后的全连接层替换为卷积层，对最后一个卷积层得到的特征图进行上采样或者转置卷积的操作，从而得到像素级细节的分割图片。但是由于这类模型在维度以及融合的方法上较为单一，导致丢失了感兴趣区域的边界，无法做到准确分割。
发明内容
本发明要解决的技术问题在于，针对现有方案存在的缺陷，例如：现有的深度学习目标检测模型需要大量的数据进行训练而实际探测中并无法得到大量的目标数据，在实际中需要大量精力以及时间筛选，并且分割效果并不准确。本发明提供一种多维多尺度地下目标多分类检测的方法，用于方便使用人员对接收到的地下数据进行快速的识别与分类，以达到兼具准确性与时效性的目标。
基于上述目标，本发明体提供RIUNet神经网络的地下目标多分类检测方法，其特征在于，包括：
(1)对已得到的地下目标信息进行预处理生成图像数据集；
(2)对生成的图像数据集中的检测目标进行边框和类别的标注；
(3)搭建RIUNet模型，该模型包括三个部分：骨干网络(Backbone)、转置卷积上采样以及多尺度特征拼接；
(4)将(2)中所得原图与掩膜图放入(3)中所构建模型进行训练，模型通过对图像训练并与掩模图对比验证得到损失率并更新模型各部分权重，最终保存模型权重完成训练且该模型可将B-scan图像中的目标特征进行分割并分类；
(5)将用于测试的B-scan图像输入(4)中模型得到目标结果图；
(6)对(5)中目标结果图使用基于形态学的目标定位算法实现目标的定位，并将定位的目标在原图上进行标记；
可选的，(1)中：
所述的地下目标多分类检测方法包含若干形状的空洞与管道；
所述预处理，包括对所述地下目标图像进行转换、裁切；
所述图像数据集中训练集和测试集可以相互独立，也可以用相同的数据集进行训练与测试观察训练的效果。
可选的，(2)中所述利用数据集进行标记，得到数据集的掩膜图的过程为：
将生成图像数据集导入至labelme中进行目标的分类以及标记目标的轮廓；
将生成的json文件转化为包含背景与目标的掩膜图，将图像数据集与掩膜图对应后则生成训练集。
可选的，(3)中：
将数据集图像输入RIUNet网络的输入端，进行数据增强、自适应图像移动、自适图像缩放以及归一化处理；
进入骨干网络对输入图像进行特征提取，在特征提取的同时利用残差进行跳层连接对特征图进行融合并输出，与此同时将输出的特征图信息输入特征拼接层中进行不同尺度的特征提取。跳层连接将原始层结构中的特征信息与增加深度后提取了更细节的特征信息进行融合。这是一种在深度维度上的拼接融合，有利于保存目标的多种特征信息且能加快收敛速度；
在特征拼接层中对从骨干网络得到的特征信息进行多尺度融合，不同于跳层连接在深度上的融合，该层在微观结构中采取从宽度上对输入特征图进行不同感受野的信息提取后聚类用以增加特征的多样性。而在宏观上，特征提取层连接着编码层与解码层，这同时让特征拼接层在宏观的结构上起到了尺度融合的作用；
将上述输出的特征图输入至解码层与转置卷积后的特征图进行拼接后对图像信息进行一次特征提取，转置卷积中则对提取得到的特征信息进行特征上采样用以还原图像信息。
可选的，(4)中：
训练次数epoch为50，batch size为4，每个epoch所使用的迭代次数steps_per_epoch为200，优化器采用Adam算法，学习率设置为1e-5，根据二元交叉熵损失函数(binarycrossentropy)进行计算，损失函数表达式为：
通过反向传播方式求得对应梯度，进而更新权重，经过与手工标记得到的掩膜图验证后，得到RIUNet模型的权重。并通过使用基准真相(Ground truth)进行验证，保证最终训练所得模型的准确性。
可选的，(5)中将测试图像输入训练好的模型得到目标分类结果图，结果图为n张分类的图，在这里n为3，每张图都分为两类：目标与后景。由于分类目标背景中无可用信息遂舍去，只保留管道与空洞两类图片。
可选的，(6)中所述图像使用二值化处理，采用OTSU阈值分割算法，把大于某个阈值的像素灰度设为灰度极大值255，把小于这个值的像素灰度设为灰度极小值0，图像呈现为黑白效果。采用图像形态学操作求得图像每个连通区域的左上角坐标、长、宽、面积。随后使用所得到的连通区域的信息在原图上进行目标的框选。
可选的，阈值分割的像素可以根据最终得到的图像的清晰程度选择阈值大小；
可选的，已经得到连通区域的信息，可以根据实际情况使用得到的连通区域的信息排除二值化后细小的连通区域所带来的目标位置的误判。
本发明的有益效果在于：本发明提出的RIUNet模型针对探地雷达地下目标的多分类检测方法，是一种使用极少的训练图像集而得到十分有效且准确的目标识别方法，能极大的减轻人工去识别目标所带来的巨大的工作量以及提高识别的效率并且具有良好的识别率。
附图说明
图1为根据本发明实施例的一种地下目标多分类检测的整体流程图；
图2为根据本发明实施例的RIUNet模型的地下目标多分类检测方法的神经网络图；
图3为根据本发明模型输出的多分类图片；
图4为根据本发明实施例的形态学处理中的图片；
图5为根据本发明实施例的标记结果图。
图6为根据本发明实施例的损失率图。
具体实施方式
为更清楚地体现本发明的目的、技术方案与优点，下面结合附图和实施例对本发明内容做进一步阐述，但显然，所描述实施例不是对本发明的限定。
本发明实施例提供一种RIUNet神经网络的地下目标多分类检测方法，包括：
S10，获取地下目标图像并进行预处理生成图像数据集。其中需要说明的是：
获取的地下目标B-scan图像的来源为在江苏省泰州市的若干个街区利用频率为200MHz的探地雷达采集得到；
预处理包括进行图片格式的转换、图片大小的裁切；
S11，对图片标记包括对检测目标进行边框和类别的标注；数据集的划分：将数据集划分为其中训练集，测试集。数据集分为管道、空洞、背景等3个类别。
S12，搭建RIUNet模型，该模型包括三个部分：特征提取骨干网络
(Backbone)、转置卷积上采样以及特征拼接；
RIUNet神经网络检测模型的过程如图2所示，包括：
S20，将数据集图像输入RIUNet网络的输入端，进行数据增强、自适应图像旋转、自适图像缩放以及归一化处理。其中数据增强使用了随机缩放、随机裁剪、随机排布；其中自适应图像缩放尺寸大小为512*512像素。
S21，进入骨干网络对输入图像进行特征提取，在特征提取的同时利用残差进行跳层连接对特征图进行融合并输出，其中骨干网络特征提取过程使用了4个残差模块将输入的512*512*1的图像变为16*16*512的特征图；再通过最大池化以及卷积操作得到8*8*1024的特征图用以解码部分进行转置卷积并且将每一层特征图输入特征拼接层。
S22，在特征拼接层中，将从骨干网络得到的特征图根据对应解码层所需要的特征图通道数而改变每一特征拼接层内参数的大小，因此使用了6个大小不同但感受野相同的特征拼接层将骨干网络中的特征提取并拼接至解码部分。
S23，进入解码部分，应用转置卷积上采样逐步将还原特征信息，与此同时将从特征拼接层得到的不同尺度上的视觉信息特征图进行拼接融合，用于增强还原特征信息的细节，随后将拼接融合后得到的特征信息进一步特征提取后再进行转置卷积。
S24，针对所述需要训练的深度学习网络环境，使用一种为深度学习提供一整套解决方案的软件库进行部署。可选的，搭建所述网络所基于的软件环境为：keras 2.6.0、pandas 1.4.3、OpenCV 4.6.0.66、Tensorflow 2.6.0、cuDNN 8.2.1、python 3.9.12、numpy1.22.3。
S13，根据所述数据集进行训练，得到RIUNet神经网络检测训练好的模型，参数设置如下：
初始学习率为1e-5，batch-size为4，每个epoch所使用的迭代次数steps_per_epoch为200，优化器采用Adam算法，采取梯度下降法，根据二元交叉熵损失函数(binarycrossentropy)进行计算，通过反向传播方式求得对应梯度，进而更新权重，经过与手工标记得到的掩膜图验证后，得到RIUNet模型的权重。并通过使用基准真相(Ground truth)进行验证，保证最终训练所得模型的准确性。
S14，将测试集图片输入到上述训练好的网络中，每一张输入图片将得到所分类个数张图片，在本次设计中为3类，即得到三张对应图片，分别为空洞和管道其中背景也为一类。
上述实例所述图像如图3所示。
S15，将所述图像中目标进行处理并标记到原图。步骤为：
第一，图像二值化处理。采用OTSU阈值分割算法，把大于某个阈值的像素灰度设为灰度极大值255，把小于这个值的像素灰度设为灰度极小值0，图像呈现为黑白效果，图像形态学处理。
第二，采用图像形态学操作求得图像每个连通区域的左上角坐标、长、宽、面积。随后使用所得到的连通区域的信息在原图上进行目标的框选。
上述实例二值化所得图像如图4所示
上述实例主形态学处理后所得结果如图5所示。
本发明提出了一种基于U型多维多尺度融合神经网络的地下目标多分类检测方法，通过搭建的RIUNet网络，利用实际得到的少量的真实数据进行训练从而得到训练好的模型。根据实际测试，本发明使用70张图像进行训练，最后展示的结果表明不仅能准确的识别目标还有一定的泛化能力。表明本发明提出的地下目标多分类检测方法能够满足地下目标分类，还能有较高的准确度。同时，本发明所述的模型可以适用于其它类型目标进行语义分割，该方法具有弥补训练样本少的缺点、提升执行效率并且网络模型小可以移植部署在硬件的特点。
最后需要说明的是：以上所采用实施例仅用以说明本发明的技术方案，显然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同替换，仍属于发明所涵盖的范围。
Claims (6)
1.RIUNet神经网络的地下目标多分类检测的方法，其特征在于，包括：
(1)对B-scan数据进行预处理生成图像数据集，得到70张数据集；
(2)对上述图像数据中的目标进行边框和类别的标注生成类别掩膜图；
(3)搭建RIUNet模型，该模型包括三个部分：骨干网络(Backbone)、转置卷积上采样以及多尺度特征拼接；
(4)将(2)中所得原图与掩膜图放入(3)中所构建模型进行训练，模型通过对图像训练并与掩模图对比得到损失率并更新模型各部分权重，最终保存模型权重完成训练且该模型可将B-scan图像中的目标特征进行分割并分类；
(5)将用于测试的B-scan图像输入(4)中模型得到目标结果图；
(6)对(5)中目标结果图使用基于形态学的目标定位算法实现目标的定位，并将定位的目标在原图上进行标记；
2.根据权利要求1所述的RIUNet的地下目标多分类检测方法，其特征在于，(1)中：
所述的地下目标图像的目标类别包含背景、空洞与管道；
所述预处理，包括对所述地下目标图像进行大小的裁切，将整体的图像使用512*512的滑动窗裁切为连续的若干个大小都为512*512像素的数据集。
3.根据权利要求1所述的RIUNet的地下目标多分类检测方法，其特征在于，(2)中所述利用数据集进行训练，得到训练集的过程为：
将生成图像数据集导入至labelme中进行目标的分类以及标记目标的轮廓；
将生成的json文件转化为包含背景与目标的掩膜图，将图像数据集与掩膜图对应后生成训练集。
4.根据权利要求1所述的RIUNet的地下目标多分类检测方法，其特征在于多维度中使用不同多尺度方法进行融合，(3)中所述模型的搭建过程为：
将数据集图像输入RIUNet网络的输入端，进行数据增强、自适应图像移动、自适图像缩放以及归一化处理；
进入骨干网络对输入图像进行特征提取，在特征提取的同时利用残差进行跳层连接对特征图进行融合并输出，与此同时将输出的特征图信息输入特征拼接层中进行不同尺度的特征提取。跳层连接将原始层结构中的特征信息与增加深度后提取了更细节的特征信息进行融合。这是一种在深度维度上的拼接融合，有利于保存目标的多种特征信息且能加快收敛速度；
在特征拼接层中对从骨干网络得到的特征信息进行多尺度融合，不同于跳层连接在深度上的融合，该层在微观结构中采取从宽度上对输入特征图进行不同感受野的信息提取后聚类用以增加特征的多样性。而在宏观上，特征提取层连接着编码层与解码层，这同时让特征拼接层在宏观的结构上起到了尺度融合的作用；
将上述输出的特征图输入至解码层与转置卷积后的特征图进行拼接后对图像信息进行一次特征提取，转置卷积中则对提取得到的特征信息进行特征上采样用以还原图像信息。
5.根据权利要求1所述的RIUNet的地下目标多分类检测方法，其特征在于，(4)中：
设置好模型参数后对模型进行训练，判断当前迭代次数是否达到预设的epoch值并记录每次epoch的损失率，若未达到则进行下一次迭代，直至达到预设的epoch值，通过反向传播方式求得对应梯度，进而更新权重，完成U型多维多尺度融合神经网络的训练。
6.根据权利要求1所述的RIUNet的地下目标多分类检测方法，其特征在于，(5)中所述基于形态学对生成的掩膜图进行处理，处理的步骤为：
(1)图像二值化处理。采用OTSU阈值分割算法，把大于某个阈值的像素灰度设为灰度极大值255，把小于这个值的像素灰度设为灰度极小值0，图像呈现为黑白效果，突出目标。
(2)图像形态学处理。采用图像形态学操作求得图像每个连通区域的左上角坐标、长、宽、面积对面积小于某个阈值的连通区域忽略。随后使用所得到的连通区域的信息在原图上进行目标的框选。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211270648.1A CN115656952A (zh) | 2022-10-16 | 2022-10-16 | 一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211270648.1A CN115656952A (zh) | 2022-10-16 | 2022-10-16 | 一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115656952A true CN115656952A (zh) | 2023-01-31 |
Family
ID=84987936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211270648.1A Pending CN115656952A (zh) | 2022-10-16 | 2022-10-16 | 一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115656952A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788722A (zh) * | 2024-02-27 | 2024-03-29 | 国能大渡河金川水电建设有限公司 | 一种基于bim的地下空间的安全数据监测系统 |
-
2022
- 2022-10-16 CN CN202211270648.1A patent/CN115656952A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788722A (zh) * | 2024-02-27 | 2024-03-29 | 国能大渡河金川水电建设有限公司 | 一种基于bim的地下空间的安全数据监测系统 |
| CN117788722B (zh) * | 2024-02-27 | 2024-05-03 | 国能大渡河金川水电建设有限公司 | 一种基于bim的地下空间的安全数据监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461114B (zh) | 一种基于分割的多尺度特征金字塔文本检测方法 | |
| WO2019192397A1 (zh) | 一种任意形状的场景文本端到端识别方法 | |
| CN111709420B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN110633758A (zh) | 针对小样本或样本不平衡的癌症区域检测定位的方法 | |
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统 | |
| CN112884791B (zh) | 一种构建大规模遥感影像语义分割模型训练样本集的方法 | |
| CN112767418B (zh) | 基于深度感知的镜子图像分割方法 | |
| CN112070781A (zh) | 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备 | |
| CN112613350A (zh) | 一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法 | |
| CN111914843A (zh) | 文字检测方法、系统、设备及存储介质 | |
| CN113591719A (zh) | 一种自然场景任意形状文本检测方法、装置和训练方法 | |
| CN115393734A (zh) | 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 | |
| CN112037225A (zh) | 一种基于卷积神经的海洋船舶图像分割方法 | |
| CN115656952A (zh) | 一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法 | |
| CN111832463A (zh) | 一种基于深度学习的交通标志检测方法 | |
| CN114943869B (zh) | 风格迁移增强的机场目标检测方法 | |
| Ma et al. | Defect detection of mobile phone surface based on convolution neural network | |
| CN115239962B (zh) | 基于深层大感受野空间注意力的目标分割方法和装置 | |
| CN116012355B (zh) | 一种基于深度学习的自适应假阳性肺结节剔除方法 | |
| CN117496512B (zh) | 宫颈tct切片的多类型细胞核标注及多任务处理方法 | |
| CN111652012B (zh) | 一种基于ssd网络模型的曲面qr码定位方法 | |
| Sui et al. | A boundary aware neural network for road extraction from high-resolution remote sensing imagery | |
| Zheng et al. | Segmentation and Edge Detection for Ionogram Automatic Scaling | |
| CN117274355A (zh) | 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |