CN117876848B - 基于改进yolov5的复杂环境落石检测方法 - Google Patents
基于改进yolov5的复杂环境落石检测方法 Download PDFInfo
- Publication number
- CN117876848B CN117876848B CN202410283283.9A CN202410283283A CN117876848B CN 117876848 B CN117876848 B CN 117876848B CN 202410283283 A CN202410283283 A CN 202410283283A CN 117876848 B CN117876848 B CN 117876848B
- Authority
- CN
- China
- Prior art keywords
- module
- falling stone
- falling
- output end
- ghostconv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000004575 stone Substances 0.000 title claims abstract description 320
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 230000006872 improvement Effects 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 26
- 239000011435 rock Substances 0.000 claims abstract description 21
- 238000012795 verification Methods 0.000 claims abstract description 18
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 58
- 230000004913 activation Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 150000003839 salts Chemical class 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 235000012434 pretzels Nutrition 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 description 10
- 239000000428 dust Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进yolov5的复杂环境落石检测方法，属于灾害监测技术领域，步骤如下：获取落石图片数据集，并对落石图片数据集中的落石图片进行预处理，得到落石图片训练集和落石图片验证集；基于ECA注意力机制、BasicRFB模块构建GhostNet主干网络，并基于GhostNet主干网络对yolov5网络模型进行改进，得到改进的yolov5网络模型；对改进的yolov5网络模型进行训练和验证，得到落石检测网络模型；获取待检测的落石图片，并利用落石检测网络模型对待检测的落石图片进行预测，得到该待检测的落石图片的检测结果。本发明解决了复杂环境下山体落石检测效率低和准确度不足的问题。
Description
技术领域
本发明属于灾害监测技术领域，尤其涉及一种基于改进yolov5的复杂环境落石检测方法。
背景技术
落石作为一种自然灾害，在山体地区频发。若不能及时精准地检测山体落石，难以有效降低人民的生命和财产损失。
目前落石检测主要有两种方法，一种是接触式检测。接触式检测的特点是基于各种传感器检测参数推断落石发生。虽然接触式检测的技术比较成熟，但传感器的布置和安装复杂，接触式落石检测系统的使用成本也很高，导致了接触式检测不适用于大规模的使用。另一种是非接触式检测。非接触式检测主要通过图像的非接触检测算法实现。近年来，基于图像的非接触式检测方法发展迅速，主要分为传统计算机视觉算法和基于深度学习的图像检测算法两类。然而，传统的计算机视觉算法存在区域选择策略不佳、手动特征提取鲁棒性差、泛化能力差、易受环境干扰等问题。基于深度学习的图像检测算法具有强大的表示和建模能力，能够自动学习目标的特征表示，其相对于传统计算机视觉算法具有更好的鲁棒性和更强的模型泛化能力，但目前的深度学习网络模型对于存在灰尘、有遮挡、复杂的落石等复杂环境下进行落石检测时，检测的准确性和实时性仍不足。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于改进yolov5的复杂环境落石检测方法，通过获取复杂环境下的落石图片数据集，并对yolov5的神经网络结构进行改进，以训练和验证得到落石检测网络模型，解决了复杂环境下山体落石检测效率低和准确度不足的问题。
为了达到上述发明目的，本发明采用的技术方案为：
本发明提供的一种基于改进yolov5的复杂环境落石检测方法，包括如下步骤：
S1、获取落石图片数据集，并对落石图片数据集中的落石图片进行预处理，得到落石图片训练集和落石图片验证集；
S2、基于ECA注意力机制、BasicRFB模块构建GhostNet主干网络，并基于GhostNet主干网络对yolov5网络模型进行改进，得到改进的yolov5网络模型；
S3、利用落石图片训练集和落石图像验证集对改进的yolov5网络模型进行训练和验证，得到落石检测网络模型；
S4、获取待检测的落石图片，并利用落石检测网络模型对待检测的落石图片进行预测，得到该待检测的落石图片的检测结果。
本发明的有益效果为：本发明提供了一种基于改进yolov5的复杂环境落石检测方法，获取了复杂环境下山体的落石图片数据集，并基于ECA注意力机制、BasicRFB模块构建了GhostNet主干网络，通过GhostNet主干网络能够有效减少计算复杂度，提升计算效率，基于BasicRFB模块能够更准确地检测出小尺寸、遥远或部分遮挡的落石，基于ECA注意力模块，能够更有效地利用不同尺度下的特征信息，同时还能够减少对落石图片中背景等干扰信息的敏感度，本发明基于GhostNet主干网络构建了改进的yolov5网络模型，且利用落石图片数据集划分的落石图片训练集和落石图片验证集对改进的yolov5网络模型进行了训练和验证，最终得到了能够高效准确识别复杂环境下落石情况的落石检测网络模型，在面对落石检测中存在灰尘、尺寸小、距离远、部分遮挡、过多无关背景信息、检测速度慢等一项或多项干扰时，均能有效克服，且检测结果十分可靠。
进一步地，所述S1包括如下步骤：
S11、获取落石图片数据集；
S12、逐个选择落石图片数据集中的落石图片，并对选中的落石图片加入高斯噪声和椒盐噪声，并改变该选中的落石图片的饱和度和亮度，以扩充落石图片数据集；
S13、随机选择扩充后的落石图片数据集中的一部分落石图片，组成落石图片训练集，并将剩余的落石图片数据集中的落石图片组成落石图片验证集。
采用上述进一步方案的有益效果为：本发明中通过对落石图片数据集中的落石图片改变饱和度和亮度，并进行噪声处理，能够有效模拟灰尘和降雨环境下的落石，从而提升落石检测网络模型对于灰尘和降雨环境下的落石检测的准确度。
进一步地，所述S12中的高斯噪声和椒盐噪声的计算表达式分别如下：
其中，f（x）表示高斯噪声概率密度，x表示落石图片像素，表示标准差，e表示指数基底，u表示均值，/>表示落石图片中横坐标为/>纵坐标为/>处的椒盐噪声像素值，p表示在区间[0,1]内均匀分布的随机数，d表示噪声强度控制系数。
采用上述进一步方案的有益效果为：本发明提供向落石图片添加的椒盐噪声和高斯噪声的计算方法，通过噪声的添加能够有效扩充落石图片数据集，并模拟灰尘在图像中的散布效果，从而加强模型对于灰尘环境下的落石检测准确度，提升落石检测网络模型的鲁棒性。
进一步地，所述改进的yolov5网络模型包括GhostNet主干网络、与GhostNet主干网络连接的Neck网络，以及与Neck网络连接的Head网络；
所述GhostNet主干网络包括依次连接的落石图片输入模块、第一CBS模块、第一GhostConv模块、第一C3Ghost模块、第二GhostConv模块、第二C3Ghost模块、第三GhostConv模块、第三C3Ghost模块、第四GhostConv模块、第四C3Ghost模块、BasicRFB模块和ECA注意力模块；所述落石图片输入模块的输入端作为GhostNet主干网络的图像输入端；所述第二C3Ghost模块的第一落石特征输出端、第三C3Ghost模块的第二落石特征输出端和ECA注意力模块的第三落石特征输出端均与Neck网络连接；
所述Neck网络包括第五GhostConv模块、第五C3Ghost模块、第六GhostConv模块、第六C3Ghost模块、第七GhostConv模块、第七C3Ghost模块、第八GhostConv模块、第八C3Ghost模块、第一上采样模块、第二上采样模块、第一Concat拼接模块、第二Concat拼接模块、第三Concat拼接模块和第四Concat拼接模块；
所述第五GhostConv模块的输入端与第三落石特征输出端连接；所述第五GhostConv模块的第一输出端与第一上采样模块的输入端连接；所述第五GhostConv模块的第二输出端与第四Concat拼接模块的第一输入端连接；所述第一上采样模块的输出端与第一Concat拼接模块的第一输入端连接；所述第一Concat拼接模块的第二输入端与第二落石特征输出端连接；所述第一Concat拼接模块的输出端与第五C3Ghost模块的输入端连接；所述第五C3Ghost模块的输出端与第六GhostConv模块的输入端连接；所述第六GhostConv模块的第一输出端与第三Concat拼接模块的第一输入端连接；所述第六GhostConv模块的第二输出端与第二上采样模块的输入端连接；所述第二上采样模块的输出端与第二Concat拼接模块的第一输入端连接；所述第二Concat拼接模块的第二输入端与第一落石特征输出端连接；所述第二Concat拼接模块的输出端与第六C3Ghost模块的输入端连接；所述第六C3Ghost模块的第一输出端与第七GhostConv模块的输入端连接；所述第六C3Ghost模块的第二输出端作为第一落石特征预测端与Head网络连接；所述第七GhostConv模块的输出端与第三Concat拼接模块的第二输入端连接；所述第三Concat拼接模块的输出端与第七C3Ghost模块的输入端连接；所述第七C3Ghost模块的第一输出端与第八GhostConv模块的输入端连接；所述第七C3Ghost模块的第二输出端作为第二落石特征预测端与Head网络连接；所述第八GhostConv模块的输出端与第四Concat拼接模块的第二输入端连接；所述第四Concat拼接模块的输出端与第八C3Ghost模块的输入端连接；所述第八C3Ghost模块的输出端作为第三落石特征预测端与Head网络连接；
所述Head网络包括与第一落石特征预测端连接的第一预测头、与第二落石特征预测端连接的第二预测头，以及与第三落石特征预测端连接的第三预测头。
采用上述进一步方案的有益效果为：本发明提供改进的yolov5网络模型，通过GhostNet主干网络对yolov5网络结构进行了改进，利用GhostConv结构和C3Ghost结构极大地减少了模型的计算复杂度，提升了处理效率，通过BasicRFB模块提升了对于复杂条件下落石的检测准确性，通过ECA注意力模块不仅更有效地利用各个尺度下的落石图片的特征信息，同时还减少了背景等干扰信息的敏感度。
进一步地，所述S3包括如下步骤：
S31、随机选取落石图片训练集中的落石图片，并将选中的落石图片输入改进的yolov5网络模型；
S32、利用GhostNet主干网络对选中的落石图片进行特征提取，依次从第一落石特征预测端、第二落石特征预测端和第四C3Ghost模块的输出端对应提取得到第一GhostNet主干落石特征图、第二GhostNet主干落石特征图和待RFB特征提取落石特征图；
S33、利用BasicRFB模块对待RFB特征提取落石特征图进行特征提取，得到待注意力机制处理落石特征图；
S34、利用ECA注意力模块对待注意力处理落石特征图进行注意力机制处理，通过第三落石特征预测端得到第三GhostNet主干落石特征图；
S35、利用Neck网络对第三GhostNet主干落石特征图、第二GhostNet主干落石特征图和第一GhostNet主干落石特征图进行上采样、特征拼接和特征提取，依次从第一落石特征预测端、第二落石特征预测端和第三落石特征预测端对应得到第一GhostNet落石特征图、第二GhostNet落石特征图和第三GhostNet落石特征图；
S36、利用Head网络中的第一预测头对第一GhostNet落石特征图进行落石预测，利用Head网络中的第二预测头对第二GhostNet落石特征图进行落石预测，利用Head网络中的第三预测头对第三GhostNet落石特征图进行落石预测，得到具有目标框和置信度的落石检测图；
S37、重复S31-S36阶段训练次数，并利用落石图片验证集对完成阶段训练的yolov5网络模型进行验证，并保存该次验证时的超参数；
S38、重复S37预设次数，并基于保存的超参数，得到最优网络深度对应的超参数；
S39、基于最优网络深度对应的超参数，得到落石检测网络模型。
采用上述进一步方案的有益效果为：本发明基于落石图片训练集和落石图片验证集对改进的yolov5网络模型进行了训练和验证，确定最优网络深度对应的超参数后，增强了落石检测网络模型的鲁棒性。
进一步地，所述第一GhostConv模块、第二GhostConv模块、第三GhostConv模块、第四GhostConv模块、第五GhostConv模块、第六GhostConv模块、第七GhostConv模块和第八GhostConv模块均包括第一卷积模块、恒等映射通道和若干特征通道；所述第一卷积模块的输入端作为第一落石图片输入端；所述第一卷积模块的输出端分别与恒等映射通道的一端和各特征通道的一端连接；所述恒等映射通道的另一端与各特征通道的另一端依次连接；
所述第一卷积模块对输入的图片进行卷积，得到第一落石特征图；所述恒等映射通道对第一落石特征图进行特征提取，得到intrinsic特征图；各所述特征通道分别对第一落石特征图进行特征提取，并将提取结果进行拼接，得到Ghost特征图；所述intrinsic特征图和Ghost特征图连接后，依次进行批归一化和Mish激活函数激活，得到GhostConv落石特征图；
所述Mish激活函数的计算表达式如下：
，
，
其中，表示Mish激活函数，/>表示intrinsic特征图和Ghost特征图连接后的批归一化结果，/>表示tanh激活函数，/>表示SoftPlus激活函数，e表示指数基底常数，log(·)表示对数函数。
采用上述进一步方案的有益效果为：本发明中采用GhostConv结构有效减少了模型的计算量，且通过Mish激活函数更强的非线性表达能力，有效提升了对落石目标的识别和定位能力，以及落石检测网络模型的泛化能力。
进一步地，所述第一C3Ghost模块、第二C3Ghost模块、第三C3Ghost模块、第四C3Ghost模块、第五C3Ghost模块、第六C3Ghost模块、第七C3Ghost模块和第八C3Ghost模块均包括第二CBS模块、n个依次连接的GhostBottleneck模块、第三CBS模块、第五Concat拼接模块和第四CBS模块；
所述第二CBS模块的输入端与第三CBS模块的输入端连接，并作为C3Ghost特征输入端；所述第二CBS模块的输出端与第1个GhostBottleneck模块的输入端连接；所述第三CBS模块的输出端与第五Concat拼接模块的第一输入端连接；第n个GhostBottleneck模块的输出端与第五Concat拼接模块的第二输入端连接；所述第五Concat拼接模块的输出端与第四CBS模块的输入端连接；所述第四CBS模块的输出端作为C3Ghost特征输出端，其中，n为正整数。
采用上述进一步方案的有益效果为：本发明基于C3Ghost结构实现了通过更少的卷积操作得到更多的特征图，从而减少模型的计算复杂度，提升了对于落石的监测速度。
进一步地，所述第一CBS模块、第二CBS模块、第三CBS模块和第四CBS模块均包括依次连接的第二卷积模块、BN神经网络和SiLU激活模块；
所述第二卷积模块对输入的图片进行卷积，得到第二落石特征图；所述BN神经网络对第二落石特征图进行特征提取；所述SiLU激活模块通过SiLU激活函数对第二落石特征图的特征提取结果进行激活，得到CBS落石特征图；
各GhostBottleneck模块均包括依次连接的第九GhostConv模块、第十GhostConv模块和第一Add模块，其中，第九GhostConv模块和第十GhostConv模块均与第一GhostConv模块相同；所述第九GhostConv模块对输入的图片进行特征提取后，进一步利用BN神经网络进行特征提取，并将提取结果通过Mish激活函数进行激活，且将激活的图片输入第十GhostConv模块；所述第十GhostConv模块对输入的图片进行特征提取后，进一步利用BN神经网络进行特征提取，并将提取结果和输入第九GhostConv模块的图片通过第一Add模块进行相加，得到GhostBottleneck特征图。
进一步地，所述BasicRFB模块包括第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块、第十一卷积模块、Shortcut模块、第六Concat拼接模块和第二Add模块；
所述第三卷积模块的输入端、第四卷积模块的输入端、第五卷积模块的输入端和Shortcut模块的输入端作为BasicRFB模块的输入端，均与第四C3Ghost模块的输出端连接；所述第三卷积模块的输出端与第六卷积模块的输入端连接；所述第四卷积模块的输出端与第七卷积模块的输入端连接；所述第五卷积模块的输出端与第八卷积模块的输入端连接；所述第六卷积模块的输出端与第九卷积模块的输入端连接；所述第七卷积模块的输出端与第十卷积模块的输入端连接；所述第八卷积模块的输出端、第九卷积模块的输出端和第十卷积模块的输出端均与第六Concat拼接模块的输入端连接；所述第六Concat拼接模块的输出端与第十一卷积模块的输入端连接；所述第十一卷积模块的输出端与第二Add模块的第一输入端连接；所述Shortcut模块的输出端与第二Add模块的第二输入端连接；所述第二Add模块的输出端与ECA注意力模块连接；
第五卷积模块和第八卷积模块依次对输入BasicRFB模块的图片进行特征提取，得到第一RFB特征；第三卷积模块、第六卷积模块和第九卷积模块依次对输入BasicRFB模块的图片进行特征提取，得到第二RFB特征；第四卷积模块、第七卷积模块和第十卷积模块依次对输入BasicRFB模块的图片进行特征提取，得到第三RFB特征；Shortcut模块对输入BasicRFB模块的图片进行特征提取，得到第四RFB特征；第六Concat拼接模块将第一RFB特征、第二RFB特征和第三RFB特征进行拼接，第十一卷积模块对拼接结果进一步进行特征提取，得到第五RFB特征；第二Add模块将第四RFB特征和第五RFB特征进行相加后，通过ReLu激活函数进行激活，得到BasicRFB特征图。
采用上述进一步方案的有益效果为：本发明利用第三卷积模块和第四卷积模块减少输入BasicRFB模块的图片的通道特征，再在第五卷积模块、第六卷积模块和第七卷积模块进行卷积后，分别引入对应的膨胀卷积层，即每个分支都是正常卷积后加一个膨胀卷积，以基于第六Concat拼接模块实现多尺度的融合，从而得到BasicRFB特征图，以实现提升落石检测网络模型对复杂条件下落石识别的准确度。
进一步地，所述ECA注意力模块通过全局平均池化操作，将BasicRFB特征图中每个通道的二维特征压缩为一个实数，以得到ECA落石特征图，并利用自适应的一维卷积核得到ECA落石特征图中每个通道的权重向量，且基于归一化后的每个通道的权重向量乘以BasicRFB特征图，得到第三GhostNet落石特征图。
采用上述进一步方案的有益效果为：本发明采用的ECA注意力模块在加急操作中引入了通道注意力机制，能够捕捉不同通道之间的关系，从而提升特征表示的能力，对于无关的背景信息所对应的特征通道，其通道对应的权重会被降低，有助于落石检测网络模型抑制无关的特征，减少在落石检测中背景等干扰信息的敏感度，通道注意力机制使得网络在Neck网络进行空间金字塔池化多尺度融合之后更充分地整合全局信息，从而更有效地利用各个尺度下的特征信息，以提升落石检测的准确性。
针对于本发明还具有的其他优势将在后续的实施例中进行更细致的分析。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中一种基于改进yolov5的复杂环境落石检测方法的步骤流程图。
图2为本发明实施例中改进的yolov5网络模型的结构示意图。
图3为本发明实施例中GhostConv结构的示意图。
图4为本发明实施例中C3Ghost结构的示意图。
图5为本发明实施例中CBS结构的示意图。
图6为本发明实施例中GhostBottleneck结构的示意图。
图7为本发明实施例中BasicRFB结构的示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1所示，在本发明的一个实施例中，本发明提供一种基于改进yolov5的复杂环境落石检测方法，包括如下步骤：
S1、获取落石图片数据集，并对落石图片数据集中的落石图片进行预处理，得到落石图片训练集和落石图片验证集；
所述S1包括如下步骤：
S11、获取落石图片数据集；所述落石图片数据集中的落石图片为落石具有灰尘、尺寸小、距离远、部分遮挡，以及存在较多无关背景信息等一项或多项干扰的图片。本发明中，存在较多无关背景信息的落石图片指无关落石的像素至少超过落石所占像素比例的百分两百。
S12、逐个选择落石图片数据集中的落石图片，并对选中的落石图片加入高斯噪声和椒盐噪声，并改变该选中的落石图片的饱和度和亮度，以扩充落石图片数据集；
所述S12中的高斯噪声和椒盐噪声的计算表达式分别如下：
其中，f（x）表示高斯噪声概率密度，x表示落石图片像素，表示标准差，e表示指数基底，u表示均值，/>表示落石图片中横坐标为/>纵坐标为/>处的椒盐噪声像素值，p表示在区间[0,1]内均匀分布的随机数，d表示噪声强度控制系数。本实施例中，噪声强度控制系数d的取值为选中的落石图片的像素总数的某个百分比值。
S13、随机选择扩充后的落石图片数据集中的一部分落石图片，组成落石图片训练集，并将剩余的落石图片数据集中的落石图片组成落石图片验证集。
S2、基于ECA注意力机制、BasicRFB模块构建GhostNet主干网络，并基于GhostNet主干网络对yolov5网络模型进行改进，得到改进的yolov5网络模型；
如图2所示，所述改进的yolov5网络模型包括GhostNet主干网络、与GhostNet主干网络连接的Neck网络，以及与Neck网络连接的Head网络；
所述GhostNet主干网络包括依次连接的落石图片输入模块、第一CBS模块、第一GhostConv模块、第一C3Ghost模块、第二GhostConv模块、第二C3Ghost模块、第三GhostConv模块、第三C3Ghost模块、第四GhostConv模块、第四C3Ghost模块、BasicRFB模块和ECA注意力模块；所述落石图片输入模块的输入端作为GhostNet主干网络的图像输入端；所述第二C3Ghost模块的第一落石特征输出端、第三C3Ghost模块的第二落石特征输出端和ECA注意力模块的第三落石特征输出端均与Neck网络连接；
所述Neck网络包括第五GhostConv模块、第五C3Ghost模块、第六GhostConv模块、第六C3Ghost模块、第七GhostConv模块、第七C3Ghost模块、第八GhostConv模块、第八C3Ghost模块、第一上采样模块、第二上采样模块、第一Concat拼接模块、第二Concat拼接模块、第三Concat拼接模块和第四Concat拼接模块；
所述第五GhostConv模块的输入端与第三落石特征输出端连接；所述第五GhostConv模块的第一输出端与第一上采样模块的输入端连接；所述第五GhostConv模块的第二输出端与第四Concat拼接模块的第一输入端连接；所述第一上采样模块的输出端与第一Concat拼接模块的第一输入端连接；所述第一Concat拼接模块的第二输入端与第二落石特征输出端连接；所述第一Concat拼接模块的输出端与第五C3Ghost模块的输入端连接；所述第五C3Ghost模块的输出端与第六GhostConv模块的输入端连接；所述第六GhostConv模块的第一输出端与第三Concat拼接模块的第一输入端连接；所述第六GhostConv模块的第二输出端与第二上采样模块的输入端连接；所述第二上采样模块的输出端与第二Concat拼接模块的第一输入端连接；所述第二Concat拼接模块的第二输入端与第一落石特征输出端连接；所述第二Concat拼接模块的输出端与第六C3Ghost模块的输入端连接；所述第六C3Ghost模块的第一输出端与第七GhostConv模块的输入端连接；所述第六C3Ghost模块的第二输出端作为第一落石特征预测端与Head网络连接；所述第七GhostConv模块的输出端与第三Concat拼接模块的第二输入端连接；所述第三Concat拼接模块的输出端与第七C3Ghost模块的输入端连接；所述第七C3Ghost模块的第一输出端与第八GhostConv模块的输入端连接；所述第七C3Ghost模块的第二输出端作为第二落石特征预测端与Head网络连接；所述第八GhostConv模块的输出端与第四Concat拼接模块的第二输入端连接；所述第四Concat拼接模块的输出端与第八C3Ghost模块的输入端连接；所述第八C3Ghost模块的输出端作为第三落石特征预测端与Head网络连接；
所述Head网络包括与第一落石特征预测端连接的第一预测头、与第二落石特征预测端连接的第二预测头，以及与第三落石特征预测端连接的第三预测头。
S3、利用落石图片训练集和落石图像验证集对改进的yolov5网络模型进行训练和验证，得到落石检测网络模型；本实施例中，训练参数的设置为：训练的批次大小为32，训练轮次为200，初始学习率为0.01，权重衰减系数为0.0005，训练采用的优化器为‘SGD’，输入图片的大小为640*640。
所述S3包括如下步骤：
S31、随机选取落石图片训练集中的落石图片，并将选中的落石图片输入改进的yolov5网络模型；
S32、利用GhostNet主干网络对选中的落石图片进行特征提取，依次从第一落石特征预测端、第二落石特征预测端和第四C3Ghost模块的输出端对应提取得到第一GhostNet主干落石特征图、第二GhostNet主干落石特征图和待RFB特征提取落石特征图；
S33、利用BasicRFB模块对待RFB特征提取落石特征图进行特征提取，得到待注意力机制处理落石特征图；
S34、利用ECA注意力模块对待注意力处理落石特征图进行注意力机制处理，通过第三落石特征预测端得到第三GhostNet主干落石特征图；
S35、利用Neck网络对第三GhostNet主干落石特征图、第二GhostNet主干落石特征图和第一GhostNet主干落石特征图进行上采样、特征拼接和特征提取，依次从第一落石特征预测端、第二落石特征预测端和第三落石特征预测端对应得到第一GhostNet落石特征图、第二GhostNet落石特征图和第三GhostNet落石特征图；
S36、利用Head网络中的第一预测头对第一GhostNet落石特征图进行落石预测，利用Head网络中的第二预测头对第二GhostNet落石特征图进行落石预测，利用Head网络中的第三预测头对第三GhostNet落石特征图进行落石预测，得到具有目标框和置信度的落石检测图；
S37、重复S31-S36阶段训练次数，并利用落石图片验证集对完成阶段训练的yolov5网络模型进行验证，并保存该次验证时的超参数；
S38、重复S37预设次数，并基于保存的超参数，得到最优网络深度对应的超参数；
S39、基于最优网络深度对应的超参数，得到落石检测网络模型。
本实施例中，将部分复杂环境下的落石图片数据集作为测试集，并基于测试集对落石检测网络模型进行测试，测试时与yolov5网络模型和yolov8网络模型进行对比测试，测试结果如表1所示：
表1
| P | R | MAP:0.5 | MAP:0.5-0.9 | parameters | GFLOPS | |
| yolov5 | 0.785 | 0.616 | 0.701 | 0.428 | 7012822 | 15.8 |
| yolov8 | 0.786 | 0.544 | 0.673 | 0.397 | 6025835 | 12.6 |
| 落石检测网络模型 | 0.851 | 0.802 | 0.86 | 0.526 | 4336529 | 8.6 |
表1中，P值为精准率，R值为召回率，MAP:0.5表示落石类别在交并比值为0 .5时的平均精准率，MAP:0.5-0.9表示落石类别在交并比值为0.5到0.9时的平均精准率，parameters为模型的参数量， GFLOPS为浮点运算每秒的计算量。由表1可得，改进yolov5相比yolov5模型各种指标均有较大提升，能够有效地提升落石检测的准确率和速度，而且相比较于目前最新的模型yolov8性能也有较大提升。
如图3所示，所述第一GhostConv模块、第二GhostConv模块、第三GhostConv模块、第四GhostConv模块、第五GhostConv模块、第六GhostConv模块、第七GhostConv模块和第八GhostConv模块均为GhostConv结构，均包括第一卷积模块、恒等映射通道和若干特征通道；所述第一卷积模块的输入端作为第一落石图片输入端；所述第一卷积模块的输出端分别与恒等映射通道的一端和各特征通道的一端连接；所述恒等映射通道的另一端与各特征通道的另一端依次连接；本实施例中，所述第一卷积模块的卷积核大小为1*1；
所述第一卷积模块对输入的图片进行卷积，得到第一落石特征图；所述恒等映射通道对第一落石特征图进行特征提取，得到intrinsic特征图；各所述特征通道分别对第一落石特征图进行特征提取，并将提取结果进行拼接，得到Ghost特征图；所述intrinsic特征图和Ghost特征图连接后，依次进行批归一化和Mish激活函数激活，得到GhostConv落石特征图；
所述Mish激活函数的计算表达式如下：
，
，
其中，表示Mish激活函数，/>表示intrinsic特征图和Ghost特征图连接后的批归一化结果，/>表示tanh激活函数，/>表示SoftPlus激活函数，e表示指数基底常数，log(·)表示对数函数。
如图4所示，所述第一C3Ghost模块、第二C3Ghost模块、第三C3Ghost模块、第四C3Ghost模块、第五C3Ghost模块、第六C3Ghost模块、第七C3Ghost模块和第八C3Ghost模块均为C3Ghost结构，均包括第二CBS模块、n个依次连接的GhostBottleneck模块、第三CBS模块、第五Concat拼接模块和第四CBS模块；
所述第二CBS模块的输入端与第三CBS模块的输入端连接，并作为C3Ghost特征输入端；所述第二CBS模块的输出端与第1个GhostBottleneck模块的输入端连接；所述第三CBS模块的输出端与第五Concat拼接模块的第一输入端连接；第n个GhostBottleneck模块的输出端与第五Concat拼接模块的第二输入端连接；所述第五Concat拼接模块的输出端与第四CBS模块的输入端连接；所述第四CBS模块的输出端作为C3Ghost特征输出端，其中，n为正整数。
如图5所示，所述第一CBS模块、第二CBS模块、第三CBS模块和第四CBS模块均为CBS结构，均包括依次连接的第二卷积模块、BN神经网络和SiLU激活模块；
所述第二卷积模块对输入的图片进行卷积，得到第二落石特征图；所述BN神经网络对第二落石特征图进行特征提取；所述SiLU激活模块通过SiLU激活函数对第二落石特征图的特征提取结果进行激活，得到CBS落石特征图；
如图6所示，在GhostBottleneck结构中，各GhostBottleneck模块均包括依次连接的第九GhostConv模块、第十GhostConv模块和第一Add模块，其中，第九GhostConv模块和第十GhostConv模块均与第一GhostConv模块相同；所述第九GhostConv模块对输入的图片进行特征提取后，进一步利用BN神经网络进行特征提取，并将提取结果通过Mish激活函数进行激活，且将激活的图片输入第十GhostConv模块；所述第十GhostConv模块对输入的图片进行特征提取后，进一步利用BN神经网络进行特征提取，并将提取结果和输入第九GhostConv模块的图片通过第一Add模块进行相加，得到GhostBottleneck特征图。
如图7所示，在BasicRFB结构中，所述BasicRFB模块包括第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块、第十一卷积模块、Shortcut模块、第六Concat拼接模块和第二Add模块；
所述第三卷积模块的输入端、第四卷积模块的输入端、第五卷积模块的输入端和Shortcut模块的输入端作为BasicRFB模块的输入端，均与第四C3Ghost模块的输出端连接；所述第三卷积模块的输出端与第六卷积模块的输入端连接；所述第四卷积模块的输出端与第七卷积模块的输入端连接；所述第五卷积模块的输出端与第八卷积模块的输入端连接；所述第六卷积模块的输出端与第九卷积模块的输入端连接；所述第七卷积模块的输出端与第十卷积模块的输入端连接；所述第八卷积模块的输出端、第九卷积模块的输出端和第十卷积模块的输出端均与第六Concat拼接模块的输入端连接；所述第六Concat拼接模块的输出端与第十一卷积模块的输入端连接；所述第十一卷积模块的输出端与第二Add模块的第一输入端连接；所述Shortcut模块的输出端与第二Add模块的第二输入端连接；所述第二Add模块的输出端与ECA注意力模块连接；
第五卷积模块和第八卷积模块依次对输入BasicRFB模块的图片进行特征提取，得到第一RFB特征；第三卷积模块、第六卷积模块和第九卷积模块依次对输入BasicRFB模块的图片进行特征提取，得到第二RFB特征；第四卷积模块、第七卷积模块和第十卷积模块依次对输入BasicRFB模块的图片进行特征提取，得到第三RFB特征；Shortcut模块对输入BasicRFB模块的图片进行特征提取，得到第四RFB特征；第六Concat拼接模块将第一RFB特征、第二RFB特征和第三RFB特征进行拼接，第十一卷积模块对拼接结果进一步进行特征提取，得到第五RFB特征；第二Add模块将第四RFB特征和第五RFB特征进行相加后，通过ReLu激活函数进行激活，得到BasicRFB特征图。本实施例中，第三卷积模块、第四卷积模块和第五卷积模块的卷积核大小均为1×1，第六卷积模块的卷积核大小为3×3，第七卷积模块的卷积核大小为5×5，第八卷积模块的卷积核大小为3×3，扩张率为1，第九卷积模块的卷积核大小为3×3，扩张率为3，第十卷积模块的卷积核大小为3×3，扩张率为5，第十一卷积模块的卷积核大小为1×1；本实施例中，输入BasicRFB模块的图片为第四C3Ghost模块输出的关于落石特征的图片，所述BasicRFB特征图输出至ECA注意力模块。
所述ECA注意力模块通过全局平均池化操作，将BasicRFB特征图中每个通道的二维特征压缩为一个实数，以得到ECA落石特征图，并利用自适应的一维卷积核得到ECA落石特征图中每个通道的权重向量，且基于归一化后的每个通道的权重向量乘以BasicRFB特征图，得到第三GhostNet落石特征图。
S4、获取待检测的落石图片，并利用落石检测网络模型对待检测的落石图片进行预测，得到该待检测的落石图片的检测结果。
本实施例中，检测结果为带有目标框和置信度的落石检测图片，目标框用于描述被检测的落石图片中落石目标的位置和大小，目标框将落石框出，置信度为模型对每个检测到的目标框所属目标类别的预测准确程度的度量，Falling Rock（落石）即为检测到的目标框的目标类别，Falling Rock后的数字，如0.98，0.76，0.91等为该目标框对应的置信度本发明提供的落石检测网络模型能够更准确和全面地检测到落石目标。
本发明提供的一种基于改进yolov5的复杂环境落石检测方法，克服了现有落石检测中对于存在遮挡、灰尘干扰、过多无关落石背景信息干扰等情况下发生的误检和漏检，检测结果准确可靠，能够应用于山体落石发生处，有效保障人民的生命和财产。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于改进yolov5的复杂环境落石检测方法，其特征在于，包括如下步骤：
S1、获取落石图片数据集，并对落石图片数据集中的落石图片进行预处理，得到落石图片训练集和落石图片验证集；
所述S1包括如下步骤：
S11、获取落石图片数据集；
S12、逐个选择落石图片数据集中的落石图片，并对选中的落石图片加入高斯噪声和椒盐噪声，并改变该选中的落石图片的饱和度和亮度，以扩充落石图片数据集；
所述S12中的高斯噪声和椒盐噪声的计算表达式分别如下：
其中，f（x）表示高斯噪声概率密度，x表示落石图片像素，表示标准差，e表示指数基底，u表示均值，/>表示落石图片中横坐标为/>纵坐标为/>处的椒盐噪声像素值，p表示在区间[0,1]内均匀分布的随机数，d表示噪声强度控制系数；
S13、随机选择扩充后的落石图片数据集中的一部分落石图片，组成落石图片训练集，并将剩余的落石图片数据集中的落石图片组成落石图片验证集；
S2、基于ECA注意力机制、BasicRFB模块构建GhostNet主干网络，并基于GhostNet主干网络对yolov5网络模型进行改进，得到改进的yolov5网络模型；
所述改进的yolov5网络模型包括GhostNet主干网络、与GhostNet主干网络连接的Neck网络，以及与Neck网络连接的Head网络；
所述GhostNet主干网络包括依次连接的落石图片输入模块、第一CBS模块、第一GhostConv模块、第一C3Ghost模块、第二GhostConv模块、第二C3Ghost模块、第三GhostConv模块、第三C3Ghost模块、第四GhostConv模块、第四C3Ghost模块、BasicRFB模块和ECA注意力模块；所述落石图片输入模块的输入端作为GhostNet主干网络的图像输入端；所述第二C3Ghost模块的第一落石特征输出端、第三C3Ghost模块的第二落石特征输出端和ECA注意力模块的第三落石特征输出端均与Neck网络连接；
所述Neck网络包括第五GhostConv模块、第五C3Ghost模块、第六GhostConv模块、第六C3Ghost模块、第七GhostConv模块、第七C3Ghost模块、第八GhostConv模块、第八C3Ghost模块、第一上采样模块、第二上采样模块、第一Concat拼接模块、第二Concat拼接模块、第三Concat拼接模块和第四Concat拼接模块；
所述第五GhostConv模块的输入端与第三落石特征输出端连接；所述第五GhostConv模块的第一输出端与第一上采样模块的输入端连接；所述第五GhostConv模块的第二输出端与第四Concat拼接模块的第一输入端连接；所述第一上采样模块的输出端与第一Concat拼接模块的第一输入端连接；所述第一Concat拼接模块的第二输入端与第二落石特征输出端连接；所述第一Concat拼接模块的输出端与第五C3Ghost模块的输入端连接；所述第五C3Ghost模块的输出端与第六GhostConv模块的输入端连接；所述第六GhostConv模块的第一输出端与第三Concat拼接模块的第一输入端连接；所述第六GhostConv模块的第二输出端与第二上采样模块的输入端连接；所述第二上采样模块的输出端与第二Concat拼接模块的第一输入端连接；所述第二Concat拼接模块的第二输入端与第一落石特征输出端连接；所述第二Concat拼接模块的输出端与第六C3Ghost模块的输入端连接；所述第六C3Ghost模块的第一输出端与第七GhostConv模块的输入端连接；所述第六C3Ghost模块的第二输出端作为第一落石特征预测端与Head网络连接；所述第七GhostConv模块的输出端与第三Concat拼接模块的第二输入端连接；所述第三Concat拼接模块的输出端与第七C3Ghost模块的输入端连接；所述第七C3Ghost模块的第一输出端与第八GhostConv模块的输入端连接；所述第七C3Ghost模块的第二输出端作为第二落石特征预测端与Head网络连接；所述第八GhostConv模块的输出端与第四Concat拼接模块的第二输入端连接；所述第四Concat拼接模块的输出端与第八C3Ghost模块的输入端连接；所述第八C3Ghost模块的输出端作为第三落石特征预测端与Head网络连接；
所述Head网络包括与第一落石特征预测端连接的第一预测头、与第二落石特征预测端连接的第二预测头，以及与第三落石特征预测端连接的第三预测头；
S3、利用落石图片训练集和落石图像验证集对改进的yolov5网络模型进行训练和验证，得到落石检测网络模型；
所述S3包括如下步骤：
S31、随机选取落石图片训练集中的落石图片，并将选中的落石图片输入改进的yolov5网络模型；
S32、利用GhostNet主干网络对选中的落石图片进行特征提取，依次从第一落石特征预测端、第二落石特征预测端和第四C3Ghost模块的输出端对应提取得到第一GhostNet主干落石特征图、第二GhostNet主干落石特征图和待RFB特征提取落石特征图；
S33、利用BasicRFB模块对待RFB特征提取落石特征图进行特征提取，得到待注意力机制处理落石特征图；
S34、利用ECA注意力模块对待注意力处理落石特征图进行注意力机制处理，通过第三落石特征预测端得到第三GhostNet主干落石特征图；
S35、利用Neck网络对第三GhostNet主干落石特征图、第二GhostNet主干落石特征图和第一GhostNet主干落石特征图进行上采样、特征拼接和特征提取，依次从第一落石特征预测端、第二落石特征预测端和第三落石特征预测端对应得到第一GhostNet落石特征图、第二GhostNet落石特征图和第三GhostNet落石特征图；
S36、利用Head网络中的第一预测头对第一GhostNet落石特征图进行落石预测，利用Head网络中的第二预测头对第二GhostNet落石特征图进行落石预测，利用Head网络中的第三预测头对第三GhostNet落石特征图进行落石预测，得到具有目标框和置信度的落石检测图；
S37、重复S31-S36阶段训练次数，并利用落石图片验证集对完成阶段训练的yolov5网络模型进行验证，并保存该次验证时的超参数；
S38、重复S37预设次数，并基于保存的超参数，得到最优网络深度对应的超参数；
S39、基于最优网络深度对应的超参数，得到落石检测网络模型；
S4、获取待检测的落石图片，并利用落石检测网络模型对待检测的落石图片进行预测，得到该待检测的落石图片的检测结果。
2.根据权利要求1所述的基于改进yolov5的复杂环境落石检测方法，其特征在于，所述第一GhostConv模块、第二GhostConv模块、第三GhostConv模块、第四GhostConv模块、第五GhostConv模块、第六GhostConv模块、第七GhostConv模块和第八GhostConv模块均包括第一卷积模块、恒等映射通道和若干特征通道；所述第一卷积模块的输入端作为第一落石图片输入端；所述第一卷积模块的输出端分别与恒等映射通道的一端和各特征通道的一端连接；所述恒等映射通道的另一端与各特征通道的另一端依次连接；
所述第一卷积模块对输入的图片进行卷积，得到第一落石特征图；所述恒等映射通道对第一落石特征图进行特征提取，得到intrinsic特征图；各所述特征通道分别对第一落石特征图进行特征提取，并将提取结果进行拼接，得到Ghost特征图；所述intrinsic特征图和Ghost特征图连接后，依次进行批归一化和Mish激活函数激活，得到GhostConv落石特征图；
所述Mish激活函数的计算表达式如下：
，
，
其中，表示Mish激活函数，/>表示intrinsic特征图和Ghost特征图连接后的批归一化结果，/>表示tanh激活函数，/>表示SoftPlus激活函数，e表示指数基底常数，log(·)表示对数函数。
3.根据权利要求1所述的基于改进yolov5的复杂环境落石检测方法，其特征在于，所述第一C3Ghost模块、第二C3Ghost模块、第三C3Ghost模块、第四C3Ghost模块、第五C3Ghost模块、第六C3Ghost模块、第七C3Ghost模块和第八C3Ghost模块均包括第二CBS模块、n个依次连接的GhostBottleneck模块、第三CBS模块、第五Concat拼接模块和第四CBS模块；
所述第二CBS模块的输入端与第三CBS模块的输入端连接，并作为C3Ghost特征输入端；所述第二CBS模块的输出端与第1个GhostBottleneck模块的输入端连接；所述第三CBS模块的输出端与第五Concat拼接模块的第一输入端连接；第n个GhostBottleneck模块的输出端与第五Concat拼接模块的第二输入端连接；所述第五Concat拼接模块的输出端与第四CBS模块的输入端连接；所述第四CBS模块的输出端作为C3Ghost特征输出端，其中，n为正整数。
4.根据权利要求3所述的基于改进yolov5的复杂环境落石检测方法，其特征在于，所述第一CBS模块、第二CBS模块、第三CBS模块和第四CBS模块均包括依次连接的第二卷积模块、BN神经网络和SiLU激活模块；
所述第二卷积模块对输入的图片进行卷积，得到第二落石特征图；所述BN神经网络对第二落石特征图进行特征提取；所述SiLU激活模块通过SiLU激活函数对第二落石特征图的特征提取结果进行激活，得到CBS落石特征图；
各GhostBottleneck模块均包括依次连接的第九GhostConv模块、第十GhostConv模块和第一Add模块，其中，第九GhostConv模块和第十GhostConv模块均与第一GhostConv模块相同；所述第九GhostConv模块对输入的图片进行特征提取后，进一步利用BN神经网络进行特征提取，并将提取结果通过Mish激活函数进行激活，且将激活的图片输入第十GhostConv模块；所述第十GhostConv模块对输入的图片进行特征提取后，进一步利用BN神经网络进行特征提取，并将提取结果和输入第九GhostConv模块的图片通过第一Add模块进行相加，得到GhostBottleneck特征图。
5.根据权利要求1所述的基于改进yolov5的复杂环境落石检测方法，其特征在于，所述BasicRFB模块包括第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块、第十一卷积模块、Shortcut模块、第六Concat拼接模块和第二Add模块；
所述第三卷积模块的输入端、第四卷积模块的输入端、第五卷积模块的输入端和Shortcut模块的输入端作为BasicRFB模块的输入端，均与第四C3Ghost模块的输出端连接；所述第三卷积模块的输出端与第六卷积模块的输入端连接；所述第四卷积模块的输出端与第七卷积模块的输入端连接；所述第五卷积模块的输出端与第八卷积模块的输入端连接；所述第六卷积模块的输出端与第九卷积模块的输入端连接；所述第七卷积模块的输出端与第十卷积模块的输入端连接；所述第八卷积模块的输出端、第九卷积模块的输出端和第十卷积模块的输出端均与第六Concat拼接模块的输入端连接；所述第六Concat拼接模块的输出端与第十一卷积模块的输入端连接；所述第十一卷积模块的输出端与第二Add模块的第一输入端连接；所述Shortcut模块的输出端与第二Add模块的第二输入端连接；所述第二Add模块的输出端与ECA注意力模块连接；
第五卷积模块和第八卷积模块依次对输入BasicRFB模块的图片进行特征提取，得到第一RFB特征；第三卷积模块、第六卷积模块和第九卷积模块依次对输入BasicRFB模块的图片进行特征提取，得到第二RFB特征；第四卷积模块、第七卷积模块和第十卷积模块依次对输入BasicRFB模块的图片进行特征提取，得到第三RFB特征；Shortcut模块对输入BasicRFB模块的图片进行特征提取，得到第四RFB特征；第六Concat拼接模块将第一RFB特征、第二RFB特征和第三RFB特征进行拼接，第十一卷积模块对拼接结果进一步进行特征提取，得到第五RFB特征；第二Add模块将第四RFB特征和第五RFB特征进行相加后，通过ReLu激活函数进行激活，得到BasicRFB特征图。
6.根据权利要求5所述的基于改进yolov5的复杂环境落石检测方法，其特征在于，所述ECA注意力模块通过全局平均池化操作，将BasicRFB特征图中每个通道的二维特征压缩为一个实数，以得到ECA落石特征图，并利用自适应的一维卷积核得到ECA落石特征图中每个通道的权重向量，且基于归一化后的每个通道的权重向量乘以BasicRFB特征图，得到第三GhostNet落石特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410283283.9A CN117876848B (zh) | 2024-03-13 | 2024-03-13 | 基于改进yolov5的复杂环境落石检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410283283.9A CN117876848B (zh) | 2024-03-13 | 2024-03-13 | 基于改进yolov5的复杂环境落石检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876848A CN117876848A (zh) | 2024-04-12 |
| CN117876848B true CN117876848B (zh) | 2024-05-07 |
Family
ID=90590395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410283283.9A Active CN117876848B (zh) | 2024-03-13 | 2024-03-13 | 基于改进yolov5的复杂环境落石检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876848B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020079508A1 (en) * | 2018-10-18 | 2020-04-23 | Cartica Ai Ltd. | Method and system for obstacle detection |
| CN111626170A (zh) * | 2020-05-20 | 2020-09-04 | 中铁二院工程集团有限责任公司 | 一种铁路边坡落石侵限检测的图像识别方法 |
| WO2021136368A1 (zh) * | 2020-01-02 | 2021-07-08 | 广州柏视医疗科技有限公司 | 钼靶图像中胸大肌区域自动检测方法及装置 |
| CN113744291A (zh) * | 2021-09-01 | 2021-12-03 | 江苏徐工工程机械研究院有限公司 | 一种基于深度学习的矿山落石检测方法和装置 |
| CN115731533A (zh) * | 2022-11-29 | 2023-03-03 | 淮阴工学院 | 一种基于改进YOLOv5的车载目标检测方法 |
| CN115909070A (zh) * | 2022-11-25 | 2023-04-04 | 南通大学 | 一种基于改进yolov5网络的杂草检测方法 |
| CN116452982A (zh) * | 2023-05-14 | 2023-07-18 | 郑州大学 | 一种基于改进YOLOv5的探地雷达地下排水管网图像检测方法 |
| CN116468716A (zh) * | 2023-04-26 | 2023-07-21 | 山东省计算中心（国家超级计算济南中心） | 一种基于YOLOv7-ECD的钢材表面缺陷检测方法 |
| CN116597270A (zh) * | 2023-04-03 | 2023-08-15 | 武汉大学 | 基于注意力机制集成学习网络的道路损毁目标检测方法 |
| CN116740013A (zh) * | 2023-06-12 | 2023-09-12 | 哈尔滨工程大学 | 基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法 |
| CN116805365A (zh) * | 2023-05-30 | 2023-09-26 | 中铁建工集团有限公司 | 一种高精度的工地落石检测方法及装置 |
| CN116883870A (zh) * | 2023-05-30 | 2023-10-13 | 中铁建工集团有限公司 | 一种基于深度学习的无人机落石目标检测方法及装置 |
| CN116912674A (zh) * | 2023-07-31 | 2023-10-20 | 山东交通学院 | 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统 |
| CN117274192A (zh) * | 2023-09-20 | 2023-12-22 | 重庆市荣冠科技有限公司 | 一种基于改进YOLOv5的管道漏磁缺陷检测方法 |
| CN117351649A (zh) * | 2023-08-21 | 2024-01-05 | 北方信息控制研究院集团有限公司 | 一种综合YOLOv8和帧差法的落石识别监测系统及方法 |
-
2024
- 2024-03-13 CN CN202410283283.9A patent/CN117876848B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020079508A1 (en) * | 2018-10-18 | 2020-04-23 | Cartica Ai Ltd. | Method and system for obstacle detection |
| WO2021136368A1 (zh) * | 2020-01-02 | 2021-07-08 | 广州柏视医疗科技有限公司 | 钼靶图像中胸大肌区域自动检测方法及装置 |
| CN111626170A (zh) * | 2020-05-20 | 2020-09-04 | 中铁二院工程集团有限责任公司 | 一种铁路边坡落石侵限检测的图像识别方法 |
| CN113744291A (zh) * | 2021-09-01 | 2021-12-03 | 江苏徐工工程机械研究院有限公司 | 一种基于深度学习的矿山落石检测方法和装置 |
| CN115909070A (zh) * | 2022-11-25 | 2023-04-04 | 南通大学 | 一种基于改进yolov5网络的杂草检测方法 |
| CN115731533A (zh) * | 2022-11-29 | 2023-03-03 | 淮阴工学院 | 一种基于改进YOLOv5的车载目标检测方法 |
| CN116597270A (zh) * | 2023-04-03 | 2023-08-15 | 武汉大学 | 基于注意力机制集成学习网络的道路损毁目标检测方法 |
| CN116468716A (zh) * | 2023-04-26 | 2023-07-21 | 山东省计算中心（国家超级计算济南中心） | 一种基于YOLOv7-ECD的钢材表面缺陷检测方法 |
| CN116452982A (zh) * | 2023-05-14 | 2023-07-18 | 郑州大学 | 一种基于改进YOLOv5的探地雷达地下排水管网图像检测方法 |
| CN116805365A (zh) * | 2023-05-30 | 2023-09-26 | 中铁建工集团有限公司 | 一种高精度的工地落石检测方法及装置 |
| CN116883870A (zh) * | 2023-05-30 | 2023-10-13 | 中铁建工集团有限公司 | 一种基于深度学习的无人机落石目标检测方法及装置 |
| CN116740013A (zh) * | 2023-06-12 | 2023-09-12 | 哈尔滨工程大学 | 基于YOLOv5改进网络的曳引钢丝绳缺陷检测方法 |
| CN116912674A (zh) * | 2023-07-31 | 2023-10-20 | 山东交通学院 | 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统 |
| CN117351649A (zh) * | 2023-08-21 | 2024-01-05 | 北方信息控制研究院集团有限公司 | 一种综合YOLOv8和帧差法的落石识别监测系统及方法 |
| CN117274192A (zh) * | 2023-09-20 | 2023-12-22 | 重庆市荣冠科技有限公司 | 一种基于改进YOLOv5的管道漏磁缺陷检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于YOLO改进残差网络结构的车辆检测方法;胡臣辰 等;信息技术与网络安全;20200910(第09期);56-60 * |
| 基于深层卷积神经网络的公路边坡灾害识别研究;束景晓 等;公路交通科技(应用技术版);20171015(第10期);70-74 * |
| 滚石冲击EPE-砂土复合垫层明洞动力响应研究;王东坡 等;振动与冲击;20221214;第第41卷卷(第第23期期);201-210 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876848A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339858B (zh) | 一种基于神经网络的油气管道标志物识别方法 | |
| CN110348376B (zh) | 一种基于神经网络的行人实时检测方法 | |
| CN110910343A (zh) | 路面裂缝检测的方法、装置及计算机设备 | |
| CN109902018B (zh) | 一种智能驾驶系统测试案例的获取方法 | |
| CN109522855A (zh) | 结合ResNet和SENet的低分辨率行人检测方法、系统及存储介质 | |
| CN114387207B (zh) | 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型 | |
| CN111709914B (zh) | 一种基于hvs特性的无参考图像质量评价方法 | |
| CN110826581B (zh) | 一种动物数量识别方法、装置、介质及电子设备 | |
| CN110378254B (zh) | 车损图像修改痕迹的识别方法、系统、电子设备及存储介质 | |
| CN114926511A (zh) | 一种基于自监督学习的高分辨率遥感影像变化检测方法 | |
| CN115546113A (zh) | 掌子面裂隙图像与前方三维结构参数预测方法及系统 | |
| CN112734739A (zh) | 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法 | |
| CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
| CN110348434A (zh) | 相机来源鉴别方法、系统、存储介质和计算设备 | |
| CN116152209A (zh) | 一种耳机罩缺陷检测方法、装置、设备及存储介质 | |
| CN112348808A (zh) | 屏幕透图检测方法及装置 | |
| CN117011274A (zh) | 自动化玻璃瓶检测系统及其方法 | |
| CN117611911A (zh) | 一种基于改进YOLOv7的单帧红外弱小目标检测方法 | |
| CN115311601A (zh) | 一种基于视频分析技术的火灾探测分析方法 | |
| CN114511521B (zh) | 基于多重表示与多重子域自适应的轮胎瑕疵检测方法 | |
| CN115527050A (zh) | 图像特征匹配方法、计算机设备和可读存储介质 | |
| CN114881998A (zh) | 一种基于深度学习的工件表面缺陷检测方法及系统 | |
| CN114332739A (zh) | 一种基于运动目标检测和深度学习技术的烟雾检测方法 | |
| CN117876848B (zh) | 基于改进yolov5的复杂环境落石检测方法 | |
| CN109766780A (zh) | 一种基于深度学习的船舶烟雾排放在线检测和追踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |