CN117237796A - 一种基于特征增强和采样偏移的海产品检测方法 - Google Patents
一种基于特征增强和采样偏移的海产品检测方法 Download PDFInfo
- Publication number
- CN117237796A CN117237796A CN202311358649.6A CN202311358649A CN117237796A CN 117237796 A CN117237796 A CN 117237796A CN 202311358649 A CN202311358649 A CN 202311358649A CN 117237796 A CN117237796 A CN 117237796A
- Authority
- CN
- China
- Prior art keywords
- feature
- module
- features
- seafood
- yolov5
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000005070 sampling Methods 0.000 title claims abstract description 40
- 235000014102 seafood Nutrition 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract 2
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 241000251511 Holothuroidea Species 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 241000257465 Echinoidea Species 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000237503 Pectinidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000020637 scallop Nutrition 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Abstract
本发明公开了一种基于特征增强和采样偏移的海产品检测方法，在YOLOv5的特征融合阶段构建特征增强模块，通过全局注意力和高层次的全局背景信息来指导浅层的、高分辨率的特征，减少信息损失的同时捕捉海产品小目标的更多辨别特征；构建采样偏移模块SOM，应用改进的规范化可变形卷积来偏移采样位置，使海产品图像中的模糊的背景得到抑制，提高检测器对海产品目标的识别能力；结合用于特征冗余的空间和通道重构卷积SCConv，构建出海产品检测算法模型FSS‑YOLOv5；对FSS‑YOLOv5的参数配置进行调整并完成训练。本发明提高了YOLOv5的特征融合能力，改善了海产品小目标难以检测的问题，并且缓解了水下图像模糊导致的特征损失和精度下降，提高了对海产品的检测精度。
Description
技术领域
本发明属于计算机视觉目标检测技术领域，特别是涉及一种基于特征增强和采样偏移的海产品检测方法。
背景技术
海洋自然资源丰富，随着陆地资源的不断开发和消耗，海洋资源的利用引起越来越多的关注。随着人们生活质量的提高，近年来富含较高营养价值和功效的海参、海胆等海产品需求有所增加。当前对海产品进行捕捞主要有两种方式：一种是拖网式捕捞，这种方式成本低，操作简单，但是对于海参等海产品而言，拖网式捕捞容易对其产生损害，同时也会对海底的生态环境和平衡造成严重损伤；另一种是人工捕捞，但这种方式不仅成本高效率低，而且长期的捕捞作业还会对潜水员的生命健康产生危害。综合考虑经济效益、人身安全等问题，利用水下机器人代替传统捕捞成为了研究热点。而利用视觉信号即视觉图像是水下机器人感知环境的主要方式，亟需一种图像处理算法实现对海产品的检测识别。
然而，海产品图像中的大多数物体往往很小，而小目标由于其特性，网络提取的特征表达有限。经过多次下采样后，小目标的特征更弱，甚至被湮没在背景中。FPN的简单特征串联没有充分利用多尺度信息，并在信息传递中引入了不相关的背景，进一步降低了小物体的检测性能。同时，由于浊度、光散射和颜色失真等复杂的成像条件，水下图像往往是模糊的，这导致了特征损失和不良的水下目标检测精度。
发明内容
发明目的：本发明提供一种基于特征增强和采样偏移的海产品检测方法，能够在未大幅度降低检测速度的前提下，提高对特定海产品的检测精度。
技术方案：本发明提出一种基于特征增强和采样偏移的海产品检测方法，包括以下步骤：
(1)对预先获取的海产品图像进行预处理，构建初始数据集；
(2)基于YOLOv5模型，融合特征增强模块和采样偏移模块，并结合用于特征冗余的空间和通道重构卷积，构建出海产品检测模型FSS-YOLOv5；
(3)对改进之后的网络模型进行参数调整，设置卷积神经网络输入图像的尺寸、识别种类的数量、迭代的次数；
(4)对改进后的模型分别评价指标Precision、Recall、mAP对训练好的FSS-YOLOv5网络模型进行测试评估。
(5)利用训练好的模型FSS-YOLOv5对海产品进行检测，并输出检测结果。
进一步地，所述步骤(1)实现过程如下：
获取海产品的初始数据集，将数据集按8:2的比例划分为训练集和测试集；然后对初始数据集使用Mosaic数据增强，对图像进行随机缩放、随机排布等操作增加数据多样性。
进一步地，所述步骤(2)包括以下步骤：
(21)构建一个特征增强模块FEM，将其置于FSS-YOLOv5中的第16层、第20层和第24层，替换原本的Concat模块；
(22)构建一个采样偏移模块SOM，该模块应用改进的规范化可变形卷积来偏移采样位置，在YOLOv5的Neck网络中将最后的3个C3模块替换为SOM模块；
(23)引入用于特征冗余的空间和通道重构卷积SCConv，利用特征之间的空间和通道冗余对CNN进行压缩，通过减少冗余特征来获得更好的性能，并且显著降低复杂度和计算成本。
进一步地，所述步骤(3)包括以下步骤：
图片大小imgsz＝[640，640]，置信度阈值conf_thres＝0.25，Iou阈值iou_thres＝0.45，初始学习率lr0＝0.01，学习率动量momentum＝0.937，权重衰减系数weight_decay＝0.0005，设置epochs＝200。
进一步地，所述步骤(4)中的评价指标是：P(Precision)为精确率，表示正确预测的正样本数占实际拥有的正样本数的比例；R(Recall)为召回率，表示正确预测的正样本数占总预测样本数的比例；mAP为平均精度均值，表示所有类别检测的平均精度进行综合加权平均，具体公式如下：
其中，TP表示真正例，即被模型预测为正类的正样本；FP表示假正例，即被模型预测为正类的负样本；FN表示假反例，即被模型预测为假类的正样本；K表示K个类别，APi表示第i个类别的平均精度。
进一步地，所述步骤(21)主要用于提高对小目标的检测效果，特征增强模块FEM借鉴了GAU的经验，使用高层次的背景信息来引导浅层信息，其中包括GAM模块，GlobalPooling模块，Conv1x1模块和Concat模块。
全局注意力机制GAM可以进行跨维度的特征互动，以保留更多的信息和捕捉更重要的特征。可以有效地增强有用的特征，同时抑制无用的特征，对小物体更加敏感。GlobalPooling模块和Conv1x1模块用于处理上采样后的特征信息，最后通过Concat模块将两种特征信息结合，提高对海产品小目标的检测效果。
输入的高层特征先进行上采样，然后进行全局平均池化，接着通过1x1卷积、批量归一化和ReLu激活函数；输入的低层特征首先通过全局注意力机制GAM，通道数量不变，接着将经过处理的高层特征和低层特征相乘；最后将用Concat拼接高层特征原始输入和与低层特征相乘后的结果，得到最终的输出特征。
进一步地，所述步骤(22)用于进行采样偏移，降低海产品图像背景模糊对检测影响，其中包括两个CBS模块和两个NDBS模块。
所述CBS模块是由一个二维卷积层、一个批量归一化层和一个SiLU激活函数构成，作用是获取图像特征，一个CBS模块在YOLOv5模型中视为一个标准卷积模块；
所述NDBS模块由一个改进的规范化可变形卷积层NDconv、一个批量归一化层和一个SiLU激活函数构成，作用是偏移采样位置，更多地关注海产品，从而使模糊目标的特征得到增强，背景得到抑制。
进一步地，所述步骤(23)所述的用于特征冗余的空间和通道重构卷积SCConv，由空间重构单元SRU和通道重构单元CRU两个单元组成。
所述SRU为空间重构单元，用于减少特征的空间冗余。首先采用分离操作将信息丰富的特征图与空间内容对应的信息较少的特征图分离，然后利用组归一化层中的缩放因子来评估不同特征图的信息内容。
所述CRU为通道重构单元，利用“分割-转换-融合”的策略，进一步减少空间细化特征图在通道维度上的冗余。此外，CRU通过轻量级卷积操作提取丰富的代表性特征，同时使用廉价操作和特征重用方案进行冗余特征的处理。
与现有技术相比，本发明的有益效果如下：
1.针对海产品图像中存在大量难以检测的小目标的问题，本发明构建了一个特征增强模块FEM用来捕捉小目标的更多辨别特征，且改善了融合后的特征，过滤掉无效数据，提高有用数据的利用率；
2.通过分析水下环境图像模糊问题的特点，发现模糊的背景会降低检测精度。为了实现对模糊目标的更高精确度，本发明构建了一个SOM模块，应用改进的规范化可变形卷积来偏移采样位置，更多地关注海产品，从而使模糊目标的特征得到增强，背景得到抑制；
3.本发明将网络结构中引入了用于特征冗余的空间和通道重构卷积SCConv，通过减少冗余特征来获得更好的性能，并且显著降低了复杂度和计算成本。
附图说明
图1为本发明流程图；
图2为FSS-YOLOv5模型网络结构示意图；
图3为FEM模块的结构图；
图4为GAM的结构图；
图5为SOM模块的结构图；
图6为NDconv的结构图；
图7为SRU的结构图；
图8为CRU的结构图；
图9为改进后模型的检测结果。
具体实施方式
为了更好的理解本发明，下面结合本发明实例中的附图，对本发明的一种基于特征增强和采样偏移的海产品检测方法更为详细的描述。由图1可知，本发明的具体步骤为：
步骤1：对预先获取的海产品图像进行预处理，构建初始数据集。
本发明选用了公共数据集UDD，数据是在中国大连张子岛使用由潜水员或机器人操作的高清摄像机Yi4K4采集，包括2227张图片，包括海参、海胆、扇贝三个类别；将数据集按8:2的比例划分为训练集和测试集，使用Mosaic数据增强，对图像进行随机缩放、随机排布等操作，增加数据多样性。
步骤2：基于YOLOv5模型，融合特征增强模块和采样偏移模块，并结合用于特征冗余的空间和通道重构卷积，构建一种全新的海产品检测模型FSS-YOLOv5，如图2所示。
(1)构建特征增强模块FEM，将其置于FSS-YOLOv5中的第16层、第20层和第24层，替换原本的Concat模块，提高对小目标的检测效果，特征增强模块FEM借鉴了GAU的经验，使用高层次的背景信息来引导浅层信息，其中包括GAM模块，Global Pooling模块，Conv1x1模块和Concat模块。FEM模块的结构如图3所示。
GAM模块可以进行跨维度的特征互动，以保留更多的信息和捕捉更重要的特征，对于小目标来说，与背景的相似性使其难以分类，GAM可以有效增强有用特征，同时抑制无用特征，对小物体更加敏感。GAM的结构如图4所示。其算法流程如下：
假设输入特征映射F1＝RC×H×W，F2代表中间特征，F3是输出特征，GAM可以表示为：
其中，表示元素的乘法运算，通道注意力MC和空间注意力MS的计算公式如下：
Mc(F1)＝σ(f(MLP(permutation(F1))))
Ms(F2)＝σ(Conv7x7(Conv7x7(F2)))
其中，MLP是一个两层的编码-解码感知器，Permutation操作将把C×W×H转换为W×H×C，保留了跨维的信息，f操作降低了交换的维度，σ表示sigmoid函数。
Global Pooling模块和Conv1x1模块首先通过上采样获得注意权重，然后使用进行注意力映射，以获得全局的上下文特征并用于处理上采样后的特征信息，最后通过Concat模块将两种特征信息结合，提高对海产品小目标的检测效果。
(2)构建采样偏移模块SOM，用于进行采样偏移，降低海产品图像背景模糊对检测影响，其中包括两个CBS模块和两个NDBS模块。SOM结构如图5所示。
CBS模块是由一个二维卷积层、一个批量归一化层和一个SiLU激活函数构成，作用是获取图像特征，一个CBS模块在YOLOv5模型中视为一个标准卷积模块；
NDBS模块由一个改进的规范化可变形卷积层NDconv、一个批量归一化层和一个SiLU激活函数构成，作用是偏移采样位置，更多地关注海产品，从而使模糊目标的特征得到增强，背景得到抑制。
改进的规范化可变形卷积NDconv的结构如图6所示，其中Lnd为偏移损失，用来控制采样点的偏移。
偏移损失Lnd的计算步骤如下：
S1：给定一个内核大小为3×3的卷积，标准的9个采样点分别表示为a、b、c、d、e、f、g、h、i。由于采样偏移的存在，9个采样点分别移动到A、B、C、D、E、F、G、H、I。在这种情况下，偏移量是二维的，记为(ΔAx，ΔAy)，…，(ΔIx，ΔIy)，其中A＝ΔA+a，…，I＝ΔI+i。
S2：构建三个限制条件以使采样更加合理。(1)中心取样点E应该接近e。(2)D和F与e的距离相同，而且D和F都应该靠近x轴。(3)B和H离e的距离应该相同，而且B和H都应该靠近y轴。
对于限制条件(1)：
对于限制条件(2)：
对于限制条件(3)：
S3：对A、C、G、I这四个诊断点进行修改，使其接近四个平行四边形：
S4：偏移损失Lnd可以表示为：
Lnd＝Le+Lhor+Lvec+LA+LC+LG+LI
(3)结合用于特征冗余的空间和通道重构卷积SCConv，用特征之间的空间和通道冗余对CNN进行压缩，通过减少冗余特征来获得更好的性能，并且显著降低复杂度和计算成本。由空间重构单元SRU和通道重构单元CRU两个按顺序放置的单元组成。具体来说，对于一个输入特征X，首先通过SRU操作得到空间细化特征Xw，然后利用CRU操作得到通道细化特征Y，以减少中间特征图之间的冗余，并提高CNN的特征表示。
所述的SRU是空间重构单元，如图7所示，采用分离-重构操作将信息丰富的特征图与空间内容对应的信息较少的特征图分离，并利用组归一化中的缩放因子来评估不同特征图的信息内容。其算法流程如下：
给定一个中间特征图其中N为批处理轴，C为通道轴，H和W为空间高度和宽度轴。首先通过减去均值μ除以标准差σ来标准化输入特征X，如下所示：
其中，μ和σ是X的均值和标准差，∈是一个为了稳定除法而添加的小的正数，γ和β是可训练的仿射变换。
归一化的相关权重Wγ∈RC的公式如下：
然后，通过sigmoid函数将由Wγ重新加权的特征图的权重值映射到范围(0,1)并通过阈值进行门控。获取W的公式如下所示：
W＝Gate(signoid(Wγ(GN(X))))
最后，将输入特征X分别乘以W1和W2，得到两个加权特征：信息丰富的特征和信息较少的特征/> 具有信息丰富和表现力强的空间内容，而/>几乎没有信息，被视为冗余。
所述CRU为通道重构单元，利用“分割-转换-融合”的策略，进一步减少空间细化特征图在通道维度上的冗余。此外，CRU通过轻量级卷积操作提取丰富的代表性特征，同时使用廉价操作和特征重用方案进行冗余特征的处理。CRU的结构如图8所示，分为Split、Transform和Fuse三个步骤。
首先对于给定的空间细化特征首先将XW的通道分成两部分，其中一部分具有αC个通道，另一部分具有(1-α)C个通道。随后利用1×1卷积来压缩特征图的通道以提高计算效率，将空间细化特征XW分为上部分Xup和下部分Xlow。
接着，Xup被输入到上转换阶段，采用高效的卷积操作GWC和PWC来代替k×k卷积来提取高级代表性信息，同时降低计算成本。由于稀疏卷积连接，GWC减少了参数和计算量，但切断了通道组之间的信息流。而PWC弥补了信息的损失并帮助信息在特征通道之间流动。因此，在相同的Xup上使用k×kGWC和1×1PWC操作，然后将输出相加得到合并代表特征图Y1。上转换阶段可以表示为：
其中， 是GWC和PWC的可学习权重矩阵；和/>分别是上输入和输出的特征图。
同时，Xlow被输入到底部转换阶段，应用1×1PWC操作生成具有浅层隐藏细节的特征图，作为丰富特征提取器的补充。最后将生成的和重用的特征连接起来形成底部阶段的输出Y2，计算公式如下：
其中，是PWC的可学习权重矩阵，∪是连接操作，和/>分别是底部输入和输出特征图。
最后利用简化的SKNet方法自适应地合并上转换阶段和下转换阶段的输出特征Y1和Y2。先应用全局平均池化来收集全局空间信息Sm，接着将上部分和下部分的全局通道描述S1和S2堆叠在一起，并使用通道注意力操作来生成特征重要性向量β1和β2，然后以通道的方式合并上特征Y1和下特征Y2来获得通道精细化特征Y，计算公式如下：
Y＝β1Y1+β2Y2
步骤3：对改进之后的网络模型进行参数的调整：在FSS-YOLOv5网络模型中，根据计算机内存、显存的大小，所需的识别效果和训练速度，设置卷积神经网络输入图像的尺寸、识别种类的数量、迭代次数；且用户需使用支持CUDA加速的显卡类型。
本发明基于PyTorch1.10.1和Python 3.8的版本进行试验，实验时使用NVDIAGeForce RTX3060的GPU参与运算，16G内存，8G显存，CUDA版本为11.3。
在训练之前，先对模型的参数进行配置，图片大小imgsz＝[640，640]，置信度阈值conf_thres＝0.25，Iou阈值iou_thres＝0.45，初始学习率lr0＝0.01，学习率动量momentum＝0.937，权重衰减系数weight_decay＝0.0005，迭代次数epochs＝200。
步骤4：对改进后的模型进行消融实验，分对训练好的FSS-YOLOv5网络模型进行测试评估。
评价指标是精确率P(Precision)、召回率R(Recall)、平均精度均值mAP；其中P表示正确预测的正样本数占实际拥有的正样本数的比例，R表示正确预测的正样本数占总预测样本数的比例，mAP表示所有类别检测的平均精度进行综合加权平均，具体计算公式如下：
其中，TP表示真正例，即被模型预测为正类的正样本；FP表示假正例，即被模型预测为正类的负样本；FN表示假反例，即被模型预测为假类的正样本；K表示K个类别，APi表示第i个类别的平均精度。
经测试评估，模型的消融实验结果如表1所示。
表1消融实验性能对比
其中，YOLOv5表示未改进的原始模型；+FEM表示添加了特征增强模块；+SOM表示引入了采样偏移模块；+SCConv表示结合了用于特征冗余的空间和通道重构卷积。
步骤5：在计算机上准备好待检测的海产品图像和模型训练完成后得到的网络模型权重文件best.pt；更改detect.py中模型权重文件和待检测海产品图片的路径；通过执行detect.py，加载网络模型配置文件和网络模型权重，完成对海产品图像的检测。部分检测结果如图9所示。
本发明提供的一种基于特征增强和采样偏移的海产品检测方法可以很好地对海产品进行检测。该方法很好地解决了由于水下复杂的环境导致海产品检测精度降低的问题。同时，能够保证在未大幅度降低检测速度的前提下提高对海产品的检测精度。
上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于特征增强和采样偏移的海产品检测方法，其特征在于，包括以下步骤：
(1)对预先获取的海产品图像进行预处理，构建初始数据集；
(2)基于YOLOv5模型，融合特征增强模块和采样偏移模块，并结合用于特征冗余的空间和通道重构卷积，构建出海产品检测模型FSS-YOLOv5；
(3)对改进之后的网络模型进行参数调整，设置卷积神经网络输入图像的尺寸、识别种类的数量、迭代的次数；
(4)对改进后的模型分别评价指标Precision、Recall、mAP对训练好的FSS-YOLOv5网络模型进行测试评估。
(5)利用训练好的模型FSS-YOLOv5对海产品进行检测，并输出检测结果。
2.根据权利要求1所述的基于特征增强和采样偏移的海产品检测方法，其特征在于，所述步骤(1)实现过程如下：
获取海产品的初始数据集，将数据集按8:2的比例划分为训练集和测试集；然后对初始数据集使用Mosaic数据增强，对图像进行随机缩放、随机排布。
3.根据权利要求1所述的基于特征增强和采样偏移的海产品检测方法，其特征在于，所述步骤(2)包括以下步骤：
(21)构建一个特征增强模块FEM，并将其置于FSS-YOLOv5中的第16层、第20层和第24层，替换原本的Concat模块；
(22)构建一个采样偏移模块SOM，该模块应用改进的规范化可变形卷积来偏移采样位置，在YOLOv5的Neck网络中将最后的3个C3模块替换为SOM模块；
(23)引入用于特征冗余的空间和通道重构卷积SCConv，利用特征之间的空间和通道冗余对CNN进行压缩，通过减少冗余特征来获得更好的性能，并且显著降低复杂度和计算成本。
4.根据权利要求1所述的基于特征增强和采样偏移的海产品检测方法，其特征在于，所述步骤(3)包括以下步骤：
图片大小imgsz＝[640，640]，置信度阈值conf_thres＝0.25，Iou阈值iou_thres＝0.45，初始学习率lr0＝0.01，学习率动量momentum＝0.937，权重衰减系数weight_decay＝0.0005，设置epochs＝200。
5.据权利要求1所述的基于特征增强和采样偏移的海产品检测方法，其特征在于，所述步骤(4)中的评价指标是：P(Precision)为精确率，表示正确预测的正样本数占实际拥有的正样本数的比例；R(Recall)为召回率，表示正确预测的正样本数占总预测样本数的比例；mAP为平均精度均值，表示所有类别检测的平均精度进行综合加权平均，具体公式如下：
其中，TP表示真正例，即被模型预测为正类的正样本；FP表示假正例，即被模型预测为正类的负样本；FN表示假反例，即被模型预测为假类的正样本；K表示K个类别，APi表示第i个类别的平均精度。
6.根据权利要求3所述的基于特征增强和采样偏移的海产品检测方法，其特征在于，步骤(21)用于提高对小目标的检测效果，特征增强模块FEM，使用高层次的背景信息来引导浅层信息，包括GAM模块，Global Pooling模块，Conv1x1模块和Concat模块，
全局注意力机制GAM可以进行跨维度的特征互动，以保留更多的信息和捕捉更重要的特征，可以有效地增强有用的特征，同时抑制无用的特征，对小物体更加敏感，GlobalPooling模块和Conv1x1模块用于处理上采样后的特征信息，最后通过Concat模块将两种特征信息结合，提高对海产品小目标的检测效果，
输入的高层特征先进行上采样，然后进行全局平均池化，接着通过1x1卷积、批量归一化和ReLu激活函数；输入的低层特征首先通过全局注意力机制GAM，通道数量不变，接着将经过处理的高层特征和低层特征相乘；最后将用Concat拼接高层特征原始输入和与低层特征相乘后的结果，得到最终的输出特征。
7.根据权利要求3所述的基于特征增强和采样偏移的海产品检测方法，其特征在于，所述步骤(22)用于进行采样偏移，降低海产品图像背景模糊对检测影响，包括两个CBS模块和两个NDBS模块，
所述CBS模块是由一个二维卷积层、一个批量归一化层和一个SiLU激活函数构成，作用是获取图像特征，一个CBS模块在YOLOv5模型中视为一个标准卷积模块；
所述NDBS模块由一个改进的规范化可变形卷积层NDconv、一个批量归一化层和一个SiLU激活函数构成，作用是偏移采样位置，更多地关注海产品，从而使模糊目标的特征得到增强，背景得到抑制。
8.根据权利要求3所述的基于特征增强和采样偏移的海产品检测方法，其特征在于，步骤(23)所述的用于特征冗余的空间和通道重构卷积SCConv，由空间重构单元SRU和通道重构单元CRU两个单元组成，
所述SRU为空间重构单元，用于减少特征的空间冗余，首先采用分离操作将信息丰富的特征图与空间内容对应的信息较少的特征图分离，然后利用组归一化层中的缩放因子来评估不同特征图的信息内容，
所述CRU为通道重构单元，利用“分割-转换-融合”的策略，进一步减少空间细化特征图在通道维度上的冗余，此外，CRU通过轻量级卷积操作提取丰富的代表性特征，同时使用廉价操作和特征重用方案进行冗余特征的处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311358649.6A CN117237796A (zh) | 2023-10-19 | 2023-10-19 | 一种基于特征增强和采样偏移的海产品检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311358649.6A CN117237796A (zh) | 2023-10-19 | 2023-10-19 | 一种基于特征增强和采样偏移的海产品检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237796A true CN117237796A (zh) | 2023-12-15 |
Family
ID=89084379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311358649.6A Pending CN117237796A (zh) | 2023-10-19 | 2023-10-19 | 一种基于特征增强和采样偏移的海产品检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237796A (zh) |
-
2023
- 2023-10-19 CN CN202311358649.6A patent/CN117237796A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yeh et al. | Lightweight deep neural network for joint learning of underwater object detection and color conversion | |
| Rahmon et al. | Motion U-Net: Multi-cue encoder-decoder network for motion segmentation | |
| Xu et al. | A systematic review and analysis of deep learning-based underwater object detection | |
| CN111639692A (zh) | 一种基于注意力机制的阴影检测方法 | |
| Zong et al. | Local-CycleGAN: a general end-to-end network for visual enhancement in complex deep-water environment | |
| CN114463759A (zh) | 一种基于无锚框算法的轻量化文字检测方法及装置 | |
| CN114511502A (zh) | 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质 | |
| CN115512206A (zh) | 适用于低照度环境下的改进版YOLOv5目标检测方法 | |
| Yu et al. | U-YOLOv7: a network for underwater organism detection | |
| CN114882532A (zh) | 一种基于改进yolox网络的跌倒检测方法及系统 | |
| CN114596480A (zh) | 一种基于yolov5优化的海底生物目标检测方法和系统 | |
| CN117392496A (zh) | 基于红外与可见光图像融合的目标检测方法及系统 | |
| CN116935044A (zh) | 一种多尺度引导和多层次监督的内镜息肉分割方法 | |
| CN116091793A (zh) | 一种基于光流融合的光场显著性检测方法 | |
| CN117237796A (zh) | 一种基于特征增强和采样偏移的海产品检测方法 | |
| CN115311544A (zh) | 一种水下鱼类目标检测方法及装置 | |
| Zhao et al. | Deep learning-based laser and infrared composite imaging for armor target identification and segmentation in complex battlefield environments | |
| CN114821239A (zh) | 一种有雾环境下的病虫害检测方法 | |
| Ge et al. | Real-time object detection algorithm for Underwater Robots | |
| CN114842238A (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
| CN114118199A (zh) | 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统 | |
| Gouider et al. | YOLOv4 enhancement with efficient channel recalibration approach in CSPdarknet53 | |
| CN112907660A (zh) | 面向小样本的水下激光目标检测仪 | |
| CN113256556A (zh) | 一种图像选择方法及装置 | |
| Zhou et al. | A lightweight object detection framework for underwater imagery with joint image restoration and color transformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |