CN115690565B - 融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法 - Google Patents
融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法 Download PDFInfo
- Publication number
- CN115690565B CN115690565B CN202211190393.8A CN202211190393A CN115690565B CN 115690565 B CN115690565 B CN 115690565B CN 202211190393 A CN202211190393 A CN 202211190393A CN 115690565 B CN115690565 B CN 115690565B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- prediction
- features
- kayolo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241001441722 Takifugu rubripes Species 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000002776 aggregation Effects 0.000 claims abstract description 72
- 238000004220 aggregation Methods 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 46
- 238000002372 labelling Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 17
- 241000251468 Actinopterygii Species 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012258 culturing Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 18
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000002679 ablation Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，通过将先验知识引入目标检测过程中，在YOLOv5模型中增加先验知识融合模块，并在YOLOv5模型的YOLOHead预测网络中增加预测框聚合模块构建预测网络，提出了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型KAYOLO。KAYOLO模型充分利用养殖红鳍东方鲀的先验知识强化目标特征；通过预测框聚合个数指导聚合生成最终的预测结果，减少目标间的相互影响。本发明在红鳍东方鲀水下养殖场景提升了目标检测的精度，证明了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法的实用性。
Description
技术领域
本发明属于图像目标检测领域，特别涉及一种融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法。
背景技术
红鳍东方鲀肉质鲜美、营养丰富，是一种高密度养殖的经济鱼类。为准确掌握红鳍东方鲀的生长状况、实现精准投喂、提高养殖效益需要实现对养殖红鳍东方鲀目标的精准检测。但真实养殖环境中，光线变化、水体浑浊等因素造成红鳍东方鲀目标模糊，难以从中提取辨识性强的特征；高密度养殖导致鱼类遮挡，造成误检，上述问题降低了红鳍东方鲀目标检测的准确率和召回率，因此亟需研究一种养殖红鳍东方鲀目标检测方法。
基于计算机视觉的目标检测能提供水下养殖自动化、低成本的检测，降低人工成本，及时发现异常情况，降低疾病损失。目前，随着计算机视觉领域的发展，深度学习为复杂问题提供了新思路，特征融合网络、级联方法、迭代检测、预测框预测、提高网络模型复杂度以及使用轻量化模型对图像进行预先修复等方法都一定程度上提高了目标检测效果，但是但无法兼顾实时性。YOLO系列的目标检测模型，简化了运算流程，减少了运算量，且能够保留较高精度，具有较好的实时性，被广泛应用于目标检测任务中。
YOLO系列的目标检测模型中，将YOLOv3应用于水下小目标分类识别，在实验室环境下，有很好检测性能，但对于真实水下环境，准确率下降明显；YOLOv5在非水下目标检测中有较好的检测精度，但养殖环境中环境动态变化、水质浑浊等情况导致图像模糊，同时高密度养殖模式产生鱼群密集遮挡，影响了YOLOv5的检测精度。
发明内容
为了克服现有技术中存在的不足，本发明提供了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，通过改进YOLOv5目标检测模型，引入先验知识融合模块(KnowledgeFusion，KF)，利用养殖红鳍东方鲀的先验知识强化养殖红鳍东方鲀的特征；增加预测框聚合模块(PredictionboxAggregation，PA)，对YOLOv5的输出进行改进，提出了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型KAYOLO(Knowledge-Aggregation-YOLO)，本发明应用所述KAYOLO模型缓解了现有方法中水下养殖环境中鱼类目标模糊、以及遮挡的问题，减少了目标间的相互影响，提高了红鳍东方鲀的水下目标检测精度。
本发明的技术方案为：
融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，其特征在于，应用KAYOLO模型，所述KAYOLO模型是融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型，所述KAYOLO模型包括：
YOLOv5模型，包括骨干网络、特征融合网络；
先验知识融合模块，所述先验知识融合模块设置在YOLOv5模型中的骨干网络与特征融合网络中间；
预测网络，包括YOLOv5模型的YOLOHead预测网络和设置在所述YOLOv5模型的YOLOHead预测网络中的预测框聚合模块；
所述目标检测方法，包括步骤如下：
步骤1，将待测图像输入至所述KAYOLO模型的骨干网络中，按照预保存的共享权重提取图像特征；
步骤2，将所述图像特征与预保存的综合先验特征输入至所述KAYOLO模型的先验知识融合模块中进行相似性计算，获取三种不同尺度的强化养殖红鳍东方鲀特征；
步骤3，将所述三种不同尺度的强化养殖红鳍东方鲀特征输入至所述KAYOLO模型的特征融合网络中，获取融合三种不同尺度的强化特征；
步骤4，将所述融合三种不同尺度的强化特征输入至所述KAYOLO模型的预测网络中，使用预测框聚合模块计算预测框聚合个数，获得依据预测框聚合个数指导预测框聚合后的预测结果，实现养殖红鳍东方鲀的目标检测。
进一步地，所述构建KAYOLO模型的具体步骤包括：首先构建图像数据集，所述图像数据集中的图像包括训练图像，所述训练图像包括养殖红鳍东方鲀的低密度图像和高密度图像；其次对图像数据集进行半自动数据标注，获取标注后的图像，所述标注后的图像包括与养殖红鳍东方鲀单鱼数量对应的真值框；然后根据标注后的图像中的真值框提取单鱼图像作为先验知识，构建先验知识数据集；最后将所述图像数据集中的训练图像和所述先验知识数据集中的先验知识，输入到所述KAYOLO模型中进行模型训练，完成KAYOLO模型的构建。
具体而言，所述构建图像数据集的过程具体包括：在养殖密度不同的养殖池中分别拍摄低密度无遮挡和密集遮挡情况下养殖红鳍东方鲀鱼的视频，采用视频抽帧方式获得养殖红鳍东方鲀鱼的低密度图像和高密度图像，将所述低密度图像和高密度图像构成养殖红鳍东方鲀鱼的图像数据集。
具体而言，所述半自动数据标注具体包括：首先将所述图像数据集分为人工标注和半自动标注两部分，其中人工标注部分由易标注的部分低密度图像组成，半自动标注部分由所述图像数据集中的其余图像组成，其次使用Labelimg工具对所述人工标注部分的图像进行人工标注，标注格式为voc格式，标注内容包含种类信息和代表养殖红鳍东方鲀目标位置信息的真值框，存储为.xml格式的文件，然后将所述人工标注后的图像输入到YOLOv5模型中进行训练，学习养殖红鳍东方鲀的基本特征，获得训练好的预标注模型，接着先使用所述预标注模型对所述半自动标注部分的图像进行自动标注，将自动标注结果作为标签存储为.xml格式的文件，再对自动标注结果进行人工校核，获得人工校核后的半自动标注部分的种类信息和代表养殖红鳍东方鲀目标位置信息的真值框，最后完成所述图像数据集的半自动数据标注。
具体而言，所述构建先验知识数据集的具体步骤包括：由于密集遮挡下红鳍东方鲀特征难以提取，首先从所述图像数据集中的低密度图像中根据所述半自动数据标注后的真值框对养殖红鳍东方鲀的单鱼图像进行截取，然后由于先验知识数据集需要包含完整、清晰的单鱼图像，且图像大小须一致，为获取各个尺寸的鱼类特征、提高网络鲁棒性，从截取的单鱼图像中随机抽取部分单鱼图像，根据所述部分单鱼图像中的最大单鱼图像尺寸对其他单鱼图像进行填充处理，统一图像大小和特征尺寸，最后将图像大小和特征尺寸相同的单鱼图像作为先验知识数据集，所述先验知识数据集包含不同状态下、单个完整、清晰的红鳍东方鲀目标的图像，具有红鳍东方鲀的显著特征。
具体而言，所述KAYOLO模型的训练过程具体包括：
首先将所述图像数据集中的训练图像和所述先验知识数据集中的先验知识输入至KAYOLO模型的骨干网络中，通过共享权重的方式分别对所述训练图像提取训练图像特征，对所述先验知识提取综合先验特征，所述综合先验特征包括三种不同尺度的综合先验特征，所述共享权重的方式包括规范、均衡特征提取过程，避免不同提取方式造成的特征差异，使得提取的特征具有一致性，保证模型检测的精度；
然后将训练图像特征与综合先验特征输入至所述KAYOLO模型的先验知识融合模块中进行相似性计算，获得三种不同尺度的强化养殖红鳍东方鲀特征；接着将所述三种不同尺度的强化养殖红鳍东方鲀特征输入至所述KAYOLO模型的特征融合网络中，获取融合三种不同尺度的强化特征；
最后将所述融合三种不同尺度的强化特征输入至所述KAYOLO模型的预测网络中对所述图像数据集中的训练图像进行预测，获得三种不同尺度的预测结果和预测框聚合个数，所述预测结果包括：预测种类、置信度预测、养殖红鳍东方鲀的预测框，所述预测框聚合个数由预测框聚合模块计算输出，合并三种不同尺度的预测结果后，依据预测框聚合个数对所述合并后的预测结果中养殖红鳍东方鲀的预测框进行聚合，对聚合到一个目标的预测框进行筛选，保留置信度最高的预测框，获得聚合后的预测结果，完成KAYOLO模型的训练，在模型训练结束时，存储骨干网络中的共享权重以及从先验知识中提取的综合先验特征，作为预保存的共享权重以及预保存的综合先验特征，其中预保存的综合先验特征存储为.pth格式的文件。
具体而言，所述提取综合先验特征，包括提取所述先验知识数据集中每种尺度下的各先验知识的先验特征，并将当前尺度下所述先验特征相加取平均，获取当前尺度下的综合先验特征并保存，所述尺度包括三种不同尺度。
具体而言，所述在先验知识融合模块中进行相似性计算的具体步骤包括：
首先将所述三种不同尺度其中的一个尺度对应的综合先验特征大小表示为wh×C、所述图像特征大小表示为和WH×C，其中wh表示综合先验特征的大小，WH表示图像特征的大小，C表示通道的数量，所述图像特征和所述尺度的综合先验特征均通过两个3×3卷积分别编码得到Key和Value，其中Key用于计算图像特征和综合先验特征之间的相似性，包含大量关于类别的特征，有较强的语义信息，通道大小为C/8；Value中存放具体的特征信息，包含更多的细节信息，通道大小为C/2，对于所述图像特征和所述尺度的综合先验特征的像素级的相似性计算如公式(1)所示：
Wij＝α(kii)β(kkj) (1)
其中，kii是所述图像特征i像素点的Key值，kkj是所述尺度的综合先验知识特征j像素点的Key值，α和β是两种可以学习的线性变换，计算α(kii)和β(kkj)两向量的内积，得到i和j像素点之间的相似性Wij；
其次各像素点之间的相似性Wij构成大小为WH×wh的相似性矩阵W，为加快学习速度，对W进行归一化，相似性矩阵W归一化的的计算过程如公式(2)所示：
W＝Sigmoid(W) (2)
其中，Sigmoid函数为归一化操作；
然后将所述归一化后的相似性矩阵W与所述尺度的综合先验特征的Value相乘，并与所述图像特征的Value进行特征拼接，以补充细节位置特征，将拼接后的输出作为所述尺度的强化养殖红鳍东方鲀特征，特征拼接的过程如公式(3)所示：
Z＝Concat(vi,W*vk) (3)
其中，vi和vk分是图像特征和综合先验知识特征的Value值，*代表矩阵内积，Concat函数为特征的拼接操作，Z为所述尺度的强化养殖红鳍东方鲀特征；
最后分别对所述三种不同尺度的综合先验特征重复前三个步骤，计算得到三种不同尺度的强化养殖红鳍东方鲀特征；
与传统空间注意力相比，所述操作可利用先验知识相关性计算的结果，得到较为准确、显著的养殖红鳍东方鲀特征。
具体而言，所述预测框聚合模块计算预测框聚合个数的过程具体包括：
预测框聚合个数定义为对输入的单张图像中的单个真值框造成影响的所述单张图像中的其他真值框数目，表示为NAP，预测框聚合个数通过所述预测网络独立学习得到，用于指导实现预测框的自适应聚合，预测框聚合个数的计算过程如公式(4)所示：
NAPi＝Count(IoU(gti,gtj)＞ε) (4)
其中NAPi是预测框聚合个数，gti是输入的单张图像中的单个真值框，gtj是所述单张图像中除gti以外的真值框，IoU是真值框之间的交并比计算，ε为遮挡阈值，用于过滤掉相关性不高的遮挡，提高模型的稳定性，默认为0.3，Count用于计算满足交并比大于ε的预测框聚合个数；
计算预测框聚合个数NAP部分的损失函数定义如公式(5)所示：
其中T是预测框聚合个数真值，Y为预测框聚合个数的预测值，L为预测框聚合个数真值和预测框聚合个数的预测值的均方根误差。
进一步地，所述预保存的共享权重和所述预保存的综合先验特征是所述KAYOLO模型训练结束，完成KAYOLO模型的构建时保存的共享权重和综合先验特征。
本发明的有益效果为，与现有技术相比本发明通过在原有YOLOv5模型中引入先验知识，增加先验知识融合模块，以及在YOLOHead预测网络中增加预测框聚合模块计算预测框聚合个数，提出了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型KAYOLO，提高了养殖红鳍东方鲀水下目标检测的精度，证明了融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型方法在养殖红鳍东方鲀水下目标检测场景的实用性。
附图说明
图1是本发明技术方案的KAYOLO模型结构图。
图2是本发明技术方案的红鳍东方鲀养殖池示例图。
图3是本发明技术方案的数据采集水下摄像头示例图。
图4是本发明技术方案的数据采集摄像头监视器示例图。
图5是本发明技术方案的数据采集平台结构示意图。
图6是本发明技术方案的半自动标注部分的操作示意图。
图7是本发明技术方案先验知识数据集示意图。
图8是本发明技术方案的综合先验特征提取示意图。
图9是本发明技术方案的预测框聚合模块结构图。
图10是本发明技术方案的KAYOLO模型与YOLO模型的准确率比较折线图。
图11是本发明技术方案的KAYOLO模型与YOLO模型的召回率比较折线图。
图12是本发明技术方案的KAYOLO模型与YOLOv5模型的预测结果比较示例图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
在红鳍东方鲀水下养殖场景，采用融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，实现养殖场景中红鳍东方鲀的目标检测，包括步骤如下：
首先进行数据采集以及数据标注，其次构建红鳍东方鲀的先验知识数据集，然后引入先验知识融合模块和预测框聚合模块构建融合先验知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型KAYOLO，最后使用KAYOLO模型完成养殖红鳍东方鲀的目标检测。
其中，融合先验知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型KAYOLO的模型结构如图1所示。
S1：进行数据采集以及数据标注。
S101：养殖红鳍东方鲀视频采集自大连天正实业有限公司大黑石养殖车间，用像素为200w的高清摄像头对低、高两个不同养殖密度红鳍东方鲀养殖池进行拍摄，每个养殖池都安装了水上和水下摄像头，其中水下摄像头固定在养殖池内侧面，水上摄像头距离水面1.5m，两摄像头的视频数据由摄像头监视器实时记录上传，养殖现场如图2所示，数据采集水上摄像头和摄像头监视器设备分别如图3和图4所示，数据采集平台结构如图5所示。两个养殖池分别用来采集低密度无遮挡和密集遮挡情况下养殖红鳍东方鲀鱼群视频，利用视频抽帧方式获得2000张水上图像和600张水下图像，抽帧间隔为500ms，图像分辨率为1920x1080像素，保存格式为.jpg。采集到的混合数据集包括水上数据集和水下数据集：
水上数据集包括1000张无密集遮挡的清晰水上低密度图像和1000张有密集遮挡的水上高密度图像，其中低密度图像平均每幅包含35条鱼，高密度图像平均每幅包含105条鱼。
水下数据集包括600张水下模糊图像。
为评估模型训练效果，构建验证集，为评价模型最终性能，构建测试集，将数据集按照8:1:1的比例随机构建训练集、验证集和测试集，其中水上数据集中，训练集包含1600张图像，验证集包含200张图像，测试集包含200张图像，水下数据集中，训练集包含480张图像，验证集包含60张图像，测试集包含60张图像。
S102：为节省时间成本，采用半自动方法代替人工标注进行数据标注。首先将数据集分为人工标注和半自动标注两部分，其中人工标注部分由易标注的500张低密度图像组成，使用Labelimg工具对这些图像进行人工标注，标注格式为voc格式，包含目标的位置和种类信息，存储格式为.xml格式。将人工标注的图像送入YOLOv5模型进行训练，学习红鳍东方鲀的基本特征，得到训练好的预标注模型，使用预标注模型对剩下2100张图像进行预测，将预测结果当成标签存入.xml文件中，由于用于训练预标注模型的训练数据集较小，且数据集中目标的模糊、遮挡程度与预标注数据有差异，导致预标注模型的不能完全准确标注目标，部分养殖红鳍东方鲀目标没有被正确标注，此时通过人工校核的方式对自动标注的结果进行完善，完成整个数据集的标注。通过实验发现，预标注模型能准确标注其中70％的红鳍东方鲀目标，剩余30％的目标需要通过人工标注，半自动标注部分操作如图6所示。相比纯人工标注，半自动标注节省了大量时间，且数据量越大，节省时间越多。
S2：构建红鳍东方鲀的先验知识数据集。先验知识数据集由包含单个完整、清晰养殖红鳍东方鲀目标的图像组成，具有红鳍东方鲀的显著特征。由于密集遮挡下红鳍东方鲀特征难以提取，所以单条鱼图像从1000张低密度清晰图像中提取。根据标注的养殖红鳍东方鲀的真值框对图像进行截取，得到34382张单鱼图像，从中随机抽取8100张作为养殖红鳍东方鲀先验知识数据集。数据集包含完整、清晰的单鱼图像，但这些图像大小不一，为获取各个尺寸的鱼类特征，提高网络鲁棒性，根据最大单鱼图像尺寸对其他单鱼图像进行填充处理，保留多种尺度特征，填充后先验知识数据集如图7所示。经过填充操作后，先验知识数据集图像大小统一，特征尺寸一致，便于多尺度特征学习。
S3：根据先验知识提取综合先验特征。先验知识主要包含不同状态下的养殖红鳍东方鲀个体图像，首先通过骨干网络得到养殖红鳍东方鲀个体的综合先验特征，综合先验特征提取示意图如图8所示，先验知识经过骨干网络生成三种不同尺度的先验特征，不同状态下单个养殖红鳍东方鲀的特征有所不同，但是其都有作为养殖红鳍东方鲀的共性特征，然后将相同尺度特征相加取平均，最后得到三种不同尺度的综合先验特征，其能有效反映出该尺度下养殖红鳍东方鲀的共同特征，提高养殖红鳍东方鲀检测能力。
S4：构建先验知识融合模块。本发明借鉴人类在预测模糊图像时参考先验知识作为辅助信息的方法，将先验知识融入检测，提出了先验知识融合模块，以加强不同状态下养殖红鳍东方鲀特征的提取能力。利用与先验知识进行比较判断某一位置是养殖红鳍东方鲀的概率，对整张图像进行像素级的相似性运算，先验知识融合模块结构如图1中的先验知识融合模块部分所示。
首先分别设某一尺度对应的先验特征与图像特征大小为wh×C和WH×C，将图像特征和综合先验特征送入到知识融合模块，每种特征都经过两个3×3卷积，被编码为Key和Value，其中Key用于计算图像特征和综合先验特征之间的相似性，包含大量关于类别的特征，有较强的语义信息，通道大小为C/8，简化相似性运算；Value中存放具体的特征信息，包含更多的细节信息，通道大小为C/2，突出养殖红鳍东方鲀的特征，像素级的相似性计算如公式(1)所示：
Wij＝α(kii)β(kkj) (1)
其中，kii是图像特征i点的Key值，kkj是综合先验特征j点的Key值，α和β是两种可以学习的线性变换，计算两向量内积得到各像素点之间的相似性。得到大小为WH×wh的相似性矩阵W。为加快学习速度，将W归一化，再与综合先验特征的Value相乘，得到养殖红鳍东方鲀增强特征。为了补充细节位置特征，将养殖红鳍东方鲀增强特征与图像特征的Value进行拼接，作为最终输出。归一化和拼接公式如公式(2)和公式(3)所示：
W＝Sigmoid(W) (2)
Z＝Concat(vi,W*vk) (3)
其中，Sigmoid函数为归一化操作，vi和vk分是图像特征和知识特征的Value值，*代表矩阵内积，Concat函数为特征的拼接操作。与传统空间注意力相比，本方法可利用先验知识相关性计算的结果，得到较为准确的红鳍东方鲀显著特征。
在模型训练结束时，保存从先验知识中提取的综合先验特征，以便预测时直接将其输入至知识融合模块中，省略了先验特征的重复提取操作，提高运行效率。
S5：构建预测框聚合模块。密集的红鳍东方鲀导致遮挡现象十分严重，个体间相互影响较大，主要体现在无法准确划分预测框检测的个体，即预测框的聚合。通用的非极大值抑制(Non-MaximumSuppression，NMS)算法算法通过判断预测框之间的交并比实现简单的预测框聚合，处理无遮挡、轻度遮挡时有不错的效果，但由于高密度养殖条件下红鳍东方鲀目标遮挡程度较高，导致不同个体的预测框聚合为同一个预测框，造成漏检。因此，对YOLOv5的YOLOHead进行改进，通过添加预测框聚合模块计算预测框聚合个数NAP，实现自适应聚合，预测框聚合模块结构如图9所示，其中图中的W*H*C表示输入的特征图的大小，Cls表示种类，cla表示种类个数，Reg表示预测框位置和置信度，NAP表示预测框聚合个数。
预测框聚合个数是通过预测网络独立学习得到的，其定义如公式(4)所示：
NAPi＝Count(IoU(gti,gtj)＞ε) (4)
其中NAPi是预测框聚合的个数，gti是输入单张图像中的单个真值框，gtj是图像中除gti以外的真值框，IoU是计算真值框之间的交并比，ε为遮挡阈值，用于过滤掉相关性不高的遮挡，提高模型的稳定性，默认为0.3，Count是计算满足交并比大于ε的预测框聚合个数。得到的预测框聚合个数含义表示为，对此个体造成影响的其他个体数目，以此作为预测框聚合的依据。
计算预测框聚合个数NAP部分的损失函数定义如公式(5)所示：
其中T是预测框聚合个数真值，Y为预测框聚合个数的预测值。
为缓解个体间相互影响，按照预测的聚合个数对预测框进行聚合，将影响压缩至一定范围内。最后针对聚合到一个目标的预测框进行筛选，保留置信度最高的预测框，提高了模型的召回率。
S6：构建KAYOLO网络模型。KAYOLO模型结构图如图1所示，其中NAP代表预测框聚合个数，Cls代表种类，Reg表示预测框位置和置信度。使用YOLOv5原骨干网络CSPDarknet53，通过共享权重的方式，保证图像和先验知识之间的相关性；在骨干网络之后加入先验知识融合模块，以获得三种尺度的强化养殖红鳍东方鲀特征，其大小为80*80*256、40*40*512以及20*20*1024；通过特征融合网络融合多尺度的强化特征，使用预测网络得到多尺度的预测结果和预测框聚合个数，合并多尺度预测结果，并根据预测框聚合个数对预测框进行聚合，得到聚合后的预测结果，缓解不同目标间的影响。
S7：KAYOLO模型训练。训练时，使用YOLOv5的预训练权重，将养殖红鳍东方鲀先验知识和图像一起训练，为保证先验知识的准确性，不对先验知识做数据增强处理。训练图像的分辨率为1920×1080像素，batch_size为4，为提高算法的鲁棒性，适当增加先验知识的数量，先验知识batch_size为12，迭代次数为300，学习率为0.0001。先验知识经过共享的特征提取网络转换成综合先验特征，训练结束时，综合先验特征会保存为.pth格式的文件，以便检测时直接读取文件。
S8：模型评价和对比实验。试验硬件环境：Windows10操作系统，中央处理器为Intel(R)Core(TM)i7-9700，主频为3.00GHz，内存为32GB，GPU处理器是GeForceRTX3090。试验运行平台是PyCharm，CUDA版本为11.0,深度神经网络的GPU加速库为cuDNN 8004，机器学习框架是Pytorch 1.7.1。
S801：为验证所提模型对于养殖红鳍东方鲀目标检测的有效性，采用准确率、召回率、平均精度评估KAYOLO模型的性能。准确率定义为正确预测出红鳍东方鲀的样本数占预测为红鳍东方鲀的总样本数的比值。召回率定义为正确预测出红鳍东方鲀的样本数与实际为红鳍东方鲀的总样本数的比值。平均精度定义为对PR曲线的积分。准确率、召回率、平均精度的计算过程如公式(6)、公式(7)以及公式(8)所示：
其中预测出红鳍东方鲀的样本数为TP(TruePositive)，预测结果中错误预测的样本数为FP(FalsePositive)，没有被预测出的红鳍东方鲀样本数FN(FalseNegative)。
S802：为验证KAYOLO模型的有效性与鲁棒性分别设计了三类对比试验，通过对比试验验证KAYOLO模型在养殖红鳍东方鲀目标检测的有效性，以及不同任务的泛用性，三类对比试验具体为：
S802-1：为验证所提KF模块与预测框聚合模块PA的有效性，分别设计了基于水上数据集、水下数据集和两数据集混合的消融试验。为分析KF模块和PA模块对检测的影响，将先验知识融合模块模块(KnowledgeFusion，KF)和预测框聚合模块(PredictionboxAggregation，PA)分别加入YOLOv5中，命名为YOLOv5-KF模型和YOLOv5-PA模型。将同时加入KF模块与PA模块的YOLOv5，命名为KAYOLO模型。所有消融试验均是在所提养殖红鳍东方鲀数据集进行的，训练参数一致，各模型选取最优训练结果进行比较。
不同数据集的消融试验结果如表1，表2和表3所示，4个模型在测试集上的检测指标表明，所提两种模块都能提升检测的准确率和召回率。KF模块和PA模块对提高检测指标起到不同程度作用，KF模块对准确率影响更明显，PA模块对召回率影响较大。这是因为KF模块引入了先验知识，提高了对养殖红鳍东方鲀特征的获取能力，对原始图像特征进行强化，因此准确率上升显著，有效地解决水下模糊图像的检测问题。而PA模块引入预测框聚合个数，对不同目标的预测框进行有指导聚合，减少了预测框的错误聚合，提高了召回率，对水下密集遮挡养殖红鳍东方鲀目标检测的性能有较大提升。
水上数据集，由于受水体浑浊影响较少，精度相对较高；水下数据集受水体浑浊、光照、形变等因素，导致检测器性能普遍下降；而混合数据集包含多样的鱼类特征，造成了模型的召回率普遍下降，对模型泛化能力提出挑战。
KAYOLO模型比加入单独模块的YOLOv5-KF模型和YOLOv5-PA模型检测效果好，表明两模块融合的有效性，验证了KAYOLO模型设计的合理性。KAYOLO模型与YOLO的准确率和召回率的比较分别如图10和图11所示，KAYOLO模型与YOLOv5模型的预测结果比较如图12所示。结果表明，KAYOLO模型比YOLOv5能更好的解决水下模糊和密集遮挡的问题，有较高的鲁棒性。
表1水上数据集KAYOLO模型消融试验结果
表2水下数据集KAYOLO模型消融试验结果
表3混合数据集KAYOLO模型消融试验结果
S802-2：在混合数据集上分析待测图像的先验知识数量对检测精度的影响，设计了不同数量先验知识的对比试验。待测图像的先验知识数量会影响模型的检测性能，为分析先验知识数量对检测精度的影响，本发明设计了5组不同先验知识数量的试验。结果如表4所示，表明先验知识作为养殖红鳍东方鲀的共同特征，能对红鳍东方鲀特征强化提供指导作用，经过特征强化，检测效果得到提升。先验知识数量影响着处理模块的效果，少量的先验知识难以学习到养殖红鳍东方鲀共同特征，导致养殖红鳍东方鲀特征强化不明显，只有少量提升。而大量先验知识导致先验特征混杂，难以准确强化养殖红鳍东方鲀特征，造成性能下降。因此本试验采用一张检测图像对应三张先验知识图像，不仅扩充知识覆盖的情况，又避免先验知识冗余对检测精度的影响，提高特征强化效果。
表4不同数量先验知识的性能对比
S802-3：为验证KAYOLO模型的有效性和鲁棒性，分别设计了同类水下目标检测模型的对比实验和两种不同数据集的对比实验。
S802-3-1：与同类模型对比。KAYOLO模型与先进水下检测模型进行比较，显示所提模型在本领域的有效性。对比模型选择Chen等提出的水下小目标检测模型SWIPENet、Lin等提出的多图像融合增强水下目标检测模型RoIMix、Fan等提出的针对水下模糊的小目标检测模型FERNet、赵梦等提出的融合注意力机制的SK-YOLOv5鱼群检测模型。所有模型都在本发明所提混合数据集上进行训练，选取训练最优结果进行比较。
对比结果如表5所示，真实环境下，模糊和遮挡图像的红鳍东方鲀检测，本发明所提KAYOLO模型取得了较好的结果。SWIPENet、RoIMix、FERNet和SK-YOLOv5都着重解决模糊问题，强化了模型的特征提取能力，但是难以解决特征缺失和形变等难题。KAYOLO模型引入的先验知识中包含特征缺失和形变等情况，因此网络能通过先验知识对这些特征进行加强学习，取得较高的准确率。RoIMix模型通过生成大量遮挡图像的方式，强化对遮挡图像的学习，但这种方式适用于特征差距较大的不同种类间的遮挡，难以应对特征相似的养殖红鳍东方鲀聚集图像。KAYOLO模型能够对类内遮挡自适应地生成预测框聚合个数，更加灵活，因此更适合检测具有大量遮挡的养殖红鳍东方鲀图像，取得较高召回率。相较于同类模型，KAYOLO模型的准确率和召回率分别提高了约1.2％和0.9％，有较为明显的提升。
表5不同模型检测性能对比
S802-3-2：不同数据集对比：将KAYOLO模型应用于不同数据集，分析其泛化能力。试验数据集分为两组，一组为中国农业人工智能创新创业大赛鱼类数据集，其中包含不同规格的实验室鱼类日常行为活动视频数据，存在大量密集遮挡与模糊的情况，与真实环境相似，从中随机抽取3000张视频帧作为训练图像；另一组为WiderPerson数据集，包含8000张不同场景下人的训练图像，具有大量密集遮挡图像，清晰度不同，尺寸多样更符合实际情况，共分为5类，选择行人类作为训练集。训练集和测试集的比例是9：1，训练集和验证集的比例也是9：1。将KAYOLO模型与YOLOv5算法进行比较，结果如表6所示，本发明所提模型在不同数据集上都有不错的效果。
表6不同数据集性能对比
综上所述，本发明提出的KAYOLO模型能对养殖红鳍东方鲀进行有效的目标检测，平均精度为92.94％，与SWIPENet、RoIMix、FERNet、SK-YOLOv5等先进的水下目标检测模型相比，分别提高了1.53％，0.41％，1.01％和0.61％，准确率和召回率分别达到了94.92％和92.21％，比YOLOv5和其他水下目标检测模型更适合养殖环境下的检测。
本文中采用了具体个例对本发明的原理及实施方案进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (5)
1.融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，其特征在于，应用KAYOLO模型，所述KAYOLO模型是融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测模型，所述KAYOLO模型包括：
YOLOv5模型，包括骨干网络、特征融合网络；
先验知识融合模块，所述先验知识融合模块设置在YOLOv5模型中的骨干网络与特征融合网络中间；
预测网络，包括YOLOv5模型的YOLOHead预测网络和设置在所述YOLOv5模型的YOLOHead预测网络中的预测框聚合模块；
所述目标检测方法，包括步骤如下：
步骤1，将待测图像输入至所述KAYOLO模型的骨干网络中，按照预保存的共享权重提取图像特征；
步骤2，将所述图像特征与预保存的综合先验特征输入至所述KAYOLO模型的先验知识融合模块中进行相似性计算，获取三种不同尺度的强化养殖红鳍东方鲀特征；
步骤3，将所述三种不同尺度的强化养殖红鳍东方鲀特征输入至所述KAYOLO模型的特征融合网络中，获取融合三种不同尺度的强化特征；
步骤4，将所述融合三种不同尺度的强化特征输入至所述KAYOLO模型的预测网络中，使用预测框聚合模块计算预测框聚合个数，获得依据预测框聚合个数指导预测框聚合后的预测结果，实现养殖红鳍东方鲀的目标检测；
构建所述KAYOLO模型的具体步骤包括：
首先构建图像数据集，所述图像数据集中的图像包括训练图像，所述训练图像包括养殖红鳍东方鲀的低密度图像和高密度图像；
其次对图像数据集进行半自动数据标注，获取标注后的图像，所述标注后的图像包括与养殖红鳍东方鲀单鱼数量对应的真值框；
然后根据标注后的图像中的真值框提取单鱼图像作为先验知识，构建先验知识数据集；
最后将所述图像数据集中的训练图像和所述先验知识数据集中的先验知识，输入到所述KAYOLO模型中进行模型训练，完成KAYOLO模型的构建；
所述构建图像数据集的过程具体包括：在养殖密度不同的养殖池中分别拍摄低密度无遮挡和密集遮挡情况下养殖红鳍东方鲀鱼的视频，采用视频抽帧方式获得养殖红鳍东方鲀鱼的低密度图像和高密度图像，将所述低密度图像和高密度图像构成养殖红鳍东方鲀鱼的图像数据集；
所述半自动数据标注具体包括：
首先将所述图像数据集分为人工标注和半自动标注两部分，其中人工标注部分由易标注的部分低密度图像组成，半自动标注部分由所述图像数据集中的其余图像组成；
其次使用Labelimg工具对所述人工标注部分的图像进行人工标注，标注格式为voc格式，标注内容包含种类信息和代表养殖红鳍东方鲀目标位置信息的真值框，存储为.xml格式的文件；
然后将所述人工标注后的图像输入到YOLOv5模型中进行训练，学习养殖红鳍东方鲀的基本特征，获得训练好的预标注模型；
接着先使用所述预标注模型对所述半自动标注部分的图像进行自动标注，将自动标注结果作为标签存储为.xml格式的文件，再对自动标注结果进行人工校核，获得人工校核后的半自动标注部分的种类信息和代表养殖红鳍东方鲀目标位置信息的真值框，最后完成所述图像数据集的半自动数据标注；
所述构建先验知识数据集的具体步骤包括：
首先从所述图像数据集中的低密度图像中根据所述半自动数据标注后的真值框对养殖红鳍东方鲀的单鱼图像进行截取；
然后从截取的单鱼图像中随机抽取部分单鱼图像，根据所述部分单鱼图像中的最大单鱼图像尺寸对其他单鱼图像进行填充处理，统一图像大小和特征尺寸；
最后将图像大小和特征尺寸相同的单鱼图像作为先验知识数据集；
所述KAYOLO模型的训练过程具体包括：
首先将所述图像数据集中的训练图像和所述先验知识数据集中的先验知识输入至KAYOLO模型的骨干网络中，通过共享权重的方式分别对所述训练图像提取训练图像特征，对所述先验知识提取综合先验特征，所述综合先验特征包括三种不同尺度的综合先验特征；
然后将训练图像特征与综合先验特征输入至所述KAYOLO模型的先验知识融合模块中进行相似性计算，获得三种不同尺度的强化养殖红鳍东方鲀特征；
接着将所述三种不同尺度的强化养殖红鳍东方鲀特征输入至所述KAYOLO模型的特征融合网络中，获取融合三种不同尺度的强化特征；
最后将所述融合三种不同尺度的强化特征输入至所述KAYOLO模型的预测网络中对所述图像数据集中的训练图像进行预测，获得三种不同尺度的预测结果和预测框聚合个数，所述预测结果包括：预测种类、置信度预测、养殖红鳍东方鲀的预测框，所述预测框聚合个数由预测框聚合模块计算输出，合并三种不同尺度的预测结果后，依据预测框聚合个数对所述合并后的预测结果中养殖红鳍东方鲀的预测框进行聚合，对聚合到一个目标的预测框进行筛选，保留置信度最高的预测框，获得聚合后的预测结果，完成KAYOLO模型的训练，在模型训练结束时，存储骨干网络中的共享权重以及从先验知识中提取的综合先验特征，作为预保存的共享权重以及预保存的综合先验特征，其中预保存的综合先验特征存储为.pth格式的文件。
2.根据权利要求1所述融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，其特征在于，所述提取综合先验特征，包括提取所述先验知识数据集中每种尺度下的各先验知识的先验特征，并将当前尺度下所述先验特征相加取平均，获取当前尺度下的综合先验特征并保存，所述尺度包括三种不同尺度。
3.根据权利要求1所述融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，其特征在于，在先验知识融合模块中进行相似性计算的具体步骤包括：
首先将所述三种不同尺度其中的一个尺度对应的综合先验特征大小表示为、所述图像特征大小表示为和/>，其中wh表示综合先验特征的大小，WH表示图像特征的大小，C表示通道的数量，所述图像特征和所述尺度的综合先验特征均通过两个3×3卷积分别编码得到Key和Value，其中Key用于计算图像特征和综合先验特征之间的相似性，通道大小为/>；Value中存放具体的特征信息，通道大小为/>，对于所述图像特征和所述尺度的综合先验特征的像素级的相似性计算公式为：
其中，是所述图像特征i像素点的Key值，/>是所述尺度的综合先验知识特征j像素点的Key值，/>和/>是两种可以学习的线性变换，计算/>和/>两向量的内积，得到i和j像素点之间的相似性/>；
其次各像素点之间的相似性构成大小为/>的相似性矩阵/>，对/>进行归一化，相似性矩阵/>归一化的公式为：
其中，Sigmoid函数为归一化操作；
然后将所述归一化后的相似性矩阵与所述尺度的综合先验特征的Value相乘，并与所述图像特征的Value进行特征拼接，作为输出的所述尺度的强化养殖红鳍东方鲀特征，特征拼接的公式为：
其中，和/>分是图像特征和综合先验知识特征的Value值，*代表矩阵内积，Concat函数为特征的拼接操作，Z为所述尺度的强化养殖红鳍东方鲀特征；
最后分别对所述三种不同尺度的综合先验特征重复前三个步骤，计算得到三种不同尺度的强化养殖红鳍东方鲀特征。
4.根据权利要求1所述融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，其特征在于，所述预测框聚合模块计算预测框聚合个数的过程具体包括：
预测框聚合个数指对输入的单张图像中的单个真值框造成影响的所述单张图像中的其他真值框数目，表示为NAP，预测框聚合个数通过所述预测网络独立学习得到，用于指导实现预测框的自适应聚合，预测框聚合个数的计算过程为：
其中是预测框聚合个数，/>是输入的单张图像中的单个真值框，/>是所述单张图像中除/>以外的真值框，/>是真值框之间的交并比计算，/>为遮挡阈值，用于过滤掉相关性不高的遮挡，提高模型的稳定性，/>用于计算满足交并比大于/>的预测框聚合个数；
计算预测框聚合个数NAP部分的损失函数定义为：
其中T是预测框聚合个数真值，Y为预测框聚合个数的预测值，L为预测框聚合个数真值和预测框聚合个数的预测值的均方根误差。
5.根据权利要求1所述融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法，其特征在于，所述预保存的共享权重和所述预保存的综合先验特征是所述KAYOLO模型训练结束，完成KAYOLO模型的构建时保存的共享权重和综合先验特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211190393.8A CN115690565B (zh) | 2022-09-28 | 2022-09-28 | 融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211190393.8A CN115690565B (zh) | 2022-09-28 | 2022-09-28 | 融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115690565A CN115690565A (zh) | 2023-02-03 |
| CN115690565B true CN115690565B (zh) | 2024-02-20 |
Family
ID=85064635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211190393.8A Active CN115690565B (zh) | 2022-09-28 | 2022-09-28 | 融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115690565B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020164282A1 (zh) * | 2019-02-14 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 |
| CN112668450A (zh) * | 2020-12-24 | 2021-04-16 | 南京泓图人工智能技术研究院有限公司 | 一种基于yolov5的鱼类检测与识别方法 |
| CN113537106A (zh) * | 2021-07-23 | 2021-10-22 | 仲恺农业工程学院 | 一种基于YOLOv5的鱼类摄食行为识别方法 |
| CN113706579A (zh) * | 2021-08-09 | 2021-11-26 | 华北理工大学 | 一种基于工厂化养殖的对虾多目标跟踪系统及方法 |
| CN114332942A (zh) * | 2021-12-31 | 2022-04-12 | 武汉理工大学 | 基于改进YOLOv3的夜间红外行人检测方法及系统 |
| KR20220063730A (ko) * | 2020-11-10 | 2022-05-17 | 어업회사법인 씨알 주식회사 | 인공지능 시스템을 적용한 자동 어류 선별장치 및 자동 어류 선별방법 |
| CN114724022A (zh) * | 2022-03-04 | 2022-07-08 | 大连海洋大学 | 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 |
-
2022
- 2022-09-28 CN CN202211190393.8A patent/CN115690565B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020164282A1 (zh) * | 2019-02-14 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 |
| KR20220063730A (ko) * | 2020-11-10 | 2022-05-17 | 어업회사법인 씨알 주식회사 | 인공지능 시스템을 적용한 자동 어류 선별장치 및 자동 어류 선별방법 |
| CN112668450A (zh) * | 2020-12-24 | 2021-04-16 | 南京泓图人工智能技术研究院有限公司 | 一种基于yolov5的鱼类检测与识别方法 |
| CN113537106A (zh) * | 2021-07-23 | 2021-10-22 | 仲恺农业工程学院 | 一种基于YOLOv5的鱼类摄食行为识别方法 |
| CN113706579A (zh) * | 2021-08-09 | 2021-11-26 | 华北理工大学 | 一种基于工厂化养殖的对虾多目标跟踪系统及方法 |
| CN114332942A (zh) * | 2021-12-31 | 2022-04-12 | 武汉理工大学 | 基于改进YOLOv3的夜间红外行人检测方法及系统 |
| CN114724022A (zh) * | 2022-03-04 | 2022-07-08 | 大连海洋大学 | 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 |
Non-Patent Citations (4)
| Title |
|---|
| "Detection of tiger puffer using improved YOLOv5 with withprior knowledge fusion";Haiqing Li 等;《Information Processing in Agriculture》;第1-14页 * |
| "Robust detection of farmed fish by fusing YOLOv5 with with DCM and ATM";Haiqing Li 等;《Aquacultural Engineering》;第1-13页 * |
| "基于YOLOv5算法对斑马鱼幼鱼的检测研究";周福欢 等;《智能计算机与应用》;第12卷(第8期);第129-135页 * |
| "融合SKNet与YOLOv5深度学习的养殖鱼群检测";赵梦 等;《大连海洋大学学报》;第37卷(第2期);第312-318页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115690565A (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112465111B (zh) | 一种基于知识蒸馏和对抗训练的三维体素图像分割方法 | |
| CN114724022B (zh) | 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| Hu et al. | A multi-stage underwater image aesthetic enhancement algorithm based on a generative adversarial network | |
| CN112215119A (zh) | 一种基于超分辨率重建的小目标识别方法、装置及介质 | |
| CN109191434A (zh) | 一种细胞分化中的图像检测系统及检测方法 | |
| CN115661628A (zh) | 一种基于改进YOLOv5S模型的鱼类检测方法 | |
| CN115330620A (zh) | 一种基于循环生成对抗网络的图像去雾方法 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN113810683B (zh) | 一种客观评估水下视频质量的无参考评价方法 | |
| CN115035010A (zh) | 一种由卷积网络引导模型映射的水下图像增强方法 | |
| CN115690565B (zh) | 融合知识与改进YOLOv5的养殖红鳍东方鲀目标检测方法 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN117078637A (zh) | 基于上下文聚合与自蒸馏的鱼群计数方法及系统 | |
| CN116824454A (zh) | 基于空间金字塔注意的鱼类行为识别方法及系统 | |
| CN111445465A (zh) | 基于深度学习的光场图像雪花或雨带检测去除方法及设备 | |
| CN116597503A (zh) | 一种基于时空特征的课堂行为检测方法 | |
| CN116189160A (zh) | 一种基于局部对比度机制的红外弱小目标检测方法 | |
| CN115578624A (zh) | 农业病虫害模型构建方法、检测方法及装置 | |
| CN113313185B (zh) | 一种基于自适应空谱特征提取的高光谱图像分类方法 | |
| Su et al. | Regularized fully convolutional networks for RGB-D semantic segmentation | |
| CN113284164A (zh) | 虾群自动计数方法、装置、电子设备及存储介质 | |
| CN110175602B (zh) | 基于特征重构和异构数据联合建模的特征选择方法 | |
| Wu et al. | Fish Target Detection in Underwater Blurred Scenes Based on Improved YOLOv5 | |
| CN117409368B (zh) | 基于密度分布的鱼群聚集行为和鱼群饥饿行为实时分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |