CN113869330A - 水下鱼类目标检测方法、装置及存储介质 - Google Patents

水下鱼类目标检测方法、装置及存储介质 Download PDF

Info

Publication number
CN113869330A
CN113869330A CN202111188098.4A CN202111188098A CN113869330A CN 113869330 A CN113869330 A CN 113869330A CN 202111188098 A CN202111188098 A CN 202111188098A CN 113869330 A CN113869330 A CN 113869330A
Authority
CN
China
Prior art keywords
feature
fourier transform
local
target detection
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111188098.4A
Other languages
English (en)
Inventor
蔡克卫
庞洪帅
刘敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Smart Fishery Technology Co ltd
Original Assignee
Dalian Smart Fishery Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Smart Fishery Technology Co ltd filed Critical Dalian Smart Fishery Technology Co ltd
Priority to CN202111188098.4A priority Critical patent/CN113869330A/zh
Publication of CN113869330A publication Critical patent/CN113869330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Discrete Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了水下鱼类目标检测方法、装置及存储介质，对水下鱼类目标检测模型中的主干网络进行了改进，改进后的主干网络包括融合局部与全局特征提取能力的快速傅里叶变换模块，通过该快速傅里叶变换模块能够得到待检测水下图像的局部特征图和全局特征图，从而获取更优质图像特征，提高了目标检测的准确率；同时，该快速傅里叶变换模块中在频域进行全局特征图的提取，极大地降低了计算复杂度，能够高效的提取特征，从而提高了目标检测的效率。

Description

水下鱼类目标检测方法、装置及存储介质
技术领域
本发明涉及目标检测技术领域，特别是涉及一种基于快速傅里叶变换滤波器的水下鱼类目标检测方法、装置及存储介质。
背景技术
鱼类养殖在水产养殖中占据主导地位。为了保证鱼类的产量，有必要对养殖的鱼类的数量进行估算，或者监测其生长状态。另外，为了预防鱼的突然死亡对其他鱼的生长造成严重影响，有必要对出现异常状况的目标鱼类进行个体跟踪。
目前主要根据水下视频或图像，采用机器学习算法对鱼类进行目标检测，以对水下鱼类生长状态进行监控和计数，以及对鱼类个体进行追踪。其中，在机器学习算法中，主干网络为目标检测网络中最为重要的部分。主干网络是目标检测网络中用来负责特征提取的网络，一般用于前端提取不同层次、不同尺度的图像特征，并生成特征图以供后面的网络使用。
目前常用的主干网络多为卷积神经网络，然而，卷积神经网络仅能获得图像的局部信息，存在无法在图像底层对全局进行建模的不足，为了克服该不足，现有技术中往往是将卷积神经网络与自注意力机制相结合作为主干网络，通过卷积神经网络获得输入图像的局部信息，基于自注意力机制获得输入图像的全局信息，从而提取输入图像的特征。然而，这种网络结构下的主干网络在进行特征提取时，计算量会随着分辨率提高而急剧增大，计算存储要求高，严重影响了水下鱼类目标检测时特征提取的效率。
发明内容
有鉴于此，本发明提供了一种基于快速傅里叶变换滤波器的水下鱼类目标检测方法、装置及存储介质，以实现在提高水下鱼类目标检测准确率的同时提高水下鱼类目标检测的效率。
为此，本发明提供了以下技术方案：
一方面，本发明提供了一种基于快速傅里叶变换滤波器的水下鱼类目标检测方法，所述方法包括：
S1、获取待检测水下图像；
S2、将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括融合局部与全局特征提取能力的快速傅里叶变换模块；所述快速傅里叶变换模块包括：用于提取局部特征的局部特征提取模块、用于提取全局特征的傅里叶变换滤波器和用于融合局部特征和全局特征的特征融合模块；所述傅里叶变换滤波器中，对输入特征图进行快速傅里叶变换，得到频域特征图，将所得频域特征图与同尺寸核参数进行逐点相乘，然后将所得频域结果进行快速傅里叶反变换，获得时域特征图；
S3、基于所述特征提取结果，得到水下鱼类目标检测结果。
进一步地，将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果，包括：
利用1*1卷积核的卷积神经网络对所述待检测水下图像进行处理；
将处理结果输入至所述局部特征提取模块，得到局部特征；
利用1*1卷积核的卷积神经网络对处理结果进行通道变换；
将通道变换后的特征图与所述局部特征叠加，输入至所述傅里叶变换滤波器，得到全局特征；
将所述局部特征和所述全局特征输入至所述特征融合模块，得到特征融合结果；
利用1*1卷积核的卷积神经网络对特征融合结果进行处理，得到最终的特征提取结果。
进一步地，所述局部特征提取模块为3x3卷积核的卷积神经网络。
进一步地，将所述局部特征和所述全局特征输入至所述特征融合模块，得到特征融合结果，包括：
通过1x1卷积核的卷积神经网络对所述局部特征变换特征通道数；
将变换特征通道数后的局部特征与所述全局特征进行融合；
对融合后的特征进行平均池化操作，以调节特征图尺寸。
又一方面，本发明还提供了一种基于快速傅里叶变换滤波器的水下鱼类目标检测装置，包括：
图像获取单元，用于获取待检测水下图像；
特征提取单元，用于将所述图像获取单元获取的待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括融合局部与全局特征提取能力的快速傅里叶变换模块；所述快速傅里叶变换模块包括：用于提取局部特征的局部特征提取模块、用于提取全局特征的傅里叶变换滤波器和用于融合局部特征和全局特征的特征融合模块；所述傅里叶变换滤波器中，对输入特征图进行快速傅里叶变换，得到频域特征图，将所得频域特征图与同尺寸核参数进行逐点相乘，然后将所得频域结果进行快速傅里叶反变换，获得时域特征图；
目标检测单元，用于基于所述特征提取结果，得到水下鱼类目标检测结果。
进一步地，所述特征提取单元具体用于：利用1*1卷积核的卷积神经网络对所述待检测水下图像进行处理；将处理结果输入至所述局部特征提取模块，得到局部特征；利用1*1卷积核的卷积神经网络对处理结果进行通道变换；将通道变换后的特征图与所述局部特征叠加，输入至所述傅里叶变换滤波器，得到全局特征；将所述局部特征和所述全局特征输入至所述特征融合模块，得到特征融合结果；利用1*1卷积核的卷积神经网络对特征融合结果进行处理，得到最终的特征提取结果。
进一步地，所述局部特征提取模块为3x3卷积核的卷积神经网络。
进一步地，所述特征融合模块具体用于：通过1x1卷积核的卷积神经网络对所述局部特征变换特征通道数；将变换特征通道数后的局部特征与所述全局特征进行融合；对融合后的特征进行平均池化操作，以调节特征图尺寸。
又一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现上述基于快速傅里叶变换滤波器的水下鱼类目标检测方法。
本发明的优点和积极效果：本发明中，对水下鱼类目标检测模型中的主干网络进行了改进，改进后的主干网络包括融合局部与全局特征提取能力的快速傅里叶变换模块，通过该快速傅里叶变换模块能够得到待检测水下图像的局部特征图和全局特征图，从而获取更优质图像特征，提高了目标检测的准确率；同时，该快速傅里叶变换模块中在频域进行全局特征图的提取，由于频域内特征数据乘法操作等效于时域内数据的循环卷积操作，且卷积核尺寸与特征图尺寸相同，即等效于利用全尺寸卷积核进行全局特征提取，相较于时域内特征数据乘法操作，极大地降低了计算复杂度，能够高效的提取特征，从而提高了目标检测的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中水下鱼类目标检测模型的主干网络的结构示意图；
图2为本发明实施例中快速傅里叶变换滤波器的结构示意图；
图3为本发明实施例中基于改进后的主干网络提取特征的流程图；
图4为本发明实施例中一种基于快速傅里叶变换滤波器的水下鱼类目标检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明基于主流ResNet框架，提出一种基于快速傅里叶变换滤波器的水下鱼类目标检测主干网络。如图1所示，ResNet模型包括若干个残差模块，每个残差模块由1*1、3*3、1*1的3个卷积网络串接而成，本发明中将ResNet模型中用于局部特征提取的3x3卷积模块替换为融合局部与全局特征提取能力的FFT_Block模块。
FFT_Block模块的结构框图如图2所示。首先，利用3x3卷积核(Conv2)提取输入图像局部特征，得到局部特征图；输入原图通过1x1卷积核(Conv1)进行通道变换，然后与局部特征图叠加，叠加结果输入到傅里叶变换滤波器进行全局特征提取，得到全局特征图。局部特征图通过1x1卷积核(Conv3)变换特征通道数，随后与全局特征图进行融合(逐点相加)，最后利用平均池化模块(Avg_Pooling)进行特征图尺寸调节。傅里叶变换滤波器中，首先对输入特征图(叠加结果)进行快速傅里叶变换(FFT)，所得频域特征图与同尺寸核参数FFT_Kernel进行逐点相乘，然后将所得频域结果进行快速傅里叶反变换(IFFT)，获得时域特征图。
根据卷积理论，频域内特征数据乘法操作等效于时域内数据的循环卷积操作，且卷积核尺寸与特征图尺寸相同，即等效于利用全尺寸卷积核进行全局特征提取。具体地，假设模型输入图像批量为B张，且B＝16，现有输入特征图输入输出通道维度为C＝128，特征图尺寸为H＝W＝56，H为图像高度，W为图像宽度。利用FFT_Filter模块中的傅里叶变换滤波器提取全局特征的计算复杂度包括输入时域特征图转换为频域特征图的(2H·W·logH)(B·C+C·C)＝202100157步操作，所得频域特征图与参数矩阵(同尺寸核参数FFT_Kernel)逐点相乘的B·H·W·C·C＝822083584步操作，所得特征图变换回时域的(2H·W·logH)(B·C)＝22454272步操作，共计计算复杂度为(2H·W·logH)(B·C+C·C)+B·H·W·C·C+(2H·W·logH)(B·C)＝1.05GFLOPs。而利用自注意力机制模块提取全局特征时，计算复杂度包括Q、K矩阵相似度运算的B·(H·W)2·C＝20141047808步操作，softmax计算的B·(H·W)2＝157351936步操作以及所得特征图与V矩阵相似度计算的B·(H·W)2·C＝20141047808步操作，共计计算复杂度为2B·(H·W)2·C+B·(H·W)2＝40.4GFLOPs。由此可见，本发明所提出模型计算复杂度为自注意力机制模块的1/40。因此，通过本发明所提出行可实现高效输入图全局特征提取，从而提高主干网络提取特征的效率。
下面对本发明实施例中基于上述改进后的主干网络进行水下鱼类目标检测的方法进行具体说明。
本发明实施例中一种基于快速傅里叶变换滤波器的水下鱼类目标检测方法，包括：
S1、获取待检测水下图像；
S2、将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；
水下鱼类目标检测模型包括前端负责特征提取的主干网络以及后端负责根据提取出的特征进行目标检测的检测网络，本发明中主要对主干网络进行改进，后端检测网络的网络结构此处不做限定。
本发明实施例中，改进后的主干网络由1*1、融合局部与全局特征提取能力的快速傅里叶变换模块(FFT_Block模块)、1*1的3个卷积网络串接而成。
FFT_Block模块包括：用于提取局部特征的局部特征提取模块、用于提取全局特征的傅里叶变换滤波器(FFT_Filter)和用于融合局部特征和全局特征的特征融合模块。
其中，局部特征提取模块为3x3卷积核的卷积神经网络。
FFT_Filter中，对输入特征图进行快速傅里叶变换，得到频域特征图，将所得频域特征图与同尺寸核参数进行逐点相乘，然后将所得频域结果进行快速傅里叶反变换，获得时域特征图。
特征融合模块中，通过1x1卷积核的卷积神经网络对所述局部特征变换特征通道数；将变换特征通道数后的局部特征与所述全局特征进行融合；对融合后的特征进行平均池化操作，以调节特征图尺寸。
在具体实施中，如图3所示，S2具体包括以下步骤：
S201、利用1*1卷积核的卷积神经网络对所述待检测水下图像进行处理；
S202、将处理结果输入至所述局部特征提取模块，得到局部特征；
S203、利用1*1卷积核的卷积神经网络对处理结果进行通道变换；
S204、将通道变换后的特征图与所述局部特征叠加，输入至所述傅里叶变换滤波器，得到全局特征；
S205、将所述局部特征和所述全局特征输入至所述特征融合模块，得到特征融合结果；
S206、利用1*1卷积核的卷积神经网络对特征融合结果进行处理，得到最终的特征提取结果。
S3、基于所述特征提取结果，得到水下鱼类目标检测结果。
在具体实施中，可以将得到的特征提取结果输入至水下鱼类目标检测模型中的后端目标检测网络，进而得到水下鱼类目标检测结果。
本发明实施例中，对水下鱼类目标检测模型中的主干网络进行了改进，改进后的主干网络包括融合局部与全局特征提取能力的快速傅里叶变换模块，通过该快速傅里叶变换模块能够得到待检测水下图像的局部特征图和全局特征图，从而获取更优质图像特征，提高了目标检测的准确率；同时，快速傅里叶变换模块中在频域进行全局特征图的提取，由于频域内特征数据乘法操作等效于时域内数据的循环卷积操作，且卷积核尺寸与特征图尺寸相同，即等效于利用全尺寸卷积核进行全局特征提取，相较于时域内特征数据乘法操作，极大地降低了计算复杂度，能够高效的提取特征，从而提高了目标检测的效率。
对应本发明中的基于快速傅里叶变换滤波器的水下鱼类目标检测方法，本发明还提供了基于快速傅里叶变换滤波器的水下鱼类目标检测装置。如图4所示，其示出了本发明实施例中一种基于快速傅里叶变换滤波器的水下鱼类目标检测装置的结构示意图，该装置包括：
图像获取单元100，用于获取待检测水下图像；
特征提取单元200，用于将所述图像获取单元获取的待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；
所述主干网络包括融合局部与全局特征提取能力的快速傅里叶变换模块；所述快速傅里叶变换模块包括：用于提取局部特征的局部特征提取模块、用于提取全局特征的傅里叶变换滤波器和用于融合局部特征和全局特征的特征融合模块；
其中，局部特征提取模块为3x3卷积核的卷积神经网络。
傅里叶变换滤波器具体用于：对输入特征图进行快速傅里叶变换，得到频域特征图，将所得频域特征图与同尺寸核参数进行逐点相乘，然后将所得频域结果进行快速傅里叶反变换，获得时域特征图。
特征融合模块具体用于：通过1x1卷积核的卷积神经网络对所述局部特征变换特征通道数；将变换特征通道数后的局部特征与所述全局特征进行融合；对融合后的特征进行平均池化操作，以调节特征图尺寸。
目标检测单元300，用于基于所述特征提取结果，得到水下鱼类目标检测结果。
进一步地，特征提取单元200具体用于：利用1*1卷积核的卷积神经网络对所述待检测水下图像进行处理；将处理结果输入至所述局部特征提取模块，得到局部特征；利用1*1卷积核的卷积神经网络对处理结果进行通道变换；将通道变换后的特征图与所述局部特征叠加，输入至所述傅里叶变换滤波器，得到全局特征；将所述局部特征和所述全局特征输入至所述特征融合模块，得到特征融合结果；利用1*1卷积核的卷积神经网络对特征融合结果进行处理，得到最终的特征提取结果。
本发明实施例中的基于快速傅里叶变换滤波器的水下鱼类目标检测装置，利用改进后的主干网络进行特征提取，能够得到待检测水下图像的局部特征图和全局特征图，从而获取更优质图像特征，提高了目标检测的准确率；同时，该改进后的主干网络在频域进行全局特征图的提取，极大地降低了计算复杂度，能够高效的提取特征，从而提高了目标检测的效率。
对于本发明实施例的基于快速傅里叶变换滤波器的水下鱼类目标检测装置而言，由于其与上面实施例中的基于快速傅里叶变换滤波器的水下鱼类目标检测方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的基于快速傅里叶变换滤波器的水下鱼类目标检测方法。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于快速傅里叶变换滤波器的水下鱼类目标检测方法，其特征在于，所述方法包括：
S1、获取待检测水下图像；
S2、将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括融合局部与全局特征提取能力的快速傅里叶变换模块；所述快速傅里叶变换模块包括：用于提取局部特征的局部特征提取模块、用于提取全局特征的傅里叶变换滤波器和用于融合局部特征和全局特征的特征融合模块；所述傅里叶变换滤波器中，对输入特征图进行快速傅里叶变换，得到频域特征图，将所得频域特征图与同尺寸核参数进行逐点相乘，然后将所得频域结果进行快速傅里叶反变换，获得时域特征图；
S3、基于所述特征提取结果，得到水下鱼类目标检测结果。
2.根据权利要求1所述的基于快速傅里叶变换滤波器的水下鱼类目标检测方法，其特征在于，将所述待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果，包括：
利用1*1卷积核的卷积神经网络对所述待检测水下图像进行处理；
将处理结果输入至所述局部特征提取模块，得到局部特征；
利用1*1卷积核的卷积神经网络对处理结果进行通道变换；
将通道变换后的特征图与所述局部特征叠加，输入至所述傅里叶变换滤波器，得到全局特征；
将所述局部特征和所述全局特征输入至所述特征融合模块，得到特征融合结果；
利用1*1卷积核的卷积神经网络对特征融合结果进行处理，得到最终的特征提取结果。
3.根据权利要求2所述的基于快速傅里叶变换滤波器的水下鱼类目标检测方法，其特征在于，所述局部特征提取模块为3x3卷积核的卷积神经网络。
4.根据权利要求2所述的基于快速傅里叶变换滤波器的水下鱼类目标检测方法，其特征在于，将所述局部特征和所述全局特征输入至所述特征融合模块，得到特征融合结果，包括：
通过1x1卷积核的卷积神经网络对所述局部特征变换特征通道数；
将变换特征通道数后的局部特征与所述全局特征进行融合；
对融合后的特征进行平均池化操作，以调节特征图尺寸。
5.一种基于快速傅里叶变换滤波器的水下鱼类目标检测装置，其特征在于，所述装置包括：
图像获取单元，用于获取待检测水下图像；
特征提取单元，用于将所述图像获取单元获取的待检测水下图像输入至水下鱼类目标检测模型的主干网络，得到特征提取结果；所述主干网络包括融合局部与全局特征提取能力的快速傅里叶变换模块；所述快速傅里叶变换模块包括：用于提取局部特征的局部特征提取模块、用于提取全局特征的傅里叶变换滤波器和用于融合局部特征和全局特征的特征融合模块；所述傅里叶变换滤波器中，对输入特征图进行快速傅里叶变换，得到频域特征图，将所得频域特征图与同尺寸核参数进行逐点相乘，然后将所得频域结果进行快速傅里叶反变换，获得时域特征图；
目标检测单元，用于基于所述特征提取结果，得到水下鱼类目标检测结果。
6.根据权利要求5所述的基于快速傅里叶变换滤波器的水下鱼类目标检测装置，其特征在于，所述特征提取单元具体用于：利用1*1卷积核的卷积神经网络对所述待检测水下图像进行处理；将处理结果输入至所述局部特征提取模块，得到局部特征；利用1*1卷积核的卷积神经网络对处理结果进行通道变换；将通道变换后的特征图与所述局部特征叠加，输入至所述傅里叶变换滤波器，得到全局特征；将所述局部特征和所述全局特征输入至所述特征融合模块，得到特征融合结果；利用1*1卷积核的卷积神经网络对特征融合结果进行处理，得到最终的特征提取结果。
7.根据权利要求6所述的基于快速傅里叶变换滤波器的水下鱼类目标检测装置，其特征在于，所述局部特征提取模块为3x3卷积核的卷积神经网络。
8.根据权利要求6所述的基于快速傅里叶变换滤波器的水下鱼类目标检测装置，其特征在于，所述特征融合模块具体用于：通过1x1卷积核的卷积神经网络对所述局部特征变换特征通道数；将变换特征通道数后的局部特征与所述全局特征进行融合；对融合后的特征进行平均池化操作，以调节特征图尺寸。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如权利要求1～4任一项所述的一种基于快速傅里叶变换滤波器的水下鱼类目标检测方法。
CN202111188098.4A 2021-10-12 2021-10-12 水下鱼类目标检测方法、装置及存储介质 Pending CN113869330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111188098.4A CN113869330A (zh) 2021-10-12 2021-10-12 水下鱼类目标检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111188098.4A CN113869330A (zh) 2021-10-12 2021-10-12 水下鱼类目标检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN113869330A true CN113869330A (zh) 2021-12-31

Family

ID=78999137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111188098.4A Pending CN113869330A (zh) 2021-10-12 2021-10-12 水下鱼类目标检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113869330A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511874A (zh) * 2022-10-28 2022-12-23 中国长江三峡集团有限公司 一种呼吸器寿命检测方法、装置、电子设备及存储介质
WO2024077785A1 (zh) * 2022-10-13 2024-04-18 深圳云天励飞技术股份有限公司 基于卷积神经网络模型的图像识别方法、装置及终端设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967474A (zh) * 2017-11-24 2018-04-27 上海海事大学 一种基于卷积神经网络的海面目标显著性检测方法
CN111881725A (zh) * 2020-06-14 2020-11-03 浙江大学 一种融合空频域特征的光学遥感图像船舶目标检测方法
CN112163461A (zh) * 2020-09-07 2021-01-01 中国海洋大学 一种基于多模态融合的水下目标识别方法
CN112183582A (zh) * 2020-09-07 2021-01-05 中国海洋大学 一种多特征融合的水下目标识别方法
CN112244878A (zh) * 2020-08-31 2021-01-22 北京工业大学 用并联型多模块cnn和lstm识别关键频带图像序列的方法
CN112364989A (zh) * 2020-10-10 2021-02-12 天津大学 一种基于快速傅里叶变换的卷积神经网络加速设计方法
CN112487945A (zh) * 2020-11-26 2021-03-12 上海贝业斯健康科技有限公司 一种基于双路卷积神经网络融合的脉象识别方法
CN112528782A (zh) * 2020-11-30 2021-03-19 北京农业信息技术研究中心 水下鱼类目标检测方法及装置
CN112800928A (zh) * 2021-01-25 2021-05-14 北京工业大学 融合通道和频谱特征的全局自注意力残差网络的癫痫发作预测方法
CN112906718A (zh) * 2021-03-09 2021-06-04 西安电子科技大学 一种基于卷积神经网络的多目标检测方法
CN113113041A (zh) * 2021-04-29 2021-07-13 电子科技大学 一种基于时频跨域特征选择的语音分离方法
CN113128459A (zh) * 2021-05-06 2021-07-16 昆明理工大学 一种基于多层次脑电信号表达下的特征融合方法
US20210224581A1 (en) * 2020-09-25 2021-07-22 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, and device for fusing features applied to small target detection, and storage medium
CN113191222A (zh) * 2021-04-15 2021-07-30 中国农业大学 水下鱼类目标检测方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967474A (zh) * 2017-11-24 2018-04-27 上海海事大学 一种基于卷积神经网络的海面目标显著性检测方法
CN111881725A (zh) * 2020-06-14 2020-11-03 浙江大学 一种融合空频域特征的光学遥感图像船舶目标检测方法
CN112244878A (zh) * 2020-08-31 2021-01-22 北京工业大学 用并联型多模块cnn和lstm识别关键频带图像序列的方法
CN112163461A (zh) * 2020-09-07 2021-01-01 中国海洋大学 一种基于多模态融合的水下目标识别方法
CN112183582A (zh) * 2020-09-07 2021-01-05 中国海洋大学 一种多特征融合的水下目标识别方法
US20210224581A1 (en) * 2020-09-25 2021-07-22 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, and device for fusing features applied to small target detection, and storage medium
CN112364989A (zh) * 2020-10-10 2021-02-12 天津大学 一种基于快速傅里叶变换的卷积神经网络加速设计方法
CN112487945A (zh) * 2020-11-26 2021-03-12 上海贝业斯健康科技有限公司 一种基于双路卷积神经网络融合的脉象识别方法
CN112528782A (zh) * 2020-11-30 2021-03-19 北京农业信息技术研究中心 水下鱼类目标检测方法及装置
CN112800928A (zh) * 2021-01-25 2021-05-14 北京工业大学 融合通道和频谱特征的全局自注意力残差网络的癫痫发作预测方法
CN112906718A (zh) * 2021-03-09 2021-06-04 西安电子科技大学 一种基于卷积神经网络的多目标检测方法
CN113191222A (zh) * 2021-04-15 2021-07-30 中国农业大学 水下鱼类目标检测方法及装置
CN113113041A (zh) * 2021-04-29 2021-07-13 电子科技大学 一种基于时频跨域特征选择的语音分离方法
CN113128459A (zh) * 2021-05-06 2021-07-16 昆明理工大学 一种基于多层次脑电信号表达下的特征融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
强伟;贺昱曜;郭玉锦;李宝奇;何灵蛟;: "基于改进SSD的水下目标检测算法研究", 西北工业大学学报, no. 04, 15 August 2020 (2020-08-15) *
麻森权;周克;: "基于注意力机制和特征融合改进的小目标检测算法", 计算机应用与软件, no. 05, 12 May 2020 (2020-05-12) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077785A1 (zh) * 2022-10-13 2024-04-18 深圳云天励飞技术股份有限公司 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN115511874A (zh) * 2022-10-28 2022-12-23 中国长江三峡集团有限公司 一种呼吸器寿命检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN111898701B (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
CN113869330A (zh) 水下鱼类目标检测方法、装置及存储介质
WO2016019484A1 (en) An apparatus and a method for providing super-resolution of a low-resolution image
US20190206117A1 (en) Image processing method, intelligent terminal, and storage device
CN109859314B (zh) 三维重建方法、装置、电子设备和存储介质
CN109300531A (zh) 一种脑疾病早期诊断方法和装置
Abdelmaguid et al. Left ventricle segmentation and volume estimation on cardiac mri using deep learning
CN112633340B (zh) 目标检测模型训练、检测方法、设备及存储介质
Zhao et al. Improved field-based soybean seed counting and localization with feature level considered
CN113392937A (zh) 一种3d点云数据分类方法及其相关装置
CN107958472A (zh) 基于稀疏投影数据的pet成像方法、装置、设备及存储介质
CN113837104B (zh) 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质
CN113222964A (zh) 一种冠脉中心线提取模型的生成方法及装置
CN113379647B (zh) 一种优化psf估计的多特征图像复原方法
CN110600105B (zh) 一种ct影像数据处理方法、装置及存储介质
Peng et al. MND-GAN: A research on image deblurring algorithm based on generative adversarial network
CN116343200A (zh) 异常谷粒检测方法、装置、计算机可读介质及计算机设备
CN112053350B (zh) 一种感兴趣区域遥感数据拼接裁剪处理方法、装置及计算机设备
CN113378004B (zh) 基于FANet的农民劳作行为识别方法和装置、设备及介质
CN114881902A (zh) 点云数据的处理方法、装置、存储介质及电子设备
CN113496228A (zh) 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
CN112232361A (zh) 图像处理的方法及装置、电子设备及计算机可读存储介质
CN114255203A (zh) 一种鱼苗数量估计方法及系统
CN117456562B (zh) 姿态估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination