CN116883360B - 一种基于多尺度双通道的鱼群计数方法 - Google Patents

一种基于多尺度双通道的鱼群计数方法 Download PDF

Info

Publication number
CN116883360B
CN116883360B CN202310849404.7A CN202310849404A CN116883360B CN 116883360 B CN116883360 B CN 116883360B CN 202310849404 A CN202310849404 A CN 202310849404A CN 116883360 B CN116883360 B CN 116883360B
Authority
CN
China
Prior art keywords
feature map
feature
convolution
loss
conv4
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310849404.7A
Other languages
English (en)
Other versions
CN116883360A (zh
Inventor
吴俊峰
周弈志
刘梁
赵海燕
于红
郭世豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Ocean University
Original Assignee
Dalian Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Ocean University filed Critical Dalian Ocean University
Priority to CN202310849404.7A priority Critical patent/CN116883360B/zh
Publication of CN116883360A publication Critical patent/CN116883360A/zh
Application granted granted Critical
Publication of CN116883360B publication Critical patent/CN116883360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于多尺度双通道的鱼群计数方法，涉及双通道鱼群计数技术领域，包括整体网络模型和DM‑Count损失函数，所述整体网络模型包括残差网络、特征融合模块和注意力模块；所述残差网络包括ResNet50依次连接的四个阶段，四个所述阶段分别为Conv1、Conv2_x、Conv3_x、Conv4_x，所述Conv4_x的输出特征图传入所述特征融合模块和所述注意力模块。本发明采用上述的一种基于多尺度双通道的鱼群计数方法，解决了鱼体极度拥挤、成群出现、相互遮挡严重的问题，能够生成高质量的鱼群密度图，且密度估计的误差较小，够很好地对鱼体多尺度特征进行学习，从而降低计数误差提升模型的性能。

Description

一种基于多尺度双通道的鱼群计数方法
技术领域
本发明涉及双通道鱼群计数技术领域，尤其是涉及一种基于多尺度双通道的鱼群计数方法。
背景技术
鱼的个体计数是指对某个特定区域或水体中的鱼类数量进行统计和估算的过程。鱼类个体计数是在科学研究、渔业管理和生态监测等领域中非常重要的一项工作，它可以帮助我们了解鱼类种群的数量、分布和动态变化情况。
按照工作方式的不同，传统的鱼类个体计数方法可以分成以下四种：第一种为直接观察法：这是最简单的方法之一，通过目视观察鱼类并记录它们的数量。这种方法适用于较小的水域或对鱼类数量要求不高的情况，但在大规模和复杂的环境中使用效果有限；第二种为网捕法：该方法使用特定的网具，如拖网或刺网，在水域中捕获鱼类，并对捕获的鱼进行计数和记录。这种方法能够提供较准确的数量估算，但需要投入较多的人力和物力，并且可能对鱼类种群造成一定的影响；第三种为声纳技术：利用声纳设备，如声纳探测仪或多波束声纳系统，通过发送声波并接收回波来检测和计数水中的鱼类。这种非入侵性的方法适用于较大的水域和深水区域，可以提供较准确的数量估算，缺点在于计数成本昂贵，不适用在水产养殖的环境；第四种为图像处理技术：利用摄像机、无人机或卫星图像等设备，通过对图像进行分析和处理来进行鱼类个体计数。这种方法可以自动化和高效地进行大规模的鱼类计数，但对图像质量和处理算法的要求较高。
近年来，随着计算机视觉以及深度学习的不断发展，越来越多的研究将目标检测与鱼类计数相结合。采用目标检测算法在图像中生成候选的鱼类边界框，并通过分类和回归来精确定位和识别鱼类。通过对图像中的鱼类进行检测和计数，进而得到个体数量的估算。但当鱼类个体之间可能会有重叠或部分遮挡，以及有多个鱼群或多个鱼类在图像中同时存在时，目标检测算法难以准确地分辨和计数每个个体。
对此，中国专利申请CN112712518A公开了一种鱼类计数方法、装置、电子设备及存储介质，该方法将采集的多个单角度图像进行全景拼接以获取所述水产系统的全景图像，然后将全景图像输入到鱼类计数模型中以输出鱼类密度图，最后根据所述鱼类密度图计算总鱼类数目。但是该方法所采用的多列卷积神经网络并不能很高效的预测不同大小的鱼体，并且多列分别训练导致参数量计算量过大。
因此，有必要提供一种基于多尺度双通道的鱼群计数方法，来解决上述问题。
发明内容
本发明的目的是提供一种基于多尺度双通道的鱼群计数方法，解决了鱼体极度拥挤、成群出现、相互遮挡严重的问题，能够生成高质量的鱼群密度图，且密度估计的误差较小，够很好地对鱼体多尺度特征进行学习，从而降低计数误差提升模型的性能。
为实现上述目的，本发明提供了一种基于多尺度双通道的鱼群计数方法，包括整体网络模型和DM-Count损失函数，所述整体网络模型包括残差网络、特征融合模块和注意力模块；所述残差网络包括ResNet50依次连接的四个阶段，四个所述阶段分别为Conv1、Conv2_x、Conv3_x、Conv4_x，所述Conv4_x的输出特征图传入所述特征融合模块和所述注意力模块。
DM-Count损失函数包含计数损失、OT损失和总变量TV损失，计数损失测量总体密度图之间的差异，OT损失和总变量TV损失测量归一化密度函数分布之间的差异，采用DM-Count损失函数对鱼体进行计数，
DM-Count损失函数表示为：
其中λ1和λ2是OT和TV损耗的可调超参数，lC表示计数损失、lOT表示OT损失，lTV表示总变量TV损失，z代表网络预测得到的密度图，为标签密度图；
其中，||z||1为预测的鱼群数量，为鱼群的真实数量，||·||1为L1范数；
其中，是Monge-Kantorovich最优传输成本，α*与β*是公式(2)的解；
其中，为两个d维向量空间的点集，μ，v为定义在/>和/>上的概率测试密度，/>其中/>1n是一个n维全为1向量，c是从点/>移动到点/>的成本函数。
优选的，所述Conv1部分输入为H×W，包含1个为7×7的卷积核和步长为2的卷积层，输出尺寸为H×W；
所述Conv2_x部分输入为H×W，包含三个残差块与一个池化层，每个残差块里有三个卷积层，三个卷积核大小依次为1×1、3×3、1×1，每个卷积层后为批归一化以及Relu激活函数，池化层为2×2大小，输出尺寸为H/2×W/2；
Conv3_x部分输入为H/2×W/2，包含依次连接的四个残差块与一个池化层，输出尺寸为H/4×W/4；
Conv4_x部分输入为H/4×W/4，包含依次连接的六个残差块与一个池化层，输出尺寸为H/8×W/8。
优选的，所述特征融合模块和注意力模块相互并联，所述特征融合模块得到特征图M1的步骤为：
S1：所述特征融合模块的输入H*W为ResNet50网络Conv4_x的输出，输入尺寸为H/8×W/8；
S2：对Conv4_x的特征图进行2倍的上采样，将Conv4_x与Conv3_x特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/4×W/4；
S3：将卷积后的特征图进行2倍的上采样，将上采样后的特征图与Conv2_x特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/2×W/2；
S4：将卷积后的特征图进行2倍的上采样，将上采样后的特征图与Conv1_x特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，得到尺寸为H×W的特征图M1；
将元素倍数应用于注意力图和特征图M1以生成细化密度特征图Frefine，如公式(1)所示，
Frefine＝M1⊙Matt (1)
其中，M1为特征图，Matt为注意力模块输出的密度图，⊙表示逐元素乘法。
优选的，注意力模块获得特征图M2的步骤为：
S21：注意力模块的输入为ResNet50网络Conv4_x的输出，输入尺寸为H/8×W/8；
S22：对Conv4_x的特征图进行2倍的上采样，对Conv3_x的特征图放入SKNet模块中得到特征图M2-1；
S23：将Conv4_x与特征图M2-1特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/4×W/4；
S24：将卷积后的特征图进行2倍的上采样，对Conv2_x的特征图放入SKNet模块中得到特征图M2-2；
S25：上采样后的特征图与特征图M2-2连接在一起，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/2×W/2；
S26：将卷积后的特征图进行2倍的上采样，把Conv1_x的特征图放入SKNet模块中得到特征图M2-3，
S27：将上采样后的特征图与特征图M2-3连接在一起，对连接后特征图进行两次卷积核3×3为卷积操作，得到尺寸为H×W的特征图M2；
S28：将特征图M2通过1×1卷积以及Sigmoid操作得到注意力机制图MAtt为：
式中W，b为1×1×1卷积层权值和偏差，为卷积运算，Sigmoid为Sigmoid激活函数，Sigmoid激活函数给出(0,1)概率分数。
优选的，SKNet由若干SK卷积单元堆叠而成，SK卷积操作包括Split操作、Fuse操作和Select操作。
优选的，Split操作：分别通过3×3和5×5大小的SK卷积核对C×W×H的特征图进行分组卷积操作和空洞卷积，输出和/>
Fuse操作：2个特征图进行element-wise summation融合后先通过全局平均池化生成C×1×1的特征向量S，C为通道数，特征向量S经过先降维再升维的两全连接层后形成d×1×1的向量Z；
Select操作：将向量Z通过2个Softmax函数回归出通道之间的权重信息矩阵a和矩阵b，并使用a和b对2个特征图和/>进行加权操作，求和后得到最终尺寸大小为W×H的输出特征图V。
因此，本发明采用上述一种基于多尺度双通道的鱼群计数方法，具备以下有益效果：
(1)本发明采用DM-Count损失函数泛化误差范围更严格，生成高质量的鱼群密度图，且密度估计的误差较小。
(2)本发明残差网络使用的是ResNet50，可以检索到最终的高分辨率特征图。
(3)本发明能够很好地对鱼体多尺度特征进行学习，从而降低计数误差提升模型的性能。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明一种基于多尺度双通道的鱼群计数方法的流程图；
图2是本发明一种基于多尺度双通道的鱼群计数方法的残差网络图；
图3是本发明一种基于多尺度双通道的鱼群计数方法的SKNet卷积操作图；
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明中使用的“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其它要素的可能。术语“内”、“外”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。在本发明中，除非另有明确的规定和限定，术语“附着”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
如图1所示，本发明提供了一种基于多尺度双通道的鱼群计数方法，包括整体网络模型和DM-Count损失函数，整体网络模型包括残差网络、特征融合模块和注意力模块；残差网络包括ResNet50依次连接的四个阶段，四个阶段分别为Conv1、Conv2_x、Conv3_x、Conv4_x，Conv4_x的输出特征图传入特征融合模块和注意力模块。
DM-Count损失函数包含计数损失、OT损失和总变量TV损失，计数损失测量总体密度图之间的差异，OT损失和总变量TV损失测量归一化密度函数分布之间的差异，采用DM-Count损失函数对鱼体进行计数，
DM-Count损失函数表示为：
其中λ1和λ2是OT和TV损耗的可调超参数，lC表示计数损失、lOT表示OT损失，lTV表示总变量TV损失，z代表网络预测得到的密度图，为标签密度图；
其中，||z||1为预测的鱼群数量，为鱼群的真实数量，||·||1为L1范数；
其中，是Monge-Kantorovich最优传输成本，α*与β*是公式(2)的解；
其中，为两个d维向量空间的点集，μ，v为定义在/>和/>上的概率测试密度，/>其中/>1n是一个n维全为1向量，c是从点/>移动到点/>的成本函数。
Conv1部分输入为H×W，包含1个为7×7的卷积核和步长为2的卷积层，输出尺寸为H×W；
Conv2_x部分输入为H×W，包含三个残差块与一个池化层，每个残差块里有三个卷积层，三个卷积核大小依次为1×1、3×3、1×1，每个卷积层后为批归一化以及Relu激活函数，池化层为2×2大小，输出尺寸为H/2×W/2；
Conv3_x部分输入为H/2×W/2，包含依次连接的四个残差块与一个池化层，输出尺寸为H/4×W/4；
Conv4_x部分输入为H/4×W/4，包含依次连接的六个残差块与一个池化层，输出尺寸为H/8×W/8。
注意力模块获得特征图M2的步骤为：
S21：注意力模块的输入为ResNet50网络Conv4_x的输出，输入尺寸为H/8×W/8；
S22：对Conv4_x的特征图进行2倍的上采样，对Conv3_x的特征图放入SKNet模块中得到特征图M2-1；
S23：将Conv4_x与特征图M2-1特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/4×W/4；
S24：将卷积后的特征图进行2倍的上采样，对Conv2_x的特征图放入SKNet模块中得到特征图M2-2；
S25：上采样后的特征图与特征图M2-2连接在一起，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/2×W/2；
S26：将卷积后的特征图进行2倍的上采样，把Conv1_x的特征图放入SKNet模块中得到特征图M2-3，
S27：将上采样后的特征图与特征图M2-3连接在一起，对连接后特征图进行两次卷积核3×3为卷积操作，得到尺寸为H×W的特征图M2；
S28：将特征图M2通过1×1卷积以及Sigmoid操作得到注意力机制图MAtt为：
式中W，b为1×1×1卷积层权值和偏差，为卷积运算，Sigmoid为Sigmoid激活函数，Sigmoid激活函数给出(0,1)概率分数。
特征融合模块和注意力模块相互并联，特征融合模块得到特征图M1的步骤为：
S1：特征融合模块的输入H*W为ResNet50网络Conv4_x的输出，输入尺寸为H/8×W/8；
S2：对Conv4_x的特征图进行2倍的上采样，将Conv4_x与Conv3_x特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/4×W/4；
S3：将卷积后的特征图进行2倍的上采样，将上采样后的特征图与Conv2_x特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/2×W/2；
S4：将卷积后的特征图进行2倍的上采样，将上采样后的特征图与Conv1_x特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，得到尺寸为H×W的特征图M1；
将元素倍数应用于注意力图和特征图M1以生成细化密度特征图Frefine，如公式(1)所示，
Frefine＝M1⊙Matt (1)
其中，M1为特征图，Matt为注意力模块输出的密度图，⊙表示逐元素乘法。
SKNet由若干SK卷积单元堆叠而成，SK卷积操作包括Split操作、Fuse操作和Select操作。Split操作：分别通过3×3和5×5大小的SK卷积核对C×W×H的特征图进行分组卷积操作和空洞卷积，输出和/>
Fuse操作：2个特征图进行element-wise summation融合后先通过全局平均池化生成C×1×1的特征向量S，C为通道数，特征向量S经过先降维再升维的两全连接层后形成d×1×1的向量Z；
Select操作：将向量Z通过2个Softmax函数回归出通道之间的权重信息矩阵a和矩阵b，并使用a和b对2个特征图和/>进行加权操作，求和后得到最终尺寸大小为W×H的输出特征图V。
因此，本发明采用上述一种基于多尺度双通道的鱼群计数方法，解决了鱼体极度拥挤、成群出现、相互遮挡严重的问题，能够生成高质量的鱼群密度图，且密度估计的误差较小，够很好地对鱼体多尺度特征进行学习，从而降低计数误差提升模型的性能。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (6)

1.一种基于多尺度双通道的鱼群计数方法，其特征在于：包括整体网络模型和DM-Count损失函数，所述整体网络模型包括残差网络、特征融合模块和注意力模块；所述残差网络包括ResNet50依次连接的四个阶段，四个所述阶段分别为Conv1、Conv2_x、Conv3_x、Conv4_x，所述Conv4_x的输出特征图传入所述特征融合模块和所述注意力模块；
DM-Count损失函数包含计数损失、OT损失和总变量TV损失，计数损失测量总体密度图之间的差异，OT损失和总变量TV损失测量归一化密度函数分布之间的差异，采用DM-Count损失函数对鱼体进行计数，
DM-Count损失函数表示为：
，
其中和/>是OT和TV损耗的可调超参数，/>表示计数损失、/>表示OT损失，/>表示总变量TV损失，/>代表网络预测得到的密度图，/>为标签密度图；
；
；
其中，为预测的鱼群数量，/>为鱼群的真实数量，/>为L1范数；
；
其中，是Monge-Kantorovich最优传输成本，/>与/>是公式（2）的解；
（2）
其中，，/>为两个d维向量空间的点集，/>，/>为定义在/>和/>上的概率测试密度，/>，其中/>，/>是一个n维全为1向量，/>是从点/>移动到点/>的成本函数。
2.根据权利要求1所述的一种基于多尺度双通道的鱼群计数方法，其特征在于：所述Conv1部分输入为H×W，包含1个为7×7的卷积核和步长为2的卷积层，输出尺寸为H×W；
所述Conv2_x部分输入为H×W，包含三个残差块与一个池化层，每个残差块里有三个卷积层，三个卷积核大小依次为1×1、3×3、1×1，每个卷积层后为批归一化以及Relu激活函数，池化层为2×2大小，输出尺寸为H/2×W/2；
Conv3_x部分输入为H/2×W/2，包含依次连接的四个残差块与一个池化层，输出尺寸为H/4×W/4；
Conv4_x部分输入为H/4×W/4，包含依次连接的六个残差块与一个池化层，输出尺寸为H/8×W/8。
3.根据权利要求2所述的一种基于多尺度双通道的鱼群计数方法，其特征在于：所述特征融合模块和注意力模块相互并联，
所述特征融合模块得到特征图M1的步骤为：
S1：所述特征融合模块的输入H*W为ResNet50网络Conv4_x的输出，输入尺寸为H/8×W/8；
S2：对Conv4_x的特征图进行2倍的上采样，将Conv4_x与Conv3_x特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/4×W/4；
S3：将卷积后的特征图进行2倍的上采样，将上采样后的特征图与Conv2_x特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/2×W/2；
S4：将卷积后的特征图进行2倍的上采样，将上采样后的特征图与Conv1_x特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，得到尺寸为H×W的特征图M1；
将元素倍数应用于注意力机制图和特征图M1以生成细化密度特征图/>，如公式（1）所示，
（1）
其中，为特征图，/>为注意力机制图，/>表示逐元素乘法。
4.根据权利要求3所述的一种基于多尺度双通道的鱼群计数方法，其特征在于：注意力模块获得特征图M2的步骤为：
S21：注意力模块的输入为ResNet50网络Conv4_x的输出，输入尺寸为H/8×W/8；
S22：对Conv4_x的特征图进行2倍的上采样，对Conv3_x的特征图放入SKNet模块中得到特征图M2-1；
S23：将Conv4_x与特征图M2-1特征图连接，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/4×W/4；
S24：将卷积后的特征图进行2倍的上采样，对Conv2_x的特征图放入SKNet模块中得到特征图M2-2；
S25：上采样后的特征图与特征图M2-2连接在一起，对连接后特征图进行两次卷积核3×3为卷积操作，输出尺寸为H/2×W/2；
S26：将卷积后的特征图进行2倍的上采样，把Conv1_x的特征图放入SKNet模块中得到特征图M2-3，
S27：将上采样后的特征图与特征图M2-3连接在一起，对连接后特征图进行两次卷积核3×3为卷积操作，得到尺寸为H×W的特征图M2；
S28：将注意力模块获得特征图M2通过1×1卷积以及Sigmoid操作得到注意力机制图为：/>；
式中，/>为1×1×1卷积层权值和偏差，/>为卷积运算，Sigmoid为Sigmoid激活函数，Sigmoid激活函数给出(0,1)概率分数。
5.根据权利要求4所述的一种基于多尺度双通道的鱼群计数方法，其特征在于：SKNet由若干SK卷积单元堆叠而成，SK卷积操作包括Split操作、Fuse操作和Select操作。
6.根据权利要求5所述的一种基于多尺度双通道的鱼群计数方法，其特征在于：
Split操作：分别通过3×3和5×5大小的SK卷积核对C×W×H的特征图进行分组卷积操作和空洞卷积，输出和/>；
Fuse操作：2个特征图进行element-wise summation融合后先通过全局平均池化生成C×1×1的特征向量S，C为通道数，特征向量S经过先降维再升维的两全连接层后形成d×1×1的向量Z；
Select操作：将向量Z通过2个Softmax函数回归出通道之间的权重信息矩阵a和矩阵b，并使用a和b对2个特征图和/>进行加权操作，求和后得到最终尺寸大小为W×H的输出特征图V。
CN202310849404.7A 2023-07-11 2023-07-11 一种基于多尺度双通道的鱼群计数方法 Active CN116883360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310849404.7A CN116883360B (zh) 2023-07-11 2023-07-11 一种基于多尺度双通道的鱼群计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310849404.7A CN116883360B (zh) 2023-07-11 2023-07-11 一种基于多尺度双通道的鱼群计数方法

Publications (2)

Publication Number Publication Date
CN116883360A CN116883360A (zh) 2023-10-13
CN116883360B true CN116883360B (zh) 2024-01-26

Family

ID=88269263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310849404.7A Active CN116883360B (zh) 2023-07-11 2023-07-11 一种基于多尺度双通道的鱼群计数方法

Country Status (1)

Country Link
CN (1) CN116883360B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409368A (zh) * 2023-10-31 2024-01-16 大连海洋大学 基于密度分布的鱼群聚集行为和鱼群饥饿行为实时分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597985A (zh) * 2021-03-04 2021-04-02 成都西交智汇大数据科技有限公司 一种基于多尺度特征融合的人群计数方法
CN113807334A (zh) * 2021-11-22 2021-12-17 成都航空职业技术学院 一种基于残差网络的多尺度特征融合的人群密度估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597985A (zh) * 2021-03-04 2021-04-02 成都西交智汇大数据科技有限公司 一种基于多尺度特征融合的人群计数方法
CN113807334A (zh) * 2021-11-22 2021-12-17 成都航空职业技术学院 一种基于残差网络的多尺度特征融合的人群密度估计方法
GB202217424D0 (en) * 2021-11-22 2023-01-04 Aeronautic Polytechnic Method of crowd density estimation based on multi-scale feature fusion of residual network

Also Published As

Publication number Publication date
CN116883360A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
DeChant et al. Automated identification of northern leaf blight-infected maize plants from field imagery using deep learning
Moniruzzaman et al. Deep learning on underwater marine object detection: A survey
Chen et al. Underwater image enhancement based on deep learning and image formation model
Wang et al. Real-time underwater onboard vision sensing system for robotic gripping
Anami et al. Identification and classification of normal and affected agriculture/horticulture produce based on combined color and texture feature extraction
CN116883360B (zh) 一种基于多尺度双通道的鱼群计数方法
CN114782982A (zh) 一种基于深度学习的海洋生物智能检测方法
Han et al. Research on multiple jellyfish classification and detection based on deep learning
Zhang et al. Identification of tomato leaf diseases based on multi-channel automatic orientation recurrent attention network
Li et al. Application of Semi-supervised Learning in Image Classification: Research on Fusion of Labeled and Unlabeled Data
Rappazzo et al. EeLISA: Combating global warming through the rapid analysis of eelgrass wasting disease
Agarwal et al. Deep Learning Approaches for Plant Disease Detection: A Comparative Review
Pramudhita et al. Strawberry Plant Diseases Classification Using CNN Based on MobileNetV3-Large and EfficientNet-B0 Architecture
Wang et al. Biological characters identification for hard clam larva based on the improved YOLOX-s
Cao et al. Learning-based low-illumination image enhancer for underwater live crab detection
Jovanović et al. Splash detection in fish Plants surveillance videos using deep learning
Chicchon et al. Semantic segmentation of fish and underwater environments using deep convolutional neural networks and learned active contours
Goutham et al. Brain tumor classification using Efficientnet-B0 model
Hao et al. Rare animal image recognition based on convolutional neural networks
Peña et al. Tracking hammerhead sharks with deep learning
Wu et al. YOLO for Penguin Detection and Counting Based on Remote Sensing Images
Boukabouya et al. Vision Transformer Based Models for Plant Disease Detection and Diagnosis
CN115170942A (zh) 一种声音与视觉多级融合的鱼类行为识别方法
Poleshchenko et al. On the Segmentation of Sunflower Plants in UAV Photos
Anupriya et al. Image Based Plant Disease Detection Model Using Convolution Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant