CN112949826A - 一种用于海洋生物密度估计的多分支注意力网络系统 - Google Patents
一种用于海洋生物密度估计的多分支注意力网络系统 Download PDFInfo
- Publication number
- CN112949826A CN112949826A CN202110211081.XA CN202110211081A CN112949826A CN 112949826 A CN112949826 A CN 112949826A CN 202110211081 A CN202110211081 A CN 202110211081A CN 112949826 A CN112949826 A CN 112949826A
- Authority
- CN
- China
- Prior art keywords
- branch
- decoder
- output
- network system
- marine organism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 241000237509 Patinopecten sp. Species 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000020637 scallop Nutrition 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种用于海洋生物密度估计的多分支注意力网络系统，包括编码器分支和解码器分支，解码器分支包括解码器分支A和解码器分支B；本发明提供了在训练时加速了模型系统的收敛速度，同时提升了生成密度图的准确性的一种用于海洋生物密度估计的多分支注意力网络系统。
Description
技术领域
本发明涉及水下鱼类的分布情况统计的技术领域，更具体的说，它涉及一 种用于海洋生物密度估计的多分支注意力网络系统。
背景技术
深海生物资源是海洋生态系统的重要组成部分，对海洋生态系统的形成、 维持和发展具有重要作用。对于深海生物的分布及多样性的研究，有助于推动 人类对生态系统的认知，对海洋生态系统的维护起到重要作用。然而由于深海 地区终年黑暗，阳光难以透入，盐度高，压力大，水温低而恒定，生物种类较 少；但是在有些生物密集地区，生物数量却十分繁多。因此只能通过现代化技 术来进行了解海洋生物密度的估计。
海洋生物密度估计一直是群居生物目标检测不可或缺的一部分，通过对以 往生物密度数据的分析，可以了解目标生物的群居习惯，繁殖规律以及生存环 境。在应用方面不仅可以指导水产养殖、捕捞等活动，在深海作业中，更有利 于海洋生物资源的保护以及海洋生态系统的可持续发展。如何能准确预估出海 洋生物密度成为额待解决的问题。
发明内容
本发明为解决上述问题，提供了在训练时加速了模型系统的收敛速度，同 时提升了生成密度图的准确性的一种用于海洋生物密度估计的多分支注意力网 络系统。
本发明的技术方案如下：
一种用于海洋生物密度估计的多分支注意力网络系统，包括编码器分支和 解码器分支，解码器分支包括解码器分支A和解码器分支B；
编码器分支是整个模型架构系统中的特征提取器，其采用选择删除全连接 层后的VGG16网络；编码器分支在训练过程中采用预训练的VGG16模型的前 13层的权重，通过使用VGG16网络中不同Block中不同的卷积层作为输入到 解码器部分的多分辨率特征映射；
解码器分支A，用来生成估计密度图；其首先使用最近邻插值对VGG16网 络中B5_C3的输出进行上采样，然后与B4_C3的输出特征进行拼接，拼接后的 特征采用1×1×256和3×3×256进行特征融合，融合后的输出通过上采样操 作后，再与编码网络中B3_C3的输出拼接；拼接后采用相同的1×1和3×3的 卷积和上采样操作后，继续与B2_C2拼接融合，形成特征融合密度图；
解码器分支B用于构造辅助输入，收敛并指导生成密度图；解码器分支B 与解码器分支A在网络解码部分具有相似的结构，其区别在于，在解码器分支 B中的每个3×3的卷积后面，加入了非局部建模单元Non-local；非局部建模单 元Non-local定义如下：
其中，x为输入信号，y为输出信息，i表示输出位置的索引；f(xi,xj)是用 来计算xi和所有xj之间相关性，其值越小越表明xj对xi的影响越小；g(xj)相当于 一个映射函数，用于计算输入信号x在j位置的表示，C(x)则代表归一化因子。
进一步的，VGG16网络中B2_C2、B3_C3、B4_C3的特征映射作为解码 器分支的输入。
进一步的，C(x)的具体定义公式如下：
其中，f(xi,xj)采用嵌入式高斯函数表示，θ(xi)＝Wθxi，
W表示1×1的卷积运算式。
进一步的，在解码器分支B的末尾单独添加Sigmoid激活函数。
进一步的，g(xj)的具体定义公式如下：
g(xj)＝Wgxj 公式(3)
其中，Wg是训练阶段学习到的权重矩阵。
本发明相比现有技术优点在于：
本发明采用类U-Net的结构，采用编解码结构以端到端的方式为海底密集 生物计数提供了一个多分支网络架构。在基于VGG16网络的编解码结构中，添 加了非局部单元Non-local软注意力机制，设计了双解码分支网络。由于双解码 分支在结构上极大的相似性，使本方案的网络系统在训练时加速了模型的收敛 速度，同时提升了生成密度图的准确性。
附图说明
图1为本发明的GAU-Net整体结构图；
图2为本发明的解码器分支A参数结构图；
图3为本发明的解码器分支B参数结构图；
图4为本发明的Non-local结构图；
图5为本发明的不同算法实验结果对比。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1至图5所示，一种用于海洋生物密度估计的多分支注意力网络系统， 包括编码器分支和解码器分支，解码器分支包括解码器分支A和解码器分支B。 本方案在U-Net网络的编码器和解码器中间添加了第三个带有非局部注意力机 制的解码器分支B，指导解码器生成1/2原图大小的高质量高分辨率的密度图， 从而回归得到精确的计数结果。即本方案采用的最终的网络系统，名为GAU-Net (Guide Attention U-Net)网络结构，其具体框架结构如图1所示。
编码器分支可提取多尺度特征图，是整个模型架构系统中的特征提取器， 其采用选择删除全连接层后的VGG16网络，替换U-Net原始的编码的网络。编 码器分支在训练过程中采用预训练的VGG16模型的前13层的权重，通过使用 VGG16网络中不同Block中不同的卷积层作为输入到解码器部分的多分辨率特 征映射。VGG16网络中B2_C2、B3_C3、B4_C3的特征映射作为解码器分支 的输入，和原始的U-Net网络结构相比，这些不同抽象层次的输入更有助于表 示多尺度特征。
解码器分支A，用来生成估计密度图。其首先使用最近邻插值对VGG16网 络中B5_C3的输出进行上采样，然后与B4_C3的输出特征进行拼接，拼接后的 特征采用1×1×256和3×3×256进行特征融合，融合后的输出通过上采样操 作后，再与编码网络中B3_C3的输出拼接。拼接后采用相同的1×1和3×3的 卷积和上采样操作后，继续与B2_C2拼接融合，形成特征融合密度图。即最终 经过3次相似的解码操作后，最终输出通道数为32，长宽为原始输出1/2的特 征融合密度图。其中，解码器分支A的3个类似解码块的网络参数如图2所示。
解码器分支B用于构造辅助输入，收敛并指导生成密度图。解码器分支B 与解码器分支A在网络解码部分具有相似的结构，其区别在于，在解码器分支 B中的每个3×3的卷积后面，加入了非局部建模单元Non-local，具体参数结构 如图3所示。解码器分支B起到辅助构造与原始标签相似度更高的密度图，并 以此实现更精确的数量估计。如图4所示时非局部建模单元Non-local结构图， 其具体定义如下：
其中，x为输入信号，y为输出信息，i表示输出位置的索引。f(xi，xj)是用 来计算xi和所有xj之间相关性，其值越小越表明xj对xi的影响越小。g(xj)相当于 一个映射函数，用于计算输入信号x在j位置的表示，C(x)则代表归一化因子。 将最终的响应值进行归一化表示，C(x)的具体定义公式如下：
其中，f(xi，xj)采用嵌入式高斯函数表示，θ(xi)＝Wθxi，
W表示1×1的卷积运算式。
g(xj)的具体定义公式如下：
g(xj)＝Wgxj 公式(3)
其中，Wg是训练阶段学习到的权重矩阵。
Non-local可以在一定程度上捕获像素点间的长距离关系，因此可以通过这 种方法捕获密度图中不同像素点之间的相关性，指导解码器分支A生成高质量 的密度图。
作为优选，可以在解码器分支B的末尾单独添加Sigmoid激活函数，来增 强特征图。
综上，本方案中Non-local单元用来提升网络的特征提取敏感度，通过与提 取不同像素点之间的依赖关系，强化密度图的生成。采用双解码器分支结构， 其中解码器分支A结构与解码器分支B的不同之处是，在解码器分支B末尾还 可以单独添加了Sigmoid激活函数，生成增强特征图。最终由解码器分支B生 成的增强特征图与解码器分支A生成的融合特征图按元素对应相乘后，通过1 ×1的卷积生成最终的分布密度图。
实验与多个较常规的模型进行了对比试验，在HabCam数据集上的结果如 下表1所示：
| Method | MAE | RMSE |
| MCNN | 23.4 | 39.3 |
| U-Net | 14.3 | 23.7 |
| CSRNet | 11.7 | 21.8 |
| SANet | 8.72 | 13.94 |
| Ours | 5.74 | 9.28 |
相较于多列回归网络MCNN和空洞卷积模型CSRNet，本方案模型在MAE 和RMSE的表现上都有明显的优势，由于MCNN模型更关注于目标本事的多尺 度变化问题，但是本文数据集多表现为密集的小目标，且尺度变化不大，由于 针对目标不一致，因此原因表现欠佳。较目前最优模型的密度计数模型SANet， 仍然在MAE和RMSE上分别提高了2.98和4.66，由此可见本方案所提出模型 对生物密度估计研究具有较高的价值。
如图5所示，展示了不同方法生成的估计密度图在HabCam数据集上的可 视化。第一列显示了不同密度规模的海底密集扇贝区的测试图像，第二列展示 了真实标签密度图，第三列、第四列、第五列分别展示了U-Net、SANet、以及 本方案预测的密度图。如图5所示，与其他两种算法预测的密度图相比，本方 案提出的模型预测的密度图与标签密度图具有更高的相似性，并且最终的回归 数值也更接近真实值。
在HabCam海洋栖底生物数据集上平均绝对误差(Mean Absolute Error， MAE)和均方根误差(Root Mean Squared Error,RMSE)分别为5.74和9.28。 实验表明，本方案更适合用于对海底密集小生物的密度估计工作，对海底生物 物种构成和丰度研究具有较高价值。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通 技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些 改进和润饰也应视为本发明保护范围内。
Claims (5)
1.一种用于海洋生物密度估计的多分支注意力网络系统，其特征在于，包括编码器分支和解码器分支，解码器分支包括解码器分支A和解码器分支B；
编码器分支是整个模型架构系统中的特征提取器，其采用选择删除全连接层后的VGG16网络；编码器分支在训练过程中采用预训练的VGG16模型的前13层的权重，通过使用VGG16网络中不同Block中不同的卷积层作为输入到解码器部分的多分辨率特征映射；
解码器分支A，用来生成估计密度图；其首先使用最近邻插值对VGG16网络中B5_C3的输出进行上采样，然后与B4_C3的输出特征进行拼接，拼接后的特征采用1×1×256和3×3×256进行特征融合，融合后的输出通过上采样操作后，再与编码网络中B3_C3的输出拼接；拼接后采用相同的1×1和3×3的卷积和上采样操作后，继续与B2_C2拼接融合，形成特征融合密度图；
解码器分支B用于构造辅助输入，收敛并指导生成密度图；解码器分支B与解码器分支A在网络解码部分具有相似的结构，其区别在于，在解码器分支B中的每个3×3的卷积后面，加入了非局部建模单元Non-local；非局部建模单元Non-local定义如下：
其中，x为输入信号，y为输出信息，i表示输出位置的索引。
2.根据权利要求1所述的一种用于海洋生物密度估计的多分支注意力网络系统，其特征在于：VGG16网络中B2_C2、B3_C3、B4_C3的特征映射作为解码器分支的输入。
3.根据权利要求1所述的一种用于海洋生物密度估计的多分支注意力网络系统，其特征在于：C(x)的具体定义公式如下：
其中，f(xi,xj)采用嵌入式高斯函数表示。
4.根据权利要求1所述的一种用于海洋生物密度估计的多分支注意力网络系统，其特征在于：在解码器分支B的末尾单独添加Sigmoid激活函数。
5.根据权利要求1所述的一种用于海洋生物密度估计的多分支注意力网络系统，其特征在于：g(xj)的具体定义公式如下：
g(xj)＝Wgxj 公式(3)
其中，Wg是训练阶段学习到的权重矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110211081.XA CN112949826B (zh) | 2021-02-25 | 2021-02-25 | 一种用于海洋生物密度估计的多分支注意力网络系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110211081.XA CN112949826B (zh) | 2021-02-25 | 2021-02-25 | 一种用于海洋生物密度估计的多分支注意力网络系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112949826A true CN112949826A (zh) | 2021-06-11 |
| CN112949826B CN112949826B (zh) | 2023-07-21 |
Family
ID=76246167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110211081.XA Active CN112949826B (zh) | 2021-02-25 | 2021-02-25 | 一种用于海洋生物密度估计的多分支注意力网络系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949826B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190236148A1 (en) * | 2018-02-01 | 2019-08-01 | Jungle Disk, L.L.C. | Generative text using a personality model |
| CN111832414A (zh) * | 2020-06-09 | 2020-10-27 | 天津大学 | 一种基于图正则光流注意力网络的动物计数方法 |
| CN111860162A (zh) * | 2020-06-17 | 2020-10-30 | 上海交通大学 | 一种视频人群计数系统及方法 |
| CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
-
2021
- 2021-02-25 CN CN202110211081.XA patent/CN112949826B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190236148A1 (en) * | 2018-02-01 | 2019-08-01 | Jungle Disk, L.L.C. | Generative text using a personality model |
| CN111832414A (zh) * | 2020-06-09 | 2020-10-27 | 天津大学 | 一种基于图正则光流注意力网络的动物计数方法 |
| CN111860162A (zh) * | 2020-06-17 | 2020-10-30 | 上海交通大学 | 一种视频人群计数系统及方法 |
| CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHENGDONG DU, ET AL: "Multivariate time series forecasting via attention-based encoded-decoded framework", 《NEUROCOMPUTING》, pages 269 - 279 * |
| 吴晓燕: "基于深度学习的非局部注意力增强网络图像去雨算法研究", 《计算机工程与设计》, pages 1899 - 1908 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112949826B (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086773B (zh) | 基于全卷积神经网络的断层面识别方法 | |
| CN111724478B (zh) | 一种基于深度学习的点云上采样方法 | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN112541572B (zh) | 基于卷积编码器-解码器网络的剩余油分布预测方法 | |
| CN113780149A (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
| CN111144483A (zh) | 一种图像特征点过滤方法以及终端 | |
| CN105787501A (zh) | 输电线路走廊区域自动选择特征的植被分类方法 | |
| CN109461177B (zh) | 一种基于神经网络的单目图像深度预测方法 | |
| CN112561876A (zh) | 基于图像的池塘和水库的水质检测方法及系统 | |
| WO2023202474A1 (zh) | 一种海水水质三维时空序列多参数精准预测方法及系统 | |
| CN116822382B (zh) | 基于时空多重特性图卷积的海表面温度预测方法及网络 | |
| CN116721221B (zh) | 基于多模态的三维内容生成方法、装置、设备及存储介质 | |
| CN114419464A (zh) | 一种基于深度学习的孪生网络变化检测模型 | |
| CN115984339A (zh) | 基于几何特征精炼与对抗生成网络的双管道点云补全方法 | |
| CN114998373A (zh) | 基于多尺度损失函数的改进型U-Net云图分割方法 | |
| CN114283315A (zh) | 一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法 | |
| CN112257810A (zh) | 一种基于改进FasterR-CNN的海底生物目标检测方法 | |
| CN114937154B (zh) | 一种基于递归解码器的显著性检测方法 | |
| CN112949826B (zh) | 一种用于海洋生物密度估计的多分支注意力网络系统 | |
| CN115393735A (zh) | 基于改进U-Net的遥感影像建筑物提取方法 | |
| CN113313668B (zh) | 一种地铁隧道表面病害特征提取方法 | |
| CN113096176B (zh) | 一种语义分割辅助的双目视觉无监督深度估计方法 | |
| CN115236606A (zh) | 雷达信号特征提取方法和复数域卷积网络架构 | |
| CN115147727A (zh) | 一种遥感影像不透水面提取方法及系统 | |
| CN114463614A (zh) | 使用生成式参数的层次性显著建模的显著性目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |