CN117636341B - 一种多帧海藻显微图像增强识别方法及其模型搭建方法 - Google Patents
一种多帧海藻显微图像增强识别方法及其模型搭建方法 Download PDFInfo
- Publication number
- CN117636341B CN117636341B CN202410107225.0A CN202410107225A CN117636341B CN 117636341 B CN117636341 B CN 117636341B CN 202410107225 A CN202410107225 A CN 202410107225A CN 117636341 B CN117636341 B CN 117636341B
- Authority
- CN
- China
- Prior art keywords
- layer
- seaweed
- attention
- self
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241001474374 Blennius Species 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000007246 mechanism Effects 0.000 claims abstract description 62
- 230000001965 increasing effect Effects 0.000 claims abstract description 16
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000013461 design Methods 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000012535 impurity Substances 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 14
- 238000012935 Averaging Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract description 3
- 239000000049 pigment Substances 0.000 abstract description 2
- 241000195493 Cryptophyta Species 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000007667 floating Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 241000206761 Bacillariophyta Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004811 liquid chromatography Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 239000003068 molecular probe Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种多帧海藻显微图像增强识别方法及其模型搭建方法，属于水下图像增强识别技术领域，改进得到了一种端到端的动态权重高低频注意力DHLF former模型，DHLF former模型采取特征金字塔特征设计，添加了一个动态距离参数进行自适应学习，增加对于近距离信息的关注，能够更高效提取到海藻图像形态的关键信息；由于海藻本身的一些纹理信息及色素等对于藻类识别和鉴定也有重要的意义，添加高低频注意力机制，在减少模型参数量和计算量的同时，侧重关注海藻的高频信息，提高识别的准确率。同时，需要多帧海藻显微图像进行数据增强，利用帧间增强和时间增强，通过平均和融合技术，达到减少噪声和提高图像质量的目的。
Description
技术领域
本发明属于水下图像增强识别技术领域，尤其涉及一种多帧海藻显微图像增强识别方法及其模型搭建方法。
背景技术
海藻的提取观察和智能识别技术是人类认识、开发及保护海洋的重要手段，海洋藻类生物的监测有助于准确、及时、全面地反映海洋环境质量现状及发展趋势，为海洋环境管理、污染源控制和海洋环境规划等提供科学依据。海洋浮游植物的种类的定性识别、鉴定是海洋浮游生物研究与赤潮监测中最为关键的科学问题。
目前海藻的分类方法主要有以下三种：基于浮游植物特征性化学组成成分或DNA等遗传物质进行分类，如分光光谱法、荧光光谱法、液相色谱法、流式细胞仪法和分子探针技术等。基于藻细胞外部生物形态和信息技术相结合的图像法，利用计算机图像处理技术、模式识别技术的浮游植物图像自动识别技术，成为一种高效实用的方法。基于傅里叶频谱特征得到特征向量，利用BP神经网络对圆形硅藻进行自动分类；利用图像处理技术和多重感知机前馈人工神经网络实现了四种蓝藻的自动识别。
尽管目前存在多种分类的识别的方法，采用人工鉴定的方法，虽然准确率较高，但是鉴定的周期较长。目前一些基于深度学习的方法，虽然取得了吸引人的性能，但是由于海藻形态体积大小不一，且在拍摄海藻图像的过程中，藻类会出现游动现象就会导致在拍摄海藻图像像过程中难以聚焦，对于海藻的识别和检测造成了很大影响。
对于一般显微镜拍摄的图像，受限于抖动以及藻类自身不断游动的影响，使得单帧海藻显微图像会产生模糊和拍摄的藻类信息不充分，会使得多帧图像产生偏移，进而产生运动模糊或者重影，这需要多帧的海藻显微图像进行数据增强。就是说仅仅只凭一张海藻显微图像，利用空间上的信息难以对海藻类别进行确定，在一定程度上就无法满足人类的实际需求，影响到对海洋的监测利用和开发。
发明内容
针对上述问题，本发明第一方面提供了一种多帧海藻显微图像增强识别模型的搭建方法，包括以下步骤：
步骤1，获取原始图像及其分割图像，所述原始图像及其分割图像由显微镜直接连续拍摄多帧景深不同的多维度海藻显微图像并手动分割；
步骤2，对步骤1中获取的原始图像进行预处理；构建训练集与测试集；
步骤3，基于Transformer网络结构，设计一种端到端的动态权重高低频注意力DHLF former模型；使用训练集对所设计的DHLF former模型进行训练；
所述DHLF former模型采取特征金字塔特征设计，将多维度海藻显微图像输入到模型中，由前期结构提取的浅层次信息到后期阶段提取到的高层次信息，融合不同尺度的空间域和时间域信息进行识别；前期阶段添加了一个动态距离参数进行自适应学习，增加对于近距离信息的关注；自注意力机制采用高低频注意力机制，在减少模型参数量和计算量的同时，侧重关注海藻的高频信息；
步骤4，使用测试集对训练后的动态权重高低频注意力DHLF former模型进行测试，选取识别率最佳的模型作为最终模型。
优选的，所述步骤3中搭建的动态权重高低频注意力DHLF former模型的整体结构为：主干的网络是基于Transformer，一共包含四个阶段，每个阶段都会缩小输入特征图的分辨率，像卷积神经网络一样逐层扩大感受野；前两个阶段中的每一个阶段包括若干个动态距离权重自注意力模块，自适应学习动态距离参数，增加对于近距离信息的关注；后两个阶段中的每一个阶段包括若干个高低频自注意力模块，在减少模型参数量同时扩大感受野更加关注海藻的高频细节信息；所述动态距离权重自注意力模块包括层归一化、全连接层、Transformer 编码器、动态距离权重、下采样层和GELU激活函数，所述高低频自注意力模块包括层归一化、全连接层、高低频Transformer 编码器、下采样层和GELU激活函数；最后将维度特征信息经过平均池化后再展平经过全连接层后得到分类结果。
优选的，所述步骤2中进行预处理的具体过程为：将海藻显微图像去掉一些明显的杂质背景干扰信息，将图像切割成高宽相等且海藻种类单一的图像，并将所有像素值归一化到[0，1]之间，便于后续模型的处理。
优选的，所述高低频Transformer 编码器包括平均池化层、全连接层和自注意力机制，自注意力机制的公式如下：
其中，Q、K和V分别是查询、键和值，表示K矩阵的转置，/>代表K矩阵维度的平方根；
多头自注意力机制就是将模型分为多个头，形成多个子空间，让模型去关注不同方面的信息；每个头都要做自注意力机制，再把每个头的输出合并起来。
优选的，所述高低频Transformer编码器中的低频注意力比例系数设置为α，则高频注意力比例系数就是1-α；所述α设置为0.9，相应的高频注意力的比例系数为0.1。
优选的，所述四个阶段中的第一个阶段包括两个动态权重注意力模块，每一个动态距离权重自注意力模块包括层归一化、动态距离权重自注意力机制、层归一化、多层感知机及下采样层；动态距离权重自注意力机制在多头自注意力机制的基础上乘以一个动态距离权重参数，然后再与最开始的输入做残差连接；之后再经过一个层归一化，紧接经过一个多层感知机，该多层感知机包括全连接层、GELU激活函数、三维深度可分离卷积和全连接层；之后再与输入到第二个层归一化之前的输入做残差连接，最终得到输出；整个模块的输入输出维度是相同的；这样的动态权重注意力模块循环两次，之后再经过一个下采样层；保证高宽减小为原来的一半，通道增加为原来的2倍；
所述四个阶段中的第二个阶段仍然包括两个动态距离权重自注意力模块，所述动态距离权重自注意力机制模块等同于第一个阶段结构，区别在于多层感知机需要适应性调整结构；之后再经过一个下采样层；保证高宽减小为原来的一半，通道增加为原来的2倍；
所述四个阶段中的第三个阶段包含六个高低频自注意力模块，每一个高低频自注意力模块包括层归一化、高低频的自注意力机制、层归一化、多层感知机及下采样层；所述高低频自注意力机制包括高频注意力机制和低频注意力机制，首先高频注意力比例系数乘以总通道数取整后得到的通道数在小窗口做多头自注意力机制，低频注意力机制则是剩余的通道数通过三维平均池化层，在池化后的基础上得到自注意力机制中的K和V ，自注意力机制中的Q仍然来自于未经池化层的输入，之后做多头自注意力机制，然后再与最开始的输入做残差连接；之后再经过一个层归一化，在紧接经过一个多层感知机，该多层感知机包括、全连接层、GELU激活函数、三维深度可分离卷积、全连接层；之后再与输入到第二个层归一化之前的输入做残差连接，最终得到输出，整个模块的输入输出维度是相同的，这样的动态权重注意力模块循环两次，之后再经过一个下采样层；保证高宽减小为原来的一半，通道增加为原来的2倍；
所述四个阶段中的第四个阶段，包含两个高低频自注意力机制模块；这里的高低频自注意力机制模块等同于第三个阶段，整个模块的输入输出维度是相同的；区别在于，多层感知机需要适应性调整结构；
最后再经过一个层归一化和三维自适应平均池化层，展平后送入到全连接层中。
本发明第二方面还提供了一种多帧海藻显微图像增强识别方法，包括以下过程：
S1，获取多帧连续拍摄的景深不同的多维度海藻显微图像；
S2，将多维度显微海藻图像输入到如第一方面所述的搭建方法所搭建的多帧海藻显微图像增强识别模型中；
S3，输出识别后的分类结果。
本发明第三方面还提供了一种多帧海藻显微图像增强识别设备，所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有如第一方面所述的搭建方法所搭建的多帧海藻显微图像增强识别模型的计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，可以使处理器执行一种多帧海藻显微图像增强识别方法。
本发明第四方面还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有如第一方面所述的搭建方法所搭建的多帧海藻显微图像增强识别模型的计算机执行程序，所述计算机执行程序被处理器执行时，可以使处理器执行一种多帧海藻显微图像增强识别方法。
与现有技术相比，本发明具有如下有益效果：
本发明是基于Transformer的方法，由于海藻种类繁多，它们在形态上确实具有某种相似性，通过一张海藻显微图像来精确识别种类通常是不够的，这需要多帧的海藻显微图像进行数据增强，利用帧间增强和时间增强，通过平均和融合技术，模拟运动模糊、变化的光照条件，充分利用时间序列数据，达到减少噪声和提高图像质量的目的。从而得到多维度的海藻显微图像，增强藻类识别的准确率。将多帧连续拍摄的景深不同的多维度海藻显微图像联合处理，结合空间域的信息和时间域的信息进行识别，提出使用动态权重高低频注意力网络模型进行海藻多维度的分类实现过程，相比较于目前效果最好的分类模型，本发明取得了更好的识别效果和准确率。同时本发明采用了自主设计的动态权重模型进行特征提取，相比较于最新的分类网络模型更能够充分的利用侧重图像远近距离的相似度进行特征提取并保留了特征的细节信息，更加侧重了远近信息的动态交互；同时采用高低频注意力模块，在减少计算量的同时能够关注到海藻图像的高频细节信息，从而大大提高了识别的准确率。实验结果证明，本发明提出的动态权重高低频注意力网络模型更好的提取到海藻形态的关键信息从而提高识别的准确率。
附图说明
图1为实施例1中原始的海藻图片。
图2为实施例1中预处理后的海藻图片。
图3为本发明提出的多帧海藻显微图像增强识别模型的整体结构示意图。
图4为嵌入层结构图。
图5为动态距离权重自注意力模块示意图。
图6为动态距离权重自注意力机制示意图。
图7为下采样层示意图。
图8为高低频自注意力模块结构图。
图9为高低频自注意力机制示意图。
图10为多头自注意力机制示意图。
图11为多层感知机示意图。
图12为实施例2中多维度海藻识别设备结构简图。
具体实施方式
下面结合具体实施例对发明进行进一步说明。
实施例1：
本发明对多帧的海藻显微图像进行数据增强，利用帧间增强和时间增强，通过平均和融合技术，模拟运动模糊、变化的光照条件，充分利用时间序列数据，达到减少噪声和提高图像质量的目的，得到多维度的海藻显微图像，增强藻类识别的准确率。提出了一种端到端的动态权重高低频注意力DHLF former模型。所述DHLF former模型采取特征金字塔特征设计，添加了一个动态距离参数进行自适应学习，增加对于近距离信息的关注，能够更高效地提取到海藻图像形态的关键信息；由于海藻本身的一些纹理信息及色素等对于藻类识别和鉴定也有十分重要的意义，添加高低频注意力机制，在减少模型参数量和计算量的同时，侧重关注海藻的高频信息，提高识别的准确率。DHLF former模型的搭建过程如下：
步骤1，获取原始图像及其分割图像，所述原始图像及其分割图像由显微镜直接连续拍摄多帧景深不同的多维度海藻显微图像并手动分割；
步骤2，对步骤1中获取的原始图像进行预处理；构建训练集与测试集；
步骤3，基于Transformer网络结构，设计一种端到端的动态权重高低频注意力DHLF former模型；使用训练集对所设计的DHLF former模型进行训练；
所述DHLF former模型采取特征金字塔特征设计，将多维度海藻显微图像输入到模型中，由前期结构提取的浅层次信息到后期阶段提取到的高层次信息，融合不同尺度的空间域和时间域信息进行识别；前期阶段添加了一个动态距离参数进行自适应学习，增加对于近距离信息的关注；自注意力机制采用高低频注意力机制，在减少模型参数量和计算量的同时，侧重关注海藻的高频信息；
步骤4，使用测试集对训练后的动态权重高低频注意力DHLF former模型进行测试，选取识别率最佳的模型作为最终模型。
本实施例在由显微镜连续拍摄的多帧景深不同的多维度海藻显微图像上自制的数据集进行实验。
1.获取原始数据
由显微镜直接连续拍摄得到多帧景深不同的多维度海藻显微图像，如图1所示。对于一般显微镜拍摄的图像，受限于抖动以及藻类自身不断游动的影响，使得单帧海藻显微图像会产生模糊和拍摄的藻类信息不充分，会使得多帧图像产生偏移，进而产生运动模糊或者重影。为了完成对多帧图像的质量增强，通过对帧间相关信息的分析，以实现增强图像质量的目的。通过多帧图像合成多维度海藻显微图像，关注多帧海藻显微图像之间的信息交换，这样能够在最大程度降低图像质量退化，同时场景细节被保留和增强。
2.数据预处理
对获取的多维度海藻显微图像进行预处理，去掉一些明显的杂质背景干扰信息，最终将海藻显微图像切割成高宽相等且只有单一种类海藻的图像，如图2所示。并将所有像素值归一化到[0，1]之间，便于后续模型的处理。同时，对获取的原始图像进行多帧图像增强：确保多个图像帧对准是多帧图像增强的第一步。这可以通过计算图像之间的位移或变换关系，然后将它们对齐。将对齐后的图像帧进行融合，以增强图像的质量。融合过程可以降低噪声、提高对比度，并增加动态范围。如果图像中存在运动模糊，需要进行校正。这可以通过估计运动模糊的程度和方向，然后对图像进行去模糊处理。多帧图像增强可能引入一些噪声，特别是在低光照条件下。引入降噪算法，可以用来减少图像中的噪声。通过增强图像的细节，可以使图像更加清晰。这可以通过局部对比度增强、锐化滤波等技术来实现。多帧图像来自不同的传感器或不同的环境条件，因此可能存在颜色差异。颜色校正可以通过匹配颜色分布、颜色平衡等方法来调整图像的颜色。将经过对齐、融合、校正和增强的图像生成为最终输出。之后构建训练集与测试集。
3.模型搭建
本发明中，基于Transformer网络结构进行改进，搭建了一种动态权重高低频注意力DHLF former模型，如图3所示，一共包含4个阶段，每个阶段都会缩小输入特征图的分辨率。
首先将T帧C通道的高为H宽为W的彩色海藻图片输入到网络模型中，这里的C通常为3。之后通过一个嵌入层，如图4所示，该嵌入层包括一个卷积核大小为（2，4，4）、步长为（2，4，4）、填充为0、输入通道为3、输出通道为96的三维卷积以及一个层归一化，这样高宽减小为原来的1/4，通道增加为96。
第一个阶段包括两个动态权重注意力模块，每一个动态距离权重自注意力模块如图5所示，包括层归一化，动态距离权重自注意力机制，层归一化，多层感知机及下采样层。动态距离权重自注意力机制如图6所示，在多头自注意力机制（如图10所示）的基础上乘以一个动态距离权重参数，然后再与最开始的输入做残差连接。之后再经过一个层归一化，在紧接经过一个的多层感知机（如图11所示），该多层感知机包括一个输入是96、输出是384的全连接层，GELU激活函数，一个卷积核为（1，3，3）、步长为1、填充为（0，1，1）、输入通道是384、输出通道是384的三维深度可分离卷积，一个输入是384、输出是96的全连接层。之后再与输入到第二个层归一化之前的输入做残差连接，最终得到输出。整个模块的输入输出维度是相同的。这样的动态权重注意力模块循环两次，之后再经过一个下采样层。下采样层如图7所示，该下采样层包括一个卷积核是（1，2，2）、步长为（1，2，2）、输入通道为96、输出通道为192三维卷积和批归一化层及GELU激活函数，这样就保证高宽减小为原来的一半，通道增加为原来的2倍，至此第一个阶段结束。
第二个阶段仍然包括两个动态距离权重自注意力模块，这里的动态距离权重自注意力机制模块与第一个阶段大致相同，整个模块的输入输出维度是相同的。只不过这里的多层感知机包括该多层感知机包括一个输入是192、输出是768的全连接层，GELU激活函数，一个卷积核为（1，3，3）、步长为1、填充为（0，1，1）、输入通道是768、输出通道是768的三维深度可分离卷积，一个输入是768、输出是192的全连接层。之后再经过一个下采样层。该下采样层包括一个卷积核是（1，2，2）、步长为（1，2，2）、输入通道为192、输出通道为384三维卷积和批归一化层及GELU激活函数，这样就保证高宽减小为原来的一半，通道增加为原来的2倍，至此第二个阶段结束。
第三个阶段包含六个高低频自注意力模块，结构如图8所示，每一个高低频自注意力模块包括层归一化，高低频的自注意力机制（如图9所示），层归一化，多层感知机及下采样层。高低频自注意力机制包括高频注意力机制和低频注意力机制，首先则高频注意力参数0.1乘以368取整后得到的通道数在4×2×2的小窗口做多头自注意力机制，低频注意力机制则是剩余的通道数通过一个卷积核为2、步长为2的三维平均池化层，在池化后的基础上得到自注意力机制中的K、V ，自注意力机制中的Q仍然来自于未经池化层的输入，之后做多头自注意力机制，这样可以减少计算量，重点关注低频信息，然后再与最开始的输入做残差连接。之后再经过一个层归一化，在紧接经过一个的多层感知机，该多层感知机包括一个输入是384、输出是1536的全连接层，GELU激活函数，一个卷积核为（1，3，3）、步长为1、填充为（0，1，1）、输入通道是1536、输出通道是1536的三维深度可分离卷积，一个输入1536、输出是384的全连接层。之后再与输入到第二个层归一化之前的输入做残差连接，最终得到输出。整个模块的输入输出维度是相同的。这样的动态权重注意力模块循环两次，之后再经过一个下采样层。该下采样层包括一个卷积核是（1，2，2）、步长为（1，2，2）、输入通道为384、输出通道为768三维卷积和批归一化层及GELU激活函数，这样就保证高宽减小为原来的一半，通道增加为原来的2倍，至此第三个阶段结束。
第四个阶段，包含两个高低频自注意力机制模块。这里的高低频自注意力机制模块与第三个阶段大致相同，整个模块的输入输出维度是相同的。只不过这里的多层感知机包括该多层感知机包括一个输入是768、输出是3072的全连接层，GELU激活函数，一个卷积核为（1，3，3）、步长为1、填充为（0，1，1）、输入通道是3072、输出通道是3072的三维深度可分离卷积，一个输入是3072、输出是768的全连接层。至此第四个阶段结束。
最后再经过一个层归一化和尺寸为1三维自适应平均池化层，展平后送入到输入是768、输出是海藻种类数量的全连接层。
4.模型训练
本实施例中一种高效的多维度海藻显微图像分类方法的实现平台基于Linux操作系统，编程语言为Python3.9、深度学习框架是Pytorch1.13.1，CUDA版本为11.7.1。使用Adamw作为优化器，设置β1为0.9，β2为0.999，学习率为0.00001，系统在一个拥有24GB内存的 NVIDIA GeForce RTX 3090 GPU上训练了100轮，总训练时间大约需要1.5小时。所搭建的DHLF former模型在训练过程中采用交叉熵损失函数。
5.实验结果
本实施例中对比了本发明动态权重高低频注意力DHLF former模型，与最近分类效果很好的多维度图像分类模型，在显微镜拍摄的多维度海藻图像测试集上的分类效果。本发明还进行了消融实验对比本发明的动态权重注意力模块和高低频自注意力模块，验证本发明所提方案的有效性。本发明给出了采用了几种图像分类常用的评价指标分别参数量、浮点运算数和准确率，其中参数量和浮点运算数是数值越小表示在该项评价指标越好，准确率是数值越大表示在该项评价指标越好。
表1是该领域的多种方法在显微镜拍摄的多维度海藻图像测试集上的评分，相比于其他方法，本发明在参数量上远小于其他方法，浮点运算数次之，但是准确率是最高的。
表1多种方法在多维度海藻图像测试集上的评分
综上所述，与其他先进模型相比，本发明在测试集上均优于现有的多维度图像分类方法。
消融实验：
为了证明本发明细节特征提取模块各个部分的合理性，本实施例进行了消融实验比较，首先只添加动态权重注意力模块，在没有增加参数量和浮点运算数的基础上，准确率有所提升。其次验证只添加高低频自注意力模块，参数量和浮点运算数都下降，但是准确率反而提升，最后同时添加动态权重注意力模块和高低频自注意力模块，准确率达到最高。
表2消融实验结果
可以看出，上述每一个组成部分都对本发明的性能增益做出了贡献。
在不同的应用场景中，可以使用本发明中所搭建的多维度海藻显微图像分类模型进行多维度海藻显微图像分类和识别，具体过程如下：
获取多帧连续拍摄的景深不同的多维度海藻显微图像；
将多维度显微海藻图像输入到本实施例的方法所搭建的多维度图像分类模型中；
输出识别后的分类结果。
实施例2：
如图12所示，本发明同时提供了一种多帧海藻显微图像增强识别设备，设备包括至少一个处理器和至少一个存储器，同时还包括通信接口和内部总线；存储器中存储有计算机执行程序；存储器中存储有如实施例1所述的搭建方法所搭建的多帧海藻显微图像增强识别模型的计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，可以使处理器执行一种多帧海藻显微图像增强识别方法。其中内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(.XtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。其中存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
设备可以被提供为终端、服务器或其它形态的设备。
图12是为示例性示出的一种设备的框图。设备可以包括以下一个或多个组件：处理组件，存储器，电源组件，多媒体组件，音频组件，输入/输出(I/O)的接口，传感器组件，以及通信组件。处理组件通常控制电子设备的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件可以包括一个或多个处理器来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件可以包括一个或多个模块，便于处理组件和其他组件之间的交互。例如，处理组件可以包括多媒体模块，以方便多媒体组件和处理组件之间的交互。
存储器被配置为存储各种类型的数据以支持在电子设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件为电子设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。多媒体组件包括在所述电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件包括一个前置摄像头和/或后置摄像头。当电子设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。 I/O接口为处理组件和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，传感器组件可以检测到电子设备的打开/关闭状态，组件的相对定位，例如所述组件为电子设备的显示器和小键盘，传感器组件还可以检测电子设备或电子设备一个组件的位置改变，用户与电子设备接触的存在或不存在，电子设备方位或加速/减速和电子设备的温度变化。传感器组件可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
实施例3：
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有如实施例1所述搭建方法所搭建的多帧海藻显微图像增强识别模型的计算机执行程序，所述计算机执行程序被处理器执行时，可以使处理器执行一种多帧海藻显微图像增强识别方法。
具体地，可以提供配有可读存储介质的系统、装置或设备，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统、装置或设备的计算机或处理器读出并执行存储在该可读存储介质中的指令。在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘（如 CD-ROM、CD-R、CD-RW、DVD- 20 ROM、DVD-RAM、DVD-RW、DVD-RW）、磁带等。存储介质可以是通用或专用计算机能够存取的任何可用介质。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
应理解存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种多帧海藻显微图像增强识别模型的搭建方法，其特征在于，包括以下步骤：
步骤1，获取原始图像及其分割图像，所述原始图像及其分割图像由显微镜直接连续拍摄多帧景深不同的多维度海藻显微图像并手动分割；
步骤2，对步骤1中获取的原始图像进行预处理；构建训练集与测试集；
步骤3，基于Transformer网络结构，设计一种端到端的动态权重高低频注意力DHLFformer模型；使用训练集对所设计的DHLF former模型进行训练；
所述DHLF former模型采取特征金字塔特征设计，将多维度海藻显微图像输入到模型中，由前期结构提取的浅层次信息到后期阶段提取到的高层次信息，融合不同尺度的空间域和时间域信息进行识别；前期阶段添加了一个动态距离参数进行自适应学习，增加对于近距离信息的关注；自注意力机制采用高低频注意力机制，在减少模型参数量和计算量的同时，侧重关注海藻的高频信息；
DHLF former模型的整体结构为：主干的网络是基于Transformer，一共包含四个阶段，每个阶段都会缩小输入特征图的分辨率，像卷积神经网络一样逐层扩大感受野；前两个阶段中的每一个阶段包括若干个动态距离权重自注意力模块，自适应学习动态距离参数，增加对于近距离信息的关注；后两个阶段中的每一个阶段包括若干个高低频自注意力模块，在减少模型参数量同时扩大感受野更加关注海藻的高频细节信息；所述动态距离权重自注意力模块包括层归一化、全连接层、Transformer 编码器、动态距离权重、下采样层和GELU激活函数，所述高低频自注意力模块包括层归一化、全连接层、高低频Transformer 编码器、下采样层和GELU激活函数；最后将维度特征信息经过平均池化后再展平经过全连接层后得到分类结果；
所述四个阶段中的第一个阶段包括两个动态权重注意力模块，每一个动态距离权重自注意力模块包括层归一化、动态距离权重自注意力机制、层归一化、多层感知机及下采样层；动态距离权重自注意力机制在多头自注意力机制的基础上乘以一个动态距离权重参数，然后再与最开始的输入做残差连接；之后再经过一个层归一化，紧接经过一个多层感知机，该多层感知机包括全连接层、GELU激活函数、三维深度可分离卷积和全连接层；之后再与输入到第二个层归一化之前的输入做残差连接，最终得到输出；整个模块的输入输出维度是相同的；这样的动态权重注意力模块循环两次，之后再经过一个下采样层；保证高宽减小为原来的一半，通道增加为原来的2倍；
所述四个阶段中的第二个阶段仍然包括两个动态距离权重自注意力模块，所述动态距离权重自注意力机制模块等同于第一个阶段结构，区别在于多层感知机需要适应性调整结构；之后再经过一个下采样层；保证高宽减小为原来的一半，通道增加为原来的2倍；
所述四个阶段中的第三个阶段包含六个高低频自注意力模块，每一个高低频自注意力模块包括层归一化、高低频的自注意力机制、层归一化、多层感知机及下采样层；所述高低频自注意力机制包括高频注意力机制和低频注意力机制，首先高频注意力比例系数乘以总通道数取整后得到的通道数在小窗口做多头自注意力机制，低频注意力机制则是剩余的通道数通过三维平均池化层，在池化后的基础上得到自注意力机制中的K和V ，自注意力机制中的Q仍然来自于未经池化层的输入，之后做多头自注意力机制，然后再与最开始的输入做残差连接；之后再经过一个层归一化，在紧接经过一个多层感知机，该多层感知机包括全连接层、GELU激活函数、三维深度可分离卷积、全连接层；之后再与输入到第二个层归一化之前的输入做残差连接，最终得到输出，整个模块的输入输出维度是相同的，这样的动态权重注意力模块循环两次，之后再经过一个下采样层；保证高宽减小为原来的一半，通道增加为原来的2倍；
所述四个阶段中的第四个阶段，包含两个高低频自注意力机制模块；这里的高低频自注意力机制模块等同于第三个阶段，整个模块的输入输出维度是相同的；区别在于，多层感知机需要适应性调整结构；
最后再经过一个层归一化和三维自适应平均池化层，展平后送入到全连接层中；
步骤4，使用测试集对训练后的动态权重高低频注意力DHLF former模型进行测试，选取识别率最佳的模型作为最终模型。
2.如权利要求1所述的一种多帧海藻显微图像增强识别模型的搭建方法，其特征在于，所述步骤2中进行预处理的具体过程为：将海藻显微图像去掉一些明显的杂质背景干扰信息，将图像切割成高宽相等且海藻种类单一的图像，并将所有像素值归一化到[0，1]之间，便于后续模型的处理。
3.如权利要求1所述的一种多帧海藻显微图像增强识别模型的搭建方法，其特征在于，所述高低频Transformer 编码器包括平均池化层、全连接层和自注意力机制，自注意力机制的公式如下：
其中，Q、K和V分别是查询、键和值，表示K矩阵的转置，/>代表K矩阵维度的平方根；
多头自注意力机制就是将模型分为多个头，形成多个子空间，让模型去关注不同方面的信息；每个头都要做自注意力机制，再把每个头的输出合并起来。
4.如权利要求3所述的一种多帧海藻显微图像增强识别模型的搭建方法，其特征在于：所述高低频Transformer编码器中的低频注意力比例系数设置为α，则高频注意力比例系数就是1-α；所述α设置为0.9，相应的高频注意力的比例系数为0.1。
5.一种多帧海藻显微图像增强识别方法，其特征在于，包括以下过程：
S1，获取多帧连续拍摄的景深不同的多维度海藻显微图像；
S2，将多维度显微海藻图像输入到如权利要求1至4任意一项所述的搭建方法所搭建的多帧海藻显微图像增强识别模型中；
S3，输出识别后的分类结果。
6.一种多帧海藻显微图像增强识别设备，其特征在于：所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有如权利要求1至4任意一项所述的搭建方法所搭建的多帧海藻显微图像增强识别模型的计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，可以使处理器执行一种多帧海藻显微图像增强识别方法。
7.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有如权利要求1至4任意一项所述的搭建方法所搭建的多帧海藻显微图像增强识别模型的计算机执行程序，所述计算机执行程序被处理器执行时，可以使处理器执行一种多帧海藻显微图像增强识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107225.0A CN117636341B (zh) | 2024-01-26 | 2024-01-26 | 一种多帧海藻显微图像增强识别方法及其模型搭建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107225.0A CN117636341B (zh) | 2024-01-26 | 2024-01-26 | 一种多帧海藻显微图像增强识别方法及其模型搭建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117636341A CN117636341A (zh) | 2024-03-01 |
| CN117636341B true CN117636341B (zh) | 2024-04-26 |
Family
ID=90018414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410107225.0A Active CN117636341B (zh) | 2024-01-26 | 2024-01-26 | 一种多帧海藻显微图像增强识别方法及其模型搭建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117636341B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003248819A (ja) * | 2002-02-22 | 2003-09-05 | Toshiba Corp | 画像処理装置及び画像処理方法並びにプログラム及び記憶媒体 |
| CN114937201A (zh) * | 2022-07-04 | 2022-08-23 | 中国海洋大学三亚海洋研究院 | 一种海洋生物目标检测算法模型的搭建方法及识别方法 |
| CN114972976A (zh) * | 2022-07-29 | 2022-08-30 | 之江实验室 | 基于频域自注意力机制的夜间目标检测、训练方法及装置 |
| CN115578683A (zh) * | 2022-12-08 | 2023-01-06 | 中国海洋大学 | 一种动态手势识别模型的搭建方法及动态手势识别方法 |
| CN115880225A (zh) * | 2022-11-10 | 2023-03-31 | 北京工业大学 | 一种基于多尺度注意力机制的动态光照人脸图像质量增强方法 |
| CN115908442A (zh) * | 2023-01-06 | 2023-04-04 | 山东巍然智能科技有限公司 | 一种无人机海洋监测用图像全景分割方法及模型搭建方法 |
| CN116030519A (zh) * | 2022-12-30 | 2023-04-28 | 武汉工商学院 | 一种直播教学平台的学习注意力检测与评估方法 |
-
2024
- 2024-01-26 CN CN202410107225.0A patent/CN117636341B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003248819A (ja) * | 2002-02-22 | 2003-09-05 | Toshiba Corp | 画像処理装置及び画像処理方法並びにプログラム及び記憶媒体 |
| CN114937201A (zh) * | 2022-07-04 | 2022-08-23 | 中国海洋大学三亚海洋研究院 | 一种海洋生物目标检测算法模型的搭建方法及识别方法 |
| CN114972976A (zh) * | 2022-07-29 | 2022-08-30 | 之江实验室 | 基于频域自注意力机制的夜间目标检测、训练方法及装置 |
| CN115880225A (zh) * | 2022-11-10 | 2023-03-31 | 北京工业大学 | 一种基于多尺度注意力机制的动态光照人脸图像质量增强方法 |
| CN115578683A (zh) * | 2022-12-08 | 2023-01-06 | 中国海洋大学 | 一种动态手势识别模型的搭建方法及动态手势识别方法 |
| CN116030519A (zh) * | 2022-12-30 | 2023-04-28 | 武汉工商学院 | 一种直播教学平台的学习注意力检测与评估方法 |
| CN115908442A (zh) * | 2023-01-06 | 2023-04-04 | 山东巍然智能科技有限公司 | 一种无人机海洋监测用图像全景分割方法及模型搭建方法 |
Non-Patent Citations (3)
| Title |
|---|
| Cross-Channel_Dynamic_SpatialSpectral_Fusion_Transformer_for_Hyperspectral_Image_Classification;20231016;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20231016;全文 * |
| 基于Vision Transformer的图像检索方法研究;修丙楠;《中国优秀硕士学位论文全文数据库》;20240115;全文 * |
| 生成对抗网络扩充样本用于高光谱图像分类;刘雪峰;《电子测量技术》;20221231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117636341A (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276767A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN111738243B (zh) | 人脸图像的选择方法、装置、设备及存储介质 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN110675328A (zh) | 基于条件生成对抗网络的低照度图像增强方法及装置 | |
| CN108810413A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| WO2022133194A1 (en) | Deep perceptual image enhancement | |
| CN112614072B (zh) | 一种图像复原方法、装置、图像复原设备及存储介质 | |
| Moghimi et al. | Real-time underwater image resolution enhancement using super-resolution with deep convolutional neural networks | |
| CN116863286A (zh) | 一种双流目标检测方法及其模型搭建方法 | |
| Panetta et al. | Deep perceptual image enhancement network for exposure restoration | |
| CN111488940A (zh) | 一种基于深度卷积神经网络的航标图像智能分类方法 | |
| CN114375466A (zh) | 视频评分方法、装置、存储介质及电子设备 | |
| CN117636341B (zh) | 一种多帧海藻显微图像增强识别方法及其模型搭建方法 | |
| Soma et al. | An efficient and contrast-enhanced video de-hazing based on transmission estimation using HSL color model | |
| WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
| CN116109538A (zh) | 一种基于简单门单元特征提取的图像融合方法 | |
| CN115620054A (zh) | 一种缺陷分类方法、装置、电子设备及存储介质 | |
| CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 | |
| CN113888432A (zh) | 一种图像增强方法、装置和用于图像增强的装置 | |
| Li et al. | UStark: underwater image domain-adaptive tracker based on Stark | |
| CN117671473B (zh) | 基于注意力和多尺度特征融合的水下目标检测模型及方法 | |
| Qiu et al. | High dynamic range image compression based on the multi-peak S-shaped tone curve | |
| CN117690011B (zh) | 适用于嘈杂水下场景的目标检测方法及其模型搭建方法 | |
| CN112215868A (zh) | 基于生成对抗网络的去除手势图像背景的方法 | |
| Sang et al. | MoNET: no-reference image quality assessment based on a multi-depth output network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |