CN114663774B - 一种轻量级的显著性物体检测系统及方法 - Google Patents

一种轻量级的显著性物体检测系统及方法 Download PDF

Info

Publication number
CN114663774B
CN114663774B CN202210565928.9A CN202210565928A CN114663774B CN 114663774 B CN114663774 B CN 114663774B CN 202210565928 A CN202210565928 A CN 202210565928A CN 114663774 B CN114663774 B CN 114663774B
Authority
CN
China
Prior art keywords
module
sampling
extraction module
training
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210565928.9A
Other languages
English (en)
Other versions
CN114663774A (zh
Inventor
程乐超
田海滨
方超伟
张鼎文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210565928.9A priority Critical patent/CN114663774B/zh
Publication of CN114663774A publication Critical patent/CN114663774A/zh
Application granted granted Critical
Publication of CN114663774B publication Critical patent/CN114663774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轻量级的显著性物体检测系统及方法，用以解决对实时性要求较高或者计算资源有限的场景下的显著性物体检测问题。基于轻量级设计原则，该方法采用自主设计的主干网络和简单的特征融合方式以及上下文信息提取结构来构造低计算能力设备场景下的轻量级显著性物体检测模型。为提升模型的精度和鲁棒性，该方法提出适用于显著性物体检测的马赛克数据增广方式和周期性多尺度训练方法，采用知识蒸馏方式对主干网络在分类任务场景下进行预训练，用以提高模型的泛化能力。为了进一步压缩模型，本发明还采用模型剪枝算法和模型量化算法对所设计模型进行压缩，可以在原有模型精度没有损失的条件下提升推理速度。

Description

一种轻量级的显著性物体检测系统及方法
技术领域
本发明涉及显著性物体检测技术领域，尤其是涉及一种轻量级的显著性物体检测系统及方法。
背景技术
随着深度学习（Deep Learning）和卷积神经网络（Convolutional NeuralNetwork，CNN）的广泛应用，基于深度卷积神经网络的显著性物体检测方法相比于传统手工设计特征的方法精度得到大幅度提升，对于复杂场景下的显著性物体检测鲁棒性更好，在各类基准测试中一直名列前茅。然而大部分显著性物体检测卷积神经网络模型，往往注重于算法的精度从而导致所设计的显著性物体检测模型内存占用和推理延时较大，很多显著性物体检测卷积神经网络模型通常拥有于数千万甚至数十亿个参数。如此复杂庞大的模型通常对运算设备的计算能力有着极高的要求，产生巨大的计算成本，这给使用该类模型的后期工作(如部署、服务于下游任务等)带来阻碍。
近些年来，随着一些嵌入式设备（如智能手机、平板电脑、各种可穿戴设备等）的快速发展，如何设计轻量化的模型去在资源有限的设备上进行部署成为必须面对的全新挑战。这些设备一般计算能力较低且内存有限，不支持大型模型的并行计算。现有的显著性卷积神经网络模型基本都可以在计算能力较强的GPU上达到实时（每秒处理图片数达到25以上），但是在CPU这种并行计算能力相对较弱的设备上仍然达不到实时。即使是现有的轻量级显著物体检测模型，在计算能力较弱的设备上依然很难达到实时的检测速度。
发明内容
为解决现有技术的不足，在低计算能力的设备上，实现更高效的显著性物体检测的目的，本发明采用如下的技术方案：
一种轻量级的显著性物体检测系统，包括编码器和解码器，所述编码器包括聚焦（Focus）下采样模块、上下文信息提取模块、恒定码率CBR下采样模块和池化模块，其中上下文信息提取模块与恒定码率CBR下采用模块构成下采样提取模块，聚焦下采样模块与恒定码率CBR下采样模块连接，CBR下采样模块依次与一组下采样提取模块连接后，再与池化模块连接；所述解码器包括多通道转换模块、上采样提取模块和得分模块，其中多通道转换模块与上采样提取模块构成转换提取模块，上采样提取模块包括上采样模块和上下文信息提取模块，池化模块依次与一组转换提取模块连接后，再与多通道转换模块连接，该多通道转换模块与得分模块连接；下采样提取模块与转换提取模块配合设置；图像经聚焦下采样模块、恒定码率CBR下采样模块下采样后，通过下采样提取模块的上下文信息提取模块，进行上下文信息的特征提取，再由该下采样提取模块的恒定码率CBR下采样模块进行下采样，并输出至下一下采样提取模块的上下文信息提取模块，最后由池化模块提取全局信息；全局信息输入转换提取模块的多通道转换模块，进行通道调整，再由该转换提取模块的上采样提取模块进行上采样和上下文信息的特征提取，并输出至下一转换提取模块的多通道转换模块，该多通道转换模块将获取的特征结合对应的下采样提取模块的输出，进行通道调整和信息融合，最后经单个多通道转换模块，输出至得分模块，进行图像还原。
进一步地，所述聚焦下采样模块包括一组空间下采样操作和通道融合操作，对RGB三通道的原图像，通过输入缩放模块，将原图像缩放至聚焦下采样模块所需的尺寸，经多个空间下采样操作后，在通道方向上进行级联操作。
进一步地，所述上下文信息提取模块，采用多个感受野的特征融合的方式，来获取 当前位置的不同尺度邻域信息，因为在显著性物体检测任务中，判断某位置像素点是否为 显著，不仅依赖于当前像素点的特征，还依赖于周围像素点的特征，首先对输入的特征图依 次进行卷积降维、批归一化和激活操作，得到输出结果
Figure 384395DEST_PATH_IMAGE001
，再对
Figure 999047DEST_PATH_IMAGE001
进行多次恒定码率CBR 下采样操作，用于扩大感受野，得到输出结果
Figure 109086DEST_PATH_IMAGE002
，再将输入的特征图依次进行卷积降维、批 归一化和激活操作的结果
Figure 326441DEST_PATH_IMAGE003
，与输出结果
Figure 205535DEST_PATH_IMAGE002
在通道维度上进行级联后，依次进行卷积降 维、批归一化和激活操作，得到上下文信息提取模块的输出。
进一步地，所述池化模块为空间金字塔池化模块，首先对输入的特征进行降维，然后采用多种尺度的池化层，对降维后的特征进行多尺度特征提取，最后将多种尺度特征级联后，采用1x1卷积降维到原来维度。
进一步地，所述多通道转换模块，包括卷积层、归一化层和Relu激活函数，多通道转换模块获取的特征与该特征对应的下采样提取模块的输出进行加法操作，通过卷积层为加法操作调整通道，同时也对加法后得到的特征做进一步的信息融合；
所述上采样提取模块，包括上采样模块和上下文信息提取模块，上采样模块将对应多通道转换模块的输出，进行上采样操作后，再输入上下文信息提取模块，进行上下文信息的提取，并将提取的特征与其对应的下采样提取模块的输出结合，作为下一多通道转换模块的输入。上下文信息提取模块用于减缓特征图放大后带来的棋盘格效应以及提取当前解码阶段的上下文信息。
进一步地，所述得分模块包括卷积层、上采样层和激活函数，卷积层将输入特征通道数降维为1，经上采样操作后，进行sigmoid激活操作，通过输出缩放模块，进行双线性插值操作，将sigmoid激活操作后的图像插值到原图像大小。
一种轻量级的显著性物体检测方法，所述编码器，采用知识蒸馏方法在分类数据集上进行预训练，包括如下步骤：
步骤S1：初始化权重，对输入数据进行数据增强，通过交叉熵损失函数进行预测值与真值的损失计算，进行分类训练，知识蒸馏训练采用一组教师网络，在分类训练基础上进行调整，通过输入图像及对应的分类标签，在教师网络下的预测结果，得到分类标签对应的最佳预测结果及其权重，将该预测结果作为软标签；
步骤S2：将检测系统在显著性物体检测数据集上进行初步训练，检测系统的编码器采用知识蒸馏训练后的编码器权重，对输入数据进行数据增强，损失函数采用二元交叉熵损失函数归约求和后的结果并除以实际批处理大小；
步骤S3：对检测系统进行剪枝，以批归一化的线性变换的倍乘系数的权重值的绝对值，来衡量卷积层在每个线性变换对应通道上的重要性，为了得到一个卷积核重要性的稀疏表示，对剪枝部分的批归一化层的线性变换倍乘系数的权重，加上L1范数的正则项，通过标量作为平衡系数，与检测系统原有的损失函数，训练完成后，对所有需要量化的卷积层后的批归一化层的线性变换倍乘系数的权重，按绝对值大小进行排序，取一组排序靠前的系数对应的卷积核输出通道作为保留通道，对剩余部分系数对应的输出通道做剪枝处理；
步骤S4：对检测系统进行量化，将其浮点型权重转换为整型权重实现推理加速。
进一步地，所述数据增强包括马赛克数据增广，马赛克数据增广包括如下步骤：
步骤S11：给定最终图像大小
Figure 991088DEST_PATH_IMAGE004
，初始化生成图像和标注图像分辨率大小为
Figure 447477DEST_PATH_IMAGE005
；
步骤S12：从训练集中随机选择4张图像；
步骤S13：以生成图像中心点为中心选择
Figure 69521DEST_PATH_IMAGE004
的矩形区域，从该区域随意选择一点 沿着x轴和y轴方向做直线，从而将生成图像区域划分为4个区域，对标注图像做相同划分；
步骤S14：将随机选到的4张图像分配到4个区域，然后对4个区域的图像分别从右下角，左下角，右上角，左上角四个方向开始截取，直到完全覆盖生成图像区域或者截取完选择图像，并对标注图像做相同截取；
步骤S15：将生成图像和标注图像缩放到
Figure 927756DEST_PATH_IMAGE004
大小。
方法可以综合四个图像的信息到一个图像中，并且将四张原图的尺寸缩小，这在一定程度上可以增加显著性物体的个数以及给出显著性物体小尺寸下的状态。
进一步地，所述数据增强包括周期性多尺度训练数据增强，周期性多尺度训练数据增强包括如下步骤：
步骤S21：给定测试时图像缩放大小为x，选择[x - 64, x - 32, x, x + 32, x+64]作为变换尺寸选择集合，给定总的训练周期数为ep，给定m为大于0小于1的数；
步骤S22：在前m × ep个训练周期内，每一个训练周期，周期性轮换选择变换尺寸，将选择集合中的一个元素作为当前训练周期的训练尺寸；
步骤S23：在后(1 - m) × ep个训练周期内，每一个训练周期的训练尺寸固定为x，这样保证模型更加适应预测时的尺寸。
一方面在训练过程加入了多尺度变换，使得网络对物体大小变换产生鲁棒性，另一方面保证了训练分辨率与测试分辨率的统一。
进一步地，所述步骤S4中的量化，采用量化感知训练方法，包括如下步骤：
步骤S31：前向传播计算过程如下：
Figure 618631DEST_PATH_IMAGE006
其中
Figure 703262DEST_PATH_IMAGE007
表示四舍五入函数，SimQuant(·)表示模拟量化函数，即伪量化函数，x表 示待量化的权重和/或激活值，由于是对称量化，上述公式
Figure 262419DEST_PATH_IMAGE008
为唯一的量化参数，其余的 量化参数
Figure 116105DEST_PATH_IMAGE009
、
Figure 836937DEST_PATH_IMAGE010
、
Figure 143284DEST_PATH_IMAGE011
都由
Figure 381499DEST_PATH_IMAGE008
所表示，其中
Figure 479905DEST_PATH_IMAGE010
表示量化前x的范围大小，
Figure 247004DEST_PATH_IMAGE009
和
Figure 165281DEST_PATH_IMAGE011
分别表示该范围的最小值和最大值，
Figure 941607DEST_PATH_IMAGE012
和
Figure 501377DEST_PATH_IMAGE013
分别表示量化后区间的最小值和 最大值，
Figure 829590DEST_PATH_IMAGE014
表示量化区间能够表示的整型的总个数，clip(·)表示截断函数，clip(x, min,max)表示将x输入截断在[min,max]之间；
步骤S32：量化过程反向传播梯度定义如下：
Figure 110530DEST_PATH_IMAGE015
其中
Figure 815181DEST_PATH_IMAGE016
表示伪量化函数的输出值。
本发明的优势和有益效果在于：
本发明能够对图像进行显著性物体的分类检测，并且在保证检测精度的同时，在计算能力较弱的设备上依然很难达到实时的检测速度，从而扩大的应用的范围，能够部署在如智能手机、平板电脑、各种可穿戴设备等嵌入式设备上。
附图说明
图1是本发明实施例的系统整体模型结构示意图；
图2是本发明实施例中聚焦下采样模块的空间下采样示意图；
图3是本发明实施例中上下文信息提取模块的结构示意图；
图4a是本发明实施例的方法中马赛克数据增强生成的图像；
图4b是本发明实施例的方法中马赛克数据增强生成的真值图像；
图5是本发明实施例的方法流程图；
图6是本发明实施例中的装置结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
低计算能力设备一般内存较小，计算核心数目较少，对模型的运行条件限制更为严格。这类设备上最常见的即为中央处理器（Central Processing Unit，CPU），特别是嵌入式设备上的CPU，对模型大小、内存占用、推理速度都有较高要求。对此，本发明针对CPU的运行条件，针对性的设计了一种极简的轻量级显著性物体检测模型SimpleSOD，并采用剪枝算法和模型量化算法对SimpleSOD进行进一步的精简。除此之外，本发明还提供了两种提高显著性物体检测模型泛化能力的数据增强策略和一种鲁棒的知识蒸馏方法。
SimpleSOD的模型结构包括编码器和解码器，整体结构如图1所示，其中C1用于调整通道数。
编码器主要由聚焦（Focus）模块、上下文信息提取模块（Context ExtractModule，CEM）、空间金字塔池化（Spatial Pyramid Pooling，SPP）模块和负责降低分辨率的步长为2的卷积组成。编码器会对特征图在空间维度下采样五次，每一次空间尺寸降为原来的二分之一，最后输出的特征图的空间尺寸为输入的三十二分之一。聚焦模块前设有输入缩放（Resize）层，除第一阶段采用聚焦模块下采样以外，其余下采样操作皆由步长为2的带批归一化和Relu激活函数的3x3卷积组成，对应图1中的CBR_2，表示卷积步长为2且改变通道数，CBR表示恒定码率（Constant bitrate，该操作一般不改变通道数）。在最后三次的下采样操作前面都会有上下文信息提取模块CEMx，其中x是为上下文信息提取模块配置的超参数，表示上下文信息模块中卷积模块重复次数，用于扩大感受野，x依次取值为1、3、3。为扩大模型感受野，最后一次下采样后面接SPP模块提取全局信息。
聚焦模块源于YoloV5，由四个空间下采样操作和一个通道融合操作组成，其中空间下采样操作如图2所示。“+”表示在通道方向上的级联操作，因此RGB三通道的图像经过以上聚焦下采样后会变成12通道。紧接着采用单个3x3卷积对12个通道的下采样图像进行进一步特征提取。
上下文信息提取模块主要采用多个感受野的特征融合的方式，来获取当前位置的不同尺度邻域信息。在显著性物体检测任务中，判断某位置像素点是否为显著，不仅依赖于当前像素点的特征，还依赖于周围像素点的特征。上下文信息提取模块的计算过程如图3所示，具体公式为：
Figure 232387DEST_PATH_IMAGE017
其中
Figure 872447DEST_PATH_IMAGE018
表示卷积操作，
Figure 499737DEST_PATH_IMAGE019
表示上下文信息提取模块的输入特征图，
Figure 883445DEST_PATH_IMAGE020
表示
Figure 279791DEST_PATH_IMAGE001
进行卷积运算涉及的参数，
Figure 825173DEST_PATH_IMAGE021
表示对输入特征图做1x1卷积降维运算，BN表 示批归一化（BatchNorm）操作，Relu表示整流激活函数，最终输出的
Figure 80705DEST_PATH_IMAGE001
通道数为
Figure 861579DEST_PATH_IMAGE019
通道数 的一半；
Figure 518957DEST_PATH_IMAGE022
表示对
Figure 359874DEST_PATH_IMAGE001
进行m次CBR运算，
Figure 840052DEST_PATH_IMAGE023
表示卷积、批归一化、Relu激 活函数的连续m次运算，其中卷积运算为3x3的卷积且不改变通道数和特征图长宽，m表示的 是串行运算次数，例如“m=3”表示该结构以串联形式重复三次，
Figure 565563DEST_PATH_IMAGE024
表示
Figure 936501DEST_PATH_IMAGE002
进行CBR运算 涉及的参数，输出结果记为
Figure 823686DEST_PATH_IMAGE002
；
与
Figure 912865DEST_PATH_IMAGE001
的计算过程类似，
Figure 176487DEST_PATH_IMAGE003
也是对
Figure 621506DEST_PATH_IMAGE019
经过1x1卷积、批归一化、Relu激活函数运算之 后的结果，
Figure 942241DEST_PATH_IMAGE025
表示
Figure 518716DEST_PATH_IMAGE003
进行卷积运算涉及的参数；
Figure 586029DEST_PATH_IMAGE026
表示对
Figure 665981DEST_PATH_IMAGE003
和
Figure 160547DEST_PATH_IMAGE002
在通道维度上进行级联，
Figure 99684DEST_PATH_IMAGE027
表示
Figure 95322DEST_PATH_IMAGE028
进行卷积运算 涉及的参数，
Figure 905146DEST_PATH_IMAGE028
表示对级联后的结果1x1卷积、批归一化、Relu激活函数运算得到的输出， 其通道数与
Figure 695248DEST_PATH_IMAGE019
相同。
SPP模块的计算过程表示在图1的右下角，SPP模块首先对输入的特征进行降维，然后采用1x1池化（等同于恒等连接）、5x5池化、9x9池化、13x13池化四种尺度池化层对降维后的特征进行多尺度特征提取，最后将四种尺度特征级联后采用1x1卷积降维到原来维度。
解码器每个阶段由多个通道转换层Trans和Up&CEMx层构成的基本单元组成，最后的输出由一个Score模块和输出缩放（Resize）层完成。Trans层即为单层的“Conv+BN+Relu”，其中的卷积层为3x3卷积，其主要是为下一个阶段的加法操作调整通道，同时也对加法后得到的特征做进一步的信息融合。Up&CEMx层由固定的两倍上采样和上下文信息提取模块组成，其中CEMx即为上下文信息提取模块，作用是为了减缓特征图放大后带来的棋盘格效应以及提取当前解码阶段的上下文信息。整个Trans和Up&CEMx基本单元计算过程可用如下公式表示，
Figure 121681DEST_PATH_IMAGE029
其中
Figure 265218DEST_PATH_IMAGE030
表示在解码器第i阶段中Trans层的输出，
Figure 585340DEST_PATH_IMAGE031
表示解码器第i阶段Trans 运算中的卷积核参数，即3x3卷积核所用参数。
Figure 421709DEST_PATH_IMAGE032
表示解码器当前第i阶段的输出，
Figure 928914DEST_PATH_IMAGE033
表 示上一个解码阶段的输出。
Figure 968869DEST_PATH_IMAGE034
表示第i (i 可取 2,3,4)阶段的编码器的输出。当i取2、3、4 时，解码阶段CEMx中x的取值依次为1、2、2。通过以上过程可以获得解码器的第四阶段的输 出特征图
Figure 18865DEST_PATH_IMAGE035
。
Figure 885190DEST_PATH_IMAGE035
的分辨率大小为56x56x48，紧接着
Figure 20636DEST_PATH_IMAGE035
需要接入Trans层和Score层得到 224x224x1的分辨率大小的输出，Score层由一个用于降维的1x1卷积和4倍上采样以及激活 函数组成。Score层的输出最后通过输出缩放层变换到原图分辨率大小，用公式可表示为，
Figure 896188DEST_PATH_IMAGE036
其中
Figure 800690DEST_PATH_IMAGE037
即为Simple-SOD最后的输出图，
Figure 978862DEST_PATH_IMAGE038
表示四倍上采样操作，
Figure 726238DEST_PATH_IMAGE039
表示 sigmoid激活函数，
Figure 15268DEST_PATH_IMAGE040
表示卷积操作，
Figure 164489DEST_PATH_IMAGE041
表示单层1x1的卷积核参数，用于将输入特征 通道数降维为1。
Figure 513562DEST_PATH_IMAGE042
表示双线性插值操作，用于将sigmoid操作后的图像继续插值到原图大 小。
对于上述模型的编码器，即主干网络部分，采用鲁棒的知识蒸馏方法在大规模分类数据集上进行预训练。知识蒸馏部分的“软标签”生成算法如表1所示，X表示输入图像，T表示输入教师网络集合。对一个批次中所有样本执行以上方法，可以得到全部的“软标签”和其对应的损失函数的权重值，在计算交叉熵损失时，只需计算预测值与过滤后的“软标签”之间的损失，这一步骤可以通过每个样本的预测值与其“软标签”的交叉熵损失，乘以该样本“软标签”所对应的权重系数，进而避免“软标签”和“硬标签”不一致的情况。
表1 知识蒸馏软标签获取算法流程表
Figure 623601DEST_PATH_IMAGE043
对SimpleSOD的训练采用两种数据增强方式，第一种是马赛克数据增广，该方法的流程如下：
1.给定最终图像大小
Figure 575376DEST_PATH_IMAGE044
，初始化生成图像和标注图像分辨率大小为
Figure 451541DEST_PATH_IMAGE045
。
2.从训练集中随机选择4张图像。
3.以生成图像中心点为中心选择
Figure 96149DEST_PATH_IMAGE044
的矩形区域，从该区域随意选择一点沿着x 轴和y轴方向做直线，从而将生成图像区域划分为4个区域，对标注图像做相同划分。
4.将随机选到的4张图像分配到4个区域，然后对4个区域的图像分别从右下角，左下角，右上角，左上角四个方向开始截取，直到完全覆盖生成图像区域或者截取完选择图像，并对标注图像做相同截取。
5.将生成图像和标注图像缩放到
Figure 427904DEST_PATH_IMAGE044
大小。
该数据增广方法的结果演示如图4a、图4b所示，从图中可以看出，该方法可以综合四个图像的信息到一个图像中，并且将四张原图的尺寸缩小，这在一定程度上可以增加显著性物体的个数以及给出显著性物体小尺寸下的状态。
第二种数据增强方法为周期性多尺度训练，方法流程如下：
1. 给定测试时图像缩放大小为x。选择[x - 64, x - 32, x, x + 32, x+ 64]作为变换尺寸可选择集合。给定总的训练周期数为 ep，给定m为大于0小于1的数
2.在前m × ep个训练周期内，每一个训练周期，周期性轮换选择变换尺寸，可选择集合中的一个元素作为当前训练周期的训练尺寸。
3.在后(1 - m) × ep个训练周期内，每一个训练周期的训练尺寸固定为x，这样保证模型更加适应预测时的尺寸。
通过以上流程，一方面在训练过程加入了多尺度变换，使得网络对物体大小变换产生鲁棒性，另一方面保证了训练分辨率与测试分辨率的统一。
训练完毕的SimpleSOD模型可以进行模型剪枝和量化操作，剪枝算法采用结构化剪枝方法，目的是为了得到一个结构更加紧凑的显著性物体检测模型。模型量化方法采用量化感知训练方法，对SimpleSOD进行量化，量化为8比特以后可以进一步压缩模型占用空间和加速模型推理速度。
本发明的实施例中，SimpleSOD训练方法，如图5所示，包括如下步骤：
1、主干网络在分类任务上的预训练。主干网络在图像分类数据集上的训练采用ImageNet-1K训练和知识蒸馏训练相结合的方式。
首先，分类网络的全部权重采用He初始化方式进行初始化。数据增强部分训练时 采用随机裁剪、随机高斯模糊、随机旋转、随机缩放、随机透视变换、Cutout、随机颜色抖动， 测试时仅采用中心裁剪。模型在ImageNet-1K上训练200个周期并且批处理大小设置为64， 损失函数采用交叉熵损失函数，整体训练过程基于PyTorch实现，并且采用4张11GB NVIDIA GTX 2080Ti GPU训练，所以实际批处理大小为256，输入图像分辨率大小固定为224，优化器 采用AdamW，学习率初始值设置为
Figure 183371DEST_PATH_IMAGE046
，并且在第80、100、160个周期时学习率降为之 前的0.1。
知识蒸馏训练与上面的设置基本相同，采用的教师网络集合依次为ResNet50、 ResNeXt-50、ResNeSt-50。不同点为学习率初始值设置为
Figure 182551DEST_PATH_IMAGE047
，并且在第50、70个周期 时学习率降为原来的0.1。损失函数更改为加权的交叉熵损失函数，“软标签”权重值的获取 采用表1所述的方法框架。此外，知识蒸馏训练是在原来训练的版本上微调，所以初始化参 数是之前模型训练好的参数。
2、SimpleSOD在显著性物体检测数据集上的初步训练，Simple-SOD训练时主干网 络权重采用知识蒸馏训练后的主干网络权重，其余权重采用He初始化方式进行初始化。数 据增强部分采用随机裁剪、随机水平翻转、马赛克数据增强、周期性多尺度变换。测试时不 做任何变换，直接将图像缩放到指定大小。模型在DUTS-TR数据集上训练300个周期并且批 处理大小设置为24，并且采用4张11GB NVIDIA GTX 2080Ti GPU训练，所以实际批处理大小 为96。损失函数采用二元交叉熵损失函数归约求和后的结果并除以实际批处理大小，整体 训练过程基于PyTorch实现，优化器采用AdamW，学习率初始值设置为
Figure 873426DEST_PATH_IMAGE048
，并且在第 150、220个周期时学习率降为之前的0.1。
3、对SimpleSOD进行剪枝。SimpleSOD采用Network Slimming结构化剪枝的方法，以批归一化的线性变换的倍乘系数的权重值的绝对值，来衡量卷积层在每个线性变换对应通道上的重要性。为了得到一个卷积核重要性的稀疏表示，需要对剪枝部分的BN层的线性变换倍乘系数的权重γ加上一个L1范数的正则项。在训练时，模型的损失函数定义为：
Figure 817111DEST_PATH_IMAGE049
其中
Figure 251635DEST_PATH_IMAGE050
为模型原有的损失函数，
Figure 964376DEST_PATH_IMAGE051
表示所有需要量化的卷积层后的批归一化层 的线性变换倍乘系数的权重的集合。
Figure 701519DEST_PATH_IMAGE052
是一个标量，作为两个损失函数之间的平衡系数。训 练完成后，对集合
Figure 73113DEST_PATH_IMAGE051
中所有元素按照绝对值大小进行从大到小进行排序，取一定百分比的 排在前面的系数对应的卷积核输出通道作为保留通道，对剩余部分系数对应的输出通道做 剪枝处理。
4、对SimpleSOD进行量化。使用英特尔CPU的推理框架openvino的模型压缩算法库NNCF实现对Simple-SOD的量化，将其float32表示的权重转换为int8类型权重实现推理加速。
下面给出QAT（Quantization Aware Training，量化感知训练）方法对称量化时具体的梯度公式，为简单起见，所有参与计算的量都假设为标量。前向传播计算过程如下：
Figure 249011DEST_PATH_IMAGE053
其中
Figure 691624DEST_PATH_IMAGE007
表示四舍五入函数，SimQuant(·)表示模拟量化函数，也叫伪量化函数，x 表示待量化的权重或者激活值，由于是对称量化，上述公式
Figure 114515DEST_PATH_IMAGE008
为唯一的量化参数，其余 的量化参数
Figure 908159DEST_PATH_IMAGE009
、
Figure 684485DEST_PATH_IMAGE010
、
Figure 371818DEST_PATH_IMAGE011
都可以由
Figure 575398DEST_PATH_IMAGE008
所表示，其中
Figure 980971DEST_PATH_IMAGE010
表示量化前x的可表示范 围大小，
Figure 560988DEST_PATH_IMAGE009
和
Figure 647369DEST_PATH_IMAGE011
分别表示该范围的最小值和最大值。
Figure 287428DEST_PATH_IMAGE012
和
Figure 914719DEST_PATH_IMAGE013
分别表示量化后区 间的最小值和最大值，
Figure 767268DEST_PATH_IMAGE014
表示量化区间能够表示的整型的总个数，比如量化位数为8位 的情况下
Figure 570139DEST_PATH_IMAGE054
，clip(·)表示截断函数，clip(x,min,max)表示将x输入截断在 [min,max]之间。量化过程反向传播梯度定义如下：
Figure 240155DEST_PATH_IMAGE055
其中
Figure 495687DEST_PATH_IMAGE016
表示伪量化函数的输出值。
与前述一种轻量级的显著性物体检测方法的实施例相对应，本发明还提供了一种轻量级的显著性物体检测装置的实施例。
参见图6，本发明实施例提供的一种轻量级的显著性物体检测装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的一种轻量级的显著性物体检测方法。
本发明一种轻量级的显著性物体检测装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本发明一种轻量级的显著性物体检测装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种轻量级的显著性物体检测方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种轻量级的显著性物体检测系统，包括编码器和解码器，其特征在于：所述编码器包括聚焦下采样模块、上下文信息提取模块、恒定码率CBR下采样模块和池化模块，其中上下文信息提取模块与恒定码率CBR下采用模块依次连接构成下采样提取模块，聚焦下采样模块与恒定码率CBR下采样模块连接，恒定码率CBR下采样模块依次与一组下采样提取模块连接后，再与池化模块连接；所述解码器包括多通道转换模块、上采样提取模块和得分模块，其中多通道转换模块与上采样提取模块依次连接构成转换提取模块，上采样提取模块包括依次连接的上采样模块和上下文信息提取模块，池化模块依次与一组转换提取模块连接后，再与单个多通道转换模块连接，该单个多通道转换模块与得分模块连接；下采样提取模块与转换提取模块一一对应设置；图像经聚焦下采样模块、恒定码率CBR下采样模块下采样后，通过下采样提取模块的上下文信息提取模块，进行上下文信息的特征提取，再由本下采样提取模块的恒定码率CBR下采样模块进行下采样，并输出至下一下采样提取模块的上下文信息提取模块，最后由池化模块提取全局信息；全局信息输入转换提取模块的多通道转换模块，进行通道调整，再由本转换提取模块的上采样提取模块进行上采样和上下文信息的特征提取，并输出至下一转换提取模块的多通道转换模块，将上一转换提取模块输出的特征与下一转换提取模块一一对应的下采样提取模块的输出结合，输入下一转换提取模块，其中通过多通道转换模块进行通道调整和信息融合，最后经单个多通道转换模块，输出至得分模块，进行图像还原。
2.根据权利要求1所述的一种轻量级的显著性物体检测系统，其特征在于：所述聚焦下采样模块包括一组空间下采样操作和通道融合操作，对RGB三通道的原图像，通过输入缩放模块，将原图像缩放至聚焦下采样模块所需的尺寸，经多个空间下采样操作后，在通道方向上进行级联操作。
3.根据权利要求1所述的一种轻量级的显著性物体检测系统，其特征在于：所述上下文 信息提取模块，采用多个感受野的特征融合的方式，来获取当前位置的不同尺度邻域信息， 首先对输入的特征图依次进行卷积降维、批归一化和激活操作，得到输出结果
Figure DEST_PATH_IMAGE001
，再对
Figure 229107DEST_PATH_IMAGE001
进行多次恒定码率CBR下采样操作，得到输出结果
Figure DEST_PATH_IMAGE002
，再将输入的特征图依次进行卷积降 维、批归一化和激活操作的结果
Figure DEST_PATH_IMAGE003
，与输出结果
Figure 254570DEST_PATH_IMAGE002
在通道维度上进行级联后，依次进行卷 积降维、批归一化和激活操作，得到上下文信息提取模块的输出。
4.根据权利要求1所述的一种轻量级的显著性物体检测系统，其特征在于：所述池化模块为空间金字塔池化模块，首先对输入的特征进行降维，然后采用多种尺度的池化层，对降维后的特征进行多尺度特征提取，最后将多种尺度特征级联后，采用卷积降维到原来维度。
5.根据权利要求1所述的一种轻量级的显著性物体检测系统，其特征在于：所述多通道转换模块，包括卷积层、归一化层和Relu激活函数，与池化模块连接的多通道转换模块获取池化模块的输出，经上采样提取模块后，将输出特征与下一多通道转换模块所在转换提取模块一一对应的下采样提取模块的输出进行加法操作，加法操作后的特征作为下一多通道转换模块的输入，通过卷积层为加法操作调整通道，同时也对加法后得到的特征做进一步的信息融合；
所述上采样提取模块，包括上采样模块和上下文信息提取模块，上采样模块将对应多通道转换模块的输出，进行上采样操作后，再输入上下文信息提取模块，进行上下文信息的提取，将本上采样提取模块提取的特征与下一上采样提取模块一一对应的下采样提取模块的输出结合，作为下一转换提取模块的多通道转换模块的输入。
6.根据权利要求1所述的一种轻量级的显著性物体检测系统，其特征在于：所述得分模块包括卷积层、上采样层和激活函数，卷积层将输入特征通道数降维为1，经上采样操作后，进行sigmoid激活操作，通过输出缩放模块，进行双线性插值操作，将sigmoid激活操作后的图像插值到原图像大小。
7.一种根据权利要求1所述轻量级的显著性物体检测系统的检测方法，其特征在于所述编码器，采用知识蒸馏方法在分类数据集上进行预训练，包括如下步骤：
步骤S1：初始化权重，对输入数据进行数据增强，通过交叉熵损失函数进行预测值与真值的损失计算，进行分类训练，知识蒸馏训练采用一组教师网络，在分类训练基础上进行调整，通过输入图像及对应的分类标签，在教师网络下的预测结果，得到分类标签对应的最佳预测结果及其权重，将该预测结果作为软标签；
步骤S2：将检测系统在显著性物体检测数据集上进行初步训练，检测系统的编码器采用知识蒸馏训练后的编码器权重，对输入数据进行数据增强，损失函数采用二元交叉熵损失函数归约求和后的结果并除以实际批处理大小；
步骤S3：对检测系统进行剪枝，对剪枝部分的批归一化层的线性变换倍乘系数的权重，加上L1范数的正则项，通过标量作为权重加上L1范数的正则项与二元交叉熵损失函数的平衡系数，与检测系统原有的二元交叉熵损失函数，训练完成后，对所有需要量化的卷积层后的批归一化层的线性变换倍乘系数的权重，按绝对值大小进行排序，取一组排序靠前的系数对应的卷积核输出通道作为保留通道，对剩余部分系数对应的输出通道做剪枝处理；
模型的损失函数定义为：
Figure DEST_PATH_IMAGE004
其中
Figure DEST_PATH_IMAGE005
为模型原有的损失函数，γ表示权重，
Figure DEST_PATH_IMAGE006
表示所有需要量化的卷积层后的批归 一化层的线性变换倍乘系数的权重的集合，
Figure DEST_PATH_IMAGE007
是一个标量，作为两个损失函数之间的平衡 系数；
步骤S4：对检测系统进行量化，将其浮点型权重转换为整型权重。
8.根据权利要求7所述的检测方法，其特征在于所述数据增强包括马赛克数据增广，马赛克数据增广包括如下步骤：
步骤S11：给定最终图像大小
Figure DEST_PATH_IMAGE008
，初始化生成图像和标注图像分辨率大小为
Figure DEST_PATH_IMAGE009
；
步骤S12：从训练集中随机选择4张图像；
步骤S13：以生成图像中心点为中心选择
Figure 535772DEST_PATH_IMAGE008
的矩形区域，从该区域随意选择一点沿着 x轴和y轴方向做直线，从而将生成图像区域划分为4个区域，对标注图像做相同划分；
步骤S14：将随机选到的4张图像分配到4个区域，然后对4个区域的图像分别从右下角，左下角，右上角，左上角四个方向开始截取，直到完全覆盖生成图像区域或者截取完选择图像，并对标注图像做相同截取；
步骤S15：将生成图像和标注图像缩放到
Figure 193630DEST_PATH_IMAGE008
大小。
9.根据权利要求7所述的检测方法，其特征在于所述数据增强包括周期性多尺度训练数据增强，周期性多尺度训练数据增强包括如下步骤：
步骤S21：给定测试时图像缩放大小为x，选择[x - 64, x - 32, x, x + 32, x+ 64]作为变换尺寸选择集合，给定总的训练周期数为ep，给定m为大于0小于1的数；
步骤S22：在前m × ep个训练周期内，每一个训练周期，周期性轮换选择变换尺寸，将选择集合中的一个元素作为当前训练周期的训练尺寸；
步骤S23：在后(1 - m) × ep个训练周期内，每一个训练周期的训练尺寸固定为x。
10.根据权利要求7所述的检测方法，其特征在于所述步骤S4中的量化，采用量化感知训练方法，包括如下步骤：
步骤S31：前向传播计算过程如下：
Figure DEST_PATH_IMAGE011
其中
Figure DEST_PATH_IMAGE012
表示四舍五入函数，SimQuant(·)表示模拟量化函数，即伪量化函数，x表示待 量化的权重和/或激活值，
Figure DEST_PATH_IMAGE013
为唯一量化参数，其余的量化参数
Figure DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE015
、
Figure DEST_PATH_IMAGE016
都由
Figure 899681DEST_PATH_IMAGE013
所表示，其中
Figure 784460DEST_PATH_IMAGE015
表示量化前x的范围大小，
Figure 644969DEST_PATH_IMAGE014
和
Figure 644803DEST_PATH_IMAGE016
分别表示该范围的最小值 和最大值，
Figure DEST_PATH_IMAGE017
和
Figure DEST_PATH_IMAGE018
分别表示量化后区间的最小值和最大值，
Figure DEST_PATH_IMAGE019
表示量化区间能够 表示的整型的总个数，clip(·)表示截断函数，clip(x,min,max)表示将x输入截断在[min, max]之间；
步骤S32：量化过程反向传播梯度定义如下：
Figure DEST_PATH_IMAGE021
其中
Figure DEST_PATH_IMAGE022
表示伪量化函数的输出值。
CN202210565928.9A 2022-05-24 2022-05-24 一种轻量级的显著性物体检测系统及方法 Active CN114663774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210565928.9A CN114663774B (zh) 2022-05-24 2022-05-24 一种轻量级的显著性物体检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210565928.9A CN114663774B (zh) 2022-05-24 2022-05-24 一种轻量级的显著性物体检测系统及方法

Publications (2)

Publication Number Publication Date
CN114663774A CN114663774A (zh) 2022-06-24
CN114663774B true CN114663774B (zh) 2022-12-02

Family

ID=82037077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210565928.9A Active CN114663774B (zh) 2022-05-24 2022-05-24 一种轻量级的显著性物体检测系统及方法

Country Status (1)

Country Link
CN (1) CN114663774B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245655A (zh) * 2019-05-10 2019-09-17 天津大学 一种基于轻量级图像金字塔网络的单阶段物体检测方法
CN112634276A (zh) * 2020-12-08 2021-04-09 西安理工大学 一种基于多尺度视觉特征提取的轻量级语义分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017204643B2 (en) * 2017-07-07 2020-05-14 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
CN111931787A (zh) * 2020-07-22 2020-11-13 杭州电子科技大学 一种基于特征聚合的rgbd显著性检测方法
US20220156592A1 (en) * 2020-11-16 2022-05-19 Salesforce.Com, Inc. Systems and methods for contrastive attention-supervised tuning
CN112580512B (zh) * 2020-12-21 2022-08-26 南京邮电大学 一种基于通道裁剪的轻量级无人机目标检测方法
CN112884760B (zh) * 2021-03-17 2023-09-26 东南大学 近水桥梁多类型病害智能检测方法与无人船设备
CN114187454B (zh) * 2021-12-09 2024-08-02 西南科技大学 一种新的基于轻量级网络的显著性目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245655A (zh) * 2019-05-10 2019-09-17 天津大学 一种基于轻量级图像金字塔网络的单阶段物体检测方法
CN112634276A (zh) * 2020-12-08 2021-04-09 西安理工大学 一种基于多尺度视觉特征提取的轻量级语义分割方法

Also Published As

Publication number Publication date
CN114663774A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
Chen et al. Image super-resolution reconstruction based on feature map attention mechanism
WO2022017025A1 (zh) 图像处理方法、装置、存储介质以及电子设备
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN112308200B (zh) 神经网络的搜索方法及装置
Dong et al. Crowd counting by using top-k relations: A mixed ground-truth CNN framework
Zhang et al. Accurate and fast image denoising via attention guided scaling
Zhang et al. Efficientpose: Efficient human pose estimation with neural architecture search
Prajapati et al. Unsupervised single image super-resolution network (USISResNet) for real-world data using generative adversarial network
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
KR20210045828A (ko) 영상 처리 장치 및 방법
Zuo et al. Convolutional neural networks for image denoising and restoration
Hui et al. Lightweight image super-resolution with feature enhancement residual network
Zhang et al. Perspective-adaptive convolutions for scene parsing
Qin et al. Lightweight single image super-resolution with attentive residual refinement network
CN117876845A (zh) 基于双向状态空间模型的视觉表征方法与装置
Cap et al. Super-resolution for practical automated plant disease diagnosis system
Ai et al. Single image super-resolution via residual neuron attention networks
Pan et al. LPSRGAN: Generative adversarial networks for super-resolution of license plate image
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
Zamora et al. Convolutional filter approximation using fractional calculus
CN111223046B (zh) 一种图像超分辨率重建方法及装置
Zhao et al. A high-performance accelerator for super-resolution processing on embedded GPU
CN114663774B (zh) 一种轻量级的显著性物体检测系统及方法
Seiffert ANNIE—Artificial Neural Network-based Image Encoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant