CN111950649A - 基于注意力机制与胶囊网络的低照度图像分类方法 - Google Patents
基于注意力机制与胶囊网络的低照度图像分类方法 Download PDFInfo
- Publication number
- CN111950649A CN111950649A CN202010845890.1A CN202010845890A CN111950649A CN 111950649 A CN111950649 A CN 111950649A CN 202010845890 A CN202010845890 A CN 202010845890A CN 111950649 A CN111950649 A CN 111950649A
- Authority
- CN
- China
- Prior art keywords
- layer
- loss
- image
- picture
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 132
- 238000005286 illumination Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 230000006870 function Effects 0.000 claims description 61
- 238000013528 artificial neural network Methods 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 39
- 238000011176 pooling Methods 0.000 claims description 36
- 238000012360 testing method Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 abstract description 4
- 241000282414 Homo sapiens Species 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制与胶囊网络的低照度图像分类方法，解决的技术问题是在弱光下拍摄的低照度图像太暗，以至于视觉效果以及图像分类的结果效果不佳，其中的细节缺失和噪声影响图像的分类。该方法利用CBAM注意力机制网络来增强低照度图像的亮度、去除图像的噪声、提高低照度图像的细节，再将增强后的图像输入胶囊网络中进行分类。本发明通过注意力机制与胶囊网络对低照度图像进行亮度和噪声上的优化，得到亮度增强并且细节清晰的图像，并在分类弱光环境下的图像效果更好。
Description
技术领域
本发明涉及深度学习、图像增强以及图像分类技术领域，尤其涉及一种基于注意力机制与胶囊网络的低照度图像分类方法。
背景技术
由于现实生活中，有大量在低光环境下拍摄的图像，在运用时很多信息无法准确获取，肉眼难以分辨，导致一些类似图像分类、目标检测、复原等图像处理造成了困难。虽然在图像分类方面已经取得了一个又一个的重大突破，但大多都是在处理明亮的图像，明显缺乏低光的处理。这一直是图像分类技术领域待解决的问题。
发明内容
针对现有技术的不足，本发明提供一种基于注意力机制与胶囊网络的低照度图像分类方法，所要解决的技术问题是如何能在低光环境下拍摄的图像通过注意力机制与胶囊网络结合得到较好的准确率。
为解决上述技术问题，本发明采用的技术方案是：
一种基于注意力机制与胶囊网络的低照度图像分类方法，首先将图像分类领域的注意力模块CBAM运用到图像增强领域，用来增强低照度图像去噪能力、提高低照度图像细节还原效果，再利用提出的基于MAE+SSIM的内容损失函数来优化CBAM模块，接着送入增加跳跃连接的胶囊网络(CapsNet)对增强后的图像进行实例化和分类，包括以下步骤：
步骤一，制作数据源，建立数据集：
根据需求，将正常光照的数据集制作出相对应低照度条件的图片，并与正常光照的图片作为数据对，然后将所有图片同一规格大小，形成数据集；根据训练与测试的需求，将数据集分为6个数据集，分别为：
(1)正常光照下的可见光图片训练数据集(Nor_train)；
(2)图片标签训练数据集(Label_train)；
(3)低照度下的弱可见光训练图片数据集(Low_train)；
(4)正常光照下的可见光图片测试数据集(Nor_test)；
(5)图片标签测试数据集(Label_test)；
(6)低照度下的弱可见光图片测试数据集(Low_test)；
网络的训练标签，低照度下的弱可见光训练样本标签集作为网络的训练样本，正常光照下的可见光数据集与低照度下的弱可见光数据集构成图像对，图像内容需要高度相似，通过图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内；
训练集占所有图片数据的80％，测试集占所有图片数据的20％，其中正常光照下可见光图片数据与低照度下弱可见光图片数据的数量为1：1的图像对，如表1所示，
表1，正常光照和低照度下训练集与测试集的数据关系表
步骤二，构建CBAM网络模块，将低照度图像增强，第一块为通道注意力(channelattention)，第二块为空间注意力(spatial attention)，包括以下步骤：
2-1，输入Nor_train数据集中大小为H×W×C的低照度图像，C表示特征图的长，H表示特征图的宽，W表示特征图的通道数；
2-2，经过一层卷积层，包括卷积操作和ReLU激活，卷积核大小为9×9，通有256个，得到特征图F1；
2-3，进入通道注意力：对特征图F1中的每个通道同时分别进行平均池化(Avg_pooling)和最大池化(Max_pooling)，再同时分别送入两层全连接层，进行下采样和上采样，得到的第一层神经元个数为256/r，r是压缩率，激活函数为ReLU，得到的第二层神经元个数为256，将这两个特征向量相加，接着经过一个Sigmoid激活函数得到权重系数Mc，最后，跳跃连接拿权重系数Mc和特征图F1相乘得到缩放后的特征图F2；
2-4，进入空间注意力：将特征图F2每个像素的所有通道分别进行平均池化和最大池化，接着拼接在一起，经过一个卷积层，激活函数为Sigmoid，得到权重系数Ms，最后，拿权重系数Ms和特征图F2相乘得到缩放后的特征图F3；
2-5，CBAM模块损失函数优化：由基于MAE+SSIM的内容损失组成，包括以下步骤：
2-5-1，内容损失：是风格迁移中的损失函数之一，将预测特征图与目标图片的特征值做损失，MSE(Mean Squared Error，均方误差，简称MSE)特点是光滑连续、可导，便于使用梯度下降算法，使用MSE损失函数作为内容损失：
公式(1)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，
表示内容损失函数的值，当输入待处理图片后，经过特征提取后得到输出特征
同时输入目标图片y与
输入一个已经训练好的VGG16网络进行训练，得到φh(y)和
2-5-2，计算MAE损失，平均绝对误差(MAE)是绝对误差的平均值，对离群点不那么敏感，更有包容性，鲁棒性更好，公式如下：
公式(2)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，yh是目标参考图片的值，xh是网络预测输出的值；
2-5-3，计算SSIM损失，结构相似性指数(structural similarity index，简称SSIM)对局部结构变化很敏感，更多的考虑了人眼的视觉感知，在修复图像质量的过程中更有优势，公式如下：
公式(3)中，μx是网络预测输出图片的所有像素的平均值，μy是目标参考图片的所有像素的平均值，σx是网络预测输出图片的所有像素的方差，σy是目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况设置的偏置值；σxy表示网络预测输出图片和目标参考图片的所有像素的协方差；
2-5-4，改进的基于MAE+SSIM的内容损失：在CBAM模块用预测输出的增强后特征与同时经过CBAM模块输出的目标参考特征计算损失，公式如下：
Lcontent＝Lcon-MAE+Lcon-SSIM (6)
h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，φy表示目标参考图片经过网络结构得到的特征，
表示网络预测输出的特征，Lcontent表示内容损失值，Lcon-MAE表示与基于内容损失的MAE损失值，Lcon-SSIM表示与基于内容损失的SSIM损失值；φh(x)为CBAM预测输出的增强后的正常光照的特征，φh(y)为目标参考图片经过CBAM得到的特征，用特征值代替图片像素值计算损失，所以，
为待处理图片CBAM预测输出特征的平均值，
为目标参考图片经CBAM输出的特征的平均值，
为待处理图片经CBAM输出的特征的方差，
为目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况而设置的偏置值；
步骤三，构建胶囊网络(CapsNet)，将增强后的特征图送入CapsNet进行图像分类，前两层为编码器，后三层为解码器，包括以下步骤：
3-1，输入增强后的特征图F3到CapsNet；
3-2，经过第一层胶囊(低层胶囊)Primary Caps，每个胶囊中包含多个神经元，接受卷积层检测到的基本特征，生成特征的向量组合，包括不同类型的实例化参数，本层输出有N个胶囊ui，每个胶囊由8个卷积核对前一层进行卷积，i表示该层第i个胶囊，卷积核大小为9×9，通道数为256，步长为2；
3-3，胶囊间的动态路由算法(Routing algorithm)：将Primary Caps层的输出向量(低级实例)与变换矩阵w相乘，变换矩阵w通过反向传播来更新，高级实例由多个低级实例组成；Primary Caps层的输出向量(低级实例)与变换矩阵w相乘后得出的
可看做是以ui的视角对高级实例胶囊j的预测，j表示High-level Caps层的第j个胶囊，再乘以权重值cij求和累加得到sj，cij＝softmax(bij)，bij定义胶囊i到j的可能性，初始值为0，将低层胶囊i对不同高层胶囊的可能性输出为概率权重值cij，并且∑j cij＝1，接着在高层胶囊High-level Caps中进行求和公式如下：
∑i cij uj|i (7)
即组成每个高层胶囊j由Primary Caps层组成的相关胶囊进行加权求和，然后经过压缩函数squash()：
输入输出都为向量，得到一个小于1的概率vj，即该被所有相关低层胶囊共同预测出的高层胶囊j存在的概率，再用概率vj与uj|i点积更新bij，
bij＝bij+uj|i·vj (9)
向量的点积可得出相关性，相关性越大bij即cij越大，反之，输出的概率总和并不等于1，也就是胶囊有同时分类多个物体的能力；
迭代3次后输出，cij越大的高层胶囊将得到更多由低层胶囊提供的信息，cij越小的高层胶囊将得到更少由低层胶囊提供的信息；
Primary Caps层到High-level Caps层为全连接，由N个8维的胶囊向量输出到M个16维的胶囊向量，M为被分出的类别个数；
3-4，三层全连接层重构：通过添加一个能够从顶层胶囊的姿态参数和身份重构输入图像的网络，可以提高胶囊网络的判别能力，重构子网络可以视作一种检测对抗性攻击的非常有效的方法；
将High-level Caps层输出的向量放入三层全连接网络中进行重构，前两层的激活函数为ReLU函数，第三层的激活函数为Sigmoid函数，最后生成与输入图像大小相同的图像；
3-5，跳跃连接：从第一层卷积层后到High-level Caps层后增加一段跳跃连接，将原图的背景信息传入全连接重构中；
3-6，CapsNet模块损失函数优化，将增强后的特征图进行图像分类：
CapsNet网络的损失函数由两部分组成，一个是边缘损失(margin loss)，另一个是重构损失(reconstruction loss)，重构损失为L2损失，用来最后重构图像，公式如下：
边缘损失函数LMargin用来优化图像分类，公式如下：
LMargin＝Tk max(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2 (11)
k表示类别，vk表示第k类的High-level Caps中的高层胶囊，
公式(11)中，使用One-hot编码向量，提取图像高级实例标签集Nor_ins_train中的对应图像标签，如果正确的标签与High-level Caps层中One-hot编码结果的相同，Tk为1，否则为0，正确的标签来自于正常光照下的可见光训练样本图像高级实例标签集；m+为上界，惩罚假阳性，即预测k类存在但真实不存在，分类出来但错了，m-为下届，惩罚假阴性，即预测k类不存在但真实存在，没有分类出来，λ系数以确保训练中的数值稳定性，λ系数值为0.5；
One-Hot编码，又称为一位有效编码，主要是采用Z位状态寄存器来对Z个状态进行编码，每个状态都有其独立的寄存器位，并且在任意时候只有一位有效，该编码是分类变量作为二进制向量的表示；
步骤四，计算总损失函数：
α为权重系数，将重构损失缩小到0.0005倍，使得边缘损失占主导作用，也可根据网格调参法对Lcontent、LMargin和Lreconstruction不同子损失函数的权重进行调整；
步骤五，训练注意力模块与胶囊网络，包括以下步骤：
5-1，将Low_train数据集中的低照度图像导入胶囊网络中，经过第一层卷积层后获取低级特征信息；
5-2，将低级特征信息送入channel attention模块中，对通道进行平均池化和最大池化，并放入MLP(Multi-Layer Perceptron，多层感知器)中进行非线性映射，最后归一化得出第一个权重值；
5-3，将加上第一个权重值的特征图送入spatial attention模块中，对不同位置的所有通道进行平均池化和最大池化，并一起放入卷积层中提取信息，最后归一化为第二个权重值；
5-4，对加上第二个权重的特征图进行Lcontent损失计算，得出增强后的特征图；
5-5，将步骤5-4增强后的特征图作为低级特征信息送入胶囊层，组合成向量形式，向量的方向为获取实例的方向，长度为该方向的概率；
5-6，经过两层胶囊层得到图像中高级实例，并且由于胶囊的结构以及没有pooling层，有利于更多细节信息的保留，所以High-level Caps层可得出不同轮廓清晰细节信息饱满的实例；
5-7，由于两层胶囊层以获取实例为主，可能无法获取整幅图像的所有像素点，所以在Primary Caps层前到High-level Caps层后加入跳跃连接，将一些胶囊层未获取到的非实例信息传入到全连接重构中；
5-8，将High-level Caps层获取到的信息和跳跃连接中的信息送入三层全连接中进行重构，使得重构图像接近正常光照图像；
5-9，进行损失计算，将High-level Caps层得到的边缘损失和三层全连接重构得到的重构损失进行线性组合，得到总损失，利用现有的Adam(Adaptive momentestimation，自适应矩估计)优化器进行参数更新。
本发明的分类方法利用CBAM注意力机制网络，来增强低照度图像的亮度、去除图像的噪声、提高低照度图像的细节，再将增强后的图像输入胶囊网络中进行分类。
本发明通过注意力机制与胶囊网络对低照度图像进行亮度和噪声上的优化，得到亮度增强并且细节清晰的图像，并在分类弱光环境下的图像效果更好。
与现有技术相比，本发明在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图。
附图说明
图1为CBAM模块结构示意图；
图2为动态路由胶囊网络结构示意图；
图3为本发明注意力机制与胶囊网络的低照度图像分类方法实施例的网络结构示意图；
图4为本发明基于注意力机制与胶囊网络的低照度图像分类方法实施例的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。
图1示出了一种注意力机制CBAM，是由通道注意力(Channel attention)模块和空间注意力(Spatial attention)模块组成，通道注意力中将特征图的每个通道分别同时进行全局池化(通过MaxPool进行)和平均池化(通过AvgPool进行)，空间注意力中将特征图的每个像素分别同时进行全局池化(通过MaxPool进行)和平均池化(通过AvgPool进行)，经过这两个注意力模块的Sigmoid激活函数加权得出加权特征图。
注意力机制最初是在1998年从生物学中引入，被称为显著性，而后在2014年被定义为attention(注意力)，早前也被用于机器翻译，现在已成为神经网络领域的一个重要概念。在人工智能领域，注意力已成为神经网络结构的重要组成部分，并在自然语言处理、统计学习、语音和计算机等领域有着大量的应用。在计算机视觉方面，由于视觉注意力机制是人类视觉所特有的大脑信号处理机制，人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。其中一个有代表性的注意力机制模块CBAM(Convolutional Block Attention Module，卷积模块的注意力机制模块，简称CBAM)如图1所示，在2018年被提出，在图像的分类中达到了当时准确率最高的模型。
图2示出了一种胶囊网络CapsNet，先将图片经过卷积层特征提取，随后获取Primary Caps层(低级实例组成)，接着通过动态路由获得High-level Caps层(高级实例组成)，此时高级实例中为分类结果，最后通过三层全连接重构出原图。卷积层、Primary Caps层和High-level Caps层可看作为一个编码器，三层全连接可看作为解码器。
胶囊网络(CapsNet)是由Hinton等人于2017年提出的全新的网络，Hinto认为要让深度神经网络变得更聪明，就要向无监督学习过渡，反向传播是时候该放弃了，而胶囊形式的网络则是未来深度学习发展的一个趋势，更符合生物学上的神经组织。新提出的动态路由胶囊网络将多个神经元组合成可以包含多种信息的胶囊向量，更好的保留信息，没有pooling(池化)层，同时避免了由于pooling层导致的信息丢失，胶囊间的权重更新使用的是一种通过点积迭代来耦合的方式，而非反向传播，并且通过点积更准确的获取特征之间的位置关系，拥有空间分层和空间推理的能力，不需要大量的数据即可以获得较高的精度，对于处理拥挤重叠的场景也非常有优势，在检测分类领域有较好的表现。动态路由胶囊网络结构如图2所示。
在上述理论基础上，本发明提出了利用注意力模块结合胶囊网络结构，将图像分类领域的CBAM注意力模型运用到了图像增强领域中，并加入提出的基于MAE(meanabsolute error，平均绝对误差，简称MAE)+SSIM(Structural SIMilarity，结构相似性，简称SSIM)的内容损失函数，达到对低照度图像进行图像增强后再分类准确率更高的效果。
本发明方法采用图3所示的网络结构示意图及图4所示的训练流程。
图3示出了一种基于注意力机制与胶囊网络的低照度图像分类方法，先利用CBAM模块中的通道注意力(channel attention)模块和空间注意力(spatial attention)模块，通过本方法提出的基于MAE+SSIM的内容损失对低照度图像进行亮度和噪声上的优化，再输入胶囊网络(CapsNet)中进行特征的实例化和分类。
图4示出了本发明具体实施步骤。
一种基于注意力机制与胶囊网络的低照度图像分类方法，包括以下步骤：
步骤一，制作数据源，建立数据集：
根据需求，将正常光照的数据集制作出相对应低照度条件的图片，并与正常光照的图片作为数据对，然后将所有图片同一规格大小，形成数据集，根据训练与测试的需求，将数据集分为6个数据集，分别为：
(1)正常光照下的可见光图片训练数据集(Nor_train)；
(2)图片标签训练数据集(Label_train)；
(3)低照度下的弱可见光训练图片数据集(Low_train)；
(4)正常光照下的可见光图片测试数据集(Nor_test)；
(5)图片标签测试数据集(Label_test)；
(6)低照度下的弱可见光图片测试数据集(Low_test)；
网络的训练标签，低照度下的弱可见光训练样本标签集作为网络的训练样本，正常光照下的可见光数据集与低照度下的弱可见光数据集构成图像对，图像内容需要高度相似，图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内；
训练集占所有图片数据的80％，测试集占所有图片数据的20％，其中正常光照下可见光图片数据与低照度下弱可见光图片数据的数量为1：1的图像对，如表1所示，
表1，正常光照和低照度下训练集与测试集的数据关系表
步骤二，构建CBAM网络模块，将低照度图像增强，第一块为通道注意力(channelattention)，第二块空间注意力(spatial attention)，包括以下步骤：
2-1，输入Nor_train数据集中大小为H×W×C的低照度图像，C表示特征图的长，H表示特征图的宽，W表示特征图的通道数；
2-2，经过一层卷积层，包括卷积操作和ReLU激活，卷积核大小为9×9，通道数为1，步长为1，有256个，得到特征图F1；
2-3，进入通道注意力：对特征图F1中的每个通道同时分别进行平均池化(Avg_pooling)和最大池化(Max_pooling)，得到两个1×1×256的通道描述，相当于一维特征向量，再同时分别送入两层全连接层，进行下采样和上采样，得到的第一层神经元个数为256/r，r是压缩率，r的值为8，激活函数为ReLU，得到的第二层神经元个数为256，全连接层中参数和ReLU函数共享，并行得到的依然是两个一维特征向量，将这两个特征向量相加，接着经过一个Sigmoid激活函数得到权重系数Mc，最后，跳跃链接拿权重系数Mc和原来的特征图F1相乘得到缩放后的特征F2；
2-4，进入空间注意力：将特征图F2每个像素的所有通道分别进行平均池化(Avg_pooling)和最大池化(Max_pooling)，得到两个H×W×1的通道描述，也就是两个二维特征图，接着拼接在一起，经过一个7×7的卷积层，激活函数为Sigmoid，得到权重系数Ms，最后，拿权重系数Ms和特征图F2相乘得到缩放后的特征图F3；
2-5，CBAM模块损失函数优化：由基于MAE+SSIM的内容损失组成，包括以下步骤：
2-5-1，Content loss(内容损失)：
属于感知损失函数中的一部分，在MSE(mean absolute error，平均绝对误差，简称MAE)损失函数的基础上，将预测特征图与目标图片的特征值做损失，得到了内容损失函数，一般的像素级的计算误差没有捕获预测输出和目标参考图像之间的感知区别，特征级关注的是实际图片内容而不是像素值，更能体现实例的整体性，由于MSE数学形式更方便，在机器学习领域得到了广泛应用，特点是光滑连续、可导，便于使用梯度下降算法，内容损失函数公式如下：
公式(1)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，
表示内容损失函数的值，当输入待处理图片后，经过特征提取后得到输出特征
同时输入目标图片y与
输入一个已经训练好的VGG16网络进行训练，得到φh(y)和
2-5-2，计算MAE损失：平均绝对误差MAE(mean absolute error)是绝对误差的平均值，它其实是更一般形式的误差平均值，对离群点不那么敏感，更有包容性，鲁棒性更好，公式如下：
公式(2)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，yh是目标参考图片的值，xh是网络预测输出的值；
2-5-3，计算SSIM损失：结构相似性指数(structural similarity index，简称SSIM)对局部结构变化很敏感，更多的考虑了人眼的视觉感知，在修复图像质量的过程中更有优势，公式如下：
对于两个图像块，他们的SSIM始终小于1，1表示完全相似，公式(3)中，μx是网络预测输出图片的所有像素的平均值，μy是目标参考图片的所有像素的平均值，σx是网络预测输出图片的所有像素的方差，σy是目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况设置的偏置值；σxy表示网络预测输出图片和目标参考图片的所有像素的协方差；2-5-4，改进的基于MAE+SSIM的内容损失：由现有文献可知，MSE对异常值敏感，因为它的惩罚是平方的，所以异常值的loss会非常大，容易导致出现椒盐噪声，MAE可以缓解这个问题，并在图像复原时对边缘轮廓的对比度等效果比较好；结合SSIM在在修复图像质量上的优势，有文献指出可以将MAE+SSIM的模式用在图像增强上面，并通过实验取得相对更好效果；
本发明提出基于MAE+SSIM的内容损失函数，在CBAM模块用预测输出的增强后特征与同时经过CBAM模块输出的目标参考特征计算损失，公式如下：
Lcontent＝Lcon-MAE+Lcon-SSIM (6)
h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，φy表示目标参考图片经过网络结构得到的特征，
表示网络预测输出的特征，Lcontent表示内容损失值，Lcon-MAE表示与基于内容损失的MAE损失值，Lcon-SSIM表示与基于内容损失的SSIM损失值；φh(x)为CBAM预测输出的增强后的正常光照的特征，φh(y)为目标参考图片经过CBAM得到的特征，用特征值代替图片像素值计算损失，所以，
为待处理图片CBAM预测输出特征的平均值，
为目标参考图片经CBAM输出的特征的平均值，
为待处理图片经CBAM输出的特征的方差，
为目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况而设置的偏置值，在这样一个联合损失函数的作用下使得输入的弱光环境下的低照度的特征可以尽可能学习到正常光照图片的特征，为后续的分类过程创造更好的数据条件；
步骤三，构建胶囊网络(CapsNet)，将增强后的特征图送入CapsNet进行图分类，前两层为编码器，后三层为解码器，包括以下步骤：
3-1，输入增强后的特征图F3到CapsNet；
3-2，经过第一层胶囊(低层胶囊)Primary Caps，获取低级实例，每个胶囊中包含多个神经元，接受卷积层检测到的基本特征，生成特征的向量组合，包括不同类型的实例化参数，例如姿态，即位置、大小、方向，变形，速度，色相，纹理等，胶囊里一个非常特殊的属性是图像中某个类别的实例的存在，它的输出数值大小就是实体存在的概率，方向表示在不同方向上的检测，本层输出有N个(维度为8的)胶囊ui，每个胶囊由8个卷积核对前一层进行卷积，卷积核大小为9×9，通道数为256，步长为2，i表示该层第i个胶囊；
3-3，胶囊间的动态路由算法(Routing algorithm)：这是一个图像分类的过程，由低级实例编码分类成高级实例的目标类别；
将Primary Caps层的输出胶囊ui(低级实例)与大小为16×8的变换矩阵w相乘，w编码了低级实例(如：眼睛、嘴巴和鼻子)与高级实例(如：人脸)之间的空间关系和其他重要关系，w通过反向传播来更新，高级实例由多个低级实例组成，也就是最后得到的目标类别；
Primary Caps层的输出向量(低级实例)与变换矩阵w相乘后得出的
可看做是以ui的视角对高级实例胶囊j的预测，j表示High-level Caps层的第j个胶囊，再乘以权重值cij求和累加得到sj，cij＝softmax(bij)，bij定义胶囊i到j的可能性，初始值为0，将低层胶囊i对不同高层胶囊的可能性输出为概率权重值cij，并且∑j cij＝1，接着在高层胶囊High-level Caps中进行求和公式如下：
∑i cij uj|i (7)
即组成每个高层胶囊j由Primary Caps层组成的相关胶囊进行加权求和，然后经过压缩函数squash()：
输入输出都为向量，得到一个小于1的概率vj，即该被所有相关低层胶囊共同预测出的高层胶囊j存在的概率，再用概率vj与uj|i点积更新bij，
bij＝bij+uj|i·vj (9)
向量的点积可得出相关性，相关性越大bij即cij越大，反之，输出的概率总和并不等于1，也就是胶囊有同时分类多个物体的能力；
迭代3次后输出，cij越大的高层胶囊将得到更多由低层胶囊提供的信息，cij越小的高层胶囊将得到更少由低层胶囊提供的信息；
Primary Caps层到High-level Caps层为全连接，由N个8维的胶囊向量输出到M个16维的胶囊向量，M为被分出的类别个数；
3-4，三层全连接层重构：Hinton提出，通过添加一个能够从顶层胶囊的姿态参数和身份重构输入图像的网络，可以提高胶囊网络的判别能力，并用实验证明了在输入图像和重构图像之间的L2距离上设置阈值可以有效检测出攻击图像，重构子网络可以视作一种检测对抗性攻击的非常有效的方法；
将High-level Caps层输出的向量放入三层全连接网络中进行重构，前两层的激活函数为ReLU函数，第三层的激活函数为Sigmoid函数，神经元数量分别为512、1024、784，最后生成与输入图像大小相同的图像；
3-5，跳跃连接：从第一层卷积层后到High-level Caps层后增加一段跳跃连接，将原图的背景信息传入全连接重构中；
注：Hinton提出的动态路由胶囊网络结构模型细节如表2所示，可供参考，输入图片大小为28×28像素点：
表2胶囊网络结构参数设置参考
3-6，CapsNet模块损失函数优化，将经过CBAM模块增强后的特征图进行图像分类：
CapsNet网络的损失函数由两部分组成，一个是边缘损失(margin loss)，另一个是重构损失(reconstruction loss)，重构损失为L2损失，用来最后重构图像，公式如下：
边缘损失函数LMargin用来优化图像分类，公式如下：
LMargin＝Tk max(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2 (11)
k表示类别，vk表示第k类的High-level Caps中的高层胶囊，
公式(11)是用于图像分类的损失函数，公式(11)中，使用One-hot编码向量，提取图像高级实例标签集Nor_ins_train中的对应图像标签，如果正确的标签与High-levelCaps层中One-hot编码结果的相同，Tk为1，否则为0，正确的标签来自于正常光照下的可见光训练样本图像高级实例标签集；m+为上界，惩罚假阳性，即预测k类存在但真实不存在，分类出来但错了，m-为下届，惩罚假阴性，即预测k类不存在但真实存在，没有分类出来，λ系数以确保训练中的数值稳定性，λ系数值为0.5，Tk max(0,m+-||vk||)2和λ(1-Tk)max(0,||vk||-m-)2取平方是为了让损失函数符合L2正则，正则化一下效果更好；
One-hot编码，又称为一位有效编码，主要是采用Z位状态寄存器来对Z个状态进行编码，每个状态都有其独立的寄存器位，并且在任意时候只有一位有效，该编码是分类变量作为二进制向量的表示，这首先要求将分类值映射到整数值，然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1；
步骤四，计算总损失函数：
α为权重系数，将重构损失缩小到0.0005倍，使得边缘损失占主导作用，也可根据网格调参法对Lcontent、LMargin和Lreconstruction不同子损失函数的权重进行调整；
步骤五，训练注意力模块与胶囊网络，包括以下步骤：
5-1，将Low_train数据集中的低照度图像导入胶囊网络中，经过第一层卷积层后获取低级特征信息；
5-2，将低级特征信息送入channel attention模块中，对通道进行平均池化和最大池化并放入MLP(Multi-Layer Perceptron，多层感知器)中进行非线性映射，最后归一化得出第一个权重值；
5-3，将加上第一个权重值的特征图送入spatial attention模块中，对不同位置的所有通道进行平均池化和最大池化，并一起放入卷积层中提取信息，最后归一化为第二个权重值；
5-4，对加上第二个权重的特征图进行Lcontent损失计算，得出增强后的特征图；
5-5，将步骤5-4增强后的特征图作为低级特征信息送入胶囊层，组合成向量形式，向量的方向为获取实例的方向，长度为该方向的概率；
5-6，经过两层胶囊层得到图像中高级实例，并且由于胶囊的结构以及没有pooling层，有利于更多细节信息的保留，所以High-level Caps层可得出不同轮廓清晰细节信息饱满的实例；
5-7，由于两层胶囊层以获取实例为主，可能无法获取整幅图像的所有像素点，所以在Primary Caps层前到High-level Caps层后加入跳跃连接，将一些胶囊层未获取到的非实例信息传入到全连接重构中；
5-8，将High-level Caps层获取到的信息和跳跃连接中的信息送入三层全连接中进行重构，使得重构图像接近正常光照图像；
5-9，进行损失计算，将High-level Caps层得到的边缘损失和三层全连接重构得到的重构损失进行线性组合，得到总损失，利用现有的Adam(Adaptive momentestimation，自适应矩估计)优化器进行参数更新。
以上结合附图对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围。
Claims (1)
1.一种基于注意力机制与胶囊网络的低照度图像分类方法，其特征在于，包括以下步骤：
步骤一，制作数据源，建立数据集：将正常光照的数据集制作出相对应低照度条件的图片，并与正常光照的图片作为数据对，然后将所有图片调整为同一规格大小，形成数据集，包括以下数据集：
(1)正常光照下的可见光图片训练数据集(Nor_train)；
(2)图片标签训练数据集(Label_train)；
(3)低照度下的弱可见光训练图片数据集(Low_train)；
(4)正常光照下的可见光图片测试数据集(Nor_test)；
(5)图片标签测试数据集(Label_test)；
(6)低照度下的弱可见光图片测试数据集(Low_test)；
网络的训练标签，低照度下的弱可见光训练样本标签集作为网络的训练样本，正常光照下的可见光数据集与低照度下的弱可见光数据集构成图像对，图像内容需要高度相似，通过图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0，1]的范围内；
训练集占所有图片数据的80％，测试集占所有图片数据的20％，其中正常光照下可见光图片数据与低照度下弱可见光图片数据的数量为1：1的图像对，如表1所示，
表1，正常光照和低照度下训练集与测试集的数据关系表
步骤二，构建CBAM网络模块，将低照度图像增强，第一块为通道注意力(channelattention)，第二块为空间注意力(spatial attention)，包括以下步骤：
2-1，输入Nor_train数据集低照度图像；
2-2，经过一层卷积层，包括卷积操作和ReLU激活，得到特征图F1；
2-3，进入通道注意力：对特征图F1中的每个通道同时分别进行平均池化(Avg_pooling)和最大池化(Max_pooling)，再同时分别送入两层全连接层，进行下采样和上采样，激活函数为ReLU，随后将这两个特征向量相加，接着经过一个Sigmoid激活函数得到权重系数Mc，最后，拿权重系数Mc和特征图F1相乘得到缩放后的特征图F2；
2-4，进入空间注意力：将特征图F2每个像素的所有通道分别进行平均池化和最大池化，接着拼接在一起，经过一个卷积层，激活函数为Sigmoid，得到权重系数Ms，最后，拿权重系数Ms和特征图F2相乘得到缩放后的特征图F3；
2-5，CBAM模块损失函数优化：由基于MAE+SSIM的内容损失组成，包括以下步骤：
2-5-1，内容损失：是风格迁移中的损失函数之一，将预测特征图与目标图片的特征值做损失，使用MSE损失函数作为内容损失：
公式(1)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，
表示内容损失函数的值，当输入待处理图片后，经过特征提取后得到输出特征
同时输入目标图片y与
输入一个已经训练好的VGG16网络进行训练，得到φh(y)和
2-5-2，计算MAE损失，公式如下：
公式(2)中，h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，yh是目标参考图片的值，xh是网络预测输出的值；
2-5-3，计算SSIM损失，公式如下：
公式(3)中，μx是网络预测输出图片的所有像素的平均值，μy是目标参考图片的所有像素的平均值，σx是网络预测输出图片的所有像素的方差，σy是目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况设置的偏置值；σxy表示网络预测输出图片和目标参考图片的所有像素的协方差；
2-5-4，改进的基于MAE+SSIM的内容损失：在CBAM模块用预测输出的增强后特征与同时经过CBAM模块输出的目标参考特征计算损失，公式如下：
Lcontent＝Lcon-MAE+Lcon-SSIM (6)
h代表第h层神经网络，Ch表示第h层神经网络特征图的长，Hh表示第h层神经网络特征图的宽，Wh表示第h层神经网络特征图的通道数，φy表示目标参考图片经过网络结构得到的特征，
表示网络预测输出的特征，Lcontent表示内容损失值，Lcon-MAE表示与基于内容损失的MAE损失值，Lcon-SSIM表示与基于内容损失的SSIM损失值；φh(x)为CBAM预测输出的增强后的正常光照的特征，φh(y)为目标参考图片经过CBAM得到的特征，用特征值代替图片像素值计算损失，所以，
为待处理图片CBAM预测输出特征的平均值，
为目标参考图片经CBAM输出的特征的平均值，
为待处理图片经CBAM输出的特征的方差，
为目标参考图片的所有像素的方差，C1，C2是为了防止分母为零的情况而设置的偏置值；
步骤三，构建胶囊网络(CapsNet)，将增强后的特征图送入CapsNet进行图像分类，前两层为编码器，后三层为解码器，包括以下步骤：
3-1，输入增强后的特征图F3到CapsNet；
3-2，经过第一层胶囊(低层胶囊)Primary Caps，每个胶囊中包含多个神经元，包括不同类型的实例化参数，本层输出有N个胶囊ui，每个胶囊由8个卷积核对前一层进行卷积，i表示该层第i个胶囊；
3-3，胶囊间的动态路由算法(Routing algorithm)：将Primary Caps层的输出向量(低级实例)与变换矩阵w相乘，变换矩阵w通过反向传播来更新，高级实例由多个低级实例组成；Primary Caps层的输出向量(低级实例)与变换矩阵w相乘后得出的
可看做是以ui的视角对高级实例胶囊j的预测，j表示High-level Caps层的第j个胶囊，再乘以权重值cij求和累加得到sj，cij＝softmax(bij)，bij定义胶囊i到j的可能性，初始值为0，将低层胶囊i对不同高层胶囊的可能性输出为概率权重值cij，并且∑jcij＝1，接着在高层胶囊High-levelCaps中进行求和公式如下：
∑icijuj|i (7)
即组成每个高层胶囊j由Primary Caps层组成的相关胶囊进行加权求和，然后经过压缩函数squash()：
输入输出都为向量，得到一个小于1的概率vj，即该被所有相关低层胶囊共同预测出的高层胶囊j存在的概率，再用概率vj与uj|i点积更新bij，
bij＝bij+uj|i·vj (9)
向量的点积可得出相关性，相关性越大bij即cij越大，反之，输出的概率总和并不等于1，也就是胶囊有同时分类多个物体的能力；
迭代3次后输出，cij越大的高层胶囊将得到更多由低层胶囊提供的信息，cij越小的高层胶囊将得到更少由低层胶囊提供的信息；
Primary Caps层到High-level Caps层为全连接，由N个8维的胶囊向量输出到M个16维的胶囊向量，M为被分出的类别个数；
3-4，三层全连接层重构：将High-level Caps层输出的向量放入三层全连接网络中进行重构，前两层的激活函数为ReLU函数，第三层的激活函数为Sigmoid函数，最后生成与输入图像大小相同的图像；
3-5，跳跃连接：从第一层卷积层后到High-level Caps层后增加一段跳跃连接，将原图的背景信息传入全连接重构中；
3-6，CapsNet模块损失函数优化，将经过CBAM模块增强后的特征图进行图像分类：
CapsNet网络的损失函数由两部分组成，一个是边缘损失(margin loss)，另一个是重构损失(reconstruction loss)，重构损失为L2损失，公式如下：
边缘损失函数LMargin用来优化图像分类，公式如下：
LMargin＝Tkmax(0，m+-||vk||)2+λ(1-Tk)max(0，||vk||-m-)2 (11)
k表示类别，vk表示第k类的High-level Caps中的高层胶囊，
公式(11)中，使用One-hot编码向量，提取图像高级实例标签集Nor_ins_train中的对应图像标签，如果正确的标签与High-level Caps层中One-hot编码结果的相同，Tk为1，否则为0，正确的标签来自于正常光照下的可见光训练样本图像高级实例标签集；m+为上界，惩罚假阳性，即预测k类存在但真实不存在，分类出来但错了，m-为下届，惩罚假阴性，即预测k类不存在但真实存在，没有分类出来，λ系数以确保训练中的数值稳定性，λ系数值为0.5；
步骤四，计算总损失函数：
α为权重系数，将重构损失缩小到0.0005倍，使得边缘损失占主导作用，根据网格调参法对Lcontent、LMargin和Lreconstruction不同子损失函数的权重系数进行调整；
步骤五，训练注意力模块与胶囊网络，包括以下步骤：
5-1，将Low_train数据集中的低照度图像导入胶囊网络中，经过第一层卷积层后获取低级特征信息；
5-2，将低级特征信息送入channel attention模块中，对通道进行平均池化和最大池化，并放入MLP(Multi-Layer Perceptron，多层感知器)中进行非线性映射，最后归一化得出第一个权重值；
5-3，将加上第一个权重值的特征图送入spatial attention模块中，对不同位置的所有通道进行平均池化和最大池化，并一起放入卷积层中提取信息，最后归一化为第二个权重值；
5-4，对加上第二个权重的特征图进行Lcontent损失计算，得出增强后的特征图；
5-5，将步骤5-4增强后的特征图作为低级特征信息送入胶囊层，组合成向量形式，向量的方向为获取实例的方向，长度为该方向的概率；
5-6，经过两层胶囊层得到图像中高级实例，High-level Caps层可得出不同轮廓清晰细节信息饱满的实例；
5-7，在Primary Caps层前到High-level Caps层后加入跳跃连接，将一些胶囊层未获取到的非实例信息传入到全连接重构中；
5-8，将High-level Caps层获取到的信息和跳跃连接中的信息送入三层全连接中进行重构，使得重构图像接近正常光照图像；
5-9，进行损失计算，将High-level Caps层得到的边缘损失和三层全连接重构得到的重构损失进行线性组合，得到总损失，利用Adam优化器进行参数更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845890.1A CN111950649B (zh) | 2020-08-20 | 2020-08-20 | 基于注意力机制与胶囊网络的低照度图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845890.1A CN111950649B (zh) | 2020-08-20 | 2020-08-20 | 基于注意力机制与胶囊网络的低照度图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950649A true CN111950649A (zh) | 2020-11-17 |
| CN111950649B CN111950649B (zh) | 2022-04-26 |
Family
ID=73359312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010845890.1A Active CN111950649B (zh) | 2020-08-20 | 2020-08-20 | 基于注意力机制与胶囊网络的低照度图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950649B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699215A (zh) * | 2020-12-24 | 2021-04-23 | 齐鲁工业大学 | 基于胶囊网络与交互注意力机制的评级预测方法及系统 |
| CN113011500A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 虚拟现实场景数据集的分类方法、系统、设备及介质 |
| CN113052814A (zh) * | 2021-03-23 | 2021-06-29 | 浙江工业大学 | 基于Retinex和注意力机制的暗光图像增强方法 |
| CN113128360A (zh) * | 2021-03-30 | 2021-07-16 | 苏州乐达纳米科技有限公司 | 基于深度学习的司机驾驶行为检测与识别方法 |
| CN113205005A (zh) * | 2021-04-12 | 2021-08-03 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
| CN113239895A (zh) * | 2021-06-15 | 2021-08-10 | 天津工业大学 | 基于注意力机制的胶囊网络的sar图像变化检测方法 |
| CN113298037A (zh) * | 2021-06-18 | 2021-08-24 | 重庆交通大学 | 一种基于胶囊网络的车辆重识别方法 |
| CN113450366A (zh) * | 2021-07-16 | 2021-09-28 | 桂林电子科技大学 | 基于AdaptGAN的低照度语义分割方法 |
| CN113516022A (zh) * | 2021-04-23 | 2021-10-19 | 黑龙江机智通智能科技有限公司 | 一种宫颈细胞的细粒度分类系统 |
| CN113989266A (zh) * | 2021-11-11 | 2022-01-28 | 汶上海纬机车配件有限公司 | 基于图像处理的机械配件表面缺陷检测方法 |
| CN114461804A (zh) * | 2022-02-10 | 2022-05-10 | 电子科技大学 | 一种基于关键信息与动态路由的文本分类方法、分类器及系统 |
| CN115100043A (zh) * | 2022-08-25 | 2022-09-23 | 天津大学 | 一种基于深度学习的hdr图像重建方法 |
| CN115690522A (zh) * | 2022-12-29 | 2023-02-03 | 湖北工业大学 | 一种基于多池化融合通道注意力的目标检测方法及其应用 |
| CN117079083A (zh) * | 2023-10-16 | 2023-11-17 | 苏州元脑智能科技有限公司 | 图像修复模型训练方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614996A (zh) * | 2018-11-28 | 2019-04-12 | 桂林电子科技大学 | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 |
| CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
| CN110288555A (zh) * | 2019-07-02 | 2019-09-27 | 桂林电子科技大学 | 一种基于改进的胶囊网络的低照度增强方法 |
| CN110457511A (zh) * | 2019-08-16 | 2019-11-15 | 成都数之联科技有限公司 | 基于注意力机制和生成对抗网络的图像分类方法及系统 |
| US20190370972A1 (en) * | 2018-06-04 | 2019-12-05 | University Of Central Florida Research Foundation, Inc. | Capsules for image analysis |
| US20200135017A1 (en) * | 2018-10-29 | 2020-04-30 | Beihang University | Transportation network speed foreeasting method using deep capsule networks with nested lstm models |
| CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
-
2020
- 2020-08-20 CN CN202010845890.1A patent/CN111950649B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190370972A1 (en) * | 2018-06-04 | 2019-12-05 | University Of Central Florida Research Foundation, Inc. | Capsules for image analysis |
| US20200135017A1 (en) * | 2018-10-29 | 2020-04-30 | Beihang University | Transportation network speed foreeasting method using deep capsule networks with nested lstm models |
| CN109614996A (zh) * | 2018-11-28 | 2019-04-12 | 桂林电子科技大学 | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 |
| CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
| CN110288555A (zh) * | 2019-07-02 | 2019-09-27 | 桂林电子科技大学 | 一种基于改进的胶囊网络的低照度增强方法 |
| CN110457511A (zh) * | 2019-08-16 | 2019-11-15 | 成都数之联科技有限公司 | 基于注意力机制和生成对抗网络的图像分类方法及系统 |
| CN111292259A (zh) * | 2020-01-14 | 2020-06-16 | 西安交通大学 | 一种综合多尺度与注意力机制的深度学习图像去噪方法 |
Non-Patent Citations (4)
| Title |
|---|
| STEFFI AGINO PRIYANKA等: "Low-Light Image Enhancement by Principal Component Analysis", 《 IEEE ACCESS》 * |
| 刘超等: "超低照度下微光图像增强神经网络损失函数设计分析", 《国防科技大学学报》 * |
| 江泽涛等: "一种基于U-Net生成对抗网络的低照度图像增强方法", 《电子学报》 * |
| 高丹等: "A-PSPNet:一种融合注意力机制的PSPNet图像语义分割模型", 《中国电子科学研究院学报》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699215A (zh) * | 2020-12-24 | 2021-04-23 | 齐鲁工业大学 | 基于胶囊网络与交互注意力机制的评级预测方法及系统 |
| CN113011500A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 虚拟现实场景数据集的分类方法、系统、设备及介质 |
| CN113011500B (zh) * | 2021-03-22 | 2023-08-22 | 华南理工大学 | 虚拟现实场景数据集的分类方法、系统、设备及介质 |
| CN113052814A (zh) * | 2021-03-23 | 2021-06-29 | 浙江工业大学 | 基于Retinex和注意力机制的暗光图像增强方法 |
| CN113052814B (zh) * | 2021-03-23 | 2024-05-10 | 浙江工业大学 | 基于Retinex和注意力机制的暗光图像增强方法 |
| CN113128360A (zh) * | 2021-03-30 | 2021-07-16 | 苏州乐达纳米科技有限公司 | 基于深度学习的司机驾驶行为检测与识别方法 |
| CN113205005B (zh) * | 2021-04-12 | 2022-07-19 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
| CN113205005A (zh) * | 2021-04-12 | 2021-08-03 | 武汉大学 | 一种面向低光照低分辨率的人脸图像幻构方法 |
| CN113516022A (zh) * | 2021-04-23 | 2021-10-19 | 黑龙江机智通智能科技有限公司 | 一种宫颈细胞的细粒度分类系统 |
| CN113239895A (zh) * | 2021-06-15 | 2021-08-10 | 天津工业大学 | 基于注意力机制的胶囊网络的sar图像变化检测方法 |
| CN113298037A (zh) * | 2021-06-18 | 2021-08-24 | 重庆交通大学 | 一种基于胶囊网络的车辆重识别方法 |
| CN113298037B (zh) * | 2021-06-18 | 2022-06-03 | 重庆交通大学 | 一种基于胶囊网络的车辆重识别方法 |
| CN113450366A (zh) * | 2021-07-16 | 2021-09-28 | 桂林电子科技大学 | 基于AdaptGAN的低照度语义分割方法 |
| CN113450366B (zh) * | 2021-07-16 | 2022-08-30 | 桂林电子科技大学 | 基于AdaptGAN的低照度语义分割方法 |
| CN113989266A (zh) * | 2021-11-11 | 2022-01-28 | 汶上海纬机车配件有限公司 | 基于图像处理的机械配件表面缺陷检测方法 |
| CN113989266B (zh) * | 2021-11-11 | 2024-05-21 | 汶上海纬机车配件有限公司 | 基于图像处理的机械配件表面缺陷检测方法 |
| CN114461804A (zh) * | 2022-02-10 | 2022-05-10 | 电子科技大学 | 一种基于关键信息与动态路由的文本分类方法、分类器及系统 |
| CN115100043B (zh) * | 2022-08-25 | 2022-11-15 | 天津大学 | 一种基于深度学习的hdr图像重建方法 |
| CN115100043A (zh) * | 2022-08-25 | 2022-09-23 | 天津大学 | 一种基于深度学习的hdr图像重建方法 |
| CN115690522A (zh) * | 2022-12-29 | 2023-02-03 | 湖北工业大学 | 一种基于多池化融合通道注意力的目标检测方法及其应用 |
| CN117079083A (zh) * | 2023-10-16 | 2023-11-17 | 苏州元脑智能科技有限公司 | 图像修复模型训练方法、装置、电子设备及存储介质 |
| CN117079083B (zh) * | 2023-10-16 | 2024-02-09 | 苏州元脑智能科技有限公司 | 图像修复模型训练方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950649B (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950649B (zh) | 基于注意力机制与胶囊网络的低照度图像分类方法 | |
| CN112307958B (zh) | 基于时空外观运动注意力网络的微表情识别方法 | |
| CN110288555B (zh) | 一种基于改进的胶囊网络的低照度增强方法 | |
| CN112288011B (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
| CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
| CN109753878B (zh) | 一种恶劣天气下的成像识别方法及系统 | |
| CN112837344B (zh) | 一种基于条件对抗生成孪生网络的目标跟踪方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN112257766A (zh) | 一种基于频域滤波处理的自然场景下阴影识别检测方法 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN113869234B (zh) | 人脸表情识别方法、装置、设备及存储介质 | |
| CN114780767A (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及系统 | |
| CN112990340B (zh) | 一种基于特征共享的自学习迁移方法 | |
| CN110728238A (zh) | 一种融合型神经网络的人员再检测方法 | |
| Ren et al. | A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms | |
| CN117372853A (zh) | 一种基于图像增强和注意力机制的水下目标检测算法 | |
| Li et al. | FA-GAN: a feature attention GAN with fusion discriminator for non-homogeneous dehazing | |
| CN113763417A (zh) | 一种基于孪生网络和残差结构的目标跟踪方法 | |
| CN115995040A (zh) | 一种基于多尺度网络的sar图像小样本目标识别方法 | |
| Xu et al. | Attention‐based multi‐channel feature fusion enhancement network to process low‐light images | |
| Huang et al. | Deep multimodal fusion autoencoder for saliency prediction of RGB-D images | |
| CN114841887A (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| Muthusamy et al. | Deep belief network for solving the image quality assessment in full reference and no reference model | |
| Wu et al. | Fish Target Detection in Underwater Blurred Scenes Based on Improved YOLOv5 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201117 Assignee: Guangxi pinri Electronic Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045442 Denomination of invention: A Low Illumination Image Classification Method Based on Attention Mechanism and Capsule Network Granted publication date: 20220426 License type: Common License Record date: 20231101 |
|
| EE01 | Entry into force of recordation of patent licensing contract |