CN110288555B - 一种基于改进的胶囊网络的低照度增强方法 - Google Patents
一种基于改进的胶囊网络的低照度增强方法 Download PDFInfo
- Publication number
- CN110288555B CN110288555B CN201910587997.8A CN201910587997A CN110288555B CN 110288555 B CN110288555 B CN 110288555B CN 201910587997 A CN201910587997 A CN 201910587997A CN 110288555 B CN110288555 B CN 110288555B
- Authority
- CN
- China
- Prior art keywords
- layer
- low
- level
- image
- capsule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 79
- 238000005286 illumination Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进的胶囊网络的低照度增强方法，具体步骤如下：（一）采集数据源，制作数据集，对所有图像数据进行像素值归一化处理；（二）进行改进的胶囊网络的构建，其中前三层为编码器，后三层为解码器；（三）计算损失函数；（四）进行网络的训练，重构图像及进行参数更新得到增强后的图像。本发明在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图。
Description
技术领域
本发明涉及深度学习、图像增强技术领域，尤其涉及一种基于改进的胶囊网络的低照度增强方法。
背景技术
现实生活中有大量在低光环境下拍摄的图像，在运用时很多信息无法准确获取，肉眼难以分辨，也对一些类似目标检测、复原等图像处理造成了困难。目前随着卷积神经网络(CNN)在图像处理领域获得巨大成功，很多人也将CNN引入图像增强中，但是由于pooling层导致大量信息丢失，以至于增强后的图像轮廓以及细节处易模糊，这一直是图像增强技术领域待解决的问题。
胶囊网络(CapsNet)是由Hinton等人于2017年提出的全新的网络，Hinto认为要让深度神经网络变得更聪明，就要向无监督学习过渡，反向传播是时候该放弃了，而胶囊形式的网络则是未来深度学习发展的一个趋势，更符合生物学上的神经组织。
本发明新提出的改进的胶囊网络将多个神经元组合成可以包含多种信息的胶囊向量，更好的保留信息，没有pooling层，同时避免了由于pooling层导致的信息丢失，胶囊间的权重更新使用的是一种通过点积迭代来耦合的方式，而非反向传播。并且通过点积更准确的获取特征之间的位置关系，拥有空间分层和空间推理的能力，不需要大量的数据即可以获得较高的精度，对于处理拥挤重叠的场景也非常有优势，在检测识别领域有较好的表现，Hinton表示还会有更完善的胶囊网络正在筹备中。其网络结构如图1所示。
在上述理论基础上，本发明提出了利用胶囊网络结构，将输入图像改为低照度下的弱可见光图像，输出为增强后的图像；并加入跳跃连接将一些非实例信息传入全连接重构中，确保重构信息的完整性，并且弥补了胶囊网络由于参数过多导致的速度慢的缺陷；对原有的损失函数比重也进行了修改，提升了重构损失的比重，达到对低照度图像进行图像增强的效果。
发明内容
针对现有技术的不足，本发明所解决的技术问题是如何能在低光环境下拍摄的图像通过改进的胶囊网络得到接近于正常照度下的图像。
为解决上述技术问题，本发明采用的技术方案是一种基于改进的胶囊网络的低照度增强方法，具体步骤如下：
(一)采集数据源，制作数据集，对所有图像数据进行像素值归一化处理，具体过程如下：
(1)分别采集正常光照条件的图片和相对应低照度条件的图片作为数据对，然后将所有图片同一规格大小，形成数据集，根据训练与测试的需求，将数据集分为5个数据集，分别为：
采集正常光照下的可见光训练样本标签集Nor_train；
采集正常光照下的可见光训练样本图像高级实例标签集Nor_ins_train；
采集正常光照下的可见光测试样本标签集Nor_test；
采集低照度下的弱可见光训练样本标签集Low_train；
采集低照度下的弱可见光测试样本标签集Low_test；
(2)对所有图像数据进行像素值归一化处理，将低照度下的弱可见光训练样本标签集作为网络的训练样本，图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内，如下表所示：
(二)进行改进的胶囊网络的构建，其中前三层为编码器，后三层为解码器，具体过程如下：
(1)输入：Nor_train数据集中的低照度图像；
(2)经过一层卷积层，包括卷积操作和ReLU激活，卷积核大小为9x9，通道数为1，步长为1，有256个；
(3)经过第一层胶囊Primary Caps，每个胶囊中包含多个神经元，接受卷积层检测到的基本特征，生成特征的向量组合，包括许多不同类型的实例化参数，本层输出有32个胶囊ui，每个胶囊将8个卷积核对前一层进行卷积，i表示该层第i个胶囊。卷积核大小为9x9，通道数为256，步长为2。
(4)胶囊间的动态路由算法Routing algorithm：将Primary Caps层的输出向量即低级实例与变换矩阵W相乘，W通过反向传播来更新；高级实例由多个低级实例组成；相乘后得出的uj|i，再乘以权重值cij，经过softmax函数
将胶囊i对不同高层胶囊的可能性输出为概率cij，接着在第二层胶囊High-levelCaps中进行求和，然后经过压缩函数squash，得到一个小于1的概率vj，迭代3次后输出，Primary Caps层到High-level Caps层为全连接；
(5)三层全连接层重构：将High-level Caps层输出的向量放入三层全连接网络中进行重构，前两层的激活函数为ReLU函数，第三层的激活函数为Sigmoid函数，神经元数量分别为512、1024、784，最后生成与输入图像大小相同的图像；
(6)跳跃连接：从第一层卷积层后到High-level Caps层后增加一段跳跃连接，将一些背景信息传入全连接重构中，加快网络运行速度。
(三)计算损失函数，具体过程如下：
对胶囊网络的损失函数进行修改，由两部分组成，一个是边缘损失，另一个是重构损失，将边缘损失缩小到0.5倍，使得重构损失占主导作用，总损失函数如下：
L＝αLk+Lr
α＝0.5 (5)
其中边缘损失函数Lk如下：
Lk＝Tk max(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2 (6)
重构损失函数Lr为用正常光照Nor_train数据集中对应的图像，将图像像素减去重构的像素然后取平方和。
(四)进行网络的训练，重构图像及进行参数更新得到增强后的图像，具体分步骤如下：
(1)将Low_train数据集中的低照度图像导入网络中，经过第一层卷积层后获取低级特征信息，把图像像素点灰度转化成局部特征检测器的激活；
(2)将低级特征信息送入胶囊层，组合成向量形式，向量的方向为获取实例的方向，长度为该方向的概率；
(3)经过两层胶囊层得到图像中高级实例，High-level Caps层可得出不同轮廓清晰细节信息饱满的实例；
(4)在Primary Caps层前到High-level Caps层后加入跳跃连接，将一些胶囊层未获取到的非实例信息传入到全连接重构中。
(5)将High-level Caps层获取到的信息和跳跃连接中的信息送入三层全连接中进行重构，使得重构图像接近正常光照图像，并加快了网络的运行速度。
(6)进行损失计算，将High-level Caps层得到的边缘损失和三层全连接重构得到的重构损失进行线性组合，得到总损失，利用现有的Adam优化器进行参数更新。
与现有技术相比，本发明在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图。
附图说明
图1为现有技术胶囊网络结构示意图；
图2为本发明改进的胶囊网络结构示意图；
图3为本发明的工作流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。
图1示出了现有技术胶囊网络结构示意；
图2示出了本发明改进的胶囊网络结构示意；
图3示出了一种一种基于改进的胶囊网络的低照度增强方法，具体步骤如下：
(一)采集数据源，制作数据集，对所有图像数据进行像素值归一化处理，具体过程如下：
(1)根据需求，分别采集正常光照条件的图片和相对应低照度条件的图片作为数据对，然后将所有图片同一规格大小，形成数据集。根据训练与测试的需求，将数据集分为5个数据集，分别为：
采集正常光照下的可见光训练样本标签集Nor_train；
采集正常光照下的可见光训练样本图像高级实例标签集Nor_ins_train；
采集正常光照下的可见光测试样本标签集Nor_test；
采集低照度下的弱可见光训练样本标签集Low_train；
采集低照度下的弱可见光测试样本标签集Low_test；
(2)对所有图像数据进行像素值归一化处理，将低照度下的弱可见光训练样本标签集作为网络的训练样本，图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内，如下表1所示：
图像高级实例标签集Nor_ins_train为从正常光照下的可见光数据集中每个图像内的高级实例，用在网络中High-level Caps内的图像分类中，计算与网络中特征图的边缘损失。
正常光照下的可见光数据集与低照度下的弱可见光数据集构成图像对，图像内容需要高度相似。
对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内。像素值归一化计算表达式如公式(1)所示。
其中，x为原始的像素值，min为像素值的最小值，max为像素值的最大值，X*为归一化后的像素值。
(二)进行改进的胶囊网络的构建，其中前三层为编码器，后三层为解码器，具体过程如下：
(1)输入：Nor_train数据集中的低照度图像；
(2)经过一层卷积层，包括卷积操作和ReLU激活，卷积核大小为9x9，通道数为1，步长为1，有256个；
(3)经过第一层胶囊Primary Caps，获取低级实例，每个胶囊中包含多个神经元，接受卷积层检测到的基本特征，生成特征的向量组合，包括许多不同类型的实例化参数，例如姿态(位置、大小、方向)，变形，速度，色相，纹理等。胶囊里一个非常特殊的属性是图像中某个类别的实例的存在。它的输出数值大小就是实体存在的概率，方向表示在不同方向上的检测。本层输出有32个胶囊ui，每个胶囊将8个卷积核对前一层进行卷积，卷积核大小为9x9，通道数为256，步长为2。i表示该层第i个胶囊。
(4).胶囊间的动态路由算法Routing algorithm：将Primary Caps层的输出向量(低级实例)与变换矩阵W相乘，W编码了低级实例(如：眼睛、嘴巴和鼻子)和高级实例(如：人脸)之间的空间关系和其他重要关系，W通过反向传播来更新。高级实例由多个低级实例组成。
相乘后得出的uj|i可看做是以ui的视角对高级实例胶囊j的预测(j表示High-level Caps层的第j个胶囊)。再乘以权重值cij，cij＝softmax(bij)，bij定义胶囊i到j的可能性，初始值为0，经过softmax函数：
将胶囊i对不同高层胶囊的可能性输出为概率cij，并且∑j cij＝1。接着在第二层胶囊High-level Caps中进行求和公式如下：
即组成每个高层胶囊j由Primary Caps层组成的相关胶囊进行加权求和，然后经过压缩函数squash()，输入输出都为向量，得到一个小于1的概率vj，即该被所有相关低层胶囊共同预测出的高层胶囊j存在的概率，再用该概率与uj|i点积更新bij，
bij＝bij+u(j|i)·vj (4)
向量的点积可得出相关性，相关性越大bij即cij越大，反之。输出的概率总和并不等于1，也就是胶囊有同时识别多个物体的能力。
迭代3次后输出，cij越大的高层胶囊将得到更多由低层胶囊提供的信息，cij越小的高层胶囊将得到更少由低层胶囊提供的信息。
Primary Caps层到High-level Caps层为全连接。
(5)三层全连接层重构：将High-level Caps层输出的向量放入三层全连接网络中进行重构，前两层的激活函数为ReLU函数，第三层的激活函数为Sigmoid函数，神经元数量分别为512、1024、784，最后生成与输入图像大小相同的图像；
(6)跳跃连接：从第一层卷积层后到High-level Caps层后增加一段跳跃连接，将一些背景信息传入全连接重构中，并加快了网络运行速度。
改进的胶囊网络结构模型细节如表2所示：
表2改进的胶囊网络结构参数设置
(三)计算损失函数，具体过程如下：
对胶囊网络的损失函数进行了修改，由两部分组成，一个是边缘损失(marginloss)，另一个是重构损失(reconstruction loss)。将边缘损失缩小到0.5倍，使得重构损失占主导作用，总损失函数如下：
L＝αLk+Lr
α＝0.5 (5)
边缘损失函数Lk如下：
Lk＝Tk max(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2 (6)
公式中，使用one-hot编码向量，提取图像高级实例标签集Nor_ins_train中的对应图像标签，如果正确的标签与High-level Caps层中one-hot编码结果的相同，Tk为1，否则为0。正确的标签来自于正常光照下的可见光训练样本图像高级实例标签集。m+为上界，惩罚假阳性，即预测k类存在单真是不存在，识别出来但错了，m-为下届，惩罚假阴性，即预测k类不存在但真实存在，没有识别出来。系数以确保训练中的数值稳定性，这两项取平方是为了让损失函数符合L2正则，正则化一下效果更好。
重构损失函数Lr为用正常光照Nor_train数据集中对应的图像，将图像像素减去重构的像素然后取平方和。
One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效，该编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。
(四)进行网络的训练，重构图像及进行参数更新得到增强后的图像，具体分步骤如下：
(1)将Low_train数据集中的低照度图像导入网络中，经过第一层卷积层后获取低级特征信息，把图像像素点灰度转化成局部特征检测器的激活；
(2)将低级特征信息送入胶囊层，组合成向量形式，向量的方向为获取实例的方向，长度为该方向的概率；
(3)经过两层胶囊层得到图像中高级实例，High-level Caps层可得出不同轮廓清晰细节信息饱满的实例；
(4)在Primary Caps层前到High-level Caps层后加入跳跃连接，将一些胶囊层未获取到的非实例信息传入到全连接重构中。
(5)将High-level Caps层获取到的信息和跳跃连接中的信息送入三层全连接中进行重构，使得重构图像接近正常光照图像，并加快了网络的运行速度。
(6)进行损失计算，将High-level Caps层得到的边缘损失和三层全连接重构得到的重构损失进行线性组合，得到总损失，利用现有的Adam优化器进行参数更新。
以上结合附图对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。
Claims (3)
1.一种基于改进的胶囊网络的低照度增强方法，其特征在于，具体步骤如下：
(一)采集数据源，制作数据集，对所有图像数据进行像素值归一化处理；
(二)进行改进的胶囊网络的构建，其中前三层为编码器，后三层为解码器，具体过程如下：
(1)输入：正常光照下的可见光训练样本标签集Nor_train数据集中的低照度图像；
(2)经过一层卷积层，包括卷积操作和ReLU激活，卷积核大小为9x9，通道数为1，步长为1，有256个；
(3)经过第一层胶囊Primary Caps，每个胶囊中包含多个神经元，接受卷积层检测到的基本特征，生成特征的向量组合，包括许多不同类型的实例化参数，本层输出有32个胶囊ui，每个胶囊将8个卷积核对前一层进行卷积，i表示该层第i个胶囊；卷积核大小为9x9，通道数为256，步长为2；
(4)胶囊间的动态路由算法Routing algorithm：将Primary Caps层的输出向量即低级实例与变换矩阵W相乘，W通过反向传播来更新；高级实例由多个低级实例组成；相乘后得出的uj|i，j表示High-level Caps层的第j个胶囊，再乘以权重值cij，经过softmax函数，
将胶囊i对不同高层胶囊的可能性输出为概率cij，接着在第二层胶囊High-level Caps中进行求和，然后经过压缩函数squash，得到一个小于1的概率vj，迭代3次后输出，PrimaryCaps层到High-level Caps层为全连接；
(5)三层全连接层重构：将High-level Caps层输出的向量放入三层全连接网络中进行重构，前两层的激活函数为ReLU函数，第三层的激活函数为Sigmoid函数，神经元数量分别为512、1024、784，最后生成与输入图像大小相同的图像；
(6)跳跃连接：从第一层卷积层后到High-level Caps层后增加一段跳跃连接，将一些背景信息传入全连接重构中，加快网络运行速度；
(三)计算损失函数，具体过程如下：
对胶囊网络的损失函数进行修改，由两部分组成，一个是边缘损失，另一个是重构损失，将边缘损失缩小到0.5倍，使得重构损失占主导作用，总损失函数如下：
L＝αLk+Lr
α＝0.5 (5)
其中边缘损失函数Lk如下：
Lk＝Tkmax(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2 (6)
重构损失函数Lr为用正常光照数据集中对应的图像，将图像像素减去重构的像素然后取平方和，使用one-hot编码向量，提取图像高级实例标签集中的对应图像标签，如果正确的标签与High-level Caps层中one-hot编码结果的相同，Tk为1，否则为0，正确的标签来自于正常光照下的可见光训练样本图像高级实例标签集，m+为上界，惩罚假阳性，即预测k类存在单真是不存在，识别出来但错了，m-为下届，惩罚假阴性，即预测k类不存在但真实存在，没有识别出来，max为取最大值；
(四)进行网络的训练，重构图像及进行参数更新得到增强后的图像。
2.根据权利要求1所述的基于改进的胶囊网络的低照度增强方法，其特征在于，步骤(一)具体过程如下：
(1)分别采集正常光照条件的图片和相对应低照度条件的图片作为数据对，然后将所有图片同一规格大小，形成数据集，根据训练与测试的需求，将数据集分为5个数据集，分别为：
采集正常光照下的可见光训练样本标签集Nor_train；
采集正常光照下的可见光训练样本图像高级实例标签集Nor_ins_train；
采集正常光照下的可见光测试样本标签集Nor_test；
采集低照度下的弱可见光训练样本标签集Low_train；
采集低照度下的弱可见光测试样本标签集Low_test；
(2)对所有图像数据进行像素值归一化处理，将低照度下的弱可见光训练样本标签集作为网络的训练样本，图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内。
3.根据权利要求2所述的基于改进的胶囊网络的低照度增强方法，其特征在于，步骤(四)具体过程如下：
(1)将Low_train数据集中的低照度图像导入网络中，经过第一层卷积层后获取低级特征信息，把图像像素点灰度转化成局部特征检测器的激活；
(2)将低级特征信息送入胶囊层，组合成向量形式，向量的方向为获取实例的方向，长度为该方向的概率；
(3)经过两层胶囊层得到图像中高级实例，High-level Caps层可得出不同轮廓清晰细节信息饱满的实例；
(4)在Primary Caps层前到High-level Caps层后加入跳跃连接，将一些胶囊层未获取到的非实例信息传入到全连接重构中；
(5)将High-level Caps层获取到的信息和跳跃连接中的信息送入三层全连接中进行重构，使得重构图像接近正常光照图像，并加快了网络的运行速度；
(6)进行损失计算，将High-level Caps层得到的边缘损失和三层全连接重构得到的重构损失进行线性组合，得到总损失，利用现有的Adam优化器进行参数更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910587997.8A CN110288555B (zh) | 2019-07-02 | 2019-07-02 | 一种基于改进的胶囊网络的低照度增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910587997.8A CN110288555B (zh) | 2019-07-02 | 2019-07-02 | 一种基于改进的胶囊网络的低照度增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110288555A CN110288555A (zh) | 2019-09-27 |
| CN110288555B true CN110288555B (zh) | 2022-08-02 |
Family
ID=68021609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910587997.8A Active CN110288555B (zh) | 2019-07-02 | 2019-07-02 | 一种基于改进的胶囊网络的低照度增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110288555B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028163B (zh) * | 2019-11-28 | 2024-02-27 | 湖北工业大学 | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 |
| CN113743575B (zh) * | 2020-05-29 | 2024-05-07 | 精工爱普生株式会社 | 数据获取方法和装置、相似度计算方法和装置及存储介质 |
| CN111784582B (zh) * | 2020-07-08 | 2022-09-27 | 桂林电子科技大学 | 一种基于dec_se的低照度图像超分辨率重建方法 |
| CN111950649B (zh) * | 2020-08-20 | 2022-04-26 | 桂林电子科技大学 | 基于注意力机制与胶囊网络的低照度图像分类方法 |
| CN112270285B (zh) * | 2020-11-09 | 2022-07-08 | 天津工业大学 | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 |
| CN112364920B (zh) * | 2020-11-12 | 2023-05-23 | 西安电子科技大学 | 基于深度学习的甲状腺癌病理图像分类方法 |
| CN112733701A (zh) * | 2021-01-07 | 2021-04-30 | 中国电子科技集团公司信息科学研究院 | 一种基于胶囊网络的鲁棒场景识别方法及系统 |
| CN112766355B (zh) * | 2021-01-13 | 2022-08-05 | 合肥工业大学 | 一种标签噪声下的脑电信号情绪识别方法 |
| CN113205137B (zh) * | 2021-04-30 | 2023-06-20 | 中国人民大学 | 一种基于胶囊参数优化的图像识别方法及系统 |
| CN113689344B (zh) * | 2021-06-30 | 2022-05-27 | 中国矿业大学 | 基于特征解耦学习的低曝光图像增强方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105641700A (zh) * | 2007-10-26 | 2016-06-08 | 莱顿教学医院 | 对抗肌肉病症的方式和方法 |
| CN108427988A (zh) * | 2018-03-14 | 2018-08-21 | 重庆金山医疗器械有限公司 | 一种消化道解剖位置识别装置 |
| CN108846822A (zh) * | 2018-06-01 | 2018-11-20 | 桂林电子科技大学 | 基于混合神经网络的可见光图像和红外光图像的融合方法 |
| CN108898577A (zh) * | 2018-05-24 | 2018-11-27 | 西南大学 | 基于改进胶囊网络的良恶性肺结节识别装置及方法 |
| CN108921227A (zh) * | 2018-07-11 | 2018-11-30 | 广东技术师范学院 | 一种基于capsule理论的青光眼医学影像分类方法 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN109118479A (zh) * | 2018-07-26 | 2019-01-01 | 中睿能源（北京）有限公司 | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 |
| CN109410917A (zh) * | 2018-09-26 | 2019-03-01 | 河海大学常州校区 | 基于改进型胶囊网络的语音数据分类方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8617058B2 (en) * | 2008-07-09 | 2013-12-31 | Innurvation, Inc. | Displaying image data from a scanner capsule |
| CN109345575B (zh) * | 2018-09-17 | 2021-01-19 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的图像配准方法及装置 |
| CN109614996B (zh) * | 2018-11-28 | 2022-05-17 | 桂林电子科技大学 | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 |
-
2019
- 2019-07-02 CN CN201910587997.8A patent/CN110288555B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105641700A (zh) * | 2007-10-26 | 2016-06-08 | 莱顿教学医院 | 对抗肌肉病症的方式和方法 |
| CN108427988A (zh) * | 2018-03-14 | 2018-08-21 | 重庆金山医疗器械有限公司 | 一种消化道解剖位置识别装置 |
| CN108898577A (zh) * | 2018-05-24 | 2018-11-27 | 西南大学 | 基于改进胶囊网络的良恶性肺结节识别装置及方法 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN108846822A (zh) * | 2018-06-01 | 2018-11-20 | 桂林电子科技大学 | 基于混合神经网络的可见光图像和红外光图像的融合方法 |
| CN108921227A (zh) * | 2018-07-11 | 2018-11-30 | 广东技术师范学院 | 一种基于capsule理论的青光眼医学影像分类方法 |
| CN109118479A (zh) * | 2018-07-26 | 2019-01-01 | 中睿能源（北京）有限公司 | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 |
| CN109410917A (zh) * | 2018-09-26 | 2019-03-01 | 河海大学常州校区 | 基于改进型胶囊网络的语音数据分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度网络的眼底图像语义标注研究及应用;王子朋;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20180815(第08期);第I138-576页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110288555A (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288555B (zh) | 一种基于改进的胶囊网络的低照度增强方法 | |
| CN111950649B (zh) | 基于注意力机制与胶囊网络的低照度图像分类方法 | |
| Mascarenhas et al. | A comparison between VGG16, VGG19 and ResNet50 architecture frameworks for Image Classification | |
| CN109345538B (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| WO2022036777A1 (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN109886121B (zh) | 一种遮挡鲁棒的人脸关键点定位方法 | |
| WO2020253416A1 (zh) | 物体检测方法、装置和计算机存储介质 | |
| Liu et al. | AFNet: Adaptive fusion network for remote sensing image semantic segmentation | |
| CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
| CN111291809B (zh) | 一种处理装置、方法及存储介质 | |
| CN109978807B (zh) | 一种基于生成式对抗网络的阴影去除方法 | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN110222717B (zh) | 图像处理方法和装置 | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN111310604A (zh) | 一种物体检测方法、装置以及存储介质 | |
| WO2021073311A1 (zh) | 图像识别方法、装置、计算机可读存储介质及芯片 | |
| CN113222824B (zh) | 一种红外图像超分辨率及小目标检测方法 | |
| CN114359631A (zh) | 基于编码-译码弱监督网络模型的目标分类与定位方法 | |
| CN116798070A (zh) | 一种基于光谱感知和注意力机制的跨模态行人重识别方法 | |
| CN114170232A (zh) | 基于Transformer的X线胸片自动诊断与新冠感染区分割方法 | |
| Khan et al. | An effective approach to address processing time and computational complexity employing modified CCT for lung disease classification | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN114119356A (zh) | 基于CycleGAN的热红外图像转类可见光彩色图像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190927 Assignee: Guangxi pinri Electronic Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045442 Denomination of invention: A Low Illumination Enhancement Method Based on Improved Capsule Network Granted publication date: 20220802 License type: Common License Record date: 20231101 |
|
| EE01 | Entry into force of recordation of patent licensing contract |