CN110288555A - 一种基于改进的胶囊网络的低照度增强方法 - Google Patents

Abstract

本发明公开了一种基于改进的胶囊网络的低照度增强方法，具体步骤如下：（一）采集数据源，制作数据集，对所有图像数据进行像素值归一化处理；（二）进行改进的胶囊网络的构建，其中前三层为编码器，后三层为解码器；（三）计算损失函数；（四）进行网络的训练，重构图像及进行参数更新得到增强后的图像。本发明在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图。

Description

一种基于改进的胶囊网络的低照度增强方法

技术领域

本发明涉及深度学习、图像增强技术领域，尤其涉及一种基于改进的胶囊网络的低照度增强方法。

背景技术

现实生活中有大量在低光环境下拍摄的图像，在运用时很多信息无法准确获取，肉眼难以分辨，也对一些类似目标检测、复原等图像处理造成了困难。目前随着卷积神经网络(CNN)在图像处理领域获得巨大成功，很多人也将CNN引入图像增强中，但是由于pooling层导致大量信息丢失，以至于增强后的图像轮廓以及细节处易模糊，这一直是图像增强技术领域待解决的问题。

胶囊网络(CapsNet)是由Hinton等人于2017年提出的全新的网络，Hinto认为要让深度神经网络变得更聪明，就要向无监督学习过渡，反向传播是时候该放弃了，而胶囊形式的网络则是未来深度学习发展的一个趋势，更符合生物学上的神经组织。

本发明新提出的改进的胶囊网络将多个神经元组合成可以包含多种信息的胶囊向量，更好的保留信息，没有pooling层，同时避免了由于pooling层导致的信息丢失，胶囊间的权重更新使用的是一种通过点积迭代来耦合的方式，而非反向传播。并且通过点积更准确的获取特征之间的位置关系，拥有空间分层和空间推理的能力，不需要大量的数据即可以获得较高的精度，对于处理拥挤重叠的场景也非常有优势，在检测识别领域有较好的表现，Hinton表示还会有更完善的胶囊网络正在筹备中。其网络结构如图1所示。

在上述理论基础上，本发明提出了利用胶囊网络结构，将输入图像改为低照度下的弱可见光图像，输出为增强后的图像；并加入跳跃连接将一些非实例信息传入全连接重构中，确保重构信息的完整性，并且弥补了胶囊网络由于参数过多导致的速度慢的缺陷；对原有的损失函数比重也进行了修改，提升了重构损失的比重，达到对低照度图像进行图像增强的效果。

发明内容

针对现有技术的不足，本发明所解决的技术问题是如何能在低光环境下拍摄的图像通过改进的胶囊网络得到接近于正常照度下的图像。

为解决上述技术问题，本发明采用的技术方案是一种基于改进的胶囊网络的低照度增强方法，具体步骤如下：

(一)采集数据源，制作数据集，对所有图像数据进行像素值归一化

处理，具体过程如下：

(1)分别采集正常光照条件的图片和相对应低照度条件的图片作为数据对，然后将所有图片同一规格大小，形成数据集，根据训练与测试的需求，将数据集分为5个数据集，分别为：

采集正常光照下的可见光训练样本标签集Nor_train；

采集正常光照下的可见光训练样本图像高级实例标签集Nor_ins_train；

采集正常光照下的可见光测试样本标签集Nor_test；

采集低照度下的弱可见光训练样本标签集Low_train；

采集低照度下的弱可见光测试样本标签集Low_test；

(2)对所有图像数据进行像素值归一化处理，将低照度下的弱可见光训练样本标签集作为网络的训练样本，图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内，如下表所示：

(二)进行改进的胶囊网络的构建，其中前三层为编码器，后三层为解码器，具体过程如下：

(1)输入：Nor_train数据集中的低照度图像；

(2)经过一层卷积层，包括卷积操作和ReLU激活，卷积核大小为9x9，通道数为1，步长为1，有256个；

(3)经过第一层胶囊Primary Caps，每个胶囊中包含多个神经元，接受卷积层检测到的基本特征，生成特征的向量组合，包括许多不同类型的实例化参数，本层输出有32个胶囊u_i，每个胶囊将8个卷积核对前一层进行卷积，i表示该层第i个胶囊。卷积核大小为9x9，通道数为256，步长为2。

(4)胶囊间的动态路由算法Routing algorithm：将Primary Caps层的输出向量即低级实例与变换矩阵W相乘，W通过反向传播来更新；高级实例由多个低级实例组成；相乘后得出的u_j|i，再乘以权重值c_ij，经过softmax函数

将胶囊i对不同高层胶囊的可能性输出为概率c_ij，接着在第二层胶囊High-levelCaps中进行求和，然后经过压缩函数squash，得到一个小于1的概率v_j，迭代3次后输出，Primary Caps层到High-level Caps层为全连接；

(5)三层全连接层重构：将High-level Caps层输出的向量放入三层全连接网络中进行重构，前两层的激活函数为ReLU函数，第三层的激活函数为Sigmoid函数，神经元数量分别为512、1024、784，最后生成与输入图像大小相同的图像；

(6)跳跃连接：从第一层卷积层后到High-level Caps层后增加一段跳跃连接，将一些背景信息传入全连接重构中，加快网络运行速度。

(三)计算损失函数，具体过程如下：

对胶囊网络的损失函数进行修改，由两部分组成，一个是边缘损失，另一个是重构损失，将边缘损失缩小到0.5倍，使得重构损失占主导作用，总损失函数如下：

L＝αL_k+L_r

α＝0.5 (5)

其中边缘损失函数L_k如下：

L_k＝T_k max(0,m⁺-||v_k||)²+λ(1-T_k)max(0,||v_k||-m^-)² (6)

重构损失函数L_r为用正常光照Nor_train数据集中对应的图像，将图像像素减去重构的像素然后取平方和。

(四)进行网络的训练，重构图像及进行参数更新得到增强后的图像：

具体分步骤如下：

(1)将Low_train数据集中的低照度图像导入网络中，经过第一层卷积层后获取低级特征信息，把图像像素点灰度转化成局部特征检测器的激活；

(2)将低级特征信息送入胶囊层，组合成向量形式，向量的方向为获取实例的方向，长度为该方向的概率；

(3)经过两层胶囊层得到图像中高级实例，High-level Caps层可得出不同轮廓清晰细节信息饱满的实例；

(4)在Primary Caps层前到High-level Caps层后加入跳跃连接，将一些胶囊层未获取到的非实例信息传入到全连接重构中。

(5)将High-level Caps层获取到的信息和跳跃连接中的信息送入三层全连接中进行重构，使得重构图像接近正常光照图像，并加快了网络的运行速度。

(6)进行损失计算，将High-level Caps层得到的边缘损失和三层全连接重构得到的重构损失进行线性组合，得到总损失，利用现有的Adam优化器进行参数更新。

与现有技术相比，本发明在低光环境下拍摄的图像不受到低动态范围和噪声的影响并仍得到接近于正常照度下的图。

附图说明

图1为现有技术胶囊网络结构示意图；

图2为本发明改进的胶囊网络结构示意图；

图3为本发明的工作流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。

图1示出了现有技术胶囊网络结构示意；

图2示出了本发明改进的胶囊网络结构示意；

图3示出了一种一种基于改进的胶囊网络的低照度增强方法，具体步骤如下：

(一)采集数据源，制作数据集，对所有图像数据进行像素值归一化处理，具体过程如下：

(1)根据需求，分别采集正常光照条件的图片和相对应低照度条件的图片作为数据对，然后将所有图片同一规格大小，形成数据集。根据训练与测试的需求，将数据集分为5个数据集，分别为：

采集正常光照下的可见光训练样本标签集Nor_train；

采集正常光照下的可见光训练样本图像高级实例标签集Nor_ins_train；

采集正常光照下的可见光测试样本标签集Nor_test；

采集低照度下的弱可见光训练样本标签集Low_train；

采集低照度下的弱可见光测试样本标签集Low_test；

(2)对所有图像数据进行像素值归一化处理，将低照度下的弱可见光训练样本标签集作为网络的训练样本，图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内，如下表1所示：

图像高级实例标签集Nor_ins_train为从正常光照下的可见光数据集中每个图像内的高级实例，用在网络中High-level Caps内的图像分类中，计算与网络中特征图的边缘损失。

正常光照下的可见光数据集与低照度下的弱可见光数据集构成图像对，图像内容需要高度相似。

对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内。像素值归一化计算表达式如公式(1)所示。

其中，x为原始的像素值，min为像素值的最小值，max为像素值的最大值，X^*为归一化后的像素值。

(二)进行改进的胶囊网络的构建，其中前三层为编码器，后三层为解码器，具体过程如下：

(1)输入：Nor_train数据集中的低照度图像；

(2)经过一层卷积层，包括卷积操作和ReLU激活，卷积核大小为9x9，通道数为1，步长为1，有256个；

(3)经过第一层胶囊Primary Caps，获取低级实例，每个胶囊中包含多个神经元，接受卷积层检测到的基本特征，生成特征的向量组合，包括许多不同类型的实例化参数，例如姿态(位置、大小、方向)，变形，速度，色相，纹理等。胶囊里一个非常特殊的属性是图像中某个类别的实例的存在。它的输出数值大小就是实体存在的概率，方向表示在不同方向上的检测。本层输出有32个胶囊u_i，每个胶囊将8个卷积核对前一层进行卷积，卷积核大小为9x9，通道数为256，步长为2。i表示该层第i个胶囊。

(4).胶囊间的动态路由算法Routing algorithm：将Primary Caps层的输出向量(低级实例)与变换矩阵W相乘，W编码了低级实例(如：眼睛、嘴巴和鼻子)和高级实例(如：人脸)之间的空间关系和其他重要关系，W通过反向传播来更新。高级实例由多个低级实例组成。

相乘后得出的u_j|i可看做是以u_i的视角对高级实例胶囊j的预测(j表示High-level Caps层的第j个胶囊)。再乘以权重值c_ij，c_ij＝softmax(b_ij)，b_ij定义胶囊i到j的可能性，初始值为0，经过softmax函数：

将胶囊i对不同高层胶囊的可能性输出为概率c_ij，并且∑_j c_ij＝1。接着在第二层胶囊High-level Caps中进行求和公式如下：

即组成每个高层胶囊j由Primary Caps层组成的相关胶囊进行加权求和，然后经过压缩函数squash()，输入输出都为向量，得到一个小于1的概率v_j，即该被所有相关低层胶囊共同预测出的高层胶囊j存在的概率，再用该概率与u_j|i点积更新b_ij，

b_ij＝b_ij+u_(j|i)·v_j (4)

向量的点积可得出相关性，相关性越大b_ij即c_ij越大，反之。输出的概率总和并不等于1，也就是胶囊有同时识别多个物体的能力。

迭代3次后输出，c_ij越大的高层胶囊将得到更多由低层胶囊提供的信息，c_ij越小的高层胶囊将得到更少由低层胶囊提供的信息。

Primary Caps层到High-level Caps层为全连接。

(5)三层全连接层重构：将High-level Caps层输出的向量放入三层全连接网络中进行重构，前两层的激活函数为ReLU函数，第三层的激活函数为Sigmoid函数，神经元数量分别为512、1024、784，最后生成与输入图像大小相同的图像；

(6)跳跃连接：从第一层卷积层后到High-level Caps层后增加一段跳跃连接，将一些背景信息传入全连接重构中，并加快了网络运行速度。

改进的胶囊网络结构模型细节如表2所示：

表2改进的胶囊网络结构参数设置

(三)计算损失函数，具体过程如下：

对胶囊网络的损失函数进行了修改，由两部分组成，一个是边缘损失(marginloss)，另一个是重构损失(reconstruction loss)。将边缘损失缩小到0.5倍，使得重构损失占主导作用，总损失函数如下：

L＝αL_k+L_r

α＝0.5 (5)

边缘损失函数L_k如下：

L_k＝T_k max(0,m⁺-||v_k||)²+λ(1-T_k)max(0,||v_k||-m^-)² (6)

公式中，使用one-hot编码向量，提取图像高级实例标签集Nor_ins_train中的对应图像标签，如果正确的标签与High-level Caps层中one-hot编码结果的相同，T_k为1，否则为0。正确的标签来自于正常光照下的可见光训练样本图像高级实例标签集。m⁺为上界，惩罚假阳性，即预测k类存在单真是不存在，识别出来但错了，m^-为下届，惩罚假阴性，即预测k类不存在但真实存在，没有识别出来。系数以确保训练中的数值稳定性，这两项取平方是为了让损失函数符合L2正则，正则化一下效果更好。

重构损失函数L_r为用正常光照Nor_train数据集中对应的图像，将图像像素减去重构的像素然后取平方和。

One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效，该编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

(四)进行网络的训练，重构图像及进行参数更新得到增强后的图像，

具体分步骤如下：

(1)将Low_train数据集中的低照度图像导入网络中，经过第一层卷积层后获取低级特征信息，把图像像素点灰度转化成局部特征检测器的激活；

(2)将低级特征信息送入胶囊层，组合成向量形式，向量的方向为获取实例的方向，长度为该方向的概率；

(3)经过两层胶囊层得到图像中高级实例，High-level Caps层可得出不同轮廓清晰细节信息饱满的实例；

(4)在Primary Caps层前到High-level Caps层后加入跳跃连接，将一些胶囊层未获取到的非实例信息传入到全连接重构中。

(5)将High-level Caps层获取到的信息和跳跃连接中的信息送入三层全连接中进行重构，使得重构图像接近正常光照图像，并加快了网络的运行速度。

(6)进行损失计算，将High-level Caps层得到的边缘损失和三层全连接重构得到的重构损失进行线性组合，得到总损失，利用现有的Adam优化器进行参数更新。

以上结合附图对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (5)

1.一种基于改进的胶囊网络的低照度增强方法，其特征在于，具体步骤如下：

(一)采集数据源，制作数据集，对所有图像数据进行像素值归一化处理；

(二)进行改进的胶囊网络的构建，其中前三层为编码器，后三层为解码器；

(三)计算损失函数；

(四)进行网络的训练，重构图像及进行参数更新得到增强后的图像。

2.根据权利要求1所述的基于改进的胶囊网络的低照度增强方法，其特征在于，步骤(一)具体过程如下：

(1)分别采集正常光照条件的图片和相对应低照度条件的图片作为数据对，然后将所有图片同一规格大小，形成数据集，根据训练与测试的需求，将数据集分为5个数据集，分别为：

采集正常光照下的可见光训练样本标签集Nor_train；

采集正常光照下的可见光训练样本图像高级实例标签集Nor_ins_train；

采集正常光照下的可见光测试样本标签集Nor_test；

采集低照度下的弱可见光训练样本标签集Low_train；

采集低照度下的弱可见光测试样本标签集Low_test；

(2)对所有图像数据进行像素值归一化处理，将低照度下的弱可见光训练样本标签集作为网络的训练样本，图像像素值归一化操作对所有图像数据进行像素值归一化处理，将像素值映射到[0,1]的范围内，如下表所示：

3.根据权利要求1所述的基于改进的胶囊网络的低照度增强方法，其特征在于，步骤(二)具体过程如下：

(1)输入：Nor_train数据集中的低照度图像；

(2)经过一层卷积层，包括卷积操作和ReLU激活，卷积核大小为9x9，通道数为1，步长为1，有256个；

(3)经过第一层胶囊Primary Caps，每个胶囊中包含多个神经元，接受卷积层检测到的基本特征，生成特征的向量组合，包括许多不同类型的实例化参数，本层输出有32个胶囊u_i，每个胶囊将8个卷积核对前一层进行卷积，i表示该层第i个胶囊；卷积核大小为9x9，通道数为256，步长为2；

(4)胶囊间的动态路由算法Routing algorithm：将Primary Caps层的输出向量即低级实例与变换矩阵W相乘，W通过反向传播来更新；高级实例由多个低级实例组成；相乘后得出的u_j|i，再乘以权重值c_ij，经过softmax函数

将胶囊i对不同高层胶囊的可能性输出为概率c_ij，接着在第二层胶囊High-level Caps中进行求和，然后经过压缩函数squash，得到一个小于1的概率v_j，迭代3次后输出，PrimaryCaps层到High-level Caps层为全连接；

(5)三层全连接层重构：将High-level Caps层输出的向量放入三层全连接网络中进行重构，前两层的激活函数为ReLU函数，第三层的激活函数为Sigmoid函数，神经元数量分别为512、1024、784，最后生成与输入图像大小相同的图像；

(6)跳跃连接：从第一层卷积层后到High-level Caps层后增加一段跳跃连接，将一些背景信息传入全连接重构中，加快网络运行速度。

4.根据权利要求1所述的基于改进的胶囊网络的低照度增强方法，其特征在于，步骤(三)具体过程如下：

对胶囊网络的损失函数进行修改，由两部分组成，一个是边缘损失，另一个是重构损失，将边缘损失缩小到0.5倍，使得重构损失占主导作用，总损失函数如下：

L＝αL_k+L_r

α＝0.5 (5)

其中边缘损失函数L_k如下：

L_k＝T_k max(0,m⁺-||v_k||)²+λ(1-T_k)max(0,||v_k||-m^-)² (6)

重构损失函数L_r为用正常光照Nor_train数据集中对应的图像，将图像像素减去重构的像素然后取平方和。

5.根据权利要求1所述的基于改进的胶囊网络的低照度增强方法，其特征在于，步骤(四)具体过程如下：

(1)将Low_train数据集中的低照度图像导入网络中，经过第一层卷积层后获取低级特征信息，把图像像素点灰度转化成局部特征检测器的激活；

(2)将低级特征信息送入胶囊层，组合成向量形式，向量的方向为获取实例的方向，长度为该方向的概率；

(3)经过两层胶囊层得到图像中高级实例，High-level Caps层可得出不同轮廓清晰细节信息饱满的实例；

(4)在Primary Caps层前到High-level Caps层后加入跳跃连接，将一些胶囊层未获取到的非实例信息传入到全连接重构中；

(5)将High-level Caps层获取到的信息和跳跃连接中的信息送入三层全连接中进行重构，使得重构图像接近正常光照图像，并加快了网络的运行速度；

(6)进行损失计算，将High-level Caps层得到的边缘损失和三层全连接重构得到的重构损失进行线性组合，得到总损失，利用现有的Adam优化器进行参数更新。