CN108492271A - 一种融合多尺度信息的自动图像增强系统及方法 - Google Patents

Abstract

本发明公开了一种融合多尺度信息的自动图像增强系统及方法，包括：样本标定模块：采集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；自动构建网络模块：输入对应的参考标准图像，指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；自动训练网络模块：采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；网络应用模块：输入新图像到训练的网络，输出原图大小的增强图像。本发明通过融合多尺度的特征，有效利用上下文信息，自动增强图像，不需人工干预。

Description

一种融合多尺度信息的自动图像增强系统及方法

技术领域

本发明涉及图像处理领域，尤其涉及一种融合多尺度信息的自动图像增强系统及方法。

背景技术

图像增强是图像处理的基本内容之一，按照某种特定的需求，突出图像中有用信息，去除或者削弱无用信息。目的是改善图像质量，处理的结果更适合于人的视觉特性或机器识别系统。图像增强技术已经广泛应用于医学诊断、航空航天、无损探测、卫星图片处理等领域。

常见的图像增强技术大都是基于图像的统计信息，采用低通滤波、中值滤波等方法去掉图像中的噪声；采用高通滤波、小波变换等增强边缘，使模糊的图片变得清晰。这些方法需人工不断试验参数、观察处理效果，且不能有效的融合多尺度上下文信息。随着近些年高效的GPU计算的发展，应用深度学习来解决传统的研究问题显得更加方便可行。而深度卷积神经网络越来越被广泛使用在图像处理上的各种问题上，并取得了显著的效果。本方法是基于深度学习的增强技术，通过融合多尺度的特征，有效利用上下文信息，自动增强图像，不需人工干预。

发明内容

本发明所要解决的技术问题在于现有技术不能融合上下文信息、需人工不断尝试。

本发明是通过以下技术方案实现的：一种融合多尺度信息的自动图像增强系统，包括以下所述模块：

样本标定模块：采集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；

自动构建网络模块：输入对应的参考标准图像，指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；

自动训练网络模块：采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；

网络应用模块：输入新图像到训练的网络，输出原图大小的增强图像。

作为本发明的优选方式之一，所述样本标定模块：采集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围；针对单通道图像，像素的参考标准强度值按如下公式计算：

其中O_p为像素的参考标准值，I_p为像素的强度值，I_min为同标签像素的最小强度值，I_max为同标签像素的最大强度值，O_min为标签映射范围最小值，O_max为标签映射范围最大值，针对彩色图像，每个通道按照单通道图像处理，最终得到参考标准图像。

作为本发明的优选方式之一，所述自动构建网络模块：卷积模型中的特征下采样模块对输入图像提取特征并8倍下采样，多尺度融合模块采用方形卷积核，确定卷积模块感知范围L，卷积模块数目N计算如下：

其中函数ψ(·)为向上取整函数，K₁为最小卷积模块的核尺寸，其他卷积模块核尺寸K_i按如下公式计算：

K_i＝i×K₁-1,i＝2,…,N

；其中K_i为第i个卷积模块的核尺寸。特征上采样模块利用特征下采样信息进行8倍上采样，恢复原图大小。

作为本发明的优选方式之一，所述自动训练网络模块：用于训练卷积神经网络模型的损失函数不仅考虑不同标签像素的数量差异，而且考虑像素预测值与参考标准值之间的差异程度，损失函数L为每个像素的预测值和参考标准值之间加权平方误差之和，定义为：

其中y_i为像素参考标准值，f_i为像素预测值，γ为调节参数。α_i为像素归一化权重，计算如下：

其中，n_i为标记为标签i的像素数目，P为像素总数目。L对f_i的梯度计算如下：

计算出梯度之后，通用后向传播算法训练卷积神经网络，得到最优模型。

本发明还公开了一种融合多尺度信息的自动图像增强方法，包括以下步骤：

(1)收集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；

(2)指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；

(3)采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；

(4)输入新图像到训练的网络，输出原图大小的增强图像。

作为本发明的优选方式之一，所述步骤1收集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围，针对单通道图像，像素的参考标准强度值按如下公式计算：

其中O_p为像素的参考标准值，I_p为像素的强度值，I_min为同标签像素的最小强度值，I_max为同标签像素的最大强度值，O_min为标签映射范围最小值，O_max为标签映射范围最大值，针对彩色图像，每个通道按照单通道图像处理，最终得到参考标准图像。

作为本发明的优选方式之一，所述步骤2卷积模型中的特征下采样模块提取图像特征并8倍下采样，多尺度融合模块采用方形卷积核，确定卷积模块感知范围L，卷积模块数目N计算如下：

其中函数ψ(·)为向上取整函数，K₁为最小卷积模块的核尺寸，其他卷积模块核尺寸K_i按如下公式计算：

K_i＝i×K₁-1,i＝2,…,N

其中K_i为第i个卷积模块的核尺寸。特征上采样模块利用特征下采样信息进行8倍上采样，恢复原图大小。

作为本发明的优选方式之一，所述步骤2的N个卷积模块分别对上一层输出的特征图进行卷积计算，得到相同大小的输出特征图，对N组特征图元素累加，作为下一层网络结构的输入。

作为本发明的优选方式之一，所述步骤3中用于训练卷积神经网络模型的损失函数不仅考虑不同标签像素的数量差异，而且考虑像素预测值与参考标准值之间的差异程度，损失函数L为每个像素的预测值和参考标准值之间加权平方误差之和，定义为：

其中y_i为像素参考标准值，f_i为像素预测值，γ为调节参数。α_i为像素归一化权重，计算如下：

其中，n_i为标记为标签i的像素数目，P为像素总数目，L对f_i的梯度计算如下：

计算出梯度之后，通用后向传播算法训练卷积神经网络，得到最优模型。

作为本发明的优选方式之一，所述步骤3训练模型时，对数据预处理包括以50％的概率进行镜像操作、旋转操作、平移操作和图像增强操作；所述步骤4中，将新样本图像输入到步骤3中训练的模型，前向传播计算，得到新样本的增强图像。

本发明相比现有技术的优点在于：本发明通过融合多尺度的特征，有效利用上下文信息，自动增强图像，不需人工干预，并能够有效利用多尺度信息增强目标对比度、抑制图像噪声，减轻后续图像处理如目标检测、图像分割的难度。

附图说明

图1是本发明的具体实施流程图；

图2是本发明的卷积神经网络结构图；

图3是本发明的系统模块框图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

参见图3：一种融合多尺度信息的自动图像增强系统，包括以下所述模块：

样本标定模块：采集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；

自动构建网络模块：输入对应的参考标准图像，指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；

自动训练网络模块：采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；

网络应用模块：输入新图像到训练的网络，输出原图大小的增强图像。

作为本发明的优选方式之一，所述样本标定模块：采集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围；针对单通道图像，像素的参考标准强度值按如下公式计算：

其中O_p为像素的参考标准值，I_p为像素的强度值，I_min为同标签像素的最小强度值，I_max为同标签像素的最大强度值，O_min为标签映射范围最小值，O_max为标签映射范围最大值，针对彩色图像，每个通道按照单通道图像处理，最终得到参考标准图像。

作为本发明的优选方式之一，所述自动构建网络模块：卷积模型中的特征下采样模块提取图像特征并8倍下采样，多尺度融合模块采用方形卷积核，确定卷积模块感知范围L，卷积模块数目N计算如下：

其中函数ψ(·)为向上取整函数，K₁为最小卷积模块的核尺寸，其他卷积模块核尺寸K_i按如下公式计算：

K_i＝i×K₁-1,i＝2,…,N

；其中K_i为第i个卷积模块的核尺寸。特征上采样模块利用特征下采样信息进行8倍上采样，恢复原图大小。

作为本发明的优选方式之一，所述自动训练网络模块：用于训练卷积神经网络模型的损失函数不仅考虑不同标签像素的数量差异，而且考虑像素预测值与参考标准值之间的差异程度，损失函数L为每个像素的预测值和参考标准值之间加权平方误差之和，定义为：

其中y_i为像素参考标准值，f_i为像素预测值，γ为调节参数。α_i为像素归一化权重，计算如下：

其中，n_i为标记为标签i的像素数目，P为像素总数目。L对f_i的梯度计算如下：

计算出梯度之后，通用后向传播算法训练卷积神经网络，得到最优模型。

参见图1-2：本发明还公开了一种融合多尺度信息的自动图像增强方法，包括以下步骤：

(1)收集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；

(2)指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；

(3)采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；

(4)输入新图像到训练的网络，输出原图大小的增强图像。

作为本发明的优选方式之一，所述步骤1收集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围，针对单通道图像，像素的参考标准强度值按如下公式计算：

其中O_p为像素的参考标准值，I_p为像素的强度值，I_min为同标签像素的最小强度值，I_max为同标签像素的最大强度值，O_min为标签映射范围最小值，O_max为标签映射范围最大值，针对彩色图像，每个通道按照单通道图像处理，最终得到参考标准图像。

作为本发明的优选方式之一，所述步骤2卷积模型中的特征下采样模块提取图像特征并8倍下采样，多尺度融合模块采用方形卷积核，确定卷积模块感知范围L，卷积模块数目N计算如下：

其中函数ψ(·)为向上取整函数，K₁为最小卷积模块的核尺寸，其他卷积模块核尺寸K_i按如下公式计算：

K_i＝i×K₁-1,i＝2,…,N

其中K_i为第i个卷积模块的核尺寸。特征上采样模块利用特征下采样信息进行8倍上采样，恢复原图大小。

作为本发明的优选方式之一，所述步骤2的N个卷积模块分别对上一层输出的特征图进行卷积计算，得到相同大小的输出特征图，对N组特征图元素累加，作为下一层网络结构的输入，所述步骤3中用于训练卷积神经网络模型的损失函数不仅考虑不同标签像素的数量差异，而且考虑像素预测值与参考标准值之间的差异程度，损失函数L为每个像素的预测值和参考标准值之间加权平方误差之和，定义为：

其中y_i为像素参考标准值，f_i为像素预测值，γ为调节参数。α_i为像素归一化权重，计算如下：

其中，n_i为标记为标签i的像素数目，P为像素总数目，L对f_i的梯度计算如下：

计算出梯度之后，通用后向传播算法训练卷积神经网络，得到最优模型。

作为本发明的优选方式之一，所述步骤3训练模型时，对数据预处理包括以50％的概率进行镜像操作、旋转操作、平移操作和图像增强操作；所述步骤4中，将新样本图像输入到步骤3中训练的模型，前向传播计算，得到新样本的增强图像。

下面以单通道的灰度图像为例，如图1所示，包含两个主要步骤，具体如下：步骤1，训练卷积神经网络

步骤2，部署卷积神经网络。

步骤1具体流程如下：

(1)收集图像。从同类型的设备采集m张不同的图像，可以是不同位置等不同条件下获得的图像，把这些图像分成训练图像集和测试图像集。

(2)对所有图像像素级标记。将相同目标或组织的像素标记为同一标签，并确定每个标签的目标映射范围，每个像素的参考标准值计算如下：

其中O_p为像素参考标准值，I_p为像素的强度值，I_min为相同标签像素的最小强度值，I_max为相同标签像素的最大强度值，O_min为映射范围最小值，O_max为映射范围最大值。

(3)生成卷积神经网络模型。卷积神经网络模型结构如图2所示，由特征下采样模块、多尺度融合模块，特征上采样模块组成。特征下采样模块由3组卷积模块串联组成，每个卷积模块均包含一个卷积层、一个归一化层、一个激活层和一个池化层，实现图像8倍下采样。卷积层均采用3×3大小的卷积核，对特征图作零填充，确保卷积层不会改变输入特征图大小。池化层步长和核大小均设置为2。指定感知范围L，计算多尺度融合模块数目N：

其中函数ψ(·)为向上取整函数。多尺度融合模块中的每个尺度卷积模块均由一个卷积层、一个归一化层和一个激活层组成。K₁为最小卷积模块的核尺寸，一个典型值设置为3，其他卷积模块核尺寸K_i按如下公式计算：

K_i＝i×K₁-1,i＝2,…,N

其中K_i为第i个卷积模块的核尺寸。同样的，对每个卷积层特征图零填充，确保卷积层不改变特征图大小。

特征上采样模块由3组上采样模块串联组成，每组上采样模块均包含一个反池化层、一个卷积层、一个归一化层、一个激活层，实现图像8倍上采样。

卷积层均采用3×3的卷积核，对卷积层特征图零填充，确保卷积层不改变特征图大小。反池化层利用特征下采样模块中池化层最大值的索引。对生成的网络模型随机初始化权重参数。

(4)利用训练集图像训练卷积神经网络模型。输入训练图像和参考标准图像，以50％的概率进行镜像操作、旋转操作、平移操作和图像增强操作。图像增强操作包括主强度值扰动、非线性灰度拉伸操作。前向计算，计算网络输出与参考标准图像的加权损失函数L。L计算为：

其中y_i为像素参考标准值，f_i为像素预测值，γ为调节参数。α_i为像素归一化权重，计算如下：

其中，n_i为标记为标签i的像素数目，P为像素总数目。L对f_i的梯度计算如下：

梯度经过后向误差传播，更新对应的权重，直到测试集误差不再下降，得到卷积神经网络模型。

步骤2部署卷积神经网络。从同类型设备采集任意大小的图像，输入到步骤1训练的卷积神经网络，前向计算的网络输出则为输入图像的增强图像。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种融合多尺度信息的自动图像增强系统，其特征在于，包括以下所述模块：

样本标定模块：采集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；

自动构建网络模块：输入对应的参考标准图像，指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；

自动训练网络模块：采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；

网络应用模块：输入新图像到训练的网络，输出原图大小的增强图像。

2.根据权利要求1所述的融合多尺度信息的自动图像增强系统，其特征在于，所述样本标定模块：采集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围；针对单通道图像，像素的参考标准强度值按如下公式计算：

其中O_p为像素的参考标准值，I_p为像素的强度值，I_min为同标签像素的最小强度值，I_max为同标签像素的最大强度值，O_min为标签映射范围最小值，O_max为标签映射范围最大值，针对彩色图像，每个通道按照单通道图像处理，最终得到参考标准图像。

3.根据权利要求1所述的融合多尺度信息的自动图像增强系统，其特征在于，所述自动构建网络模块：卷积网络中的特征下采样模块提取图像特征并进行8倍下采样，多尺度融合模块采用方形卷积核，确定卷积模块感知范围L，卷积模块数目N计算如下：

其中函数ψ(·)为向上取整函数，K₁为最小卷积模块的核尺寸，其他卷积模块核尺寸K_i按如下公式计算：

K_i＝i×K₁-1,i＝2,…,N；

其中K_i为第i个卷积模块的核尺寸。特征上采样模块利用特征下采样模块信息进行8倍上采样，恢复原图大小。

4.根据权利要求1所述的融合多尺度信息的自动图像增强系统，其特征在于，所述自动训练网络模块：用于训练卷积神经网络模型的损失函数不仅考虑不同标签像素的数量差异，而且考虑像素预测值与参考标准值之间的差异程度，损失函数L为每个像素的预测值和参考标准值之间加权平方误差之和，定义为：

其中y_i为像素参考标准值，f_i为像素预测值，γ为调节参数。α_i为像素归一化权重，计算如下：

其中，n_i为标记为标签i的像素数目，P为像素总数目。L对f_i的梯度计算如下：

计算出梯度之后，通用后向传播算法训练卷积神经网络，得到最优模型。

5.一种融合多尺度信息的自动图像增强方法，其特征在于，包括以下步骤：

(1)收集训练集图像，对训练集图像像素级标记，确定标签的映射范围，得到对应的参考标准图像；

(2)指定需要感知的图像范围，自动计算多尺度融合模块中卷积核大小和数目，生成卷积神经网络模型；

(3)采用随机梯度下降法最优化像素加权损失函数，离线训练卷积神经网络模型；

(4)输入新图像到训练的网络，输出原图大小的增强图像。

6.根据权利要求5所述的融合多尺度信息的自动图像增强方法，其特征在于，所述步骤1收集相关训练集图像，训练集图像中需要映射为同一目标范围内的像素标记为相同标签，并确定每个标签的映射范围，针对单通道图像，像素的参考标准强度值按如下公式计算：

其中O_p为像素的参考标准值，I_p为像素的强度值，I_min为同标签像素的最小强度值，I_max为同标签像素的最大强度值，O_min为标签映射范围最小值，O_max为标签映射范围最大值，针对彩色图像，每个通道按照单通道图像处理，最终得到参考标准图像。

7.根据权利要求5所述的融合多尺度信息的自动图像增强方法，其特征在于，所述步骤2卷积模型中的特征下采样模块对输入图像提取特征并8倍下采样，多尺度融合模块采用方形卷积核，确定卷积模块感知范围L，卷积模块数目N计算如下：

其中函数ψ(·)为向上取整函数，K₁为最小卷积模块的核尺寸，其他卷积模块核尺寸K_i按如下公式计算：

K_i＝i×K₁-1,i＝2,…,N

其中K_i为第i个卷积模块的核尺寸。特征上采样模块利用特征下采样信息进行8倍上采样，恢复原图大小。

8.根据权利要求5所述的融合多尺度信息的自动图像增强方法，其特征在于，所述步骤2的N个卷积模块分别对上一层输出的特征图进行卷积计算，得到相同大小的输出特征图，对N组特征图元素累加，作为下一层网络结构的输入。

9.根据权利要求5所述的融合多尺度信息的自动图像增强方法，其特征在于，所述步骤3中用于训练卷积神经网络模型的损失函数不仅考虑不同标签像素的数量差异，而且考虑像素预测值与参考标准值之间的差异程度，损失函数L为每个像素的预测值和参考标准值之间加权平方误差之和，定义为：

其中y_i为像素参考标准值，f_i为像素预测值，γ为调节参数。α_i为像素归一化权重，计算如下：

其中，n_i为标记为标签i的像素数目，P为像素总数目，L对f_i的梯度计算如下：

计算出梯度之后，通用后向传播算法训练卷积神经网络，得到最优模型。

10.根据权利要求5所述的融合多尺度信息的自动图像增强方法，其特征在于，所述步骤3训练模型时，对数据预处理包括以50％的概率进行镜像操作、旋转操作、平移操作和图像增强操作；所述步骤4中，将新样本图像输入到步骤3中训练的模型，前向传播计算，得到新样本的增强图像。