CN109949258A - 一种基于nsct变换域的图像复原方法及装置 - Google Patents

Abstract

本发明提供一种基于NSCT变换域的图像复原方法及装置，增强了图像的复原效果。所述方法包括：获取不同场景下同一物品的模糊图像和清晰图像；确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频、高频子带系数；对低频子带系数进行稀疏表示，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。本发明涉及图像处理领域。

Description

一种基于NSCT变换域的图像复原方法及装置

技术领域

本发明涉及图像处理领域，特别是指一种基于NSCT变换域的图像复原方法及装置。

背景技术

近年来，图像成为当代我们与外界进行交流沟通的最直接的方式，也是我们获取信息最简便的方式，所以通过已有的清晰图像和模糊图像使用图像融合的方法进行复原也为图像的使用带来很大的价值。图像融合作为多学科研究的重要领域和应用范围广泛的活跃研究领域，以其突出的增强待融合源图像中信息的透明度，改善解译图像的精确度、可靠性和使用率收到广泛关注。目前，传统的图像融合方法单一并且只能应用于特定领域，融合效果并不尽如人意。

科学技术的飞速发展必然带动我国工业的发展，而工业的发展必然以合适的材料为基础。具有优异性能组合的材料在先进技术的开发中起着关键的促进作用，材料界的研究便以加速设计、制造和部署新材料为目标。发现新材料就是在对材料的处理和属性进行表征的过程中，寻找材料的结构与处理和属性之间的关联，从而发现电化学或力学性质优良的材料。在此过程中，也需要对获得的多模态图像进行融合操作，从而获取其中具有重要价值的信息。但其中在材料领域的获得的多尺度的图像与其他应用领域中的概念完全不同，其多尺度图像是指通过不同技术在不同长度尺度下拍摄的材料结构图像。此外，使用光学显微镜、扫描电镜、透射电镜和原子力显微镜获得的相同表面的图像经常揭示关于相同的下层材料结构的完全不同的信息。

因此，需要明智地融合这些不同的信息，这一过程通常受到不同工具的准确性和分辨率限制的差异的阻碍，也是对材料领域图像进行融合的重点和难点。图像融合技术的研究是一项有着重要的理论与应用价值的课题。因此，预计未来几年基于图像融合的新型研究和实际应用将继续增长。

现有技术中，可以非下采样轮廓波变换(Non-subsampled ContourletTransform，NSCT)对材料领域模糊图像进行复原，但是，使用NSCT变换后由于低频子带系数稀疏度较差，会丢失部分图像的主要能量，导致复原效果不佳。

发明内容

本发明要解决的技术问题是提供一种基于NSCT变换域的图像复原方法及装置，以解决现有技术所存在的使用NSCT变换后由于低频子带系数稀疏度较差会丢失部分图像的主要能量，导致复原效果不佳的问题。

为解决上述技术问题，本发明实施例提供一种基于NSCT变换域的图像复原方法，包括：

获取不同场景下同一物品的模糊图像和清晰图像；

确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；

使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；

对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；

利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；

对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。

进一步地，所述确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A包括：

S21，在所述模糊图像及清晰图像选取大小为p×q的窗口，计算窗口中2张局部图像之间的皮尔逊相关系数R：

其中，窗口中的局部图像被看作是一个s维的向量，s＝p×q；x_i、y_i分别表示清晰图像和模糊图像窗口中对应像素点的灰度值；当两张局部图像在当前窗口位置之间的相关系数R大于预设的相关性阈值R_min时，则认为模糊图像、清晰图像在当前窗口位置存在相关性，反之，则认为模糊图像、清晰图像在当前窗口位置不相关；

S22，遍历整个图片，获取当前尺寸的窗口下、窗口位于不同位置时，2张局部图像之间的相关系数最大值R_max，其中，最大值R_max是为了确定清晰图像和模糊图像中最相似的一个区域；

S23，判断2张局部图像之间的相关系数最大值R_max是否大于预设的相关性阈值R_min；

S24，若是，则判定所述2张局部图像在当前窗口位置存在相关性，并在最相似区域的基础上增大窗口的大小，继续执行S22、S23，直至R_max小于R_min，迭代过程停止，得到清晰图像和模糊图像中的相似区域，其中，模糊图像中的该相似区域为模糊区域B，清晰图像中的相似区域为所述模糊区域B对应的清晰区域A。

进一步地，所述对低频子带系数进行稀疏表示包括：

获取材料领域的图像数据集；

从所述图像数据集中选取部分图像作为构建字典的训练集，对训练集中的图像使用大小为的窗口滑动窗口策略对训练集中的图像进行提取，转换为长度为的向量后一次排列组成矩阵，作为训练数据集样本Y；

使用在线字典学习算法最小化训练集数据样本集Y的表示误差，得到超完备字典D；

依据获得的超完备字典D，得到区域A、B的低频子带系数的稀疏表示系数SR_A、SR_B。

进一步地，所述根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数包括：

确定能够表征区域A、B的区域相似度变量值Sim；

判断Sim是否大于预设的相似度阈值θ；

若大于，则确定区域A、B的空间频率SF和标准差σ，并利用公式C＝e^lg(SF)*e^lg(σ)，确定区域A、B的中间参数C_A、C_B，根据C_A、C_B之间取最大值原则：得到融合后的低频系数F_l；

否则，根据SR_A、SR_B之间取最大值原则：得到融合后的低频系数F_l。

进一步地，区域相似度变量值Sim表示为：

其中，K表示所选择区域中像素点的数量、V_i表示清晰图像在当前像素点处的灰度值，V_j表示模糊图像在当前像素点处的灰度值。

进一步地，所述利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数包括：

S51，将区域A、B的高频子带系数分别输入到改进参数链接强度的脉冲耦合神经网络中，与预设的激励值Stimulus共同激励神经元；

S52，若激励值Stimulus>T，则脉冲耦合神经网络的脉冲产生器控制神经元点火，完成一次点火事，其中，T表示能够使神经元达到点火状态的阈值；否则，表明该神经元无法完成点火动作，将从本次激励动作中忽略该神经元；其中，当神经元点火时，由脉冲产生器记录神经元中已经点火的神经元；

S53，当所有已经点火的神经元的数目小于所有神经元的总数时，返回S51进行循环迭代，直至所有的神经元完成点火动作；

S54，所有神经元完成点火动作后，确定关于高频子带系数的点火映射图其中，点火映射图T_i,j(n)表示为：

T_i,j(n)＝T_i,j(n-1)+Y_c,t(n)

其中，n表示迭代次数，T_i,j(n)表示在像素点(i,j)处第n次的高频子带系数，T_i,j(n-1)表示在像素点(i,j)处第(n-1)次的高频子带系数，Y_c,t(n)表示脉冲耦合神经网络中的神经元所在的位置(c,t)的输出项；

根据得到的点火映射图之间的大小关系，得到融合后的高频系数F_i,j(n)：

进一步地，脉冲耦合神经网络的神经元的离散方程式表示为：

U_c,t(n)＝F_c,t(n)(1+βL_c,t(n))

其中，β表示链接强度，n是迭代次数，(c,t)是神经元所在的位置，F_c,t(n)表示第n次迭代时反馈输入的高频系数，V_F表示F_c,t(n)的放大系数，τ_F表示F_c,t(n)的衰减时间常数，k、l表示链接范围，M_ct,kl表示反馈输入神经元之间的链接矩阵，Y_c,t(n-1)表示第(n-1)次迭代的输出项；L_c,t(n)表示第n次迭代时的链接输入，V_L表示L_c,t(n)的放大系数，τ_L表示L_c,t(n)的衰减时间常数，W_ct,kl表示链接输入神经元之间的链接矩阵；U_c,t(n)表示第n次迭代时的内部活动项；θ_c,t(n)表示第n次迭代时的动态阈值，V_θ表示θ_c,t(n)的放大系数，τ_θ表示θ_c,t(n)的衰减时间常数；I_c,t是神经元强制激发的外部激励，Y_c,t(n)是第n次迭代的输出项，同时也是下一次迭代的输入项。

进一步地，链接强度β使用通过增加计算方向数并调整权重的值的改进后的拉普拉斯能量和ISML进行表示，其中，链接强度β表示为：

ML(i,j)＝|2I(i,j)-I(i-h,j)-I(i+h,j)|+|2I(i,j)-I(i,j-h)-I(i,j+h)|+|1.2I(i,j)-0.6I(i-h,j-0.5h)-0.6I(i+h,j+0.5h)|+|1.2I(i,j)-0.6I(i-0.5h,j-h)-0.6I(i+0.5h,j+h)|+|1.2I(i,j)-0.6I(i+0.5h,j-h)-0.6I(i-0.5h,j+h)|+|1.2I(i,j)-0.6I(i+h,j-0.5h)-0.6I(i-h,j+0.5h)|

其中，ML(i,j)表示在像素点(i,j)的变步长拉普拉斯算子值；ISML(i,j)表示在像素点(i,j)的拉普拉斯能量和；h为变步长参数；N为正整数，用以表示ML值累加过程中窗口的大小，其大小为(2N+1)×(2N+1)。

本发明实施例还提供一种基于NSCT变换域的图像复原装置，包括：

获取模块，用于获取不同场景下同一物品的模糊图像和清晰图像；

确定模块，用于确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；

分解模块，用于使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；

第一融合模块，用于对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；

第二融合模块，用于利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；

重构模块，用于对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。

本发明的上述技术方案的有益效果如下：

上述方案中，获取不同场景下同一物品的模糊图像和清晰图像；确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像，这样，能够提高材料领域内的图像融合质量、图像的保真度，从而增强了图像的复原效果。

附图说明

图1为本发明实施例提供的基于NSCT变换域的图像复原方法的流程示意图；

图2为本发明实施例提供的基于NSCT变换域的图像复原方法的详细流程示意图；

图3为本发明实施例提供的基于NSCT变换域的图像复原方法的原理示意图；

图4为本发明实施例提供的稀疏系数获取流程示意图；

图5为本发明实施例提供的低频系数融合流程示意图；

图6为本发明实施例提供的高频系数融合流程示意图；

图7为本发明实施例提供的基于NSCT变换域的图像复原装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的使用NSCT变换后由于低频子带系数稀疏度较差会丢失部分图像的主要能量，导致复原效果不佳的问题，提供一种基于NSCT变换域的图像复原方法及装置。

实施例一

如图1所示，本发明实施例提供的基于NSCT变换域的图像复原方法，包括：

S101，获取不同场景下同一物品的模糊图像和清晰图像；

S102，确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；

S103，使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；

S104，对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；

S105，利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；

S106，对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。

本发明实施例所述的基于NSCT变换域的图像复原方法，获取不同场景下同一物品的模糊图像和清晰图像；确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像，这样，能够提高材料领域内的图像融合质量、图像的保真度，从而增强了图像的复原效果。

本实施例中，图像的高低频是对图像强度(亮度、灰度)变化的一种度量方法，因此，低频子带系数是对图像中强度变化较为平缓的区域的度量，高频子带系数是对图像中强度变化较为剧烈的区域的度量，即：当图像中强度变化小于预设的第一阈值时，则此区域对应低频子带系数，否则，此区域对应高频子带系数。

本实施例中，可以通过多尺度工具，例如，光学显微镜、扫描电镜、透射电镜、原子力显微镜等设备获取材料领域中不同场景下同一物品的模糊图像和清晰图像，其中，模糊图像的清晰度小于预设的清晰度阈值，清晰图像的清晰度大于等于预设的清晰度阈值。这样，可以利用不同场景下已有的清晰图像对模糊图像中的模糊区域进行复原。

在前述基于NSCT变换域的图像复原方法的具体实施方式中，进一步地，所述确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A包括：

S21，在所述模糊图像及清晰图像选取大小为p×q的窗口，计算窗口中2张局部图像之间的皮尔逊相关系数R：

其中，窗口中的局部图像被看作是一个s维的向量，s＝p×q；x_i、y_i分别表示清晰图像和模糊图像窗口中对应像素点的灰度值；当两张局部图像在当前窗口位置之间的相关系数R大于预设的相关性阈值R_min时，则认为模糊图像、清晰图像在当前窗口位置存在相关性，反之，则认为模糊图像、清晰图像在当前窗口位置不相关；

S22，遍历整个图片，获取当前尺寸的窗口下、窗口位于不同位置时，2张局部图像之间的相关系数最大值R_max，其中，最大值R_max是为了确定清晰图像和模糊图像中最相似的一个区域；

S23，判断2张局部图像之间的相关系数最大值R_max是否大于预设的相关性阈值R_min；

S24，若是，则判定所述2张局部图像在当前窗口位置存在相关性，并在最相似区域的基础上增大窗口的大小，继续执行S22、S23，直至R_max小于R_min，迭代过程停止，得到清晰图像和模糊图像中的相似区域，其中，模糊图像中的该相似区域为模糊区域B，清晰图像中的相似区域为所述模糊区域B对应的清晰区域A。

本实施例中，对于得到的模糊图像，对比该模糊图像的已有清晰图像，通过图像的相关性分析使用自动或手动方式确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A。

本实施例中，假设不同场景下的两张图像分别为清晰图像I_A和模糊图像I_B，首先通过自动的方式确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A，具体可以包括以下步骤：

初始时，在清晰图像I_A和模糊图像I_B中选取大小为4×4的窗口，窗口中的局部图像可以被看作一个16(4×4)维的向量，每一维是一个点的灰度值，然后根据以下公式计算窗口中2张局部图像的皮尔逊相关系数：

当两张局部图像在当前窗口位置之间的相关系数R大于预设的相关性阈值R_min时，则认为图像I_A、I_B在当前窗口位置存在相关性，反之，则认为图像I_A、I_B在当前窗口位置不相关；

遍历整个图片，获取当前尺寸的窗口下、窗口位于不同位置时，2张局部图像之间的相关系数最大值R_max，其中，最大值R_max是为了确定清晰图像I_A和模糊图像I_B中最相似的一个区域，这个最相似区域的基础上不断扩大满足相关性阈值阈值条件的区域，例如，分别按照窗口大小(4+2)×4、4×(4+2)和(4+2)×(4+2)等，计算两张局部图像的相关系数，直至相关系数小于预设的相关性阈值时，迭代过程停止，得到清晰图像和模糊图像中的相似区域，其中，模糊图像中的该相似区域为模糊区域B，清晰图像中的相似区域为所述模糊区域B对应的清晰区域A。

本实施例中，清晰图像指的是至少包含模糊图像中模糊区域的一个清晰图像，不一定要与模糊图像完全相同。

本实施例中，对于肉眼可以识别的模糊区域及其相对应的清晰区域或者在对复原模糊区域精确度要求较低的情景中，可以使用简单的人工选取模糊区域方法，能够大大减少自动选取过程中的时间。

本实施例中，将选取后的模糊区域B及清晰区域A作为下一步操作的源图像，进行图像融合与复原处理。

本实施例中，如图2和图3所示，使用非下采样轮廓波变换NSCT对区域A、B进行分解，分别得到一个低频子带系数和一系列高频子带系数。

在前述基于NSCT变换域的图像复原方法的具体实施方式中，进一步地，如图4所示，所述对低频子带系数进行稀疏表示包括：

获取材料领域的图像数据集；

从所述图像数据集中选取部分图像作为构建字典的训练集，对训练集中的图像使用大小为的窗口滑动窗口策略对训练集中的图像进行提取，转换为长度为的向量后一次排列组成矩阵，作为训练数据集样本Y；

使用在线字典学习算法最小化训练集数据样本集Y的表示误差，得到超完备字典D；

依据获得的超完备字典D，得到区域A、B的低频子带系数的稀疏表示系数SR_A、SR_B。

本实施例中，对区域A、B的低频子带系数分别进行稀疏表示，主要用于降低系数的稀疏度，处理后分别得到区域A、B的稀疏表示系数SR_A、SR_B。

本实施例中，可以使用在线字典学习算法(ODL)最小化训练集数据样本集Y的表示误差：

其中，Y＝[y₁,y₂,…y_χ]∈R^χ×γ(其中χ表示样本数，γ表示样本的属性，R^χ×γ表示χ×γ的矩阵)，X∈R^K×M为稀疏表示矩阵(x_i是X的列向量，R^K×M表示K×M的矩阵)，x_i为该矩阵中的行向量，表示字典矩阵的系数；||x_i||₀表示零阶范数，它表示向量中不为0的数的个数；T₀指根据实际应用场景设定的阈值，最终得到一个超完备字典D。

本实施例中，依据获得的超完备字典D，得到区域A、B的低频子带系数的稀疏表示系数SR_A、SR_B，具体可以包括以下步骤：

对于获得的超完备字典D，通过将字典学习的过程表达为一个优化问题，不断对稀疏表示系数进行迭代优化，目标公式如下：

其中,为第i个样本，α_i为x_i的稀疏表示，λ为大于零的参数。使用最优正交匹配追踪算法首先找到一个能够最好的表示样本特征的稀疏表示系数，再找到剩余元素中一个能够最好的表示样本特征的稀疏表示系数，该循环迭代过程当表示误差达到一个足够小的阈值或所选的元素足够多时停止，此时的α_i即为稀疏系数迭代优化后的低频子带系数。通过分别将A、B区域进行上述操作，最终获得低频稀疏表示系数SR_A、SR_B。

在前述基于NSCT变换域的图像复原方法的具体实施方式中，进一步地，如图5所示，所述根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数包括：

确定能够表征区域A、B的区域相似度变量值Sim，其中，区域相似度变量值Sim表示为：

其中，K表示所选择区域中像素点的数量、V_i表示清晰图像在当前像素点处的灰度值，V_j表示模糊图像在当前像素点处的灰度值；

判断Sim是否大于预设的相似度阈值θ；

若大于，则表示区域A、B在当前像素点较为相似，并确定区域A、B的空间频率SF和标准差σ，其中，

对于一个P×Q的图像块，空间频率SF表示为：

其中，RF表示行频率，CF表示列频率，MF表示对角线为45°时的频率，SEF表示对角线为-45°时的频率，I(i,j)表示点(i,j)处的灰度值，η表示预设的常数系数，本实施例中，η值可以为0.7071；

标准差σ表示为：

其中，x_i为图像区域中某点的灰度值，μ为x₁,x₂,...,x_N的平均值；

并利用公式C＝e^lg(SF)*e^lg(σ)，确定区域A、B的中间参数C_A、C_B，根据C_A、C_B之间取最大值原则：得到融合后的低频系数F_l；

否则，则表示区域A、B在当前像素点相差较大，则绝对值较大的稀疏系数包含的目标信息也较丰富，故直接采用取大即可得到较好的融合效果，即：根据SR_A、SR_B之间取最大值原则：得到融合后的低频系数F_l。

本实施例中，为了提高低频子带系数融合后的可信度，引入区域相似度变量Sim，其中，Sim应该不受像素位置的影响，能够直观地表征区域A、B之间的相似度。且为了能够更加有效地保留图像的边缘细节信息，还需使用空间频率和标准差相结合的融合策略进一步对区域A、B的低频稀疏表示系数SR_A、SR_B进行精确处理。

在前述基于NSCT变换域的图像复原方法的具体实施方式中，进一步地，如图6所示，所述利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数包括：

S51，将区域A、B的高频子带系数分别输入到改进参数链接强度的脉冲耦合神经网络PCNN中，与预设的激励值Stimulus共同激励神经元；

S52，若激励值Stimulus>T，则脉冲耦合神经网络的脉冲产生器控制神经元点火，完成一次点火事，其中，T表示能够使神经元达到点火状态的阈值；否则，表明该神经元无法完成点火动作，将从本次激励动作中忽略该神经元；其中，当神经元点火时，由脉冲产生器记录神经元中已经点火的神经元；

S53，当所有已经点火的神经元的数目S_f小于所有神经元的总数S_F时，返回S51进行循环迭代，直至所有的神经元完成点火动作；

S54，所有神经元完成点火动作后，计算PCNN中F_c,t(n)、L_c,t(n)、U_c,t(n)、θ_c,t(n)、Y_c,t(n)的值，得到关于高频子带系数的点火映射图其中，点火映射图T_i,j(n)表示为：

T_i,j(n)＝T_i,j(n-1)+Y_c,t(n)

其中，n表示迭代次数，T_i,j(n)表示在像素点(i,j)处第n次的高频子带系数，T_i,j(n-1)表示在像素点(i,j)处第(n-1)次的高频子带系数，Y_c,t(n)表示脉冲耦合神经网络中的神经元所在的位置(c,t)的输出项；

本实施例中，PCNN是一种脉冲耦合神经网络，由多个神经元组成，PCNN的神经元的离散方程式形式为：

U_c,t(n)＝F_c,t(n)(1+βL_c,t(n))

其中，β表示链接强度，n是迭代次数，(c,t)是神经元所在的位置，F_c,t(n)表示第n次迭代时反馈输入的高频系数，V_F表示F_c,t(n)的放大系数，τ_F表示F_c,t(n)的衰减时间常数，k、l表示链接范围，M_ct,kl表示反馈输入神经元之间的链接矩阵，Y_c,t(n-1)表示第(n-1)次迭代的输出项；L_c,t(n)表示第n次迭代时的链接输入，V_L表示L_c,t(n)的放大系数，τ_L表示L_c,t(n)的衰减时间常数，W_ct,kl表示链接输入神经元之间的链接矩阵；U_c,t(n)表示第n次迭代时的内部活动项；θ_c,t(n)表示第n次迭代时的动态阈值，V_θ表示θ_c,t(n)的放大系数，τ_θ表示θ_c,t(n)的衰减时间常数；I_c,t是神经元强制激发的外部激励，Y_c,t(n)是第n次迭代的输出项，同时也是下一次迭代的输入项。

根据得到的点火映射图之间的大小关系，得到融合后的高频系数F_i,j(n)：

本实施例中，在执行S51之前，需初始化脉冲耦合神经网络(PCNN)参数F_c,t(n)、L_c,t(n)、U_c,t(n)、θ_c,t(n)、Y_c,t(n)。

本实施例中，在PCNN中，链接强度β对图像融合的效果起到非常关键的作用，其他参数的影响较小。为了获得视觉特性更佳、细节信息更丰富突出的融合效果，使用通过增加计算方向数并调整权重的值的改进后的拉普拉斯能量和(ISML,Improved Sum ofModified Laplacian)表示上述方法中的链接强度β，其定义如下：

ML(i,j)＝|2I(i,j)-I(i-h,j)-I(i+h,j)|+|2I(i,j)-I(i,j-h)-I(i,j+h)|+|1.2I(i,j)-0.6I(i-h,j-0.5h)-0.6I(i+h,j+0.5h)|+|1.2I(i,j)-0.6I(i-0.5h,j-h)-0.6I(i+0.5h,j+h)|+|1.2I(i,j)-0.6I(i+0.5h,j-h)-0.6I(i-0.5h,j+h)|+|1.2I(i,j)-0.6I(i+h,j-0.5h)-0.6I(i-h,j+0.5h)|

其中，ML(i,j)表示在像素点(i,j)的变步长拉普拉斯算子值；ISML(i,j)表示在像素点(i,j)的拉普拉斯能量和；h为变步长参数；N为正整数，用以表示ML值累加过程中窗口的大小，其大小为(2N+1)×(2N+1)。

传统的拉普拉斯能量算法(SML)只在水平和垂直方向上计算每个像素点的变步长拉普拉斯算子值，使用该方法得到的链接强度存在较大的误差。考虑到这个问题，在本实施例中，通过在SML的基础上增加±22.5°、±67.5°方向的斜线共八个方向提出了改进的拉普拉斯能量和，通过在水平、垂直和±22.5°、±67.5°斜线共十二个方向上计算每个像素点的变步长拉普拉斯算子值，能够更加准确的表示链接强度。在十二个方向中，距离中心像素点(i,j)越近，对算子值的影响越大，所占权重也应该越大，距离中心像素点越远，所占权重也应该越小。

因此，在上述方法中，设定水平和垂直方向的权重值为1，而斜线方向距离中心像素点距离较水平和垂直方向也较远，相应的其余几个方向的斜线的权重都为0.6。

本实施例中，对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像，对复原后的清晰图像进行识别，提取图像中的目标信息，所述目标信息由实际应用场景确定。

实施例二

本发明还提供一种基于NSCT变换域的图像复原装置的具体实施方式，由于本发明提供的基于NSCT变换域的图像复原装置与前述基于NSCT变换域的图像复原方法的具体实施方式相对应，该基于NSCT变换域的图像复原装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于NSCT变换域的图像复原方法具体实施方式中的解释说明，也适用于本发明提供的基于NSCT变换域的图像复原装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

如图7所示，本发明实施例还提供一种基于NSCT变换域的图像复原装置，包括：

获取模块11，用于获取不同场景下同一物品的模糊图像和清晰图像；

确定模块12，用于确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；

分解模块13，用于使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；

第一融合模块14，用于对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；

第二融合模块15，用于利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；

重构模块16，用于对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。

本发明实施例所述的基于NSCT变换域的图像复原装置，获取不同场景下同一物品的模糊图像和清晰图像；确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像，这样，能够提高材料领域内的图像融合质量、图像的保真度，从而增强了图像的复原效果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于NSCT变换域的图像复原方法，其特征在于，包括：

获取不同场景下同一物品的模糊图像和清晰图像；

确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；

使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；

对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；

利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；

对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。

2.根据权利要求1所述的基于NSCT变换域的图像复原方法，其特征在于，所述确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A包括：

S21，在所述模糊图像及清晰图像选取大小为p×q的窗口，计算窗口中2张局部图像之间的皮尔逊相关系数R：

其中，窗口中的局部图像被看作是一个s维的向量，s＝p×q；x_i、y_i分别表示清晰图像和模糊图像窗口中对应像素点的灰度值；当两张局部图像在当前窗口位置之间的相关系数R大于预设的相关性阈值R_min时，则认为模糊图像、清晰图像在当前窗口位置存在相关性，反之，则认为模糊图像、清晰图像在当前窗口位置不相关；

S22，遍历整个图片，获取当前尺寸的窗口下、窗口位于不同位置时，2张局部图像之间的相关系数最大值R_max，其中，最大值R_max是为了确定清晰图像和模糊图像中最相似的一个区域；

S23，判断2张局部图像之间的相关系数最大值R_max是否大于预设的相关性阈值R_min；

S24，若是，则判定所述2张局部图像在当前窗口位置存在相关性，并在最相似区域的基础上增大窗口的大小，继续执行S22、S23，直至R_max小于R_min，迭代过程停止，得到清晰图像和模糊图像中的相似区域，其中，模糊图像中的该相似区域为模糊区域B，清晰图像中的相似区域为所述模糊区域B对应的清晰区域A。

3.根据权利要求1所述的基于NSCT变换域的图像复原方法，其特征在于，所述对低频子带系数进行稀疏表示包括：

获取材料领域的图像数据集；

从所述图像数据集中选取部分图像作为构建字典的训练集，对训练集中的图像使用大小为的窗口滑动窗口策略对训练集中的图像进行提取，转换为长度为的向量后一次排列组成矩阵，作为训练数据集样本Y；

使用在线字典学习算法最小化训练集数据样本集Y的表示误差，得到超完备字典D；

依据获得的超完备字典D，得到区域A、B的低频子带系数的稀疏表示系数SR_A、SR_B。

4.根据权利要求3所述的基于NSCT变换域的图像复原方法，其特征在于，所述根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数包括：

确定能够表征区域A、B的区域相似度变量值Sim；

判断Sim是否大于预设的相似度阈值θ；

若大于，则确定区域A、B的空间频率SF和标准差σ，并利用公式C＝e^lg(SF)*e^lg(σ)，确定区域A、B的中间参数C_A、C_B，根据C_A、C_B之间取最大值原则：得到融合后的低频系数F_l；

否则，根据SR_A、SR_B之间取最大值原则：得到融合后的低频系数F_l。

5.根据权利要求4所述的基于NSCT变换域的图像复原方法，其特征在于，区域相似度变量值Sim表示为：

其中，K表示所选择区域中像素点的数量、V_i表示清晰图像在当前像素点处的灰度值，V_j表示模糊图像在当前像素点处的灰度值。

6.根据权利要求1所述的基于NSCT变换域的图像复原方法，其特征在于，所述利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数包括：

S51，将区域A、B的高频子带系数分别输入到改进参数链接强度的脉冲耦合神经网络中，与预设的激励值Stimulus共同激励神经元；

S52，若激励值Stimulus>T，则脉冲耦合神经网络的脉冲产生器控制神经元点火，完成一次点火事，其中，T表示能够使神经元达到点火状态的阈值；否则，表明该神经元无法完成点火动作，将从本次激励动作中忽略该神经元；其中，当神经元点火时，由脉冲产生器记录神经元中已经点火的神经元；

S53，当所有已经点火的神经元的数目小于所有神经元的总数时，返回S51进行循环迭代，直至所有的神经元完成点火动作；

S54，所有神经元完成点火动作后，确定关于高频子带系数的点火映射图其中，点火映射图T_i,j(n)表示为：

T_i,j(n)＝T_i,j(n-1)+Y_c,t(n)

其中，n表示迭代次数，T_i,j(n)表示在像素点(i,j)处第n次的高频子带系数，T_i,j(n-1)表示在像素点(i,j)处第(n-1)次的高频子带系数，Y_c,t(n)表示脉冲耦合神经网络中的神经元所在的位置(c,t)的输出项；

根据得到的点火映射图之间的大小关系，得到融合后的高频系数F_i,j(n)：

7.根据权利要求6所述的基于NSCT变换域的图像复原方法，其特征在于，脉冲耦合神经网络的神经元的离散方程式表示为：

U_c,t(n)＝F_c,t(n)(1+βL_c,t(n))

其中，β表示链接强度，n是迭代次数，(c,t)是神经元所在的位置，F_c,t(n)表示第n次迭代时反馈输入的高频系数，V_F表示F_c,t(n)的放大系数，τ_F表示F_c,t(n)的衰减时间常数，k、l表示链接范围，M_ct,kl表示反馈输入神经元之间的链接矩阵，Y_c,t(n-1)表示第(n-1)次迭代的输出项；L_c,t(n)表示第n次迭代时的链接输入，V_L表示L_c,t(n)的放大系数，τ_L表示L_c,t(n)的衰减时间常数，W_ct,kl表示链接输入神经元之间的链接矩阵；U_c,t(n)表示第n次迭代时的内部活动项；θ_c,t(n)表示第n次迭代时的动态阈值，V_θ表示θ_c,t(n)的放大系数，τ_θ表示θ_c,t(n)的衰减时间常数；I_c,t是神经元强制激发的外部激励，Y_c,t(n)是第n次迭代的输出项，同时也是下一次迭代的输入项。

8.根据权利要求7所述的基于NSCT变换域的图像复原方法，其特征在于，链接强度β使用通过增加计算方向数并调整权重的值的改进后的拉普拉斯能量和ISML进行表示，其中，链接强度β表示为：

ML(i,j)＝|2I(i,j)-I(i-h,j)-I(i+h,j)|+|2I(i,j)-I(i,j-h)-I(i,j+h)|+|1.2I(i,j)-0.6I(i-h,j-0.5h)-0.6I(i+h,j+0.5h)|+|1.2I(i,j)-0.6I(i-0.5h,j-h)-0.6I(i+0.5h,j+h)|+|1.2I(i,j)-0.6I(i+0.5h,j-h)-0.6I(i-0.5h,j+h)|+|1.2I(i,j)-0.6I(i+h,j-0.5h)-0.6I(i-h,j+0.5h)|

其中，ML(i,j)表示在像素点(i,j)的变步长拉普拉斯算子值；ISML(i,j)表示在像素点(i,j)的拉普拉斯能量和；h为变步长参数；N为正整数，用以表示ML值累加过程中窗口的大小，其大小为(2N+1)×(2N+1)。

9.一种基于NSCT变换域的图像复原装置，其特征在于，包括：

获取模块，用于获取不同场景下同一物品的模糊图像和清晰图像；

确定模块，用于确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；

分解模块，用于使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；

第一融合模块，用于对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；

第二融合模块，用于利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；

重构模块，用于对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。