CN109949258B - 一种基于nsct变换域的图像复原方法 - Google Patents

一种基于nsct变换域的图像复原方法 Download PDF

Info

Publication number
CN109949258B
CN109949258B CN201910169436.6A CN201910169436A CN109949258B CN 109949258 B CN109949258 B CN 109949258B CN 201910169436 A CN201910169436 A CN 201910169436A CN 109949258 B CN109949258 B CN 109949258B
Authority
CN
China
Prior art keywords
frequency
image
coefficient
region
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910169436.6A
Other languages
English (en)
Other versions
CN109949258A (zh
Inventor
张晓彤
王小芬
万亚东
李壮
万建
樊素超
李宇鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201910169436.6A priority Critical patent/CN109949258B/zh
Publication of CN109949258A publication Critical patent/CN109949258A/zh
Application granted granted Critical
Publication of CN109949258B publication Critical patent/CN109949258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种基于NSCT变换域的图像复原方法及装置，增强了图像的复原效果。所述方法包括：获取不同场景下同一物品的模糊图像和清晰图像；确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频、高频子带系数；对低频子带系数进行稀疏表示，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。本发明涉及图像处理领域。

Description

一种基于NSCT变换域的图像复原方法
技术领域
本发明涉及图像处理领域，特别是指一种基于NSCT变换域的图像复原方法及装置。
背景技术
近年来，图像成为当代我们与外界进行交流沟通的最直接的方式，也是我们获取信息最简便的方式，所以通过已有的清晰图像和模糊图像使用图像融合的方法进行复原也为图像的使用带来很大的价值。图像融合作为多学科研究的重要领域和应用范围广泛的活跃研究领域，以其突出的增强待融合源图像中信息的透明度，改善解译图像的精确度、可靠性和使用率收到广泛关注。目前，传统的图像融合方法单一并且只能应用于特定领域，融合效果并不尽如人意。
科学技术的飞速发展必然带动我国工业的发展，而工业的发展必然以合适的材料为基础。具有优异性能组合的材料在先进技术的开发中起着关键的促进作用，材料界的研究便以加速设计、制造和部署新材料为目标。发现新材料就是在对材料的处理和属性进行表征的过程中，寻找材料的结构与处理和属性之间的关联，从而发现电化学或力学性质优良的材料。在此过程中，也需要对获得的多模态图像进行融合操作，从而获取其中具有重要价值的信息。但其中在材料领域的获得的多尺度的图像与其他应用领域中的概念完全不同，其多尺度图像是指通过不同技术在不同长度尺度下拍摄的材料结构图像。此外，使用光学显微镜、扫描电镜、透射电镜和原子力显微镜获得的相同表面的图像经常揭示关于相同的下层材料结构的完全不同的信息。
因此，需要明智地融合这些不同的信息，这一过程通常受到不同工具的准确性和分辨率限制的差异的阻碍，也是对材料领域图像进行融合的重点和难点。图像融合技术的研究是一项有着重要的理论与应用价值的课题。因此，预计未来几年基于图像融合的新型研究和实际应用将继续增长。
现有技术中，可以非下采样轮廓波变换(Non-subsampled ContourletTransform，NSCT)对材料领域模糊图像进行复原，但是，使用NSCT变换后由于低频子带系数稀疏度较差，会丢失部分图像的主要能量，导致复原效果不佳。
发明内容
本发明要解决的技术问题是提供一种基于NSCT变换域的图像复原方法及装置，以解决现有技术所存在的使用NSCT变换后由于低频子带系数稀疏度较差会丢失部分图像的主要能量，导致复原效果不佳的问题。
为解决上述技术问题，本发明实施例提供一种基于NSCT变换域的图像复原方法，包括：
获取不同场景下同一物品的模糊图像和清晰图像；
确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；
使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；
对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；
利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；
对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。
进一步地，所述确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A包括：
S21，在所述模糊图像及清晰图像选取大小为p×q的窗口，计算窗口中2 张局部图像之间的皮尔逊相关系数R：
Figure BDA0001987439570000021
其中，窗口中的局部图像被看作是一个s维的向量，s＝p×q；xi、yi分别表示清晰图像和模糊图像窗口中对应像素点的灰度值；当两张局部图像在当前窗口位置之间的相关系数R大于预设的相关性阈值Rmin时，则认为模糊图像、清晰图像在当前窗口位置存在相关性，反之，则认为模糊图像、清晰图像在当前窗口位置不相关；
S22，遍历整个图片，获取当前尺寸的窗口下、窗口位于不同位置时，2 张局部图像之间的相关系数最大值Rmax，其中，最大值Rmax是为了确定清晰图像和模糊图像中最相似的一个区域；
S23，判断2张局部图像之间的相关系数最大值Rmax是否大于预设的相关性阈值Rmin；
S24，若是，则判定所述2张局部图像在当前窗口位置存在相关性，并在最相似区域的基础上增大窗口的大小，继续执行S22、S23，直至Rmax小于Rmin，迭代过程停止，得到清晰图像和模糊图像中的相似区域，其中，模糊图像中的该相似区域为模糊区域B，清晰图像中的相似区域为所述模糊区域B对应的清晰区域A。
进一步地，所述对低频子带系数进行稀疏表示包括：
获取材料领域的图像数据集；
从所述图像数据集中选取部分图像作为构建字典的训练集，对训练集中的图像使用大小为
Figure BDA0001987439570000031
的窗口滑动窗口策略对训练集中的图像进行提取，转换为长度为
Figure BDA0001987439570000032
的向量后一次排列组成矩阵，作为训练数据集样本Y；
使用在线字典学习算法最小化训练集数据样本集Y的表示误差，得到超完备字典D；
依据获得的超完备字典D，得到区域A、B的低频子带系数的稀疏表示系数SRA、SRB。
进一步地，所述根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数包括：
确定能够表征区域A、B的区域相似度变量值Sim；
判断Sim是否大于预设的相似度阈值θ；
若大于，则确定区域A、B的空间频率SF和标准差σ，并利用公式 C＝elg(SF)*elg(σ)，确定区域A、B的中间参数CA、CB，根据CA、CB之间取最大值原则：
Figure BDA0001987439570000041
得到融合后的低频系数Fl；
否则，根据SRA、SRB之间取最大值原则：
Figure BDA0001987439570000042
得到融合后的低频系数Fl。
进一步地，区域相似度变量值Sim表示为：
Figure BDA0001987439570000043
其中，K表示所选择区域中像素点的数量、Vi表示清晰图像在当前像素点处的灰度值，Vj表示模糊图像在当前像素点处的灰度值。
进一步地，所述利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数包括：
S51，将区域A、B的高频子带系数
Figure BDA0001987439570000044
分别输入到改进参数链接强度的脉冲耦合神经网络中，与预设的激励值Stimulus共同激励神经元；
S52，若激励值Stimulus>T，则脉冲耦合神经网络的脉冲产生器控制神经元点火，完成一次点火事，其中，T表示能够使神经元达到点火状态的阈值；否则，表明该神经元无法完成点火动作，将从本次激励动作中忽略该神经元；其中，当神经元点火时，由脉冲产生器记录神经元中已经点火的神经元；
S53，当所有已经点火的神经元的数目小于所有神经元的总数时，返回S51 进行循环迭代，直至所有的神经元完成点火动作；
S54，所有神经元完成点火动作后，确定关于高频子带系数
Figure BDA0001987439570000045
的点火映射图
Figure BDA0001987439570000046
其中，点火映射图Ti,j(n)表示为：
Ti,j(n)＝Ti,j(n-1)+Yc,t(n)
其中，n表示迭代次数，Ti,j(n)表示在像素点(i,j)处第n次的高频子带系数，Ti,j(n-1)表示在像素点(i,j)处第(n-1)次的高频子带系数，Yc,t(n)表示脉冲耦合神经网络中的神经元所在的位置(c,t)的输出项；
根据得到的点火映射图
Figure BDA0001987439570000047
之间的大小关系，得到融合后的高频系数Fi,j(n)：
Figure BDA0001987439570000051
进一步地，脉冲耦合神经网络的神经元的离散方程式表示为：
Figure BDA0001987439570000052
Figure BDA0001987439570000053
Uc,t(n)＝Fc,t(n)(1+βLc,t(n))
Figure BDA0001987439570000054
Figure BDA0001987439570000055
其中，β表示链接强度，n是迭代次数，(c,t)是神经元所在的位置，Fc,t(n) 表示第n次迭代时反馈输入的高频系数，VF表示Fc,t(n)的放大系数，τF表示 Fc,t(n)的衰减时间常数，k、l表示链接范围，Mct,kl表示反馈输入神经元之间的链接矩阵，Yc,t(n-1)表示第(n-1)次迭代的输出项；Lc,t(n)表示第n次迭代时的链接输入，VL表示Lc,t(n)的放大系数，τL表示Lc,t(n)的衰减时间常数，Wct,kl表示链接输入神经元之间的链接矩阵；Uc,t(n)表示第n次迭代时的内部活动项；θc,t(n)表示第n次迭代时的动态阈值，Vθ表示θc,t(n)的放大系数，τθ表示θc,t(n)的衰减时间常数；Ic,t是神经元强制激发的外部激励，Yc,t(n)是第n次迭代的输出项，同时也是下一次迭代的输入项。
进一步地，链接强度β使用通过增加计算方向数并调整权重的值的改进后的拉普拉斯能量和ISML进行表示，其中，链接强度β表示为：
Figure BDA0001987439570000056
ML(i,j)＝|2I(i,j)-I(i-h,j)-I(i+h,j)|+ |2I(i,j)-I(i,j-h)-I(i,j+h)|+ |1.2I(i,j)-0.6I(i-h,j-0.5h)-0.6I(i+h,j+0.5h)|+ |1.2I(i,j)-0.6I(i-0.5h,j-h)-0.6I(i+0.5h,j+h)|+ |1.2I(i,j)-0.6I(i+0.5h,j-h)-0.6I(i-0.5h,j+h)|+ |1.2I(i,j)-0.6I(i+h,j-0.5h)-0.6I(i-h,j+0.5h)|
其中，ML(i,j)表示在像素点(i,j)的变步长拉普拉斯算子值；ISML(i,j)表示在像素点(i,j)的拉普拉斯能量和；h为变步长参数；N为正整数，用以表示 ML值累加过程中窗口的大小，其大小为(2N+1)×(2N+1)。
本发明实施例还提供一种基于NSCT变换域的图像复原装置，包括：
获取模块，用于获取不同场景下同一物品的模糊图像和清晰图像；
确定模块，用于确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；
分解模块，用于使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；
第一融合模块，用于对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；
第二融合模块，用于利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；
重构模块，用于对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。
本发明的上述技术方案的有益效果如下：
上述方案中，获取不同场景下同一物品的模糊图像和清晰图像；确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像，这样，能够提高材料领域内的图像融合质量、图像的保真度，从而增强了图像的复原效果。
附图说明
图1为本发明实施例提供的基于NSCT变换域的图像复原方法的流程示意图；
图2为本发明实施例提供的基于NSCT变换域的图像复原方法的详细流程示意图；
图3为本发明实施例提供的基于NSCT变换域的图像复原方法的原理示意图；
图4为本发明实施例提供的稀疏系数获取流程示意图；
图5为本发明实施例提供的低频系数融合流程示意图；
图6为本发明实施例提供的高频系数融合流程示意图；
图7为本发明实施例提供的基于NSCT变换域的图像复原装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的使用NSCT变换后由于低频子带系数稀疏度较差会丢失部分图像的主要能量，导致复原效果不佳的问题，提供一种基于NSCT变换域的图像复原方法及装置。
实施例一
如图1所示，本发明实施例提供的基于NSCT变换域的图像复原方法，包括：
S101，获取不同场景下同一物品的模糊图像和清晰图像；
S102，确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；
S103，使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、 B的低频子带系数和高频子带系数；
S104，对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；
S105，利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；
S106，对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。
本发明实施例所述的基于NSCT变换域的图像复原方法，获取不同场景下同一物品的模糊图像和清晰图像；确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；使用非下采样轮廓波变换对区域A、 B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像，这样，能够提高材料领域内的图像融合质量、图像的保真度，从而增强了图像的复原效果。
本实施例中，图像的高低频是对图像强度(亮度、灰度)变化的一种度量方法，因此，低频子带系数是对图像中强度变化较为平缓的区域的度量，高频子带系数是对图像中强度变化较为剧烈的区域的度量，即：当图像中强度变化小于预设的第一阈值时，则此区域对应低频子带系数，否则，此区域对应高频子带系数。
本实施例中，可以通过多尺度工具，例如，光学显微镜、扫描电镜、透射电镜、原子力显微镜等设备获取材料领域中不同场景下同一物品的模糊图像和清晰图像，其中，模糊图像的清晰度小于预设的清晰度阈值，清晰图像的清晰度大于等于预设的清晰度阈值。这样，可以利用不同场景下已有的清晰图像对模糊图像中的模糊区域进行复原。
在前述基于NSCT变换域的图像复原方法的具体实施方式中，进一步地，所述确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A包括：
S21，在所述模糊图像及清晰图像选取大小为p×q的窗口，计算窗口中2 张局部图像之间的皮尔逊相关系数R：
Figure BDA0001987439570000091
其中，窗口中的局部图像被看作是一个s维的向量，s＝p×q；xi、yi分别表示清晰图像和模糊图像窗口中对应像素点的灰度值；当两张局部图像在当前窗口位置之间的相关系数R大于预设的相关性阈值Rmin时，则认为模糊图像、清晰图像在当前窗口位置存在相关性，反之，则认为模糊图像、清晰图像在当前窗口位置不相关；
S22，遍历整个图片，获取当前尺寸的窗口下、窗口位于不同位置时，2 张局部图像之间的相关系数最大值Rmax，其中，最大值Rmax是为了确定清晰图像和模糊图像中最相似的一个区域；
S23，判断2张局部图像之间的相关系数最大值Rmax是否大于预设的相关性阈值Rmin；
S24，若是，则判定所述2张局部图像在当前窗口位置存在相关性，并在最相似区域的基础上增大窗口的大小，继续执行S22、S23，直至Rmax小于Rmin，迭代过程停止，得到清晰图像和模糊图像中的相似区域，其中，模糊图像中的该相似区域为模糊区域B，清晰图像中的相似区域为所述模糊区域B对应的清晰区域A。
本实施例中，对于得到的模糊图像，对比该模糊图像的已有清晰图像，通过图像的相关性分析使用自动或手动方式确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A。
本实施例中，假设不同场景下的两张图像分别为清晰图像IA和模糊图像 IB，首先通过自动的方式确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A，具体可以包括以下步骤：
初始时，在清晰图像IA和模糊图像IB中选取大小为4×4的窗口，窗口中的局部图像可以被看作一个16(4×4)维的向量，每一维是一个点的灰度值，然后根据以下公式计算窗口中2张局部图像的皮尔逊相关系数：
Figure BDA0001987439570000101
当两张局部图像在当前窗口位置之间的相关系数R大于预设的相关性阈值Rmin时，则认为图像IA、IB在当前窗口位置存在相关性，反之，则认为图像 IA、IB在当前窗口位置不相关；
遍历整个图片，获取当前尺寸的窗口下、窗口位于不同位置时，2张局部图像之间的相关系数最大值Rmax，其中，最大值Rmax是为了确定清晰图像IA和模糊图像IB中最相似的一个区域，这个最相似区域的基础上不断扩大满足相关性阈值阈值条件的区域，例如，分别按照窗口大小(4+2)×4、4×(4+2) 和(4+2)×(4+2)等，计算两张局部图像的相关系数，直至相关系数小于预设的相关性阈值时，迭代过程停止，得到清晰图像和模糊图像中的相似区域，其中，模糊图像中的该相似区域为模糊区域B，清晰图像中的相似区域为所述模糊区域B对应的清晰区域A。
本实施例中，清晰图像指的是至少包含模糊图像中模糊区域的一个清晰图像，不一定要与模糊图像完全相同。
本实施例中，对于肉眼可以识别的模糊区域及其相对应的清晰区域或者在对复原模糊区域精确度要求较低的情景中，可以使用简单的人工选取模糊区域方法，能够大大减少自动选取过程中的时间。
本实施例中，将选取后的模糊区域B及清晰区域A作为下一步操作的源图像，进行图像融合与复原处理。
本实施例中，如图2和图3所示，使用非下采样轮廓波变换NSCT对区域 A、B进行分解，分别得到一个低频子带系数和一系列高频子带系数。
在前述基于NSCT变换域的图像复原方法的具体实施方式中，进一步地，如图4所示，所述对低频子带系数进行稀疏表示包括：
获取材料领域的图像数据集；
从所述图像数据集中选取部分图像作为构建字典的训练集，对训练集中的图像使用大小为
Figure BDA0001987439570000111
的窗口滑动窗口策略对训练集中的图像进行提取，转换为长度为
Figure BDA0001987439570000112
的向量后一次排列组成矩阵，作为训练数据集样本Y；
使用在线字典学习算法最小化训练集数据样本集Y的表示误差，得到超完备字典D；
依据获得的超完备字典D，得到区域A、B的低频子带系数的稀疏表示系数SRA、SRB。
本实施例中，对区域A、B的低频子带系数分别进行稀疏表示，主要用于降低系数的稀疏度，处理后分别得到区域A、B的稀疏表示系数SRA、SRB。
本实施例中，可以使用在线字典学习算法(ODL)最小化训练集数据样本集Y的表示误差：
Figure BDA0001987439570000113
其中，Y＝[y1,y2,…yχ]∈Rχ×γ(其中χ表示样本数，γ表示样本的属性，Rχ×γ表示χ×γ的矩阵)，X∈RK×M为稀疏表示矩阵(xi是X的列向量，RK×M表示K×M的矩阵)，xi为该矩阵中的行向量，表示字典矩阵的系数；||xi||0表示零阶范数，它表示向量中不为0的数的个数；T0指根据实际应用场景设定的阈值，最终得到一个超完备字典D。
本实施例中，依据获得的超完备字典D，得到区域A、B的低频子带系数的稀疏表示系数SRA、SRB，具体可以包括以下步骤：
对于获得的超完备字典D，通过将字典学习的过程表达为一个优化问题，不断对稀疏表示系数进行迭代优化，目标公式如下：
Figure BDA0001987439570000114
其中,
Figure BDA0001987439570000115
为第i个样本，αi为xi的稀疏表示，λ为大于零的参数。使用最优正交匹配追踪算法首先找到一个能够最好的表示样本特征的稀疏表示系数，再找到剩余元素中一个能够最好的表示样本特征的稀疏表示系数，该循环迭代过程当表示误差达到一个足够小的阈值或所选的元素足够多时停止，此时的αi即为稀疏系数迭代优化后的低频子带系数。通过分别将A、B区域进行上述操作，最终获得低频稀疏表示系数SRA、SRB。
在前述基于NSCT变换域的图像复原方法的具体实施方式中，进一步地，如图5所示，所述根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数包括：
确定能够表征区域A、B的区域相似度变量值Sim，其中，区域相似度变量值Sim表示为：
Figure BDA0001987439570000121
其中，K表示所选择区域中像素点的数量、Vi表示清晰图像在当前像素点处的灰度值，Vj表示模糊图像在当前像素点处的灰度值；
判断Sim是否大于预设的相似度阈值θ；
若大于，则表示区域A、B在当前像素点较为相似，并确定区域A、B的空间频率SF和标准差σ，其中，
对于一个P×Q的图像块，空间频率SF表示为：
Figure BDA0001987439570000122
Figure BDA0001987439570000123
Figure BDA0001987439570000124
Figure BDA0001987439570000125
Figure BDA0001987439570000126
其中，RF表示行频率，CF表示列频率，MF表示对角线为45°时的频率， SEF表示对角线为-45°时的频率，I(i,j)表示点(i,j)处的灰度值，η表示预设的常数系数，本实施例中，η值可以为0.7071；
标准差σ表示为：
Figure BDA0001987439570000127
其中，xi为图像区域中某点的灰度值，μ为x1,x2,...,xN的平均值；
并利用公式C＝elg(SF)*elg(σ)，确定区域A、B的中间参数CA、CB，根据CA、 CB之间取最大值原则：
Figure BDA0001987439570000131
得到融合后的低频系数Fl；
否则，则表示区域A、B在当前像素点相差较大，则绝对值较大的稀疏系数包含的目标信息也较丰富，故直接采用取大即可得到较好的融合效果，即：根据SRA、SRB之间取最大值原则：
Figure BDA0001987439570000132
得到融合后的低频系数Fl。
本实施例中，为了提高低频子带系数融合后的可信度，引入区域相似度变量Sim，其中，Sim应该不受像素位置的影响，能够直观地表征区域A、B之间的相似度。且为了能够更加有效地保留图像的边缘细节信息，还需使用空间频率和标准差相结合的融合策略进一步对区域A、B的低频稀疏表示系数SRA、 SRB进行精确处理。
在前述基于NSCT变换域的图像复原方法的具体实施方式中，进一步地，如图6所示，所述利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数包括：
S51，将区域A、B的高频子带系数
Figure BDA0001987439570000133
分别输入到改进参数链接强度的脉冲耦合神经网络PCNN中，与预设的激励值Stimulus共同激励神经元；
S52，若激励值Stimulus>T，则脉冲耦合神经网络的脉冲产生器控制神经元点火，完成一次点火事，其中，T表示能够使神经元达到点火状态的阈值；否则，表明该神经元无法完成点火动作，将从本次激励动作中忽略该神经元；其中，当神经元点火时，由脉冲产生器记录神经元中已经点火的神经元；
S53，当所有已经点火的神经元的数目Sf小于所有神经元的总数SF时，返回S51进行循环迭代，直至所有的神经元完成点火动作；
S54，所有神经元完成点火动作后，计算PCNN中Fc,t(n)、Lc,t(n)、Uc,t(n)、θc,t(n)、Yc,t(n)的值，得到关于高频子带系数
Figure BDA0001987439570000134
的点火映射图
Figure BDA0001987439570000135
其中，点火映射图Ti,j(n)表示为：
Ti,j(n)＝Ti,j(n-1)+Yc,t(n)
其中，n表示迭代次数，Ti,j(n)表示在像素点(i,j)处第n次的高频子带系数，Ti,j(n-1)表示在像素点(i,j)处第(n-1)次的高频子带系数，Yc,t(n)表示脉冲耦合神经网络中的神经元所在的位置(c,t)的输出项；
本实施例中，PCNN是一种脉冲耦合神经网络，由多个神经元组成，PCNN 的神经元的离散方程式形式为：
Figure BDA0001987439570000141
Figure BDA0001987439570000142
Uc,t(n)＝Fc,t(n)(1+βLc,t(n))
Figure BDA0001987439570000143
Figure BDA0001987439570000144
其中，β表示链接强度，n是迭代次数，(c,t)是神经元所在的位置，Fc,t(n) 表示第n次迭代时反馈输入的高频系数，VF表示Fc,t(n)的放大系数，τF表示 Fc,t(n)的衰减时间常数，k、l表示链接范围，Mct,kl表示反馈输入神经元之间的链接矩阵，Yc,t(n-1)表示第(n-1)次迭代的输出项；Lc,t(n)表示第n次迭代时的链接输入，VL表示Lc,t(n)的放大系数，τL表示Lc,t(n)的衰减时间常数，Wct,kl表示链接输入神经元之间的链接矩阵；Uc,t(n)表示第n次迭代时的内部活动项；θc,t(n)表示第n次迭代时的动态阈值，Vθ表示θc,t(n)的放大系数，τθ表示θc,t(n)的衰减时间常数；Ic,t是神经元强制激发的外部激励，Yc,t(n)是第n次迭代的输出项，同时也是下一次迭代的输入项。
根据得到的点火映射图
Figure BDA0001987439570000145
之间的大小关系，得到融合后的高频系数Fi,j(n)：
Figure BDA0001987439570000146
本实施例中，在执行S51之前，需初始化脉冲耦合神经网络(PCNN)参数Fc,t(n)、Lc,t(n)、Uc,t(n)、θc,t(n)、Yc,t(n)。
本实施例中，在PCNN中，链接强度β对图像融合的效果起到非常关键的作用，其他参数的影响较小。为了获得视觉特性更佳、细节信息更丰富突出的融合效果，使用通过增加计算方向数并调整权重的值的改进后的拉普拉斯能量和(ISML,Improved Sum ofModified Laplacian)表示上述方法中的链接强度β，其定义如下：
Figure BDA0001987439570000151
ML(i,j)＝|2I(i,j)-I(i-h,j)-I(i+h,j)|+ |2I(i,j)-I(i,j-h)-I(i,j+h)|+ |1.2I(i,j)-0.6I(i-h,j-0.5h)-0.6I(i+h,j+0.5h)|+ |1.2I(i,j)-0.6I(i-0.5h,j-h)-0.6I(i+0.5h,j+h)|+ |1.2I(i,j)-0.6I(i+0.5h,j-h)-0.6I(i-0.5h,j+h)|+ |1.2I(i,j)-0.6I(i+h,j-0.5h)-0.6I(i-h,j+0.5h)|
其中，ML(i,j)表示在像素点(i,j)的变步长拉普拉斯算子值；ISML(i,j)表示在像素点(i,j)的拉普拉斯能量和；h为变步长参数；N为正整数，用以表示 ML值累加过程中窗口的大小，其大小为(2N+1)×(2N+1)。
传统的拉普拉斯能量算法(SML)只在水平和垂直方向上计算每个像素点的变步长拉普拉斯算子值，使用该方法得到的链接强度存在较大的误差。考虑到这个问题，在本实施例中，通过在SML的基础上增加±22.5°、±67.5°方向的斜线共八个方向提出了改进的拉普拉斯能量和，通过在水平、垂直和±22.5°、±67.5°斜线共十二个方向上计算每个像素点的变步长拉普拉斯算子值，能够更加准确的表示链接强度。在十二个方向中，距离中心像素点(i,j)越近，对算子值的影响越大，所占权重也应该越大，距离中心像素点越远，所占权重也应该越小。
因此，在上述方法中，设定水平和垂直方向的权重值为1，而斜线方向距离中心像素点距离较水平和垂直方向也较远，相应的其余几个方向的斜线的权重都为0.6。
本实施例中，对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像，对复原后的清晰图像进行识别，提取图像中的目标信息，所述目标信息由实际应用场景确定。
实施例二
本发明还提供一种基于NSCT变换域的图像复原装置的具体实施方式，由于本发明提供的基于NSCT变换域的图像复原装置与前述基于NSCT变换域的图像复原方法的具体实施方式相对应，该基于NSCT变换域的图像复原装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于NSCT变换域的图像复原方法具体实施方式中的解释说明，也适用于本发明提供的基于NSCT变换域的图像复原装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图7所示，本发明实施例还提供一种基于NSCT变换域的图像复原装置，包括：
获取模块11，用于获取不同场景下同一物品的模糊图像和清晰图像；
确定模块12，用于确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；
分解模块13，用于使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；
第一融合模块14，用于对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；
第二融合模块15，用于利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；
重构模块16，用于对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像。
本发明实施例所述的基于NSCT变换域的图像复原装置，获取不同场景下同一物品的模糊图像和清晰图像；确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；使用非下采样轮廓波变换对区域A、 B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像，这样，能够提高材料领域内的图像融合质量、图像的保真度，从而增强了图像的复原效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于NSCT变换域的图像复原方法，其特征在于，包括：
获取不同场景下同一物品的模糊图像和清晰图像；
确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A；
使用非下采样轮廓波变换对区域A、B分别进行分解，得到区域A、B的低频子带系数和高频子带系数；
对低频子带系数进行稀疏表示，并根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数；
利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数；
对融合后的低频系数和高频系数进行非下采样轮廓波逆变换，通过重构得到所述模糊区域复原后的清晰图像；
其中，所述对低频子带系数进行稀疏表示包括：
获取材料领域的图像数据集；
从所述图像数据集中选取部分图像作为构建字典的训练集，对训练集中的图像使用大小为
Figure FDA0002664695210000011
的窗口滑动窗口策略对训练集中的图像进行提取，转换为长度为
Figure FDA0002664695210000012
的向量后一次排列组成矩阵，作为训练数据集样本Y；
使用在线字典学习算法最小化训练集数据样本集Y的表示误差，得到超完备字典D；
依据获得的超完备字典D，得到区域A、B的低频子带系数的稀疏表示系数SRA、SRB；
其中，所述根据预设的低频融合策略，对得到的低频稀疏表示系数进行融合，得到融合后的低频系数包括：
确定能够表征区域A、B的区域相似度变量值Sim；
判断Sim是否大于预设的相似度阈值θ；
若大于，则确定区域A、B的空间频率SF和标准差σ，并利用公式C＝elg(SF)*elg(σ)，确定区域A、B的中间参数CA、CB，根据CA、CB之间取最大值原则：
Figure FDA0002664695210000021
得到融合后的低频系数Fl；
否则，根据SRA、SRB之间取最大值原则：
Figure FDA0002664695210000022
得到融合后的低频系数Fl。
2.根据权利要求1所述的基于NSCT变换域的图像复原方法，其特征在于，所述确定模糊图像中的模糊区域B及清晰图像中与所述模糊区域相对应的清晰区域A包括：
S21，在所述模糊图像及清晰图像选取大小为p×q的窗口，计算窗口中2张局部图像之间的皮尔逊相关系数R：
Figure FDA0002664695210000023
其中，窗口中的局部图像被看作是一个s维的向量，s＝p×q；xi、yi分别表示清晰图像和模糊图像窗口中对应像素点的灰度值；当两张局部图像在当前窗口位置之间的相关系数R大于预设的相关性阈值Rmin时，则认为模糊图像、清晰图像在当前窗口位置存在相关性，反之，则认为模糊图像、清晰图像在当前窗口位置不相关；
S22，遍历整个图片，获取当前尺寸的窗口下、窗口位于不同位置时，2张局部图像之间的相关系数最大值Rmax，其中，最大值Rmax是为了确定清晰图像和模糊图像中最相似的一个区域；
S23，判断2张局部图像之间的相关系数最大值Rmax是否大于预设的相关性阈值Rmin；
S24，若是，则判定所述2张局部图像在当前窗口位置存在相关性，并在最相似区域的基础上增大窗口的大小，继续执行S22、S23，直至Rmax小于Rmin，迭代过程停止，得到清晰图像和模糊图像中的相似区域，其中，模糊图像中的该相似区域为模糊区域B，清晰图像中的相似区域为所述模糊区域B对应的清晰区域A。
3.根据权利要求1所述的基于NSCT变换域的图像复原方法，其特征在于，区域相似度变量值Sim表示为：
Figure FDA0002664695210000031
其中，K表示所选择区域中像素点的数量、Vi表示清晰图像在当前像素点处的灰度值，Vj表示模糊图像在当前像素点处的灰度值。
4.根据权利要求1所述的基于NSCT变换域的图像复原方法，其特征在于，所述利用改进参数链接强度的脉冲耦合神经网络对高频子带系数进行处理，并根据预设的高频融合策略，得到融合后的高频系数包括：
S51，将区域A、B的高频子带系数
Figure FDA0002664695210000032
分别输入到改进参数链接强度的脉冲耦合神经网络中，与预设的激励值Stimulus共同激励神经元；
S52，若激励值Stimulus>T，则脉冲耦合神经网络的脉冲产生器控制神经元点火，完成一次点火事，其中，T表示能够使神经元达到点火状态的阈值；否则，表明该神经元无法完成点火动作，将从本次激励动作中忽略该神经元；其中，当神经元点火时，由脉冲产生器记录神经元中已经点火的神经元；
S53，当所有已经点火的神经元的数目小于所有神经元的总数时，返回S51进行循环迭代，直至所有的神经元完成点火动作；
S54，所有神经元完成点火动作后，确定关于高频子带系数
Figure FDA0002664695210000033
的点火映射图，其中，点火映射图中在像素点(i,j)处第n次的高频子带系数Ti,j(n)表示为：
Ti,j(n)＝Ti,j(n-1)+Yc,t(n)
其中，n表示迭代次数，Ti,j(n-1)表示在像素点(i,j)处第(n-1)次的高频子带系数，Yc,t(n)表示脉冲耦合神经网络中的神经元所在的位置(c,t)的输出项；
根据得到的关于高频子带系数
Figure FDA0002664695210000034
的点火映射图中在像素点(i,j)处第n次的高频子带系数
Figure FDA0002664695210000035
和关于高频子带系数
Figure FDA0002664695210000036
的点火映射图中在像素点(i,j)处第n次的高频子带系数
Figure FDA0002664695210000037
之间的大小关系，得到融合后的高频系数Fi,j(n)：
Figure FDA0002664695210000038
5.根据权利要求4所述的基于NSCT变换域的图像复原方法，其特征在于，脉冲耦合神经网络的神经元的离散方程式表示为：
Figure FDA0002664695210000041
Figure FDA0002664695210000042
Uc,t(n)＝Fc,t(n)(1+βLc,t(n))
Figure FDA0002664695210000043
Figure FDA0002664695210000044
其中，β表示链接强度，n是迭代次数，(c,t)是神经元所在的位置，Fc,t(n)表示第n次迭代时反馈输入的高频系数，VF表示Fc,t(n)的放大系数，
Figure FDA0002664695210000045
表示Fc,t(n)的衰减时间常数，k、l表示链接范围，Mct,kl表示反馈输入神经元之间的链接矩阵，Yc,t(n-1)表示第(n-1)次迭代的输出项；Lc,t(n)表示第n次迭代时的链接输入，VL表示Lc,t(n)的放大系数，
Figure FDA0002664695210000047
表示Lc,t(n)的衰减时间常数，Wct,kl表示链接输入神经元之间的链接矩阵；Uc,t(n)表示第n次迭代时的内部活动项；θc,t(n)表示第n次迭代时的动态阈值，Vθ表示θc,t(n)的放大系数，
Figure FDA0002664695210000048
表示θc,t(n)的衰减时间常数；Ic,t是神经元强制激发的外部激励，Yc,t(n)是第n次迭代的输出项，同时也是下一次迭代的输入项。
6.根据权利要求5所述的基于NSCT变换域的图像复原方法，其特征在于，链接强度β使用通过增加计算方向数并调整权重的值的改进后的拉普拉斯能量和ISML进行表示，其中，链接强度β表示为：
Figure FDA0002664695210000046
ML(i,j)＝|2I(i,j)-I(i-h,j)-I(i+h,j)|+|2I(i,j)-I(i,j-h)-I(i,j+h)|+|1.2I(i,j)-0.6I(i-h,j-0.5h)-0.6I(i+h,j+0.5h)|+|1.2I(i,j)-0.6I(i-0.5h,j-h)-0.6I(i+0.5h,j+h)|+|1.2I(i,j)-0.6I(i+0.5h,j-h)-0.6I(i-0.5h,j+h)|+|1.2I(i,j)-0.6I(i+h,j-0.5h)-0.6I(i-h,j+0.5h)|
其中，I(i,j)表示像素点(i,j)处的灰度值，ML(i,j)表示在像素点(i,j)的变步长拉普拉斯算子值；ISML(i,j)表示在像素点(i,j)的拉普拉斯能量和；h为变步长参数；N为正整数，用以表示ML值累加过程中窗口的大小，其大小为(2N+1)×(2N+1)。
CN201910169436.6A 2019-03-06 2019-03-06 一种基于nsct变换域的图像复原方法 Active CN109949258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910169436.6A CN109949258B (zh) 2019-03-06 2019-03-06 一种基于nsct变换域的图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910169436.6A CN109949258B (zh) 2019-03-06 2019-03-06 一种基于nsct变换域的图像复原方法

Publications (2)

Publication Number Publication Date
CN109949258A CN109949258A (zh) 2019-06-28
CN109949258B true CN109949258B (zh) 2020-11-27

Family

ID=67009237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910169436.6A Active CN109949258B (zh) 2019-03-06 2019-03-06 一种基于nsct变换域的图像复原方法

Country Status (1)

Country Link
CN (1) CN109949258B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415198B (zh) * 2019-07-16 2023-07-04 南京信息工程大学 一种基于拉普拉斯金字塔与参数自适应脉冲耦合神经网络的医学图像融合方法
CN111598822B (zh) * 2020-05-18 2023-05-16 西安邮电大学 一种基于gfrw与iscm的图像融合方法
CN113096084B (zh) * 2021-03-31 2023-06-20 深圳百迈技术有限公司 基于阵列相机成像的视觉检测方法、设备及系统
CN114782300B (zh) * 2022-04-29 2023-04-07 苏州华兴源创科技股份有限公司 产品图像重构方法、产品重构模型训练方法、装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402191A (zh) * 2002-09-19 2003-03-12 上海交通大学 基于块分割的多聚焦图像融合方法
CN101021945A (zh) * 2007-03-23 2007-08-22 北京中星微电子有限公司 一种图像合成方法及装置
CN102708372A (zh) * 2012-02-29 2012-10-03 北京无线电计量测试研究所 一种隐匿物品的自动检测和识别方法
CN102722877A (zh) * 2012-06-07 2012-10-10 内蒙古科技大学 基于双通道pcnn的多聚焦图像融合方法
CN103345732A (zh) * 2013-07-26 2013-10-09 电子科技大学 基于Contourlet变换的PCNN图像增强算法及装置
EP2745265A1 (en) * 2011-08-19 2014-06-25 Koninklijke Philips N.V. Frequency dependent combination of x-ray images of different modalities
CN106210559A (zh) * 2016-07-08 2016-12-07 北京邮电大学 一种多传感器视频融合与降噪的方法和装置
CN109102485A (zh) * 2018-09-11 2018-12-28 中国科学院长春光学精密机械与物理研究所 基于nsst和自适应双通道pcnn的图像融合方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402191A (zh) * 2002-09-19 2003-03-12 上海交通大学 基于块分割的多聚焦图像融合方法
CN101021945A (zh) * 2007-03-23 2007-08-22 北京中星微电子有限公司 一种图像合成方法及装置
EP2745265A1 (en) * 2011-08-19 2014-06-25 Koninklijke Philips N.V. Frequency dependent combination of x-ray images of different modalities
CN102708372A (zh) * 2012-02-29 2012-10-03 北京无线电计量测试研究所 一种隐匿物品的自动检测和识别方法
CN102722877A (zh) * 2012-06-07 2012-10-10 内蒙古科技大学 基于双通道pcnn的多聚焦图像融合方法
CN103345732A (zh) * 2013-07-26 2013-10-09 电子科技大学 基于Contourlet变换的PCNN图像增强算法及装置
CN106210559A (zh) * 2016-07-08 2016-12-07 北京邮电大学 一种多传感器视频融合与降噪的方法和装置
CN109102485A (zh) * 2018-09-11 2018-12-28 中国科学院长春光学精密机械与物理研究所 基于nsst和自适应双通道pcnn的图像融合方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NSCT-Based Multimodal Medical Image Fusion With Sparse Representation and Pulse Coupled Neural Network;Lu Tang等;《Journal of Information Hiding and Multimedia Signal Processing》;20161130;第7卷(第6期);第1306-1315页 *
结合稀疏表示与神经网络的医学图像融合;陈轶鸣等;《河南科技大学学报（自然科学版）》;20180430;第40-47页 *

Also Published As

Publication number Publication date
CN109949258A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109949258B (zh) 一种基于nsct变换域的图像复原方法
Elhoseny et al. Optimal deep learning based convolution neural network for digital forensics face sketch synthesis in internet of things (IoT)
CN113222836B (zh) 一种高光谱与多光谱遥感信息融合方法及系统
CN107730482B (zh) 一种基于区域能量和方差的稀疏融合方法
Li et al. Multi-focus noisy image fusion using low-rank representation
Pandey et al. Satellite image enhancement techniques—a comparative study
CN109741258B (zh) 基于重建的图像超分辨率方法
Stergiopoulou et al. Fluctuation-based deconvolution in fluorescence microscopy using plug-and-play denoisers
CN107451608B (zh) 基于多视幅度统计特性的sar图像无参考质量评价方法
Banothu et al. High-order total bounded variation approach for gaussian noise and blur removal
Zhou et al. Full-reference image quality metric for blurry images and compressed images using hybrid dictionary learning
Chaudhary et al. Simultaneous denoising and edge estimation from SEM images using deep convolutional neural networks
Zhang et al. Face deblurring based on separable normalization and adaptive denormalization
Tao et al. Multimodal image fusion algorithm using dual-tree complex wavelet transform and particle swarm optimization
Semenishchev et al. Solving the problem transform of size images on series base points found on frames in the problem of stitching images
Ma et al. Reduced-reference stereoscopic image quality assessment using gradient sparse representation and structural degradation
Nassiri et al. Texture feature extraction using Slant-Hadamard transform
Chen et al. SR-AFU: super-resolution network using adaptive frequency component upsampling and multi-resolution features
Zhao et al. Compressive sensing for noisy solder joint imagery based on convex optimization
Gavrovska et al. Weibull distribution based model behavior in color invariantspace for blind image quality evaluation
Valli Bhasha et al. Image super resolution model enabled by wavelet lifting with optimized deep convolutional neural network
Yin et al. Deep Convolutional Dictionary Learning Denoising Method Based on Distributed Image Patches
Mishra et al. Contrast enhancement of remote sensing images using DWT with kernel filter and DTCWT
CN114581717B (zh) 一种基于三维小波变换的深度卷积神经网络分类方法
CN113807421B (zh) 基于脉冲发送皮层模型的注意力模块的特征图处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant