CN109064406A - 一种正则化参数自适应的稀疏表示图像重建方法 - Google Patents
一种正则化参数自适应的稀疏表示图像重建方法 Download PDFInfo
- Publication number
- CN109064406A CN109064406A CN201810977242.4A CN201810977242A CN109064406A CN 109064406 A CN109064406 A CN 109064406A CN 201810977242 A CN201810977242 A CN 201810977242A CN 109064406 A CN109064406 A CN 109064406A
- Authority
- CN
- China
- Prior art keywords
- sparse
- dictionary
- image
- sub
- sparse representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000008602 contraction Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提了一种正则化参数自适应的稀疏表示图像重建方法,包括以下步骤:采用稀疏字典学习算法,提取图像边缘特征训练紧凑的稀疏字典,并对每个图像块自适应地分配子字典进行稀疏编码;从过完备字典中学习稀疏编码稀疏的估计;充分利用图像的局部结构相似性,采用基于最大后验概率的方法自适应地求解正则化参数;建立正则化参数自适应的稀疏表示模型。本发明利用局部结构相似性提高稀疏表示的有效性,很好的保持了图像的边缘和结构;基于最大后验概率自适应地调整正则化参数,在每次迭代过程中更新正则参数,更好地适应当前情况,大大减少手动选择正则参数的工作量;具有良好的图像的重建效果,对噪声和运动模糊的鲁棒性强。
Description
技术领域
本发明属于图像处理技术领域,涉及超分辨率图像重建方法,具体涉及一种正则化参数自适应的稀疏表示图像重建方法。
背景技术
图像超分辨率(简称为SR)重建是通过对一幅或多幅具有互补信息的低分辨率图像的处理来重构一幅高分辨率图像。由于超分辨率图像重建问题的不适定性,基于正则化的方法被广泛使用,通过正则化解空间求解这一不适定问题。为了取得有效的正则项,应当找到和建立与自然图像合适的先验知识,目前已研究开发出各种图像先验模型。经典的正则化模型,如基于Tikhonov正则化和TV正则化的重建算法,能够有效增强图像边缘,但是由于采用分段常数假设而导致产生阶梯效应,增强噪声点。为了重建出清晰的图像,基于稀疏的超分辨率图像重建算法被提出。该方法根据低分辨率图像块和高分辨率图像块对应字典下共用相同的稀疏表示系数,采用L1范数正则化稀疏编码,来求解低分辨率图像块对应字典的稀疏系数。基于稀疏表示的方法最大限度地利用了图像样本的先验信息,良好处理图像结构细节,自适应性强,在图像超分辨率重建领域得到广泛而深入的研究。
但是基于稀疏表示的超分辨率重建算法进行图像重建时容易产生过度平滑的情况,损失细节信息,无法完整保持图像的边缘和结构。而传统的超分辨率图像重建方法,比如双线性插值法、TV正则化图像重建法和基于稀疏表示的图像重建法等,则对噪声和运动模糊的鲁棒性较弱。
发明内容
为解决上述问题,本发明公开了一种正则化参数自适应的稀疏表示图像重建方法,基于最大后验概率自适应地调整正则化参数。该方法在每次迭代过程中更新正则参数,更好地适应当前情况,从而获得高质量的超分辨率重建图像,并大大减少手动选择正则参数的工作量。
为了达到上述目的,本发明提供如下技术方案:
一种正则化参数自适应的稀疏表示图像重建方法,包括以下步骤:
步骤1:选取一些高分辨率图像作为训练样本,将其裁剪为大小为的图像块,n为像素的个数;将图像块Si与Canny梯度算子进行卷积,并计算梯度幅值其中,为Canny算子的梯度模板;设定阈值t,选取梯度幅值的图像块作为特征块,构成图像特征块库
对于训练样本每一列为样本向量,字典Φ={Φ1,Φ2,...ΦK}∈Rn×K(K<n)由稀疏表示目标函数得到:
其中,Λ为训练样本Sc关于学习字典Φ的稀疏表示矩阵,Λ={Λ1,Λ2,...,ΛM}∈RK×M,Λj为每个样本的稀疏表示向量,λ表示平衡系数稀疏性和字典的参数,T0表示系数向量的非零元素个数的上限;
采用稀疏字典学习算法迭代进行稀疏编码和字典更新:
首先,初始化字典Φ,字典的每一列由随机向量表示,且归一化处理;
其次,固定字典Φ,求解稀疏表示系数Λ,即进行稀疏编码,目标函数为:
从字典Φ中选择与某一列样本最匹配的原子Φk,计算稀疏表示系数Λj,求出信号残差继续选择与信号残差最匹配的子字典原子,经过迭代,信号残差逐渐减小,直到满足迭代结束条件后,由最匹配的子字典原子的线性组合构成样本的稀疏表示系数Λj;
然后,固定稀疏表示系数Λ,更新字典Φ,目标函数转化为:
对于字典Φ,固定子字典原子Φk外的原子Φj(j=1,...,K,j≠k),和对应的稀疏表示向量,只考虑子字典原子Φk,则训练样本Sc关于子字典Φk的稀疏表示向量为Λk,上式转化为:
其中,表示除了子字典原子Φk外的稀疏表示误差;
采用拉格朗日乘数法计算如下:
其中,tr(·)表示矩阵的迹,γ是标量变量;计算上式关于Φk的微分,并设为0,得:为了满足约束条件则子字典原子Φk为:
对于子字典原子Φk外的其他子字典原子逐列依次按照上式更新,直到全部字典Φ都完成更新;
继续固定字典进行稀疏编码和固定稀疏表示系数更新字典,循环进行,直到每次更新的字典趋于稳定或者达到预设的迭代次数,完成子字典学习,最终输出稀疏字典Φ;
步骤2:从过完备字典中学习αX的估计β,αX表示所有稀疏系数向量αX,k的级联;以点k为中心的局部区域中搜索与图像块xk最相似的图像块,对图像块xk,如果图像块满足t为预设的相似度阈值,则图像块xk,q被选为xk的相似块,搜索m个与xk最相似的图像块xk,q,构成集合Ωk;令αk,q表示集合Ωk中图像块xk,q的稀疏编码,则估计值βk通过αk,q的加权平均计算如下式:
其中,wk,q表示权值;设置权重与图像块xk和相似块xk,q的距离成反比:
其中,是图像块xk和相似块xk,q当前的估计值,W是归一化系数,σk,q是xk和xk,q的协方差;
步骤3:定义v=α-β,对于给定的β,v的最大后验估计MAP由低分辨率图像Y表示为:
假设Y包含标准差为σn的高斯分布噪声,则:
其中,H表示经过大气、光学干扰以及平移旋转缩放过程的退化矩阵,假定v和β相互独立,在先验概率P(v)中,v反映了α对其估计值β的变化,如果β是对稀疏系数向量α较好的估计,则vY=αX-β是与αY相关的稀疏表示噪声,先验概率P(v)由零均值拉普拉斯分布建立模型:
其中,vk(j)是vk的第j个元素,σk,j是vk(j)的标准差;
由上述式可得
由于常数项对最小化计算没有影响,上式简化为:
因此,对于给定的β,通过最小化目标函数获得稀疏编码α:
得到权重参数:
其中,ε表示防止分母为0的小常数;
利用图像的局部结构相似性,图像块xk的估计值的相似块为通过选择的子字典Φk,j得到稀疏表示系数计算每个稀疏表示系数与估计值βk差值得到的每个元素的标准差σk,j的估计值在第l次迭代过程中,用更新的来更新从而自适应修改正则参数τk,j;
步骤4:对于高分辨率图像X∈RN,令xk=PkX(k=1,...,N)表示在位置k的图像块,Pk表示从X中得到xk的矩阵,给定子字典Φk,则块xk通过求解L1范数最小化问题由xk≈ΦkαX,k得到;整个图像X由稀疏系数集{αX,k}表示,通过平均每个块xk的重建结果得到:
xk=PkX≈ΦkαX,k
由于矩阵是可逆的对角阵,重建后的超分辨率图像表示为:
其中,αX表示所有稀疏系数向量αX,k的级联,Φk表示所有子字典Φ的级联;
从低分辨率图像Y中重建高分辨率图像X,根据Y=HX+V,基于稀疏表示的重建算法通过求解L1范数最小化问题恢复图像X:
重建后的高分辨率图像表示为
定义稀疏编码噪声vα为稀疏系数向量αY和αX的差值:
vα=αY-αX
对于过完备子字典Φ,稀疏编码噪声vα越小,重建的高分辨率图像和实际高分辨率图像X越近似:
通过学习图像序列的冗余获得子字典,利用步骤2得到的稀疏编码系数αX的良好估计β,则αY-β表示为对稀疏编码噪声vα的良好估计;为了减小vα并提高αY的精度,得到稀疏表示模型:
其中,βk表示对稀疏系数向量αk较好的估计,τ表示正则系数,ρ为1或2;
在稀疏表示模型中,稀疏项||αk||1用于确保从过完备字典中仅选择少量子字典原子表示输入图像块,正则参数λ是稀疏项||αk||1的常数权重,将步骤3中的正则参数自适应选择加入上式得到正则化参数自适应的稀疏表示模型:
步骤5:采用迭代收缩算法求解正则化参数自适应的稀疏表示模型,在第l+1次迭代过程中,稀疏表示系数αk的第j个元素的收缩算子是:
其中,soft(·)表示软阈值算子,阈值Tk,j=τk,j/c,c表示保证算法收敛性的参数,满足c>||(HΦ)THΦ||2;
由于正则参数τk,j是变化的,采用迭代收缩算法求解加权l1范数最小化问题,最终重建高分辨率图
进一步的,所述步骤5中采用迭代收缩算法求解的步骤包括如下子步骤:
(1)进行稀疏字典的学习;
(2)初始化
(a)对于n帧运动配准后的低分辨率图像序列Yi(i=1,...,n),采用双线性插值法将移动位置相同的图像像素的中位数映射到估计的高分辨率图像对应位置上,对中空缺的位置采用中值滤波由周围像素进行填充,得到初始的高分辨率图像
(b)设置初始稀疏表示系数αX的估计值β=0;
(c)设置初始正则参数τ、λ和参数δ,误差阈值ε,最大迭代次数lmax,迭代间隔数J;
(d)迭代次数l=0;
(3)循环迭代计算
(a)采用收缩算法求解正则化参数自适应稀疏表示模型:
(b)由xk=PkX=Φkαk得到稀疏表示系数:
其中,Φk表示块对应的子字典,N是图像块个数;
(c)采用收缩算子更新稀疏表示系数
(d)搜索图像块的相似块,更新稀疏表示系数的较好估计采用式更新正则参数τ(l+1),并更新参数λ(l+1);
(e)如果mod(l,J)=0,再次执行上一步骤(d);
(f)更新高分辨率图像:
(g)迭代次数l=l+1,直到或l≥lmax;
迭代优化到一个最小值后得到期望的稀疏编码系数αY。
与现有技术相比,本发明具有如下优点和有益效果:
1.本发明利用局部结构相似性提高稀疏表示的有效性,很好的保持了图像的边缘和结构,避免了常规基于稀疏表示的超分辨率重建算法进行图像重建时容易产生过度平滑导致损失细节信息的情况发生。
2.本发明基于最大后验概率自适应地调整正则化参数。该方法在每次迭代过程中更新正则参数,更好地适应当前情况,从而获得高质量的超分辨率重建图像,并大大减少手动选择正则参数的工作量。
3.经仿真图像实验和实际图像实验进行对比,本发明在图像的重建效果以及对噪声和运动模糊的鲁棒性上均优于上述几种现有的超分辨率图像重建算法。
附图说明
图1是子字典学习流程图。
图2是本发明提供的正则化参数自适应的稀疏表示图像超分辨重建方法流程图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明,应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供了一种正则化参数自适应的稀疏表示图像重建方法,其流程如图2所示,包括以下步骤:
步骤1:采用稀疏字典学习算法,提取图像边缘特征训练紧凑的稀疏字典,并对每个图像块自适应地分配子字典进行稀疏编码,如图1所示,具体包括如下过程:
选取一些高分辨率图像作为训练样本,将其裁剪为许多大小为的图像块,n为像素的个数。将图像块Si与Canny梯度算子进行卷积,其中Canny算子的梯度模板为:
计算梯度幅值设定阈值t,选取梯度幅值的图像块作为特征块,构成图像特征块库
对于训练样本每一列为样本向量,为了从训练样本中学习得到稀疏字典Φ,字典Φ={Φ1,Φ2,...ΦK}∈Rn×K(K<n)可由稀疏表示目标函数得到:
其中,Λ为训练样本Sc关于学习字典Φ的稀疏表示矩阵,Λ={Λ1,Λ2,...,ΛM}∈RK×M,Λj为每个样本的稀疏表示向量,λ表示平衡系数稀疏性和字典的参数,T0表示系数向量的非零元素个数的上限。
采用稀疏字典学习算法迭代进行稀疏编码和字典更新,首先,初始化字典Φ,字典的每一列由随机向量表示,且归一化以消除模糊。
其次,固定字典Φ,求解稀疏表示系数Λ,即进行稀疏编码,目标函数为:
从字典Φ中选择与某一列样本最匹配的原子Φk,采用正交匹配追踪算法计算稀疏表示系数Λj,求出信号残差继续选择与信号残差最匹配的子字典原子,经过迭代,信号残差逐渐减小,直到足够小或达到迭代次数,由最匹配的子字典原子的线性组合构成样本的稀疏表示系数Λj。
然后,固定稀疏表示系数Λ,更新字典Φ,目标函数转化为:
为了依次更新字典,对于字典Φ,固定子字典原子Φk外的原子Φj(j=1,...,K,j≠k),和对应的稀疏表示向量,只考虑子字典原子Φk,则训练样本Sc关于子字典Φk的稀疏表示向量为Λk,式可转化为:
其中,表示除了子字典原子Φk外的稀疏表示误差。
采用拉格朗日乘数法计算
其中,tr(·)表示矩阵的迹,γ是标量变量。计算上式关于Φk的微分,并设为0,得:为了满足约束条件则子字典原子Φk为:
对于子字典原子Φk外的其他子字典原子逐列依次按照上式更新,直到全部字典Φ都完成更新。
继续固定字典进行稀疏编码和固定稀疏表示系数更新字典,循环进行,直到每次更新的字典趋于稳定或者达到预设的迭代次数,完成子字典学习,最终输出稀疏字典Φ。
步骤2:从过完备字典中学习稀疏编码稀疏的估计,具体包括如下过程:
基于自然图像的局部结构相似性,稀疏编码系数之间具有很强的相关性,可以从过完备字典中学习αX的估计β,αX表示所有稀疏系数向量αX,k的级联。以点k为中心的局部区域中搜索与图像块xk最相似的图像块,对图像块xk,如果图像块满足t为预设的相似度阈值,则图像块xk,q被选为xk的相似块,搜索m个与xk最相似的图像块xk,q,构成集合Ωk。令αk,q表示集合Ωk中图像块xk,q的稀疏编码,则估计值βk可以通过αk,q的加权平均计算:
其中,wk,q表示权值。若某一相似块xk,q和图像块xk越相似,则两图像块距离越小,相似块xk,q占的权重越大,设置权重与图像块xk和相似块xk,q的距离成反比:
其中,是图像块xk和相似块xk,q当前的估计值,W是归一化系数,σk,q是xk和xk,q的协方差。
步骤3:充分利用图像的局部结构相似性,采用基于最大后验概率的方法自适应地求解正则化参数,具体包括如下过程:
正则参数τ用来平衡保真项和局部结构稀疏项,当τ增大时,能够很好地去除噪声,但易造成图像过分平滑,当τ减小时,能够保持较好的边缘,但易产生伪边缘。
为了方便表达,定义v=α-β,对于给定的β,v的最大后验估计MAP由低分辨率图像Y表示为:
假设Y包含标准差为σn的高斯分布噪声,则:
其中,H表示经过大气、光学干扰以及平移旋转缩放过程的退化矩阵,假定v和β相互独立,在先验概率P(v)中,v反映了α对其估计值β的变化,如果β是对稀疏系数向量α较好的估计,则vY=αX-β是与αY相关的稀疏表示噪声,先验概率P(v)往往由零均值拉普拉斯分布建立模型:
其中,vk(j)是vk的第j个元素,σk,j是vk(j)的标准差。
由上述式可得
由于常数项对最小化计算没有影响,上式可简化为:
因此,对于给定的β,可以通过最小化目标函数获得稀疏编码α:
得到权重参数:
其中,ε表示防止分母为0的小常数。
为了得到鲁棒的σk,j估计值,利用图像的局部结构相似性,从上一节可知,图像块xk的估计值的相似块为通过选择的子字典Φk,j得到稀疏表示系数计算每个稀疏表示系数与估计值βk差值得到的每个元素的标准差σk,j的估计值在第l次迭代过程中,用更新的来更新从而自适应修改正则参数τk,j。
步骤4:建立正则化参数自适应的稀疏表示模型,具体包括如下过程:
对于高分辨率图像X∈RN,令xk=PkX(k=1,...,N)表示在位置k的图像块,Pk表示从X中得到xk的矩阵,给定子字典Φk,则块xk可以通过求解L1范数最小化问题由xk≈ΦkαX,k得到。整个图像X可以由稀疏系数集{αX,k}表示,通过平均每个块xk的重建结果得到:
xk=PkX≈ΦkαX,k
由于矩阵是可逆的对角阵,重建后的超分辨率图像表示为:
其中,αX表示所有稀疏系数向量αX,k的级联,Φk表示所有子字典Φ的级联。
从低分辨率图像Y中重建高分辨率图像X,根据Y=HX+V,基于稀疏表示的重建算法通过求解L1范数最小化问题恢复图像X:
重建后的高分辨率图像表示为
为了使重建的高分辨率图像尽可能接近原始高分辨率图像X,稀疏系数向量αY应当尽量接近原始图像X对应的稀疏编码系数αX,为了保证超分辨率图像重建的质量,定义稀疏编码噪声vα为稀疏系数向量αY和αX的差值:
vα=αY-αX
对于过完备子字典Φ,稀疏编码噪声vα越小,重建的高分辨率图像和实际高分辨率图像X越近似:
因此,为了提高重建的高分辨率图像的质量,应最小化稀疏编码噪声vα,通过学习图像序列的冗余获得子字典,利用步骤2得到的稀疏编码系数αX的良好估计β,则αY-β表示为对稀疏编码噪声vα的良好估计。为了减小vα并提高αY的精度,得到稀疏表示模型:
其中,βk表示对稀疏系数向量αk较好的估计,τ表示正则系数,ρ可为1或2。
在稀疏表示模型中,稀疏项||αk||1用于确保从过完备字典中仅选择少量子字典原子表示输入图像块,正则参数λ是稀疏项||αk||1的常数权重,将步骤3中的正则参数自适应选择加入上式得到正则化参数自适应的稀疏表示模型:
步骤5:采用迭代收缩算法求解正则化参数自适应的稀疏表示模型,重建高分辨率图像,具体包括如下过程:
在第l+1次迭代过程中,稀疏表示系数αk的第j个元素的收缩算子是:
其中,soft(·)表示软阈值算子,阈值Tk,j=τk,j/c,c表示保证算法收敛性的参数,满足c>||(HΦ)THΦ||2。
由于正则参数τk,j是变化的,采用迭代收缩算法求解加权l1范数最小化问题的步骤如下:
(1)进行稀疏字典的学习;
(2)初始化
(a)对于n帧运动配准后的低分辨率图像序列Yi(i=1,...,n),采用双线性插值法将移动位置相同的图像像素的中位数映射到估计的高分辨率图像对应位置上,对中空缺的位置采用中值滤波由周围像素进行填充,得到初始的高分辨率图像
(b)设置初始稀疏表示系数αX的估计值β=0;
(c)设置初始正则参数τ、λ和参数δ,误差阈值ε,最大迭代次数lmax,迭代间隔数J;
(d)迭代次数l=0;
(3)循环迭代计算
(a)采用收缩算法求解正则化参数自适应稀疏表示模型:
(b)由xk=PkX=Φkαk得到稀疏表示系数:
其中,Φk表示块对应的子字典,N是图像块个数;
(c)采用收缩算子更新稀疏表示系数
(d)搜索图像块的相似块,更新稀疏表示系数的较好估计采用式更新正则参数τ(l+1),并更新参数λ(l+1);
(e)如果mod(l,J)=0,再次执行上一步骤(d);
(f)更新高分辨率图像:
(g)迭代次数l=l+1,直到或l≥lmax。
在迭代过程中,稀疏编码系数αY的精度逐渐提高,进而提高了估计值βk的精度,然后用改进的βk再来提高αY的精度,反复,直到迭代优化到一个最小值,得到期望的稀疏编码系数αY,最终重建高分辨率图
采用仿真图像实验和实际图像实验对本发明和现有超分辨率图像重建算法进行对比,以峰值信噪比(PSNR,Peak Signal to Noise Ratio)为评价标准,比较结果数据如下表所示:
不同重建方法在不同噪声下的PSNR值对比
显然,本发明在图像的重建效果以及对噪声和运动模糊的鲁棒性上均优于上述几种现有的超分辨率图像重建算法。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (2)
1.一种正则化参数自适应的稀疏表示图像重建方法,其特征在于,包括以下步骤:
步骤1:选取一些高分辨率图像作为训练样本,将其裁剪为大小为的图像块,n为像素的个数;将图像块Si与Canny梯度算子进行卷积,并计算梯度幅值其中, 为Canny算子的梯度模板;设定阈值t,选取梯度幅值的图像块作为特征块,构成图像特征块库
对于训练样本每一列为样本向量,字典Φ={Φ1,Φ2,...ΦK}∈Rn×K(K<n)由稀疏表示目标函数得到:
其中,Λ为训练样本Sc关于学习字典Φ的稀疏表示矩阵,Λ={Λ1,Λ2,...,ΛM}∈RK ×M,Λj为每个样本的稀疏表示向量,λ表示平衡系数稀疏性和字典的参数,T0表示系数向量的非零元素个数的上限;
采用稀疏字典学习算法迭代进行稀疏编码和字典更新:
首先,初始化字典Φ,字典的每一列由随机向量表示,且归一化处理;
其次,固定字典Φ,求解稀疏表示系数Λ,即进行稀疏编码,目标函数为:
从字典Φ中选择与某一列样本最匹配的原子Φk,计算稀疏表示系数Λj,求出信号残差继续选择与信号残差最匹配的子字典原子,经过迭代,信号残差逐渐减小,直到满足迭代结束条件后,由最匹配的子字典原子的线性组合构成样本的稀疏表示系数Λj;
然后,固定稀疏表示系数Λ,更新字典Φ,目标函数转化为:
对于字典Φ,固定子字典原子Φk外的原子Φj(j=1,...,K,j≠k),和对应的稀疏表示向量,只考虑子字典原子Φk,则训练样本Sc关于子字典Φk的稀疏表示向量为Λk,上式转化为:
其中,表示除了子字典原子Φk外的稀疏表示误差;
采用拉格朗日乘数法计算如下:
其中,tr(·)表示矩阵的迹,γ是标量变量;计算上式关于Φk的微分,并设为0,得:为了满足约束条件则子字典原子Φk为:
对于子字典原子Φk外的其他子字典原子逐列依次按照上式更新,直到全部字典Φ都完成更新;
继续固定字典进行稀疏编码和固定稀疏表示系数更新字典,循环进行,直到每次更新的字典趋于稳定或者达到预设的迭代次数,完成子字典学习,最终输出稀疏字典Φ;
步骤2:从过完备字典中学习αX的估计β,αX表示所有稀疏系数向量αX,k的级联;以点k为中心的局部区域中搜索与图像块xk最相似的图像块,对图像块xk,如果图像块满足t为预设的相似度阈值,则图像块xk,q被选为xk的相似块,搜索m个与xk最相似的图像块xk,q,构成集合Ωk;令αk,q表示集合Ωk中图像块xk,q的稀疏编码,则估计值βk通过αk,q的加权平均计算如下式:
其中,wk,q表示权值;设置权重与图像块xk和相似块xk,q的距离成反比:
其中, 是图像块xk和相似块xk,q当前的估计值,W是归一化系数,σk,q是xk和xk,q的协方差;
步骤3:定义v=α-β,对于给定的β,v的最大后验估计MAP由低分辨率图像Y表示为:
假设Y包含标准差为σn的高斯分布噪声,则:
其中,H表示经过大气、光学干扰以及平移旋转缩放过程的退化矩阵,假定v和β相互独立,在先验概率P(v)中,v反映了α对其估计值β的变化,如果β是对稀疏系数向量α较好的估计,则vY=αX-β是与αY相关的稀疏表示噪声,先验概率P(v)由零均值拉普拉斯分布建立模型:
其中,vk(j)是vk的第j个元素,σk,j是vk(j)的标准差;
由上述式可得
由于常数项对最小化计算没有影响,上式简化为:
因此,对于给定的β,通过最小化目标函数获得稀疏编码α:
得到权重参数:
其中,ε表示防止分母为0的小常数;
利用图像的局部结构相似性,图像块xk的估计值的相似块为通过选择的子字典Φk,j得到稀疏表示系数计算每个稀疏表示系数与估计值βk差值得到的每个元素的标准差σk,j的估计值在第l次迭代过程中,用更新的来更新从而自适应修改正则参数τk,j;
步骤4:对于高分辨率图像X∈RN,令xk=PkX(k=1,...,N)表示在位置k的图像块,Pk表示从X中得到xk的矩阵,给定子字典Φk,则块xk通过求解L1范数最小化问题由xk≈ΦkαX,k得到;整个图像X由稀疏系数集{αX,k}表示,通过平均每个块xk的重建结果得到:
xk=PkX≈ΦkαX,k
由于矩阵是可逆的对角阵,重建后的超分辨率图像表示为:
其中,αX表示所有稀疏系数向量αX,k的级联,Φk表示所有子字典Φ的级联;
从低分辨率图像Y中重建高分辨率图像X,根据Y=HX+V,基于稀疏表示的重建算法通过求解L1范数最小化问题恢复图像X:
重建后的高分辨率图像表示为
定义稀疏编码噪声vα为稀疏系数向量αY和αX的差值:
vα=αY-αX
对于过完备子字典Φ,稀疏编码噪声vα越小,重建的高分辨率图像和实际高分辨率图像X越近似:
通过学习图像序列的冗余获得子字典,利用步骤2得到的稀疏编码系数αX的良好估计β,则αY-β表示为对稀疏编码噪声vα的良好估计;为了减小vα并提高αY的精度,得到稀疏表示模型:
其中,βk表示对稀疏系数向量αk较好的估计,τ表示正则系数,ρ为1或2;
在稀疏表示模型中,稀疏项||αk||1用于确保从过完备字典中仅选择少量子字典原子表示输入图像块,正则参数λ是稀疏项||αk||1的常数权重,将步骤3中的正则参数自适应选择加入上式得到正则化参数自适应的稀疏表示模型:
步骤5:采用迭代收缩算法求解正则化参数自适应的稀疏表示模型,在第l+1次迭代过程中,稀疏表示系数αk的第j个元素的收缩算子是:
其中,soft(·)表示软阈值算子,阈值Tk,j=τk,j/c,c表示保证算法收敛性的参数,满足c>||(HΦ)THΦ||2;
由于正则参数τk,j是变化的,采用迭代收缩算法求解加权l1范数最小化问题,最终重建高分辨率图
2.根据权利要求1所述的正则化参数自适应的稀疏表示图像超分辨重建方法,其特征在于,所述步骤5中采用迭代收缩算法求解的步骤包括如下子步骤:
(1)进行稀疏字典的学习;
(2)初始化
(a)对于n帧运动配准后的低分辨率图像序列Yi(i=1,...,n),采用双线性插值法将移动位置相同的图像像素的中位数映射到估计的高分辨率图像对应位置上,对中空缺的位置采用中值滤波由周围像素进行填充,得到初始的高分辨率图像
(b)设置初始稀疏表示系数αX的估计值β=0;
(c)设置初始正则参数τ、λ和参数δ,误差阈值ε,最大迭代次数lmax,迭代间隔数J;
(d)迭代次数l=0;
(3)循环迭代计算
(a)采用收缩算法求解正则化参数自适应稀疏表示模型:
(b)由xk=PkX=Φkαk得到稀疏表示系数:
其中,Φk表示块对应的子字典,N是图像块个数;
(c)采用收缩算子更新稀疏表示系数
(d)搜索图像块的相似块,更新稀疏表示系数的较好估计采用式更新正则参数τ(l+1),并更新参数λ(l+1);
(e)如果mod(l,J)=0,再次执行上一步骤(d);
(f)更新高分辨率图像:
(g)迭代次数l=l+1,直到或l≥lmax;
迭代优化到一个最小值后得到期望的稀疏编码系数αY。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810977242.4A CN109064406A (zh) | 2018-08-26 | 2018-08-26 | 一种正则化参数自适应的稀疏表示图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810977242.4A CN109064406A (zh) | 2018-08-26 | 2018-08-26 | 一种正则化参数自适应的稀疏表示图像重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109064406A true CN109064406A (zh) | 2018-12-21 |
Family
ID=64756167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810977242.4A Pending CN109064406A (zh) | 2018-08-26 | 2018-08-26 | 一种正则化参数自适应的稀疏表示图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109064406A (zh) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109671130A (zh) * | 2018-12-27 | 2019-04-23 | 华北电力大学(保定) | 利用稀疏测量数据重建内窥式光声层析图像的方法及系统 |
CN109697691A (zh) * | 2018-12-27 | 2019-04-30 | 重庆大学 | 一种基于l0范数和奇异值阈值分解的双正则项优化的有限角投影重建方法 |
CN109840888A (zh) * | 2019-01-23 | 2019-06-04 | 南京航空航天大学 | 一种基于联合约束的图像超分辨率重建方法 |
CN109862518A (zh) * | 2019-01-11 | 2019-06-07 | 福州大学 | 一种基于共稀疏解析模型的免设备定位方法 |
CN110349087A (zh) * | 2019-07-08 | 2019-10-18 | 华南理工大学 | 基于适应性卷积的rgb-d图像高质量网格生成方法 |
CN110443194A (zh) * | 2019-08-05 | 2019-11-12 | 哈尔滨工业大学 | 基于spi稀疏约束的时变信号成分提取方法 |
CN110503614A (zh) * | 2019-08-20 | 2019-11-26 | 东北大学 | 一种基于稀疏字典学习的磁共振图像去噪方法 |
CN110611522A (zh) * | 2019-09-20 | 2019-12-24 | 广东石油化工学院 | 一种利用多正则优化理论的plc信号重构方法和系统 |
CN110675317A (zh) * | 2019-09-10 | 2020-01-10 | 中国人民解放军国防科技大学 | 基于学习和自适应三边滤波正则化的超分辨率重建方法 |
CN110766695A (zh) * | 2019-09-26 | 2020-02-07 | 山东工商学院 | 基于稀疏表示的图像抠图算法研究 |
CN110796625A (zh) * | 2019-10-30 | 2020-02-14 | 重庆邮电大学 | 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法 |
CN110942491A (zh) * | 2019-11-25 | 2020-03-31 | 南京邮电大学 | 基于块稀疏统计预测的pet-mri多模态联合重建方法 |
CN110971786A (zh) * | 2019-11-21 | 2020-04-07 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
CN111444962A (zh) * | 2020-03-26 | 2020-07-24 | 东莞理工学院 | 一种基于耦合卷积稀疏编码的跨模态图像匹配方法 |
CN112114300A (zh) * | 2020-09-14 | 2020-12-22 | 哈尔滨工程大学 | 一种基于图像稀疏表示的水下弱目标检测方法 |
CN112288654A (zh) * | 2020-11-09 | 2021-01-29 | 珠海市润鼎智能科技有限公司 | 图像中细小颗粒的增强方法 |
CN112734763A (zh) * | 2021-01-29 | 2021-04-30 | 西安理工大学 | 基于卷积与k-svd字典联合稀疏编码的图像分解方法 |
CN112991374A (zh) * | 2021-03-31 | 2021-06-18 | 新疆爱华盈通信息技术有限公司 | 基于Canny算法的边缘增强方法、装置、设备及存储介质 |
CN113222860A (zh) * | 2021-06-02 | 2021-08-06 | 哈尔滨工程大学 | 基于噪声结构多重正则化的图像恢复方法及系统 |
CN113331789A (zh) * | 2021-05-31 | 2021-09-03 | 浙江杜比医疗科技有限公司 | 肿瘤细胞生长检测系统的成像方法 |
CN113419214A (zh) * | 2021-06-22 | 2021-09-21 | 桂林电子科技大学 | 一种目标不携带设备的室内定位方法 |
CN113589265A (zh) * | 2021-08-10 | 2021-11-02 | 哈尔滨工程大学 | 块近端梯度双稀疏字典学习波束形成方法及系统 |
CN113628114A (zh) * | 2021-08-17 | 2021-11-09 | 南京航空航天大学 | 一种双通道稀疏编码的图像超分辨率重建方法 |
CN113674172A (zh) * | 2021-08-17 | 2021-11-19 | 上海交通大学 | 一种图像处理方法、系统、装置及存储介质 |
CN114255182A (zh) * | 2021-12-13 | 2022-03-29 | 郑州轻工业大学 | 基于空间自适应全变差的cs迭代阈值图像去噪重建方法 |
CN114820326A (zh) * | 2022-05-25 | 2022-07-29 | 厦门大学 | 基于可调节核稀疏化的高效单帧图像超分方法 |
CN116228786A (zh) * | 2023-05-10 | 2023-06-06 | 青岛市中心医院 | 前列腺mri图像增强分割方法、装置、电子设备与存储介质 |
CN117314763A (zh) * | 2023-08-17 | 2023-12-29 | 贵州医科大学附属口腔医院 | 一种基于机器学习的口腔卫生管理方法及系统 |
CN117389038A (zh) * | 2023-12-11 | 2024-01-12 | 深圳市永泰光电有限公司 | 基于光学处理的自动聚焦方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408550A (zh) * | 2016-09-22 | 2017-02-15 | 天津工业大学 | 一种改进的自适应多字典学习的图像超分辨率重建方法 |
CN107067367A (zh) * | 2016-09-08 | 2017-08-18 | 南京工程学院 | 一种图像超分辨重建处理方法 |
-
2018
- 2018-08-26 CN CN201810977242.4A patent/CN109064406A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067367A (zh) * | 2016-09-08 | 2017-08-18 | 南京工程学院 | 一种图像超分辨重建处理方法 |
CN106408550A (zh) * | 2016-09-22 | 2017-02-15 | 天津工业大学 | 一种改进的自适应多字典学习的图像超分辨率重建方法 |
Non-Patent Citations (1)
Title |
---|
韩雪: "基于稀疏表示的图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 * |
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109671130A (zh) * | 2018-12-27 | 2019-04-23 | 华北电力大学(保定) | 利用稀疏测量数据重建内窥式光声层析图像的方法及系统 |
CN109697691A (zh) * | 2018-12-27 | 2019-04-30 | 重庆大学 | 一种基于l0范数和奇异值阈值分解的双正则项优化的有限角投影重建方法 |
CN109697691B (zh) * | 2018-12-27 | 2022-11-25 | 重庆大学 | 一种基于l0范数和奇异值阈值分解的双正则项优化的有限角投影重建方法 |
CN109671130B (zh) * | 2018-12-27 | 2023-03-17 | 华北电力大学(保定) | 利用稀疏测量数据重建内窥式光声层析图像的方法及系统 |
CN109862518A (zh) * | 2019-01-11 | 2019-06-07 | 福州大学 | 一种基于共稀疏解析模型的免设备定位方法 |
CN109840888A (zh) * | 2019-01-23 | 2019-06-04 | 南京航空航天大学 | 一种基于联合约束的图像超分辨率重建方法 |
CN110349087A (zh) * | 2019-07-08 | 2019-10-18 | 华南理工大学 | 基于适应性卷积的rgb-d图像高质量网格生成方法 |
CN110443194A (zh) * | 2019-08-05 | 2019-11-12 | 哈尔滨工业大学 | 基于spi稀疏约束的时变信号成分提取方法 |
CN110443194B (zh) * | 2019-08-05 | 2021-09-07 | 哈尔滨工业大学 | 基于spi稀疏约束的时变信号成分提取方法 |
CN110503614A (zh) * | 2019-08-20 | 2019-11-26 | 东北大学 | 一种基于稀疏字典学习的磁共振图像去噪方法 |
CN110503614B (zh) * | 2019-08-20 | 2022-11-08 | 东北大学 | 一种基于稀疏字典学习的磁共振图像去噪方法 |
CN110675317A (zh) * | 2019-09-10 | 2020-01-10 | 中国人民解放军国防科技大学 | 基于学习和自适应三边滤波正则化的超分辨率重建方法 |
CN110675317B (zh) * | 2019-09-10 | 2022-12-06 | 中国人民解放军国防科技大学 | 基于学习和自适应三边滤波正则化的超分辨率重建方法 |
CN110611522A (zh) * | 2019-09-20 | 2019-12-24 | 广东石油化工学院 | 一种利用多正则优化理论的plc信号重构方法和系统 |
CN110766695A (zh) * | 2019-09-26 | 2020-02-07 | 山东工商学院 | 基于稀疏表示的图像抠图算法研究 |
CN110766695B (zh) * | 2019-09-26 | 2023-08-22 | 山东工商学院 | 基于图像稀疏表示的抠图方法 |
CN110796625A (zh) * | 2019-10-30 | 2020-02-14 | 重庆邮电大学 | 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法 |
CN110796625B (zh) * | 2019-10-30 | 2023-06-20 | 重庆邮电大学 | 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法 |
CN110971786A (zh) * | 2019-11-21 | 2020-04-07 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
CN110971786B (zh) * | 2019-11-21 | 2022-04-19 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
CN110942491A (zh) * | 2019-11-25 | 2020-03-31 | 南京邮电大学 | 基于块稀疏统计预测的pet-mri多模态联合重建方法 |
CN110942491B (zh) * | 2019-11-25 | 2022-08-12 | 南京邮电大学 | 基于块稀疏统计预测的pet-mri多模态联合重建方法 |
CN111444962A (zh) * | 2020-03-26 | 2020-07-24 | 东莞理工学院 | 一种基于耦合卷积稀疏编码的跨模态图像匹配方法 |
CN111444962B (zh) * | 2020-03-26 | 2023-04-28 | 东莞理工学院 | 一种基于耦合卷积稀疏编码的跨模态图像匹配方法 |
CN112114300A (zh) * | 2020-09-14 | 2020-12-22 | 哈尔滨工程大学 | 一种基于图像稀疏表示的水下弱目标检测方法 |
CN112288654A (zh) * | 2020-11-09 | 2021-01-29 | 珠海市润鼎智能科技有限公司 | 图像中细小颗粒的增强方法 |
CN112734763A (zh) * | 2021-01-29 | 2021-04-30 | 西安理工大学 | 基于卷积与k-svd字典联合稀疏编码的图像分解方法 |
CN112734763B (zh) * | 2021-01-29 | 2022-09-16 | 西安理工大学 | 基于卷积与k-svd字典联合稀疏编码的图像分解方法 |
CN112991374B (zh) * | 2021-03-31 | 2024-05-24 | 芯算一体(深圳)科技有限公司 | 基于Canny算法的边缘增强方法、装置、设备及存储介质 |
CN112991374A (zh) * | 2021-03-31 | 2021-06-18 | 新疆爱华盈通信息技术有限公司 | 基于Canny算法的边缘增强方法、装置、设备及存储介质 |
CN113331789A (zh) * | 2021-05-31 | 2021-09-03 | 浙江杜比医疗科技有限公司 | 肿瘤细胞生长检测系统的成像方法 |
CN113222860A (zh) * | 2021-06-02 | 2021-08-06 | 哈尔滨工程大学 | 基于噪声结构多重正则化的图像恢复方法及系统 |
CN113419214B (zh) * | 2021-06-22 | 2022-08-30 | 桂林电子科技大学 | 一种目标不携带设备的室内定位方法 |
CN113419214A (zh) * | 2021-06-22 | 2021-09-21 | 桂林电子科技大学 | 一种目标不携带设备的室内定位方法 |
CN113589265A (zh) * | 2021-08-10 | 2021-11-02 | 哈尔滨工程大学 | 块近端梯度双稀疏字典学习波束形成方法及系统 |
CN113589265B (zh) * | 2021-08-10 | 2024-03-12 | 哈尔滨工程大学 | 块近端梯度双稀疏字典学习波束形成方法及系统 |
CN113674172A (zh) * | 2021-08-17 | 2021-11-19 | 上海交通大学 | 一种图像处理方法、系统、装置及存储介质 |
CN113628114A (zh) * | 2021-08-17 | 2021-11-09 | 南京航空航天大学 | 一种双通道稀疏编码的图像超分辨率重建方法 |
CN113674172B (zh) * | 2021-08-17 | 2023-11-28 | 上海交通大学 | 一种图像处理方法、系统、装置及存储介质 |
CN114255182A (zh) * | 2021-12-13 | 2022-03-29 | 郑州轻工业大学 | 基于空间自适应全变差的cs迭代阈值图像去噪重建方法 |
CN114820326A (zh) * | 2022-05-25 | 2022-07-29 | 厦门大学 | 基于可调节核稀疏化的高效单帧图像超分方法 |
CN114820326B (zh) * | 2022-05-25 | 2024-05-31 | 厦门大学 | 基于可调节核稀疏化的高效单帧图像超分方法 |
CN116228786A (zh) * | 2023-05-10 | 2023-06-06 | 青岛市中心医院 | 前列腺mri图像增强分割方法、装置、电子设备与存储介质 |
CN116228786B (zh) * | 2023-05-10 | 2023-08-08 | 青岛市中心医院 | 前列腺mri图像增强分割方法、装置、电子设备与存储介质 |
CN117314763A (zh) * | 2023-08-17 | 2023-12-29 | 贵州医科大学附属口腔医院 | 一种基于机器学习的口腔卫生管理方法及系统 |
CN117389038A (zh) * | 2023-12-11 | 2024-01-12 | 深圳市永泰光电有限公司 | 基于光学处理的自动聚焦方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109064406A (zh) | 一种正则化参数自适应的稀疏表示图像重建方法 | |
Dosovitskiy et al. | Generating images with perceptual similarity metrics based on deep networks | |
CN101980284B (zh) | 基于两尺度稀疏表示的彩色图像降噪方法 | |
CN107610049B (zh) | 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 | |
CN113177882B (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
CN107067367A (zh) | 一种图像超分辨重建处理方法 | |
Sulam et al. | Image denoising through multi-scale learnt dictionaries | |
CN103218791A (zh) | 基于稀疏自适应字典的图像去噪方法 | |
CN104992415B (zh) | 一种基于全变差和小波变换的图像去噪方法及系统 | |
CN105488759B (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
CN109636722B (zh) | 一种基于稀疏表示的在线字典学习超分辨率重建的方法 | |
US20220198610A1 (en) | Image super-resolution | |
CN106600533B (zh) | 单图像超分辨率重建方法 | |
CN109887050A (zh) | 一种基于自适应字典学习的编码孔径光谱成像方法 | |
CN111724307A (zh) | 一种基于最大后验概率和非局部低秩先验的图像超分辨重建方法,终端及可读存储介质 | |
CN114202459A (zh) | 一种基于深度先验的盲图像超分辨率方法 | |
CN102819829A (zh) | 基于分形的超分辨率遥感影像的重建算法 | |
CN105184742B (zh) | 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法 | |
CN109741258B (zh) | 基于重建的图像超分辨率方法 | |
CN105590296A (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
CN117611701A (zh) | 基于潜扩散模型的阿尔茨海默病3d mri加速采样生成方法 | |
CN112862684A (zh) | 一种深度图超分辨率重建和去噪神经网络的数据处理方法 | |
Cao et al. | Sparse representation of classified patches for CS-MRI reconstruction | |
CN114219714A (zh) | 一种基于相机阵列深度估计的超分辨率重建方法 | |
CN110266318B (zh) | 一种在压缩感知信号重建中基于梯度投影算法的测量矩阵优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |