CN108665412B - 一种利用自然图像先验知识进行多帧图像超分辨重建的方法 - Google Patents

一种利用自然图像先验知识进行多帧图像超分辨重建的方法 Download PDF

Info

Publication number
CN108665412B
CN108665412B CN201810231724.5A CN201810231724A CN108665412B CN 108665412 B CN108665412 B CN 108665412B CN 201810231724 A CN201810231724 A CN 201810231724A CN 108665412 B CN108665412 B CN 108665412B
Authority
CN
China
Prior art keywords
image
resolution
super
images
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810231724.5A
Other languages
English (en)
Other versions
CN108665412A (zh
Inventor
冯华君
张承志
徐之海
李奇
陈跃庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810231724.5A priority Critical patent/CN108665412B/zh
Publication of CN108665412A publication Critical patent/CN108665412A/zh
Application granted granted Critical
Publication of CN108665412B publication Critical patent/CN108665412B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种利用自然图像先验知识进行多帧图像超分辨重建的方法。本发明在利用一系列低分辨率图像进行超分辨重建的过程中,引入学习得到的专家场模型作为自然图像先验知识,提高多帧图像超分辨重建的质量。相对于传统的贝叶斯多帧图像超分辨方法所使用的L1范数、全变分等先验知识,本发明使用的自然图像先验知识是通过图像数据库训练得到的专家场模型,能更好地提取自然场景的统计特征,从而获得更好的超分辨重建效果。本发明简化了多帧超分辨的部分过程,缩短了计算时间。

Description

一种利用自然图像先验知识进行多帧图像超分辨重建的方法
技术领域
本发明属于图像处理领域,尤其涉及一种利用自然图像先验知识进行多帧图像超分辨重建的方法。
背景技术
图像超分辨(Super Resolution)重建技术是利用数字图像处理的算法,恢复成像过程中所丢失的细节、提高图像分辨率的技术。目前,图像超分辨重建主要分为两大领域:单帧图像超分辨重建和多帧图像超分辨重建。多帧图像超分辨重建通过多帧低分辨率图像之间的互补信息来重建图像。在可以获得多帧图像的前提下,多帧图像超分辨可以取得更好的效果。
在多帧图像超分辨重建的方法中,最大后验概率法(MAP)和凸集投影法(POCS)是目前应用较广、研究最多的两种算法。MAP算法是一个统计估计问题,当原始图像的后验概率密度函数可以被建立时常常使用这种方法。POCS算法可以结合各种成像模型和先验知识,但是POCS的解一般不具有唯一性,效果常常依赖于起点的选取。POCS算法的运算量较大,对配准的要求较高,当运动估计不准时,会出现较多的噪声。
图像超分辨是一个病态问题,需要结合图像x的先验知识给出x的概率分布函数p(x)。自然图像服从重尾分布,目前常用的L1范数、全变分先验知识都不能很好地捕获自然图像的统计特性。
发明内容
本发明的目的在于针对现有技术的不足,提供一种利用自然图像先验知识进行多帧图像超分辨重建的方法,在多帧图像超分辨重建的过程中,针对自然图像的统计特性,利用大量数据学习得到专家场模型作为先验知识,构建一个求解高分辨率图像的方程,估计出高分辨率图像,该方法提高了多帧图像超分辨重建的质量,降低了多帧图像超分辨重建的时间复杂度。
本发明的目的是通过以下技术方案来实现的:一种利用自然图像先验知识进行多帧图像超分辨重建的方法,该方法包括以下步骤:
(1)用student-t分布来模拟自然图像的专家场分布,并训练专家场分布的参数;
(2)初始化设置,具体是:
(2.1)计算初始图像:在输入的L张低分辨率图像中任意选择一张图像进行上采样得到初始图像x0,采样因子记为res;根据采样因子res构建下采样矩阵A;
(2.2)设置卷积核h,根据卷积核h构建模糊矩阵H;
(2.3)以步骤(2.1)中选择的低分辨率图像为参考图像,计算第1到第L张图像相对于参考图像的位移,包括横坐标方向的平移值sx和纵坐标方向的平移值sy;根据sx、sy构建位移矩阵C;
(2.4)估计噪声标准差σ;
(2.5)设置迭代步长delta和迭代次数maxit;
(3)利用最大后验概率法进行多帧图像超分辨重建,具体是:
(3.1)根据最大后验概率法建立关于待超分辨重建图像x的方程:
Figure GDA0002400474810000021
其中,yk为输入的第k张低分辨率图像,Hk为第k张低分辨率图像对应的模糊矩阵,Ck为第k张低分辨率图像对应的位移矩阵,ψ为专家函数的对数形式,Ji为专家场模型中的第i个滤波器,
Figure GDA0002400474810000022
为Ji的转置,N为滤波器Ji的个数,αi为第i个专家函数的权重,λ为专家场对数形式在重建方程中的权重,且
Figure GDA0002400474810000031
(3.2)迭代求解步骤(3.1)建立的方程(1),当满足收敛标准或者达到最大迭代次数时停止迭代,得到最优解x。
进一步地,所述步骤(1)中,专家场分布的公式如下:
Figure GDA0002400474810000032
Figure GDA0002400474810000033
其中,
Figure GDA0002400474810000034
为第i个专家函数,Z(Θ)为专家场的归一化函数。
进一步地,所述步骤(1)中,训练所采用数据不是整张图像,而是从BerkeleySegmentation Benchmark数据库下载的图像中随机剪裁产生的20000个15×15的图像块。
进一步地,所述步骤(1)中,训练得到的专家场分布的参数包括5×5像素块大小的24个滤波器Ji及其对应的权重αi,其中i取1到24。
进一步地,所述步骤(2.2)中,卷积核h设置为3×3的高斯卷积核。
进一步地,所述步骤(2.3)中,采用光流法计算第1到第L张图像相对于参考图像的位移。
进一步地,所述步骤(2.3)中,在构建位移矩阵C时,除了平移值sx、sy,还可以加入旋转角度信息。
进一步地,所述步骤(2.4)中,根据小波噪声方差估计法估计噪声标准差σ。
进一步地,所述步骤(3.2)中,利用梯度下降法进行优化求解。
本发明的有益效果:
(1)针对多帧图像超分辨率重建过程中的先验知识过于简单、不能很好模拟自然图像分布的问题,本发明采用学习得到的专家场模型模拟自然图像的先验分布,有效提高了图像分辨率、减小了振铃效应,提高了多帧超分辨重建图像的质量。
(2)本发明采取MAP算法构建重建方程,MAP框架计算效率高,减小了时间复杂度。
附图说明
图1为本发明方法流程示意图。
图2为四幅低分辨率输入图像。
图3为超分辨重建图像。
图4为实验所用原图。
图5为SNR=5时的超分辨重建情况,(a)其中一帧低分辨率输入图像,(b)双立方插值法重建图像,(c)变分贝叶斯推测法超分辨重建图像,(d)本发明超分辨重建图像。
图6为SNR=15时的超分辨重建情况,(a)其中一帧低分辨率输入图像,(b)双立方插值法重建图像,(c)变分贝叶斯推测法超分辨重建图像,(d)本发明超分辨重建图像。
图7为SNR=25时的超分辨重建情况,(a)其中一帧低分辨率输入图像,(b)双立方插值法重建图像,(c)变分贝叶斯推测法超分辨重建图像,(d)本发明超分辨重建图像。
图8为SNR=35时的超分辨重建情况,(a)其中一帧低分辨率输入图像,(b)双立方插值法重建图像,(c)变分贝叶斯推测法超分辨重建图像,(d)本发明超分辨重建图像。
图9为SNR=45时的超分辨重建情况,(a)其中一帧低分辨率输入图像,(b)双立方插值法重建图像,(c)变分贝叶斯推测法超分辨重建图像,(d)本发明超分辨重建图像。
图10为对实拍视频中15帧图像重建的效果,(a)其中一帧低分辨率输入图像,(b)双立方插值法重建图像,(c)变分贝叶斯推测法超分辨重建图像,(d)本发明超分辨重建图像。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明在多帧图像超分辨率重建过程中,针对自然图像服从重尾分布的统计特性,本发明利用训练得到专家场模型来模拟自然图像的先验分布,提高了多帧超分辨重建图像的质量。本发明优化过程较为简单,避免了过大的计算量,减小了时间复杂度。本发明的流程图如图1所示,主要包括学习自然图像的先验知识、输入一系列低分辨率图像、初始化、超分辨重建几个过程。
步骤1.训练得到专家场模型
1-1用student-t分布来模拟自然图像的专家场分布。
1-2通过训练得到5×5像素块大小的24个滤波器Ji(其中i等于1到24)。
步骤2.初始化设置
2-1计算初始图像:输入L张低分辨率图像y={yj}(其中j等于1到L),如图2所示。将第一张图像采用最邻近插值法进行上采样得到初始图像x0。采样因子记为res。根据采样因子res,构建下采样矩阵A。
2-2设置卷积核h。根据卷积核h,构建模糊矩阵H。这里设置为3×3的高斯卷积核,且
Figure GDA0002400474810000051
2-3以输入的第一张图像为参考图像,采用光流法计算第1到第L张图像相对于参考图像的位移:横坐标方向的平移值sx、纵坐标方向的平移值sy。根据sx、sy,构建位移矩阵C。
2-4根据小波噪声方差估计法,估计噪声标准差σ。
2-5设置迭代步长delta,迭代次数maxit。这里取delta=0.01,maxit=700。
步骤3.利用最大后验概率法进行多帧图像超分辨重建
3-1根据最大后验概率法得到求解图像x的方程:
一幅高分辨率图像x经过位移C、模糊H、下采样A和方差为σ2的高斯白噪声n污染,得到一系列退化的图像y。其中y={yk}代表着一系列低分辨率图像。这个成像过程可以表达为
yk=AHkCkx+n (6)
根据贝叶斯概率分布,
p(x|y)∝p(y|x)p(x) (7)
其中,
Figure GDA0002400474810000061
并且p(x)可以用专家场分布pFoE(x,Θ)来表示。
在MAP框架中,x=arg max p(x|y),该式的对数形式为:
x=arg min-log(p(x|y))
于是,x的重建方程可以被表示为:
Figure GDA0002400474810000062
此处的滤波器
Figure GDA0002400474810000063
和专家函数权重αi均通过学习得到。
3-2利用梯度下降法进行优化。当满足收敛标准或者达到最大迭代次数时,停止迭代计算,得到最优解x,如图3所示。当未达到停止条件时,重复以下过程:
3-2-1求出代价函数的梯度
Figure GDA0002400474810000071
其中,gradn为第n次迭代过程中代价函数的梯度,Ji为Ji对应的卷积滤波器,
Figure GDA0002400474810000072
为Ji沿着中心镜像都得到的卷积滤波器,ψ′为ψ的导数。
3-2-2更新x
xn=xn-1+gradn (11)
其中,xn为第n次迭代得到的估计图像,xn-1为第n-1次迭代得到的估计图像。
为了比较本发明与现有方法的效果,针对图4所示图像eia,进行一个模拟超分辨实验。通过平移、模糊、下采样和添加噪声,从图4所示高分辨图像产生4幅低分辨图像。其中平移量分别为(0,0)、(0,1)、(1,0)、(1,1),糊核采用3×3的高斯核,下采样因子为2,添加的噪声为高斯白噪声。为了比较在不同噪声水平下的重建方法,添加的噪声信噪比(signalnoise ratio,SNR)从5到45变化,其中信噪比越低,噪声水平越大。待比较的方法为传统的双立方插值法(bicubic,bcb)、目前已有的方法中效果最好的变分贝叶斯推测法(variational Bayesian inference,vbi)和本发明所用方法(记为foe)。
图5为SNR=5时的超分辨重建情况,此时噪声水平很高,输入的低分辨图像信息很少。插值法重建效果很差,变分贝叶斯推测法和本发明方法都能恢复出一些线条和圆弧信息。
图6为SNR=15时的超分辨重建情况,此时噪声水平仍然偏高,输入的低分辨图像很模糊。插值法重建效果差,变分贝叶斯方法和本发明方法都能基本恢复出线条和圆弧信息,但是变分贝叶斯方法恢复出的数字信息没有本发明方法的明显。
图7为SNR=25时的超分辨重建情况,此时噪声水平中等,输入的低分辨图像比较模糊。插值法重建效果差,变分贝叶斯方法和本发明方法都能基本恢复出线条、圆弧和数字信息,但是变分贝叶斯方法开始出现了一些人造信息,在条纹附近出现了振铃现象。本发明方法恢复出的图像和原图(图4)接近。
图8为SNR=35时的超分辨重建情况,此时噪声水平较低,输入的低分辨图像噪声少但是仍然较为模糊。插值法重建效果不好,变分贝叶斯方法和本发明方法恢复图像能完全看清楚线条、圆弧和数字信息,但是变分贝叶斯方法重建图像人造信息比较明显,在条纹和圆弧附近都出现了振铃现象。本发明方法恢复出的图像质量较好。
图9为SNR=45时的超分辨重建情况,此时噪声水平很低,输入的低分辨图像噪声很少但是仍然模糊。插值法重建效果不好,变分贝叶斯方法和本发明方法恢复图像能完全看清楚线条、圆弧和数字信息,但是变分贝叶斯方法重建图像人造信息非常明显,本发明方法恢复出的图像非常接近原图。
图10为对实拍视频中15帧图像超分辨重建的结果。从图中可以看出,插值法几乎没有增加新信息。变分贝叶斯方法提高了图像的质量,但是人造信息较多、振铃比较严重,重建效果比较差,。本发明重建出的图像噪声少,数字、线条都比原图以及另外两种超分辨重建图更清晰,效果更好。
表1为三种方法峰值信噪比(signal noise ratio,PSNR)比较,PSNR越高,重建效果越好。从表1中可以看出,无论在较高的噪声水平还是在较低的噪声水平下,本发明重建图像的PSNR都比传统的双立方插值法、变分贝叶斯推测法高,说明本发明所用自然图像先验知识能有效提高超分辨重建质量。
表2为三种方法的结构相似性(structural similarity index),SSIM越接近1,两幅图像结构相似性越高。从表2中看出,本发明在任何噪声水平下,重建图像的SSIM都比传统的双立方插值法好。在噪声水平较低到中等时,本文方法的SSIM领先于变分贝叶斯推测法,在噪声水平较高时,本发明方法接近变分贝叶斯推测法。说明本发明能较好地保持图像的结构特性。
时间方面,对于示例所用图像(四张130×130低分辨图像重建一张260×260图像),双立方插值法需要0.05s,变分贝叶斯推测法需要80s,本发明需要53s。由于双立方插值不需要对多帧图像进行处理,直接对一张图像进行插值即可得到最终图像,所以所用时间最短。而同样作为多帧图像超分辨重建的变分贝叶斯推测法和本发明方法,本发明方法大大缩短了计算时间。
表1超分辨重建图像PSNR比较
SNR 5 15 25 35 45
bcb 13.0267 16.9538 17.2584 16.87298 17.3101
vbi 13.1950 18.6711 25.7667 33.7568 31.5663
foe 13.9847 21.857 34.9950 37.6799 37.9239
表2超分辨重建图像SSIM比较
SNR 5 15 25 35 45
bcb 0.4072 0.5261 0.5909 0.6315 0.6378
vbi 0.4785 0.6175 0.7466 0.8198 0.8725
foe 0.4535 0.6437 0.8266 0.8436 0.8413

Claims (9)

1.一种利用自然图像先验知识进行多帧图像超分辨重建的方法,其特征在于,该方法包括以下步骤:
(1)用student-t分布来模拟自然图像的专家场分布,并训练专家场分布的参数;
(2)初始化设置,具体是:
(2.1)计算初始图像:在输入的L张低分辨率图像中任意选择一张图像进行上采样得到初始图像x0,采样因子记为res;根据采样因子res构建下采样矩阵A;
(2.2)设置卷积核h,根据卷积核h构建模糊矩阵H;
(2.3)以步骤(2.1)中选择的低分辨率图像为参考图像,计算第1到第L张图像相对于参考图像的位移,包括横坐标方向的平移值sx和纵坐标方向的平移值sy;根据sx、sy构建位移矩阵C;
(2.4)估计噪声标准差σ;
(2.5)设置迭代步长delta和迭代次数maxit;
(3)利用最大后验概率法进行多帧图像超分辨重建,具体是:
(3.1)根据最大后验概率法建立关于待超分辨重建图像x的方程:
Figure FDA0002400474800000011
其中,yk为输入的第k张低分辨率图像,Hk为第k张低分辨率图像对应的模糊矩阵,Ck为第k张低分辨率图像对应的位移矩阵,ψ为专家函数的对数形式,Ji为专家场模型中的第i个滤波器,
Figure FDA0002400474800000012
为Ji的转置,N为滤波器Ji的个数,αi为第i个专家函数的权重,λ为专家场对数形式在重建方程中的权重,且
Figure FDA0002400474800000021
(3.2)迭代求解步骤(3.1)建立的方程(1),当满足收敛标准或者达到最大迭代次数时停止迭代,得到最优解x。
2.根据权利要求1所述一种利用自然图像先验知识进行多帧图像超分辨重建的方法,其特征在于,所述步骤(1)中,专家场分布的公式如下:
Figure FDA0002400474800000022
Figure FDA0002400474800000023
其中,
Figure FDA0002400474800000024
为第i个专家函数,Z(Θ)为专家场的归一化函数。
3.根据权利要求1所述一种利用自然图像先验知识进行多帧图像超分辨重建的方法,其特征在于,所述步骤(1)中,训练所采用数据不是整张图像,而是从BerkeleySegmentation Benchmark数据库下载的图像中随机剪裁产生的20000个15×15的图像块。
4.根据权利要求1所述一种利用自然图像先验知识进行多帧图像超分辨重建的方法,其特征在于,所述步骤(1)中,训练得到的专家场分布的参数包括5×5像素块大小的24个滤波器Ji及其对应的权重αi,其中i取1到24。
5.根据权利要求1所述一种利用自然图像先验知识进行多帧图像超分辨重建的方法,其特征在于,所述步骤(2.2)中,卷积核h设置为3×3的高斯卷积核。
6.根据权利要求1所述一种利用自然图像先验知识进行多帧图像超分辨重建的方法,其特征在于,所述步骤(2.3)中,采用光流法计算第1到第L张图像相对于参考图像的位移。
7.根据权利要求1所述一种利用自然图像先验知识进行多帧图像超分辨重建的方法,其特征在于,所述步骤(2.3)中,在构建位移矩阵C时,除了平移值sx、sy,还加入旋转角度信息。
8.根据权利要求1所述一种利用自然图像先验知识进行多帧图像超分辨重建的方法,其特征在于,所述步骤(2.4)中,根据小波噪声方差估计法估计噪声标准差σ。
9.根据权利要求1所述一种利用自然图像先验知识进行多帧图像超分辨重建的方法,其特征在于,所述步骤(3.2)中,利用梯度下降法进行优化求解。
CN201810231724.5A 2018-03-20 2018-03-20 一种利用自然图像先验知识进行多帧图像超分辨重建的方法 Expired - Fee Related CN108665412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810231724.5A CN108665412B (zh) 2018-03-20 2018-03-20 一种利用自然图像先验知识进行多帧图像超分辨重建的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810231724.5A CN108665412B (zh) 2018-03-20 2018-03-20 一种利用自然图像先验知识进行多帧图像超分辨重建的方法

Publications (2)

Publication Number Publication Date
CN108665412A CN108665412A (zh) 2018-10-16
CN108665412B true CN108665412B (zh) 2020-05-22

Family

ID=63781944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810231724.5A Expired - Fee Related CN108665412B (zh) 2018-03-20 2018-03-20 一种利用自然图像先验知识进行多帧图像超分辨重建的方法

Country Status (1)

Country Link
CN (1) CN108665412B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276726B (zh) * 2019-05-13 2021-09-28 南昌大学 一种基于多通道网络先验信息引导的图像去模糊方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7616826B2 (en) * 2006-07-28 2009-11-10 Massachusetts Institute Of Technology Removing camera shake from a single photograph using statistics of a natural image
CN104008531B (zh) * 2014-06-17 2017-02-08 中国电子科技集团公司第二十八研究所 一种基于混合型马尔科夫专家场的模糊图像盲复原方法
CN104021529B (zh) * 2014-06-17 2017-01-11 中国电子科技集团公司第二十八研究所 一种模糊图像非盲复原方法

Also Published As

Publication number Publication date
CN108665412A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN109102462B (zh) 一种基于深度学习的视频超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN107025632B (zh) 一种图像超分辨率重建方法及系统
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN107784628B (zh) 一种基于重建优化和深度神经网络的超分辨率实现方法
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN110111251B (zh) 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN110610467B (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN112184549B (zh) 基于时空变换技术的超分辨图像重建方法
CN112669214A (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
Chen et al. Image denoising via deep network based on edge enhancement
Yang et al. A survey of super-resolution based on deep learning
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN112070669B (zh) 一种针对任意模糊核的超分辨率图像重建方法
CN112200752B (zh) 一种基于er网络多帧图像去模糊系统及其方法
CN108665412B (zh) 一种利用自然图像先验知识进行多帧图像超分辨重建的方法
Zheng et al. Depth image super-resolution using multi-dictionary sparse representation
CN116862795A (zh) 一种基于逐像素退化预测网络的多级去运动模糊方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200522