CN108765517B - 一种基于凸优化的多张量视觉数据填充方法 - Google Patents

一种基于凸优化的多张量视觉数据填充方法 Download PDF

Info

Publication number
CN108765517B
CN108765517B CN201810349051.3A CN201810349051A CN108765517B CN 108765517 B CN108765517 B CN 108765517B CN 201810349051 A CN201810349051 A CN 201810349051A CN 108765517 B CN108765517 B CN 108765517B
Authority
CN
China
Prior art keywords
tensor
new
optimization
visual data
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810349051.3A
Other languages
English (en)
Other versions
CN108765517A (zh
Inventor
高建超
石红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810349051.3A priority Critical patent/CN108765517B/zh
Publication of CN108765517A publication Critical patent/CN108765517A/zh
Application granted granted Critical
Publication of CN108765517B publication Critical patent/CN108765517B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于凸优化的多张量视觉数据填充方法,包括以下步骤:从不同设备对同一事物同时采集的K个有缺失的数据集,将其用K个张量X1,X2,…,XK表示;初始化优化变量,并设置最大迭代次数和终止阈值ε;判断循环迭代次数是否小于最大迭代次数,如果满足条件,继续下一步,否则输出;对多张量X1,X2,…,XK采用整合拉普拉斯图和全变差的凸优化方法估算缺失值并利用交替方向乘子法优化算法框架对目标函数进行优化求解,重构新模型X1_new,X2_new,…XK_new;判断重构的K个张量X1_new,X2_new,…XK_new是否满足条件||Xk‑Xk_new||F<ε*||Xk||F,ε>0,如果满足判断条件,则令Xk=Xk_new输出;否则迭代次数加1返回步骤三。该方法从拉普拉斯图的角度来发现多张量数据间的共有关系,结合全变差保留视觉数据的分段平滑属性,提出凸优化的多张量填充的定义和公式。

Description

一种基于凸优化的多张量视觉数据填充方法
技术领域
本发明属于数据计算方法,具体是涉及一种基于凸优化的多张量视觉数据填充方法。
背景技术
在我们生活中,高维数据无处不在,例如:彩色图像,视频,医疗图像等。我们在采集这些高维数据的过程中,可能由于设备损坏,不当措施等导致采集到的数据部分缺失。我们称利用已知元素来估计缺失元素的任务为填充任务。矩阵填充任务虽然在处理矩阵数据上取得了有效的成果,但由于处理这些高维数据时会丢失数据的空间结构,故表现不佳。
近年来,单张量填充任务已有大量的研究,但在数据缺失率很大和处理多张量数据填充任务时,表现不佳。在多张量填充任务中,多个数据集使用不同设备同时来自于相同的物体,例如:四个相机设备同时对一个运动物体拍摄。现有的多张量填充模型大多数假设多个数据集之间存在共享因子。之后,Li等人在《Low-Rank Tensor Completion withTotal Variation for Visual Data Inpainting》提出多张量共享邻接图CAG的填充模型。但是以上方法都是非凸的模型,不能达到全局最优解。
发明内容
本发明的目的是为了克服现有技术中的不足,提供一种基于凸优化的多张量视觉数据填充方法,该方法整合拉普拉斯图和全变差到多张量填充,定义了凸优化的多张量填充模型的公式,由于拉普拉斯图能够发掘多个数据集之间的关系,在多视角任务中发挥了重要作用;从拉普拉斯图的角度来发现多张量数据间的共有关系,并结合全变差来保留视觉数据的分段平滑属性,提出了凸优化的多张量填充的定义和公式。
本发明的目的是通过以下技术方案实现的:
一种基于凸优化的多张量视觉数据填充方法,包括以下步骤:
步骤一,从不同设备对同一事物同时采集的K个有缺失的数据集,将其用K个张量
Figure BDA0001632876010000011
表示;
步骤二,初始化优化变量,并设置最大迭代次数和终止阈值ε;
步骤三,判断循环迭代次数是否小于最大迭代次数,如果满足条件,继续进行下一步,否则输出;
步骤四,对多张量
Figure BDA0001632876010000021
采用整合拉普拉斯图和全变差的凸优化方法估算缺失值并利用交替方向乘子法优化算法框架对目标函数进行优化求解,重构新模型
Figure BDA0001632876010000022
步骤五,判断重构的K个张量
Figure BDA0001632876010000023
是否满足条件
Figure BDA0001632876010000024
ε>0,如果满足判断条件,则令
Figure BDA0001632876010000025
输出;否则迭代次数加1返回步骤三。
进一步的,步骤一中K个不完全张量通过公式(1)获得在共享模式上初始构建的拉普拉斯图L,其中邻接矩阵W采用向量的相似性度量矩阵进行计算;
Figure BDA0001632876010000026
其中,Dk为Wk的度,t(k)表示一维数组
Figure BDA0001632876010000027
存放每个张量共享的模式索引;
Figure BDA0001632876010000028
表示第k个张量的第t(k)阶展开,μk,i表示
Figure BDA0001632876010000029
第i行的均值。
进一步的,步骤四中整合拉普拉斯图和全变差的凸优化方法通过公式(2)获得目标函数;
Figure BDA00016328760100000210
其中,引入的优化变量:
Figure BDA00016328760100000211
均为第k个张量的n阶展开对应的优化变量,Fk(n)来代替全变差范数
Figure BDA00016328760100000212
来代替待恢复数据
Figure BDA00016328760100000213
(第k个待恢复张量
Figure BDA00016328760100000214
第n阶展开矩阵);
Figure BDA00016328760100000215
是第k个优化张量
Figure BDA00016328760100000216
在共同模式t(k)下的展开矩阵,即
Figure BDA00016328760100000217
当且仅当n=t(k),
Figure BDA00016328760100000218
Figure BDA00016328760100000219
的转置;L代表拉普拉斯图;Rk(n)(i,i)=1,Rk(n)(i,i+1)=-1,Rk(n)矩阵(第k个张量Rk第n阶展开矩阵)的其他元素为0;Ω为与
Figure BDA00016328760100000220
一样大小的索引集,用于存放缺失元素索引,若第k个张量
Figure BDA00016328760100000221
中元素缺失,Ω相应位置为0,否则为1;
Figure BDA00016328760100000222
将观测数据
Figure BDA00016328760100000223
中未缺失的元素(Ω相应位置为1的元素)赋值给待恢复变量
Figure BDA0001632876010000031
βk,nk,n均是第k个待恢复张量
Figure BDA0001632876010000032
第n阶展开矩阵的大于0的调谐参数;
Figure BDA0001632876010000033
是第k个观测数据。
进一步的,步骤四中利用交替方向乘子法优化算法框架对目标函数进行优化求解,重构新模型
Figure BDA0001632876010000034
如下:
通过引入额外变量
Figure BDA0001632876010000035
将公式(2)转化为拉格朗日乘子问题公式(3)求解;
Figure BDA0001632876010000036
其中,μ1234是超参数;
Figure BDA0001632876010000037
为第k个待恢复张量
Figure BDA0001632876010000038
在共同模式t(k)下的展开矩阵;Yk,t(k)k,n,Bk,nk,n分别是
Figure BDA0001632876010000039
对应的拉格朗日乘子;
通过应用交替更新策略,将大规模问题转化为四个子问题进行求解,根据公式(4)、(5)(6)、(7)、(8)更新变量,最终估算出缺失值建立多个新模型
Figure BDA00016328760100000310
Figure BDA00016328760100000311
其中I是元素都为1的矩阵;
Figure BDA00016328760100000312
其中,等式右边的公式是奇异值阈值操作算子;Nk为第k个待恢复张量
Figure BDA00016328760100000313
的阶数;
Figure BDA00016328760100000314
其中,shrinkage操作是收缩阈值操作算子;
Figure BDA0001632876010000041
其中,
Figure BDA0001632876010000042
为Rk(n)的矩阵转置。
Figure BDA0001632876010000043
其中,foldt(k),foldn操作算子分别是对第t(k)阶和第n阶展开矩阵的反操作,即将展开矩阵合成对应的张量形式;Nk为每个张量的阶数;
Figure BDA0001632876010000044
取第k个观测张量
Figure BDA0001632876010000045
中索引集Ω为1的元素;根据该次迭代后的K个新张量估算模型进行步骤二的拉普拉斯图的重构操作,更新公式中L变量。
与现有技术相比,本发明的技术方案所带来的有益效果是:
本发明通过多张量在共享模式上享有共有的拉普拉斯图来挖掘它们之间的关系,同时考虑了视觉数据由于物体边缘的存在具有分段平滑属性,借用全变差进行保留该属性,进一步对重构的多张量进行了平滑,这两者的整合使得优化问题变为凸优化,计算简单,更加高效。
附图说明
图1是本发明流程示意图。
图2-1至图2-3是利用本发明进行多视角图像填充的结果示意图;其中图2-1、图2-2和图2-3的缺失率分别为0.3、0.5和0.7。
具体实施方式
下面结合附图对本发明作进一步的描述。
下面结合附图对本发明作进一步的描述。
如图1所述,本发明提供一种基于凸优化的多张量视觉数据填充方法,包括如下步骤:
步骤一101,从不同设备对同一事物同时采集的K个有缺失的数据集,将其用K个张量
Figure BDA0001632876010000046
表示。
步骤二102,初始化优化变量,并设置最大迭代次数和终止阈值ε。步骤一中K个不完全张量通过公式(1)获得在共享模式上初始构建的拉普拉斯图L,其中邻接矩阵W我们采用向量的相似性度量矩阵进行计算;
Figure BDA0001632876010000051
其中,Dk为Wk的度,t(k)表示一维数组
Figure BDA0001632876010000052
存放每个张量共享的模式索引。
Figure BDA0001632876010000053
表示第k个张量的第t(k)阶展开,μk,i表示
Figure BDA0001632876010000054
第i行的均值。
步骤三103,判断循环迭代次数是否小于最大迭代次数,如果满足条件,继续进行下一步,否则输出;
步骤四(104,105,106),对多张量
Figure BDA0001632876010000055
采用整合拉普拉斯图和全变差的凸优化方法估算缺失值并利用ADMM优化算法框架对目标函数进行优化求解,重构新模型
Figure BDA0001632876010000056
目标函数如公式(2)所示;
Figure BDA0001632876010000057
其中,为了求解方便,引入多个优化变量:
Figure BDA0001632876010000058
都为第k个张量的n阶展开对应的优化变量,Fk(n)来代替全变差范数
Figure BDA0001632876010000059
来代替待恢复数据
Figure BDA00016328760100000510
(第k个待恢复张量
Figure BDA00016328760100000511
第n阶展开矩阵);
Figure BDA00016328760100000512
是第k个优化张量
Figure BDA00016328760100000513
在共同模式t(k)下的展开矩阵,即
Figure BDA00016328760100000514
当且仅当n=t(k),
Figure BDA00016328760100000515
Figure BDA00016328760100000516
的转置;L代表拉普拉斯图;Rk(n)(i,i)=1,Rk(n)(i,i+1)=-1,Rk(n)矩阵(第k个张量Rk第n阶展开矩阵)的其他元素为0。Ω为与
Figure BDA00016328760100000517
一样大小的索引集,用于存放缺失元素索引,若第k个张量
Figure BDA00016328760100000518
中元素缺失,Ω相应位置为0,否则为1;
Figure BDA00016328760100000519
将观测数据
Figure BDA00016328760100000520
中未缺失的元素(Ω相应位置为1的元素)赋值给待恢复变量
Figure BDA00016328760100000521
βk,nk,n都是第k个待恢复张量
Figure BDA00016328760100000522
第n阶展开矩阵的大于0的调谐参数;
Figure BDA00016328760100000523
是第k个观测数据。可以看到这是一个凸优化问题,可达到全局最优解。
通过引入额外变量
Figure BDA00016328760100000524
将公式(2)转化为拉格朗日乘子ALM问题公式(3)求解;
Figure BDA0001632876010000061
其中,μ1234是超参数。
Figure BDA0001632876010000062
为第k个待恢复张量
Figure BDA0001632876010000063
在共同模式t(k)下的展开矩阵;Yk,t(k)k,n,Bk,nk,n分别是
Figure BDA0001632876010000064
对应的拉格朗日乘子。
通过应用交替更新策略,我们将大规模问题转化为四个子问题进行求解,根据公式(4)(5)、(6)、(7)、(8)来更新变量,最终估算出缺失值建立多个新模型
Figure BDA0001632876010000065
Figure BDA0001632876010000066
其中I是元素都为1的矩阵。
Figure BDA0001632876010000067
其中,等号右边的公式是一个奇异值阈值操作算子。Nk为第k个待恢复张量
Figure BDA0001632876010000068
的阶数。
Figure BDA0001632876010000069
其中,shrinkag操作是收缩阈值操作算子。具体可参考文献《Low-Rank TensorCompletion with Total Variation for Visual Data Inpainting》
Figure BDA00016328760100000610
其中,
Figure BDA00016328760100000611
为Rk(n)的矩阵转置。
Figure BDA0001632876010000071
其中,foldt(k),foldn操作算子分别是对第t(k)阶和第n阶展开矩阵的反操作,即将展开矩阵合成对应的张量形式;Nk为每个张量的阶数;
Figure BDA0001632876010000072
取第k个观测张量
Figure BDA0001632876010000073
中索引集Ω为1的元素;根据该次迭代后的K个新张量估算模型进行步骤二的拉普拉斯图的重构操作,更新公式中L变量。
步骤五(107,108),判断重构的K个张量
Figure BDA0001632876010000074
是否满足条件
Figure BDA0001632876010000075
ε是一个大于0的极小的值,本实施例中取ε=10-5,如果满足条件,则
Figure BDA0001632876010000076
输出;否则返回步骤三。
实验例1:
通过将本发明方法在实际多视角图像数据集INRIA Xmas Motion AcquisitionSequences(IXMAS)上的运行,显示其有效性。其中数据集来源于:
http://4drepository.inrialpes.fr/public/viewgroup/6
对比算法包括:MTCSS、LRTC-MCCA。
缺失率为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9;运行的结果如图2-1至图2-3所示。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案,上述的具体实施方式仅仅是示意性的,并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下,本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换,这些均属于本发明的保护范围之内。

Claims (3)

1.一种基于凸优化的多张量视觉数据填充方法,其特征在于,包括以下步骤:
步骤一,从不同设备对同一事物同时采集的K个有缺失的视觉数据集,将其用K个张量
Figure FDA0003605338610000011
表示;
步骤二,初始化优化变量,并设置最大迭代次数和终止阈值ε;
步骤三,判断循环迭代次数是否小于最大迭代次数,如果满足条件,继续进行下一步,否则输出;
步骤四,对多张量视觉数据
Figure FDA0003605338610000012
采用整合拉普拉斯图构建缺失视觉数据像素之间的相关关系,并采用全变差对多张量视觉数据进行图像边缘的平滑处理,二者结合作为凸优化方法来估算多张量视觉数据的缺失值,并利用交替方向乘子法优化算法框架对目标函数进行优化求解,重构新模型
Figure FDA0003605338610000013
步骤五,判断重构的K个张量
Figure FDA0003605338610000014
是否满足条件
Figure FDA0003605338610000015
如果满足判断条件,则令
Figure FDA0003605338610000016
输出;否则迭代次数加1返回步骤三。
2.根据权利要求1所述的一种基于凸优化的多张量视觉数据填充方法,其特征在于,步骤一中K个不完全张量通过公式(1)获得在共享模式上初始构建的拉普拉斯图L,其中邻接矩阵W采用向量的相似性度量矩阵进行计算:
Figure FDA0003605338610000017
Figure FDA0003605338610000018
其中,Dk为Wk的度,t(k)表示一维数组
Figure FDA0003605338610000019
存放每个张量共享的模式索引;
Figure FDA00036053386100000110
表示第k个张量的第t(k)阶展开,μk,i表示
Figure FDA00036053386100000111
第i行的均值。
3.根据权利要求1所述的一种基于凸优化的多张量视觉数据填充方法,其特征在于,步骤四中整合拉普拉斯图和全变差的凸优化方法通过公式(2)获得目标函数;
Figure FDA0003605338610000021
其中,引入的优化变量:Fk(n),
Figure FDA0003605338610000022
均为第k个张量的n阶展开对应的优化变量,Fk(n)来代替全变差范数
Figure FDA0003605338610000023
来代替待恢复数据
Figure FDA0003605338610000024
即第k个待恢复张量
Figure FDA0003605338610000025
第n阶展开矩阵;
Figure FDA0003605338610000026
是第k个优化张量
Figure FDA0003605338610000027
在共同模式t(k)下的展开矩阵,即
Figure FDA0003605338610000028
当且仅当n=t(k),
Figure FDA0003605338610000029
Figure FDA00036053386100000210
的转置;L代表拉普拉斯图;Rk(n)(i,i)=1,Rk(n)(i,i+1)=-1,Rk(n)矩阵的其他元素为0,Rk(n)矩阵表示第k个张量Rk第n阶展开矩阵;Ω为与
Figure FDA00036053386100000211
一样大小的索引集,用于存放缺失元素索引,若第k个张量
Figure FDA00036053386100000212
中元素缺失,Ω相应位置为0,否则为1;
Figure FDA00036053386100000213
将观测数据
Figure FDA00036053386100000214
中未缺失的元素赋值给待恢复变量
Figure FDA00036053386100000215
未缺失的元素即为Ω相应位置为1的元素;βk,nk,n均是第k个待恢复张量
Figure FDA00036053386100000216
第n阶展开矩阵的大于0的调谐参数;
Figure FDA00036053386100000217
是第k个观测数据。
CN201810349051.3A 2018-04-18 2018-04-18 一种基于凸优化的多张量视觉数据填充方法 Expired - Fee Related CN108765517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810349051.3A CN108765517B (zh) 2018-04-18 2018-04-18 一种基于凸优化的多张量视觉数据填充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810349051.3A CN108765517B (zh) 2018-04-18 2018-04-18 一种基于凸优化的多张量视觉数据填充方法

Publications (2)

Publication Number Publication Date
CN108765517A CN108765517A (zh) 2018-11-06
CN108765517B true CN108765517B (zh) 2022-09-02

Family

ID=64011121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810349051.3A Expired - Fee Related CN108765517B (zh) 2018-04-18 2018-04-18 一种基于凸优化的多张量视觉数据填充方法

Country Status (1)

Country Link
CN (1) CN108765517B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298798B (zh) * 2019-06-20 2021-02-19 浙江工业大学 一种基于低秩张量补全与离散全变分的图像修复方法
CN112116532B (zh) * 2020-08-04 2022-07-12 西安交通大学 一种基于张量块循环展开的彩色图像补全方法
CN113177608B (zh) * 2021-05-21 2023-09-05 河南大学 一种针对不完整数据的近邻模型特征选择方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2869260A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating from a quantised image having a first bit depth a corresponding image having a second bit depth
CN107016649A (zh) * 2017-02-24 2017-08-04 同济大学 一种基于局部低秩张量估计的视觉数据补全方法
CN107220211A (zh) * 2016-12-14 2017-09-29 北京理工大学 一种融合张量填充和张量恢复的数据重建方法
CN107609580A (zh) * 2017-08-29 2018-01-19 天津大学 一种直推式的低秩张量判别性分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2869260A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating from a quantised image having a first bit depth a corresponding image having a second bit depth
CN107220211A (zh) * 2016-12-14 2017-09-29 北京理工大学 一种融合张量填充和张量恢复的数据重建方法
CN107016649A (zh) * 2017-02-24 2017-08-04 同济大学 一种基于局部低秩张量估计的视觉数据补全方法
CN107609580A (zh) * 2017-08-29 2018-01-19 天津大学 一种直推式的低秩张量判别性分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Generalized Tensor Total Variation minimization for visual data recovery;Xiaojie Guo,et al;《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20151015;正文第3603-3611页 *
基于张量表达的视觉跟踪算法研究;黄梁华;《中国优秀硕士学位论文全文数据库》;20161115;I138-241 *

Also Published As

Publication number Publication date
CN108765517A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
Liang et al. Details or artifacts: A locally discriminative learning approach to realistic image super-resolution
Simon et al. Rethinking the CSC model for natural images
Darbon et al. Fast nonlocal filtering applied to electron cryomicroscopy
CN108765517B (zh) 一种基于凸优化的多张量视觉数据填充方法
CN109241491A (zh) 基于联合低秩和稀疏表示的张量结构性缺失填充方法
CN105631807B (zh) 基于稀疏域选取的单帧图像超分辨重建方法
CN109360157B (zh) 基于tv和小波正则化的空间变化模糊图像复原方法
CN108765330A (zh) 基于全局和局部先验联合约束的图像去噪方法和装置
CN109461122A (zh) 一种基于多视点图像的压缩感知图像重建方法
CN111340697A (zh) 一种基于聚类回归的图像超分辨方法
CN104200439B (zh) 基于自适应滤波和正则约束的图像超分辨方法
Yang et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors
CN114170080A (zh) 基于非凸低秩张量近似的图像超分辨率重建系统
CN108876750B (zh) 一种基于非局部相似性低秩矩阵的图像去除泊松噪声的方法
CN110223243A (zh) 基于张量的非局部自相似和低秩正则的张量修复方法
Umer et al. Deep iterative residual convolutional network for single image super-resolution
CN111626948B (zh) 一种基于图像补的低光子泊松图像复原方法
CN111028168A (zh) 一种含噪声模糊的高能闪光图像去模糊方法
CN116309077A (zh) 基于空域可变模糊核估计的图像盲超分辨率重建方法
Yao et al. MTKDSR: Multi-teacher knowledge distillation for super resolution image reconstruction
CN111462014B (zh) 一种基于深度学习和模型驱动的单图去雨方法
CN114627010A (zh) 一种基于染色密度图的染色空间迁移方法
Nayak et al. Spatial super resolution based image reconstruction using HIBP
CN111397733A (zh) 一种单/多帧快照式光谱成像方法、系统及介质
CN115131210B (zh) 基于精准核估计的交替优化图像盲超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220902