CN108491430B - 一种基于对特征方向进行聚类的无监督哈希检索方法 - Google Patents

一种基于对特征方向进行聚类的无监督哈希检索方法 Download PDF

Info

Publication number
CN108491430B
CN108491430B CN201810134469.2A CN201810134469A CN108491430B CN 108491430 B CN108491430 B CN 108491430B CN 201810134469 A CN201810134469 A CN 201810134469A CN 108491430 B CN108491430 B CN 108491430B
Authority
CN
China
Prior art keywords
image
clustering
feature
dimension
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810134469.2A
Other languages
English (en)
Other versions
CN108491430A (zh
Inventor
邓伟洪
袁彤彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201810134469.2A priority Critical patent/CN108491430B/zh
Publication of CN108491430A publication Critical patent/CN108491430A/zh
Application granted granted Critical
Publication of CN108491430B publication Critical patent/CN108491430B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于对特征方向进行聚类的无监督哈希检索方法，属于图像检索技术领域。首先针对不同的数据集提取相应的合适的特征；然后使用K‑means聚类将相似的特征分为一类，并且对相似的一系列特征取均值成为新的特征；对每一个维度使用K‑means聚类，生成两个类别中心，对每一维的数据按照和中心的距离进行量化操作，得到二值编码。最后将给定的查询图像按照上述步骤生成编码，通过计算汉明距离来比较和训练集数据的相似度，得到检索的结果。本发明能够更加高效、准确地进行无监督的图像检索，作为一个合理的参考，具有很大的实用价值。

Description

一种基于对特征方向进行聚类的无监督哈希检索方法
技术领域
本发明属于图像检索技术领域，具体涉及一种基于对特征方向进行聚类的无监督哈希检索方法。
背景技术
互联网时代的一个典型特点就是多媒体信息数据量的剧增，面对大规模的图像数据集，如何快速准确的检索出感兴趣的图片成为了计算机视觉领域中重要的研究问题。传统的计算图片相似度的方法，往往由于计算过程和存储图片的开销过大，难以在大规模图像数据集上应用，因此面向大规模数据集检索的哈希算法应运而生。
目前，无监督的哈希检索技术主要包括特征降维和量化编码两个步骤，然而目前的应用在哈希检索的特征降维技术存在一些缺陷。在基于主成分分析法(PCA)的哈希降维方式中[1][2]，产生的新的投影方向存在着方差极其不均衡的问题，为后续的量化操作带来不便。另外，在降维过程中尽可能保持与原有的空间的距离相似度一直是技术难点，这一问题影响了哈希检索的准确率。
参考文献：
[1]Y.Weiss,A.Torralba,and R.Fergus,“Spectral hashing,”in Conferenceon Neural Information Processing Systems,Vancouver,British Columbia,Canada,December,2008,pp.1753–1760.
[2]Y.Gong,S.Lazebnik,A.Gordo,and F.Perronnin,“Iterative quantization:A procrustean approach to learning binary codes for large-scale imageretrieval,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.35,no.12,pp.2916–29,2013.
当前我国信息化工作的一项重点就是加强对大数据的处理能力研究。研究快速有效的信息检索方法，能够大大地提高社会的效率，推动科技技术的进步。因此，需要一种适合大规模数据集检索的方法。
发明内容
针对目前存在的哈希方法中的PCA降维技术产生的不平衡方差的数据的问题，以及尽可能的保持原有空间的相似度，本发明提供了一种基于对特征方向进行聚类的无监督哈希检索方法，通过对哈希检索中的特征降维步骤进行改造，实现了平衡降维后数据的方差，保持原有的空间相似度的效果，同时具有操作简便，检索准确率高的优势。
本发明提供的基于对特征方向进行聚类的无监督哈希检索方法，实现步骤包括：
步骤一、从图像数据集中随机选取图像，进行去噪处理，获取训练数据集和测试数据集；
步骤二、对训练数据集中的图像进行特征提取；
步骤三、特征降维，具体是：使用K-means方法对提取的训练集图像的特征进行列聚类，生成类别中心和每列特征的索引；把属于同一个类别中心的特征列组成一个集合，并通过数值运算求均值的操作从各聚类集合中获得新的一维特征，设生成维度为K的特征；K为正整数；
步骤四、使用自适应的量化方法对步骤三获得的新特征进行哈希量化；
使用K-means聚类方法把每一个特征维度的数据点聚成两类，并得到两个类别中心，对新特征中的数据依据距离两个类别中心的远近，分别量化为0或1；
步骤五、进行图像检索，具体是：
对测试集中的查询图像进行步骤二的特征提取，对提取的特征依次利用步骤三进行特征降维，利用步骤四进行哈希量化，得到该图像的二值编码；计算该图像的二值编码与步骤四得到的训练集的二值编码之间的汉明距离，按照汉明距离大小对训练集进行排序，返回查询图像与训练样本之间的汉明距离的排序结果。
相对于现有技术，本发明的优点和积极效果在于：
(1)本发明所针对的大规模图像数据集，具有规模巨大和噪声较大的特点，通过采用一种基于灰度草图的信息熵计算结果进行筛选产生干净的数据集；
(2)本发明使用特征聚类的方式学习新的特征空间，可以实现把高维特征映射到低维空间的效果，同时生成的新的特征具有方差均衡的特点；把相似的特征聚成一类，再生成一维特征，消除了特征之间的冗余，达到了降维的目的，可以极大程度的保留新空间与原始特征空间的相似度。
(3)本发明使用自适应的量化策略，避免了直接使用单一阈值的量化而产生的量化误差和破坏原有的空间关系，进一步提升了哈希检索的性能。
(4)本发明通过使用机器学习的方法，对大规模的图像数据集进行哈希检索，生成低维的二值的编码来表示原来的特征，最终通过计算汉明距离来得到图像之间的相似度，这一过程减少了计算和存储的开销，对于各个数据领域的信息检索任务都有着重要的实用价值。
(5)本发明方法操作简便，检索准确率高。
附图说明
图1为本发明的无监督哈希检索方法的步骤流程图。
具体实施方式
下面将结合附图对本发明具体实施方式进行详细说明。
本发明基于Google发布的Quick Draw草图数据集进行检索说明，包含了对其设计的特殊的数据处理操作。下面具体说明本发明方法的实现步骤。
第一步：数据预处理。
本发明实施例基于Google的50,000,000张图片组成、包括345个类别的Quick-Draw大规模草图数据集。
本发明实施例处理Quick Draw数据集产生干净的样本集合，包含如下步骤S1.1～S1.4：
步骤S1.1：从草图数据集中通过随机采样的方式为345个类别选取样本作为检索的数据集。随机采样时按照345类的标签信息，每类选取12,500张图像作为样本，得到345个类别组成的包含4,312,500张图片的数据集。
步骤S1.2：由于人工绘画得到的草图数据库中存在着许多图像噪声过大的样本，为了去除噪声过大的图像得到较为干净的数据集，本发明采用一种信息熵的计算方式来消除噪声过大的草图样本。
针对此草图数据集，图片所含的信息熵H定义如下：
Figure BDA0001575857300000031
其中Pi是灰度值i在草图中占的比例，i的取值分为0和255两个值，分别表示灰度图的黑点和白点。计算出每个类别中所有样本数据的信息熵。
步骤S1.3：对于计算出的每个类别的样本的信息熵通过使用核密度估计(KernelDensity Estimate)计算出概率密度函数(Probability Density Function)，通过选取处于中间的80％的概率密度的数据作为干净的数据集。由此生成每个类别含有10,000个干净数据的数据集。
步骤S1.4：将筛选出的含有3,450,000个样本的集合中的每一个类别的图像随机分为9000个训练样本，1,000个测试样本，形成3,105,000的训练集合345,000的测试集合。
第二步：对图像进行特征提取，对不同的图像数据集采用不同的特征表示。
根据图像数据本身的特点，有针对性地提取相关的图像特征，在Quick Draw数据集上，本发明选取的是324维的HOG特征。设定提取HOG特征时的参数如下：
A、检测窗口：WinSize＝28*28像素，在图像中滑动的步长是7像素，水平和垂直都是；
B、块：BlockSize＝14*14像素，在检测窗口中滑动的步长是7像素，水平和垂直都是；
C、单元格：CellSize＝7*7像素；
D、梯度方向：一个Cell的梯度方向分为9个方向，在一个单元格内统计9个方向的梯度直方图。
第三步：特征降维。首先使用K-means方法对提取的训练集图像特征进行列聚类，其中K为聚类中心的个数，K的值小于原有的特征维度，并且决定了聚类后的集合数和降维后数据的维度。通过对特征维度方向进行聚类，生成类别中心和每列特征的索引。利用得到的特征索引来生成聚类的特征簇，把属于同一个中心的特征列组成一个集合，并通过数值运算求均值的操作从K个集合中分别得到新的一维特征，最终生成维度为K的特征，实现降维的目的。
本发明通过K-means进行特征的聚类和降维，包括如下步骤S3.1～S3.2。
步骤S3.1：设第二步中提取的原始特征训练集数据为X∈RN×d，数据的第j列表示为xj，N表示行数，代表训练集中图像个数，d表示列数，代表原始特征长度，R表示实数。对X中所有的特征列进行K-means聚类，得到K个类别集合，其中每个集合包含一定数量的特征列。
K-means聚类的目标是最小化类内的平方和，表示为：
Figure BDA0001575857300000041
其中，S＝{s1,s2,…,sK}中的si表示特征聚类之后的第i个集合，包含的元素是以ui为中心的特征列。本步骤中采用K-means聚类来对特征方向降维，这在哈希检索技术中可以产生保持相似度的新特征空间，同时产生的特征具有方差均衡的优点。
步骤S3.2：对得到的K个类别的特征簇进行按列取均值的操作，每个集合si得到一个新特征yi，表示为如下：
Figure BDA0001575857300000042
其中，I(xj∈si)是一个判断函数，如果括号里内容判别为真则结果为1，否则为0。
最后经过步骤S3.2，利用得到的{y1,y2,…,yi,…,yK}来组成新的数据特征，一般情况下K<d，K的一般优选取值为16、32或64。新的特征可以认为是原始特征降维后的结果。这一步与传统的对图片方向降维的方式不同，同时也是首次应用在哈希检索的降维过程中。
通过第三步，对训练集中的每个图像的都可以用一个K维度的特征向量来表示。
第四步：特征量化。使用一种自适应的量化方法来量化第三步中生成的新特征。使用K-means聚类方法把每一个特征维度的数据点聚成两类，分别标记为0和1，并得到类别中心。量化后的特征就是可以用来计算汉明距离相似度的二值哈希编码。重复下面步骤S4.1和S4.2直到得到最终的图片二值编码。
步骤S4.1：对第三步中生成的新的每一维特征yi按照样本方向分别进行K-means聚类，此时K＝2，保留每个维度得到的两个类别中心c1，c2。
步骤S4.2：将每个维度的实数值yji按照得到的类别中心进行量化得到Bji，距离c1近的一类数据点量化为0，距离c2近的一类数据点量化为1。得到最终的哈希二值编码B。
Figure BDA0001575857300000051
其中，yji表示yi列特征的第j个元素，Bji表示B中第j行的第j个元素。
B是将第三步得到的{y1,y2,…,yi,…,yK}进行哈希量化后的二值编码矩阵。
通过这种自适应的量化策略，可以找出符合特征分布的量化门限，与简单的设置一个阈值相比可以得到更好的量化结果。
第五步：计算检索结果：给定一个查询图像，利用S3.1在训练集上产生的特征聚类集合来划分该图像的特征列为K份，在每个特征簇中使用S3.2来进行列均值操作，得到低维的新的特征表示。直接使用S4.1在训练集上得到的量化中心，使用S4.2将每一维特征分别进行量化。最终得到该图像的二值编码。计算该图像的编码与训练集的编码之间的汉明距离。按照汉明距离大小对训练集进行排序，查询图像与训练样本之间的汉明距离的排序就是检索的结果。
以上结合附图对所提出的一种新型的无监督哈希检索方法的具体实施方式进行了阐述。通过对以上实施方式的描述，所属领域的一般技术人员可以清楚的实现本方法进行图像检索。
以上所述的本发明实施方式，并不构成对发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于对特征方向进行聚类的无监督哈希检索方法，其特征在于，包括如下步骤：
步骤一、从图像数据集中随机选取图像，进行去噪处理，获取训练数据集和测试数据集；
步骤二、对训练数据集中的图像，进行特征提取；
步骤三、特征降维，具体是：使用K-means方法对提取的训练集图像的特征进行列聚类，生成类别中心和每列特征的索引；把属于同一个类别中心的特征列组成一个集合，并通过数值运算求均值的操作从各聚类集合中获得新的一维特征，设生成维度为K的特征；K为正整数；
所述的步骤三包括：
步骤3.1，设提取的训练数据集的原始特征数据X，第j列表示为xj，使用K-means方法对特征的列维度d进行聚类，目标是最小化类内的平方和：
Figure FDA0003150387540000011
其中，S＝{s1,s2,…si,…,sK}，K为聚类个数，si表示特征聚类之后的集合，si中包含的元素是以ui为中心的特征序列；d为图像的原始特征维度；
步骤3.2，对步骤3.1中得到的K个集合中的特征都进行取列均值操作，每个集合si得到一个对应的yi；
Figure FDA0003150387540000012
其中，I(xj∈si)是一个判断函数，如果括号里内容为真则结果为1，否则为0；
步骤3.3，利用得到的{y1,y2,…,yi,…,yK}来组成新的特征，其中K<d；
步骤四、使用自适应的量化方法对步骤三获得的新特征进行哈希量化；
使用K-means聚类方法把每一个特征维度的数据点聚成两类，并得到两个类别中心，对新特征中的数据依据距离两个类别中心的远近，分别量化为0或1；
步骤五、进行图像检索，具体是：
对测试集中的查询图像进行步骤二的特征提取，对提取的特征依次利用步骤三进行特征降维，利用步骤四进行哈希量化，得到该图像的二值编码；计算该图像的二值编码与步骤四得到的训练集的二值编码之间的汉明距离，按照汉明距离大小对训练集进行排序，返回查询图像与训练样本之间的汉明距离的排序结果。
2.根据权利要求1所述的方法，其特征在于，所述的步骤一，包括如下步骤：
步骤1.1，设图像数据集中包含m类图像，为每类随机选取设定数量的样本；m为正整数；
步骤1.2，采用信息熵来消除噪声过大的草图样本；
某样本所含的信息熵H为：
Figure FDA0003150387540000021
其中，Pi是灰度值i在草图中占的比例，i取值0和255，0和255分别表示灰度图的黑点和白点；
计算出每个类别中所有样本的信息熵；
步骤1.3，对于每个类别的样本的信息熵使用核密度估计计算出概率密度函数，选取处于中间80％的概率密度的图像，作为去噪后的干净数据集；
步骤1.4，为每个类别从干净数据集中选取测试集和训练集。
3.根据权利要求1或2所述的方法，其特征在于，所述的图像数据集为Quick Draw草图数据集，进行特征提取时，使用324维的HOG特征。
4.根据权利要求1所述的方法，其特征在于，所述的K取值为16、32或64。
5.根据权利要求1所述的方法，其特征在于，所述的步骤四中，包括如下步骤：
步骤S4.1：对第三步得到每一维特征进行K-means聚类，聚成两类，保留每个维度得到的两个类别中心；设对特征列yi聚类得到的两个类别中心为c1、c2；
步骤S4.2：将特征列yi的实数值yji按照得到的类别中心进行量化得到列向量Bi，距离c1近的一类数据点量化为0，距离c2近的一类数据点量化为1；
Figure FDA0003150387540000022
得到最终的哈希二值编码B，Bji表示B中第j行第i列的元素。
CN201810134469.2A 2018-02-09 2018-02-09 一种基于对特征方向进行聚类的无监督哈希检索方法 Expired - Fee Related CN108491430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810134469.2A CN108491430B (zh) 2018-02-09 2018-02-09 一种基于对特征方向进行聚类的无监督哈希检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810134469.2A CN108491430B (zh) 2018-02-09 2018-02-09 一种基于对特征方向进行聚类的无监督哈希检索方法

Publications (2)

Publication Number Publication Date
CN108491430A CN108491430A (zh) 2018-09-04
CN108491430B true CN108491430B (zh) 2021-10-15

Family

ID=63340127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810134469.2A Expired - Fee Related CN108491430B (zh) 2018-02-09 2018-02-09 一种基于对特征方向进行聚类的无监督哈希检索方法

Country Status (1)

Country Link
CN (1) CN108491430B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165307B (zh) * 2018-09-19 2021-02-02 腾讯科技（深圳）有限公司 一种特征检索方法、装置和存储介质
CN111695917A (zh) * 2019-03-11 2020-09-22 北京京东尚科信息技术有限公司 商品推荐方法、系统、电子设备和存储介质
CN110209867B (zh) * 2019-06-05 2023-05-16 腾讯科技（深圳）有限公司 图像检索模型的训练方法、装置、设备及存储介质
CN111078911B (zh) * 2019-12-13 2022-03-22 宁波大学 一种基于自编码器的无监督哈希方法
CN113315970B (zh) * 2020-02-26 2023-08-01 武汉Tcl集团工业研究院有限公司 一种图像压缩方法、图像解码方法、智能终端及存储介质
CN113254687B (zh) * 2021-06-28 2021-09-17 腾讯科技（深圳）有限公司 图像检索、图像量化模型训练方法、装置和存储介质
CN113935329B (zh) * 2021-10-13 2022-12-13 昆明理工大学 基于自适应特征识别与去噪的非对称文本匹配方法
CN115099586A (zh) * 2022-06-10 2022-09-23 上海异工同智信息科技有限公司 用于作业风险识别的方法及装置
CN116206134A (zh) * 2023-05-06 2023-06-02 中国船舶集团有限公司第七一九研究所 一种用于合成孔径雷达图像的特征编码与识别方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134541A (en) * 1997-10-31 2000-10-17 International Business Machines Corporation Searching multidimensional indexes using associated clustering and dimension reduction information
CN104199922A (zh) * 2014-09-01 2014-12-10 中国科学院自动化研究所 一种基于局部相似哈希算法的大规模图像库检索方法
CN104834693A (zh) * 2015-04-21 2015-08-12 上海交通大学 基于深度搜索的视觉图像检索方法及系统
CN105469096A (zh) * 2015-11-18 2016-04-06 南京大学 一种基于哈希二值编码的特征袋图像检索方法
CN106503106A (zh) * 2016-10-17 2017-03-15 北京工业大学 一种基于深度学习的图像哈希索引构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039239B2 (en) * 2002-02-07 2006-05-02 Eastman Kodak Company Method for image region classification using unsupervised and supervised learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134541A (en) * 1997-10-31 2000-10-17 International Business Machines Corporation Searching multidimensional indexes using associated clustering and dimension reduction information
CN104199922A (zh) * 2014-09-01 2014-12-10 中国科学院自动化研究所 一种基于局部相似哈希算法的大规模图像库检索方法
CN104834693A (zh) * 2015-04-21 2015-08-12 上海交通大学 基于深度搜索的视觉图像检索方法及系统
CN105469096A (zh) * 2015-11-18 2016-04-06 南京大学 一种基于哈希二值编码的特征袋图像检索方法
CN106503106A (zh) * 2016-10-17 2017-03-15 北京工业大学 一种基于深度学习的图像哈希索引构建方法

Also Published As

Publication number Publication date
CN108491430A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108491430B (zh) 一种基于对特征方向进行聚类的无监督哈希检索方法
WO2021164625A1 (en) Method of training an image classification model
CN111738143B (zh) 一种基于期望最大化的行人重识别方法
CN112633382B (zh) 一种基于互近邻的少样本图像分类方法及系统
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
CN107832335B (zh) 一种基于上下文深度语义信息的图像检索方法
US20130121587A1 (en) Systems and methods for large scale, high-dimensional searches
CN108287833A (zh) 一种用于艺术品鉴定的以图搜图方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN111125469B (zh) 一种社交网络的用户聚类方法、装置以及计算机设备
CN114067385A (zh) 基于度量学习的跨模态人脸检索哈希方法
CN110852152A (zh) 一种基于数据增强的深度哈希行人重识别方法
CN109871454A (zh) 一种鲁棒离散监督跨媒体哈希检索方法
CN112163114B (zh) 一种基于特征融合的图像检索方法
CN108229505B (zh) 基于fisher多级字典学习的图像分类方法
CN113870286A (zh) 一种基于多级特征和掩码融合的前景分割方法
CN109711442A (zh) 无监督逐层生成对抗特征表示学习方法
CN114581864A (zh) 基于transformer的动态密集对齐车辆重识别技术
Yu et al. Hope: Hierarchical object prototype encoding for efficient object instance search in videos
CN112488221B (zh) 一种基于动态刷新正样本图像库的道路路面异常检测方法
CN112307225A (zh) 基于改进哈希学习算法的大规模数据检索方法
CN110674334B (zh) 基于一致性区域深度学习特征的近重复图像检索方法
CN101504723B (zh) 一种建立投影空间的方法和装置
CN105844299A (zh) 一种基于词袋模型的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211015

Termination date: 20220209