CN114596456B - 一种基于聚集哈希学习的图像集分类方法 - Google Patents
一种基于聚集哈希学习的图像集分类方法 Download PDFInfo
- Publication number
- CN114596456B CN114596456B CN202210500350.9A CN202210500350A CN114596456B CN 114596456 B CN114596456 B CN 114596456B CN 202210500350 A CN202210500350 A CN 202210500350A CN 114596456 B CN114596456 B CN 114596456B
- Authority
- CN
- China
- Prior art keywords
- hash
- image
- training
- matrix
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 84
- 230000006870 function Effects 0.000 claims abstract description 74
- 239000011159 matrix material Substances 0.000 claims abstract description 65
- 230000002776 aggregation Effects 0.000 claims abstract description 28
- 238000004220 aggregation Methods 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 3
- 238000004138 cluster model Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于聚集哈希学习的图像集分类方法,包括以下步骤:S1、根据训练图像集,建立哈希聚集模型;S2、对哈希聚集模型进行训练,得到训练完成的线性哈希函数和训练图像集的实例哈希码矩阵;S3、根据训练完成的线性哈希函数,计算待分类图像集的实例的哈希码;S4、根据待分类图像集的实例的哈希码与训练图像集的实例哈希码矩阵间距离,得到待分类图像集的类别;本发明解决了现有的哈希学习方法没有很好的考虑图像集的集合信息,难以很好地在汉明空间保持实例的相似性,很难得到高质量的实例哈希码,进而影响图像集分类精度的问题。
Description
技术领域
本发明涉及图像分类技术领域,具体涉及一种基于聚集哈希学习的图像集分类方法。
背景技术
多年来,随着多媒体技术的快速发展,图像集分类已经被广泛应用于现实世界的大量应用,如物体分类、基于视频的人脸识别。与传统的基于单镜头图像的分类任务相比,图像集分类更注重集合的通用性和样本的互补性,可以提供更丰富的信息来描述相应的主题。由于图像集分类可以提供更有前途的性能来克服图像的外观变化(如外观,遮挡,照明,表情,姿势),图像集分类的兴趣一直稳步增长的研究社区。然而,随着数据量的增加和识别精度的提高,如何处理极高的运行时间和空间复杂度是一个常见而棘手的问题。
近年来,哈希方法被广泛提出用于处理中大规模的数据,机器学习和计算机视觉中的识别任务。它们通常将每个图像实例转换成一个紧凑的二进制码,同时保留汉明空间中的特征相似度和结构信息。然后在汉明空间中利用异或运算进行有效的两两比较。这意味着更低的存储成本和更快的计算速度。因此,出现了许多很有前途的监督哈希方法,它们试图利用标签信息来学习哈希函数。虽然哈希算法已经取得了很好的进展,但是如何捕捉所有实例之间的相似性,以及如何在汉明空间中保存这些相似性仍然是一个有待解决的问题。现有的哈希方法主要是在汉明空间中寻找紧凑的判别哈希码来保留所有图像实例的底层几何信息,然后学习一个高质量的哈希函数来进行图像检索。事实上,对于图像集来说,这些方法常常大大忽略了集合属性(即,来自同一集合的实例通常有很大的类内变化)。因此,来自同一集合的实例哈希码可能不能很好地保持相似性,而来自不同集合的实例哈希码可能更相似,这极大地影响了哈希码的质量。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于聚集哈希学习的图像集分类方法解决了现有的哈希学习方法没有很好的考虑图像集的集合信息,难以很好地在汉明空间保持实例的相似性,很难得到高质量的实例哈希码,进而影响图像集分类精度的问题。
为了达到上述发明目的,本发明采用的技术方案为:一种基于聚集哈希学习的图像集分类方法,包括以下步骤:
S1、根据训练图像集,建立哈希聚集模型;
S2、对哈希聚集模型进行训练,得到训练完成的线性哈希函数和训练图像集的实例哈希码矩阵;
S3、根据训练完成的线性哈希函数,计算待分类图像集的实例的哈希码;
S4、根据待分类图像集的实例的哈希码与训练图像集的实例哈希码矩阵间距离,得到待分类图像集的类别。
进一步地,步骤S1包括以下分步骤:
S11、将训练图像集中每张图像映射到再现希尔伯特空间,得到低维度图像特征;
S12、根据低维度图像特征,建立哈希聚集模型。
进一步地,步骤S11中低维度图像特征的计算公式为:
上述进一步方案的有益效果为:
1、通过将图像映射到再现希尔伯特空间,可获得图像的非线性特征。
2、低维度图像特征数据量更少,便于减少计算复杂度。
进一步地,步骤S12中哈希聚集模型为:
满足:
其中,P为投影矩阵,W为线性哈希函数,V为低维度图像特征,L为实例标签,,,为平衡参数,确保模型之间各个项之间的平衡,B为图像训练集的每个实例的哈希
码,为哈希码长度,n为图像训练集中所有样本数,k为图像训练集中图像训练子集的数
量,为全0矩阵,为全1矩阵,为 * 的单位矩阵,H为每个图像训练子集的集合
哈希码,Z为图像训练子集的集合标签,为F范数。
上述进一步方案的有益效果为:
1、利用集合哈希码聚合实例哈希码,使得来自不同集合的实例哈希码可以更好地分离,来自同一集合的实例哈希码可以更好的聚集。
2、可以防止不同集合中的哈希码会交织或者聚集,采用共享投影共同生成集合哈希码和实例哈希码,然后利用哈希聚合策略,通过在每个集合哈希码周围迭代聚合固有邻域实例哈希码来学习有判别性的实例哈希码。
进一步地,步骤S2包括以下分步骤:
S21、固定哈希聚集模型中的P、B、H,构建第一目标优化函数计算线性哈希函数W;
S22、根据计算的线性哈希函数W,固定哈希聚集模型中的B、H,构建第二目标优化函数计算投影矩阵P;
S23、根据计算的线性哈希函数W和投影矩阵P,固定哈希聚集模型中的B,构建第三目标优化函数计算每个图像训练子集的集合哈希码H;
S24、根据计算的线性哈希函数W、投影矩阵P和每个图像训练子集的集合哈希码H,构建第四目标优化函数计算图像训练子集的每个实例的哈希码B;
S25、通过目标损失函数,计算当前的损失值,若损失值小于等于阈值,则将所有实例的哈希码B构建为实例哈希码矩阵,并得到训练完成的线性哈希函数,若损失值大于阈值,则跳转至步骤S21进行再次训练。
进一步地,步骤S21中第一目标优化函数为:
进一步地,步骤S22中第二目标优化函数为:
进一步地,步骤S23中第三目标优化函数为:
满足:
其中,P为投影矩阵,L为实例标签,,为平衡参数,B为图像训练子集的每个实
例的哈希码,为哈希长度,n为图像训练集数据所有样本数,k为图像训练集中所有图像训
练子集数,为全0矩阵,为全1矩阵,为单位矩阵,H为每个图像训练子集的集合哈
希码,Z为图像训练子集的集合标签,为F范数。
进一步地,步骤S24中第四目标优化函数为:
满足:
其中,P为投影矩阵,W为线性哈希函数,V为低维度图像特征,L为实例标签,,
为平衡参数,B为图像训练子集的每个实例的哈希码,为哈希长度,n为图像训练集数据所
有样本数,全0矩阵,为单位矩阵,H为每个图像训练子集的集合哈希码,Z为图像训练
子集的集合标签,为F范数。
进一步地,步骤S3中计算待分类图像集的实例的哈希码的公式为:
综上,本发明的有益效果为:本发明利用集合哈希码聚合实例哈希码,使得来自不同集合的实例哈希码可以更好地分离,来自同一集合的实例哈希码可以更好的聚集,解决了现有的哈希学习方法没有很好的考虑图像集的集合信息,难以很好地在汉明空间保持实例的相似性,很难得到高质量的实例哈希码,进而影响图像集分类精度的问题。
附图说明
图1为一种基于聚集哈希学习的图像集分类方法的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,一种基于聚集哈希学习的图像集分类方法,包括以下步骤:
S1、根据训练图像集,建立哈希聚集模型;
训练图像集由每个类的一个或多个图像训练子集组成,用于训练,每个图像训练子集由不同的图像组成属于同一类。
步骤S1包括以下分步骤:
S11、将训练图像集中每张图像映射到再现希尔伯特空间,得到低维度图像特征;
步骤S11中低维度图像特征的计算公式为:
S12、根据低维度图像特征,建立哈希聚集模型。
步骤S12中哈希聚集模型为:
满足:
其中,P为投影矩阵,W为线性哈希函数,V为低维度图像特征,L为实例标签,,,为平衡参数,确保模型之间各个项之间的平衡,B为图像训练集的每个实例的哈希
码,为哈希码长度,n为图像训练集中所有样本数,k为图像训练集中图像训练子集的数
量,为全0矩阵,为全1矩阵,为 * 的单位矩阵,H为每个图像训练子集的集合
哈希码,Z为图像训练子集的集合标签,为F范数。
所述建立哈希聚集模型的过程为:
A1、建立语义目标函数,用于学习语义信息;
满足:
A2、构建哈希聚合目标函数,使得训练图像集中同一个类别图像子集中不同实例具有相似的实例哈希码,即使得同一个类别图像子集中不同实例靠近同一个中心节点;
哈希聚合目标函数:
满足:
A3、综合哈希聚合目标函数和语义目标函数,得到哈希聚集模型:
S2、对哈希聚集模型进行训练,得到训练完成的线性哈希函数和训练图像集的实例哈希码矩阵;
在训练时,可先将实例的哈希码初始化为与集合哈希码相同,可加快训练速度。
步骤S2包括以下分步骤:
S21、固定哈希聚集模型中的P、B、H,构建第一目标优化函数计算线性哈希函数W;
步骤S21中第一目标优化函数为:
计算得到的线性哈希函数W为:
S22、根据计算的线性哈希函数W,固定哈希聚集模型中的B、H,构建第二目标优化函数计算投影矩阵P;
步骤S22中第二目标优化函数为:
计算得到的投影矩阵P为:
在本实施例中,语义标签包括实例标签L和图像训练子集的集合标签Z,其中,实例标签L为每张图像对应的标签,图像训练子集的集合标签Z为每个图像训练子集对应的标签。
S23、根据计算的线性哈希函数W和投影矩阵P,固定哈希聚集模型中的B,构建第三目标优化函数计算每个图像训练子集的集合哈希码H;
步骤S23中第三目标优化函数为:
满足:
其中,P为投影矩阵,L为实例标签,,为平衡参数,B为图像训练子集的每个实
例的哈希码,为哈希长度,n为图像训练集数据所有样本数,k为图像训练集中所有图像训
练子集数,为全0矩阵,为全1矩阵,为单位矩阵,H为每个图像训练子集的集合哈
希码,Z为图像训练子集的集合标签,为F范数。将第三目标优化函数转换为迹范数
最大化问题,计算得到每个图像训练子集的集合哈希码H:
满足:
S24、根据计算的线性哈希函数W、投影矩阵P和每个图像训练子集的集合哈希码H,构建第四目标优化函数计算图像训练子集的每个实例的哈希码B;
步骤S24中第四目标优化函数为:
满足:
其中,P为投影矩阵,W为线性哈希函数,V为低维度图像特征,L为实例标签,,
为平衡参数,B为图像训练子集的每个实例的哈希码,为哈希长度,n为图像训练集数据所
有样本数,全0矩阵,为单位矩阵,H为每个图像训练子集的集合哈希码,Z为图像训练
子集的集合标签,为F范数。
将第四目标优化函数转换为迹范数最大化问题,计算得到图像训练子集的每个实例的哈希码B:
S25、通过目标损失函数,计算当前的损失值,若损失值小于等于阈值,则将所有实例的哈希码B构建为实例哈希码矩阵,并得到训练完成的线性哈希函数,若损失值大于阈值,则跳转至步骤S21进行再次训练,每次训练则是对参数P、W、B、H的更新。
训练完成的线性哈希函数为最后一次训练的线性哈希函数W值。
步骤S25中目标损失函数为:
其中,M为损失值,B t 为第t次迭代的图像训练子集的每个实例的哈希码,B t+1 为第t+1次迭代的图像训练子集的每个实例的哈希码。
S3、根据训练完成的线性哈希函数,计算待分类图像集的实例的哈希码;
步骤S3中计算待分类图像集的实例的哈希码的公式为:
S4、根据待分类图像集的实例的哈希码与训练图像集的实例哈希码矩阵间距离,得到待分类图像集的类别。
在步骤S4中,可选择汉明距离来计算待分类图像集的实例的哈希码与训练图像集的实例哈希码矩阵间的距离,根据最小距离,待分类图像集的每个实例都为对应类别投一票。然后根据待分类图像集中大多数类的标签来预测待分类图像集的类别标签,实现待分类图像集的分类。
Claims (5)
1.一种基于聚集哈希学习的图像集分类方法,其特征在于,包括以下步骤:
S1、根据训练图像集,建立聚集哈希模型;
S2、对哈希聚集模型进行训练,得到训练完成的线性哈希函数和训练图像集的实例哈希码矩阵;
所述步骤S2包括以下分步骤:
S21、固定哈希聚集模型中的P、B、H,构建第一目标优化函数计算线性哈希函数W;
所述步骤S21中第一目标优化函数为:
其中,W为线性哈希函数,V为低维度图像特征,λ为平衡参数,B为图像训练子集的每个实例的哈希码;
S22、根据计算的线性哈希函数W,固定哈希聚集模型中的B、H,构建第二目标优化函数计算投影矩阵P;
所述步骤S22中第二目标优化函数为:
S23、根据计算的线性哈希函数W和投影矩阵P,固定哈希聚集模型中的B,构建第三目标优化函数计算每个图像训练子集的集合哈希码H;
所述步骤S23中第三目标优化函数为:
满足:
H∈{-1,1}l×k,H1n=0l,HHT=nIl
其中,P为投影矩阵,L为实例标签,α,β为平衡参数,B为图像训练子集的每个实例的哈希码,l为哈希长度,n为图像训练集数据所有样本数,k为图像训练集中所有图像训练子集数,0l为全0矩阵,1n为全1矩阵,Il为单位矩阵,H为每个图像训练子集的集合哈希码,Z为图像训练子集的集合标签,为F范数;
S24、根据计算的线性哈希函数W、投影矩阵P和每个图像训练子集的集合哈希码H,构建第四目标优化函数计算图像训练子集的每个实例的哈希码B;
所述步骤S24中第四目标优化函数为:
满足:
B∈{-1,1}l×n,B1n=0l,BBT=nIl
其中,P为投影矩阵,W为线性哈希函数,V为低维度图像特征,L为实例标签,α,β为平衡参数,B为图像训练子集的每个实例的哈希码,l为哈希长度,n为图像训练集数据所有样本数,0l全0矩阵,Il为单位矩阵,H为每个图像训练子集的集合哈希码,Z为图像训练子集的集合标签,为F范数;
S25、通过目标损失函数,计算当前的损失值,若损失值小于等于阈值,则将所有实例的哈希码B构建为实例哈希码矩阵,并得到训练完成的线性哈希函数,若损失值大于阈值,则跳转至步骤S21进行再次训练;
S3、根据训练完成的线性哈希函数,计算待分类图像集的实例的哈希码;
S4、根据待分类图像集的实例的哈希码与训练图像集的实例哈希码矩阵间距离,得到待分类图像集的类别。
2.根据权利要求1所述的一种基于聚集哈希学习的图像集分类方法,其特征在于,所述步骤S1包括以下分步骤:
S11、将训练图像集中每张图像映射到再现希尔伯特空间,得到低维度图像特征;
S12、根据低维度图像特征,建立哈希聚集模型。
5.根据权利要求1所述的一种基于聚集哈希学习的图像集分类方法,其特征在于,所述步骤S3中计算待分类图像集的实例的哈希码的公式为:
BY=W* TY
其中,BY为待分类图像集的实例的哈希码,W*为训练完成的线性哈希函数,Y为待分类图像集的低维度图像特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210500350.9A CN114596456B (zh) | 2022-05-10 | 2022-05-10 | 一种基于聚集哈希学习的图像集分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210500350.9A CN114596456B (zh) | 2022-05-10 | 2022-05-10 | 一种基于聚集哈希学习的图像集分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114596456A CN114596456A (zh) | 2022-06-07 |
CN114596456B true CN114596456B (zh) | 2022-07-22 |
Family
ID=81820492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210500350.9A Expired - Fee Related CN114596456B (zh) | 2022-05-10 | 2022-05-10 | 一种基于聚集哈希学习的图像集分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114596456B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115168583B (zh) * | 2022-07-05 | 2023-03-10 | 四川大学 | 一种基于特征与语义视图一致性的哈希图像集分类方法 |
CN116704293B (zh) * | 2023-06-30 | 2024-02-02 | 北京建筑大学 | 基于对比学习的生活垃圾图像分类模型训练方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112395438A (zh) * | 2020-11-05 | 2021-02-23 | 华中科技大学 | 一种多标签图像的哈希码生成方法和系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868743B (zh) * | 2016-05-31 | 2018-11-27 | 天津中科智能识别产业技术研究院有限公司 | 一种基于快速监督离散哈希的人脸检索方法 |
CN107766555B (zh) * | 2017-11-02 | 2020-04-21 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
CN109063112B (zh) * | 2018-07-30 | 2022-04-01 | 成都快眼科技有限公司 | 一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法 |
US11151021B2 (en) * | 2019-05-13 | 2021-10-19 | International Business Machines Corporation | Selecting test-templates using template-aware coverage data |
AU2020103322A4 (en) * | 2020-11-09 | 2021-01-14 | Southwest University | Supervised Discrete Hashing Algorithm With Relaxation Over Distributed Network |
CN114020948B (zh) * | 2021-10-28 | 2024-07-26 | 武汉理工大学 | 基于排序聚类序列辨别选择的草图图像检索方法及系统 |
-
2022
- 2022-05-10 CN CN202210500350.9A patent/CN114596456B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112395438A (zh) * | 2020-11-05 | 2021-02-23 | 华中科技大学 | 一种多标签图像的哈希码生成方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114596456A (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | SSDH: Semi-supervised deep hashing for large scale image retrieval | |
Zhong et al. | Ghostvlad for set-based face recognition | |
CN109783682B (zh) | 一种基于点对相似度的深度非松弛哈希图像检索方法 | |
Yuan et al. | Scene recognition by manifold regularized deep learning architecture | |
Deng et al. | Two-stream deep hashing with class-specific centers for supervised image search | |
CN109241317B (zh) | 基于深度学习网络中度量损失的行人哈希检索方法 | |
CN114596456B (zh) | 一种基于聚集哈希学习的图像集分类方法 | |
CN106777318B (zh) | 基于协同训练的矩阵分解跨模态哈希检索方法 | |
Shi et al. | Asymmetric discrete graph hashing | |
Shen et al. | {\cal U} Boost: Boosting with the Universum | |
Yuan et al. | Relaxation-free deep hashing via policy gradient | |
Qin et al. | Fast action retrieval from videos via feature disaggregation | |
Wang et al. | Deep semantic reconstruction hashing for similarity retrieval | |
Cheng et al. | Semi-supervised multi-graph hashing for scalable similarity search | |
CN109885728B (zh) | 基于元学习的视频摘要方法 | |
Xia et al. | Unsupervised deep hashing for large-scale visual search | |
CN110598022B (zh) | 一种基于鲁棒深度哈希网络的图像检索系统与方法 | |
Wang et al. | Attention-based video hashing for large-scale video retrieval | |
Su et al. | Semi-supervised knowledge distillation for cross-modal hashing | |
Huang et al. | Domain adaptation preconceived hashing for unconstrained visual retrieval | |
Nie et al. | Classification-enhancement deep hashing for large-scale video retrieval | |
Qiao et al. | Deep video code for efficient face video retrieval | |
CN115795065A (zh) | 基于带权哈希码的多媒体数据跨模态检索方法及系统 | |
Peng et al. | Deep boosting: joint feature selection and analysis dictionary learning in hierarchy | |
CN114357200A (zh) | 一种基于监督图嵌入的跨模态哈希检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220722 |
|
CF01 | Termination of patent right due to non-payment of annual fee |