CN110232352B - 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法 - Google Patents
一种用于人脸识别的多任务级联卷积神经网络模型的改进方法 Download PDFInfo
- Publication number
- CN110232352B CN110232352B CN201910507399.5A CN201910507399A CN110232352B CN 110232352 B CN110232352 B CN 110232352B CN 201910507399 A CN201910507399 A CN 201910507399A CN 110232352 B CN110232352 B CN 110232352B
- Authority
- CN
- China
- Prior art keywords
- network
- face
- model
- tasks
- improving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000006872 improvement Effects 0.000 title claims abstract description 17
- 238000003062 neural network model Methods 0.000 title claims abstract description 11
- 238000005457 optimization Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000036544 posture Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,包括:根据任务相关性对人脸分类、姿态分类、边界框回归,人脸关键点定位四个任务进行改进,增强了模型的泛化能力,提高了模型的检测效果,然后根据多任务特性对优化算法进行改进,采用带有Frank‑Wolfe优化器的基于上界的多梯度下降算法,对原有的优化方法进行了替换,在训练过程中能够使模型快速的收敛且损失更小,极大的提高了模型的预测效果。本发明的技术方案解决了现有技术中的多目标学习无论任务之间是否存在竞争都采用对各个损失函数加权加和构成一个总的损失函数的形式,而权值的选取都是根据经验进行选取的,需要花费大量的时间去调整,达不到很优的预测效果的问题。
Description
技术领域
本发明涉及人工智能技术领域,具体而言,尤其涉及一种用于人脸识别的多任务级联卷积神经网络模型的改进方法。
背景技术
MTCNN是一种用于人脸识别和对齐的多任务级联卷积神经网络,它主要包括三个网络:P网络、R网络和O网络,每个网络中都有人脸分类、边界框回归和人脸关键点定位三个任务,训练过程中人脸分类采用交叉熵损失,边界框回归和人脸关键点定位采用欧氏距离损失。
第一阶段:使用全卷积网络P网络来生成候选框和边界框回归向量,使用边界框回归的方法来校正这些候选框使用非极大值抑制来合并高度重合的候选框。
第二阶段:使用R网络改善候选框,将通过P网络的候选框输入R网络中,拒绝掉大部分错误的窗口,继续使用边界框回归调整候选框非极大值抑制合并重合的候选框。
第三阶段:最后使用O网络输出最终的人脸框和特征点位置。和第二步类似,但是不同的是生成5个特征点位置。
多任务学习是一种学习范式,其中来自多任务的数据被用来获得优于独立学习每个任务的性能,即便是真实世界中看似无关的任务也因数据共享的过程而存在很强的依赖性,尽管自动驾驶和目标操纵看似无关,但相同的光学规律、材料属性以及动力学都对基础数据产生了影响。这启发人们在学习系统中使用多任务作为归纳偏好典型的多任务学习系统被给定一组输入点和每点各种任务的目标集。设置跨任务的归纳偏好的常用方法是设计一个参数化假设类,它会在不同任务中共享一些参数。一般而言,可以通过为每个任务最小化经验风险的加权和这种优化问题来学习这些参数。但是,只有当一个参数组在所有任务中都有效时,这样的线性组合公式才有意义。换言之,只有当任务之间不存在竞争关系时,最小化经验风险的加权和才有效,但这种情况比较少有。目标冲突的多任务学习需要对任务之间的模型进行权衡,但这已经超出了线性组合能够实现的范围,而现在的多目标学习无论任务之间是否存在竞争都采用对各个损失函数加权加和构成一个总的损失函数的形式,而权值的选取都是根据经验进行选取的,需要花大量的时间去调整,而且不一定达到很优的效果。
发明内容
根据上述提出的技术问题,而提供一种用于人脸识别的多任务级联卷积神经网络模型的改进方法。本发明主要根据任务相关性对任务进行改进,提高人脸识别的准确度,根据多任务特性对优化算法进行改进,计算成本小到可以忽略不计;这两点改进使得多梯度下降法可以大规模应用于多任务模型,也能够很好的适应MTCNN模型,模型任务越多,优化效果越好。
本发明采用的技术手段如下:
一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,包括:根据任务相关性对任务进行改进,根据多任务特性对优化算法进行改进。
进一步地,所述的根据任务相关性对任务进行改进,包括对人脸分类、姿态分类、边界框回归,人脸关键点定位四个任务进行改进。
进一步地,所述的根据多任务特性对优化算法进行改进,具体为将ADAM优化算法改为带有Frank-Wolfe优化器的基于上界的多梯度下降算法。
进一步地,所述改进方法具体包括以下步骤:
步骤1:对WIDER FACE数据集中的图片进行随机裁剪,计算IOU值,标定正样本、负样本、部分脸样本、左脸样本、右脸样本,从CELEBA数据集中收集人脸关键点样本;
步骤2:将步骤1中的所有样本送入P网络中,对P网络进行训练;
步骤3:将数据集中的图片输进训练好的P网络中,将输出的图片沿着边界框进行裁剪,用裁剪好的图片对R网络进行训练;
步骤4:R网络训练结束后,将数据集输入P网络,将P网络的输出输入到R网络,将R网络输出的图片沿边界框进行裁剪,用裁剪好的图片对O网络进行训练;
步骤5:将训练好的R网络模型、P网络模型、O网络模型放入预测部分,对人脸进行预测。
进一步地,所述步骤2-步骤5中的训练过程均包括采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛的步骤。
较现有技术相比,本发明具有以下优点:
1、本发明提供的用于人脸识别的多任务级联卷积神经网络模型的改进方法,通过根据任务相关性对任务进行改进,提高了模型的泛化能力,提高的模型的预测效果。
2、本发明提供的用于人脸识别的多任务级联卷积神经网络模型的改进方法,通过根据多任务特性对优化算法进行改进,能够快速的使模型达到收敛,且损失更小。
基于上述理由本发明可在人工智能等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸检测流程图。
图2为本发明实施例提供的P网络模型图。
图3本发明实施例提供的R网络模型图。
图4为本发明实施例提供的O网络模型图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实施例
本发明提供了一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,包括:根据任务相关性对人脸分类、姿态分类、边界框回归,人脸关键点定位四个任务进行改进;根据多任务特性对优化算法进行改进,具体为将ADAM优化算法改为带有Frank-Wolfe优化器的基于上界的多梯度下降算法。
如图1所示,本发明提供了一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,具体包括以下步骤:
步骤1:对WIDER FACE数据集中的图片进行随机裁剪,计算IOU值,标定正样本、负样本、部分脸样本、左脸样本、右脸样本,从CELEBA数据集中收集人脸关键点样本;
步骤2:将步骤1中的所有样本送入如图1所示的P网络中,对P网络进行训练,采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛;
步骤3:将数据集中的图片输进训练好的P网络中,将输出的图片沿着边界框进行裁剪,用裁剪好的图片对R网络进行训练,采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛;
步骤4:R网络训练结束后,将数据集输入P网络,将P网络的输出输入到如图2所示的R网络,将R网络输出的图片沿边界框进行裁剪,用裁剪好的图片对如图3所示的O网络进行训练,采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛;
步骤5:将训练好的R网络模型、P网络模型、O网络模型放入预测部分,对人脸进行预测。
作为本发明优选的实施方式,本发明的改进方法通过添加任务对网络模型进行改进,人脸姿态与人脸识别有一定的联系,将姿态识别看做一个二分类问题(正脸或者侧脸),训练过程中采用交叉熵损失,通过增加相关任务来增加网络的泛化能力,提高人脸识别的准确度。
采用最新的算法进行优化,MTCNN在训练过程中采用ADAM进行优化,但是由于多任务学习有其自己的特殊性,利用ADAM进行优化并不是最合适的。作为本发明优选的实施方式,本发明的改进方法采用多目标学习作为多目标优化算法更为合适;
多目标学习作为多目标优化算法基于多梯度下降算法;多梯度下降算法可以在训练的过程中沿着使模型最优的方向动态的调整各个损失函数的权值,但是它有两点局限性,第一它无法扩展到高维度梯度,而高维度梯度自然会出现在深度网络中,第二,该算法明确要求计算每个任务的梯度,这就导致反向迭代的次数会被线性缩放,训练时间会大致乘以任务数量,使训练时间增加,这就使得多梯度下降算法无法大规模应用。作为本发明优选的实施方式,本发明提供的改进方法,多目标学习作为多目标优化算法对上述缺点做了两点改进,第一,开发了基于Frank-Wolfe且可以扩展到高维问题的优化器,第二,给多梯度下降优化目标提供了一个上界,并表明可以在没有明确任务梯度的情况下通过单次反向迭代来计算该优化目标,这使得该方法的计算成本小到可以忽略不计。这两点改进使得多梯度下降法可以大规模应用于多任务模型,也能够很好的适应MTCNN模型,模型任务越多,优化效果越好,这也是加入姿态任务的原因之一。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (2)
1.一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,其特征在于,包括:根据任务相关性对任务进行改进;根据多任务特性对优化算法进行改进;
所述的根据任务相关性对任务进行改进,包括对人脸分类、姿态分类、边界框回归,人脸关键点定位四个任务进行改进;
所述的根据多任务特性对优化算法进行改进,具体为将ADAM优化算法改为带有Frank-Wolfe优化器的基于上界的多梯度下降算法;
所述改进方法具体包括以下步骤:
步骤1:对WIDER FACE数据集中的图片进行随机裁剪,计算IOU值,标定正样本、负样本、部分脸样本、左脸样本、右脸样本,从CELEBA数据集中收集人脸关键点样本;
步骤2:将步骤1中的所有样本送入P网络中,对P网络进行训练;
步骤3:将数据集中的图片输进训练好的P网络中,将输出的图片沿着边界框进行裁剪,用裁剪好的图片对R网络进行训练;
步骤4:R网络训练结束后,将数据集输入P网络,将P网络的输出输入到R网络,将R网络输出的图片沿边界框进行裁剪,用裁剪好的图片对O网络进行训练;
步骤5:将训练好的R网络模型、P网络模型、O网络模型放入预测部分,对人脸进行预测;
所述改进方法通过添加任务对网络模型进行改进,人脸姿态与人脸识别有一定的联系,将姿态识别看做一个二分类问题即正脸或者侧脸,训练过程中采用交叉熵损失,通过增加相关任务来增加网络的泛化能力,提高人脸识别的准确度;
所述改进方法采用多目标学习作为多目标优化算法,多目标学习作为多目标优化算法做了两点改进,第一,开发了基于Frank-Wolfe且可以扩展到高维问题的优化器,第二,给多梯度下降优化目标提供了一个上界,并表明可以在没有明确任务梯度的情况下通过单次反向迭代来计算该优化目标。
2.根据权利要求1所述的用于人脸识别的多任务级联卷积神经网络模型的改进方法,其特征在于,所述步骤2-步骤5中的训练过程均包括采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507399.5A CN110232352B (zh) | 2019-06-12 | 2019-06-12 | 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507399.5A CN110232352B (zh) | 2019-06-12 | 2019-06-12 | 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110232352A CN110232352A (zh) | 2019-09-13 |
CN110232352B true CN110232352B (zh) | 2022-11-25 |
Family
ID=67858909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910507399.5A Expired - Fee Related CN110232352B (zh) | 2019-06-12 | 2019-06-12 | 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110232352B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462093A (zh) * | 2020-04-02 | 2020-07-28 | 北京小白世纪网络科技有限公司 | 一种基于眼底图像进行疾病分类的方法 |
CN111783898B (zh) * | 2020-07-09 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 图像识别模型的训练、图像识别方法、装置及设备 |
CN113128478B (zh) * | 2021-05-18 | 2023-07-14 | 电子科技大学中山学院 | 模型训练方法、行人分析方法、装置、设备及存储介质 |
CN115273863A (zh) * | 2022-06-13 | 2022-11-01 | 广东职业技术学院 | 一种基于声音识别和人脸识别的复合网课考勤系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105760859A (zh) * | 2016-03-22 | 2016-07-13 | 中国科学院自动化研究所 | 基于多任务卷积神经网络的网纹人脸图像识别方法及装置 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN109829354A (zh) * | 2018-11-29 | 2019-05-31 | 四川商通实业有限公司 | 一种基于深度学习的人脸识别方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10289822B2 (en) * | 2016-07-22 | 2019-05-14 | Nec Corporation | Liveness detection for antispoof face recognition |
CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
CN107748858A (zh) * | 2017-06-15 | 2018-03-02 | 华南理工大学 | 一种基于级联卷积神经网络的多姿态眼睛定位方法 |
CN109460729A (zh) * | 2018-11-01 | 2019-03-12 | 浩云科技股份有限公司 | 一种嵌入式多人脸检测方法及系统 |
-
2019
- 2019-06-12 CN CN201910507399.5A patent/CN110232352B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105760859A (zh) * | 2016-03-22 | 2016-07-13 | 中国科学院自动化研究所 | 基于多任务卷积神经网络的网纹人脸图像识别方法及装置 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN109829354A (zh) * | 2018-11-29 | 2019-05-31 | 四川商通实业有限公司 | 一种基于深度学习的人脸识别方法 |
Non-Patent Citations (1)
Title |
---|
多任务学习及卷积神经网络在人脸识别中的运用;任成娟;《电子技术与软件工程》;20180730(第14期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110232352A (zh) | 2019-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232352B (zh) | 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法 | |
CN108399428B (zh) | 一种基于迹比准则的三元组损失函数设计方法 | |
CN109816221A (zh) | 项目风险决策方法、装置、计算机设备和存储介质 | |
CN109345027B (zh) | 基于独立成分分析与支持向量机的微电网短期负荷预测方法 | |
US11676078B2 (en) | Neural trees | |
CN109886343B (zh) | 图像分类方法及装置、设备、存储介质 | |
CN110047096B (zh) | 一种基于深度条件随机场模型的多目标跟踪方法和系统 | |
CN110471276B (zh) | 用于为物理系统创建模型函数的装置 | |
CN113378959B (zh) | 一种基于语义纠错下生成对抗网络的零样本学习方法 | |
Karg et al. | Learning-based approximation of robust nonlinear predictive control with state estimation applied to a towing kite | |
US20160189058A1 (en) | Incremental learner via an adaptive mixture of weak learners distributed on a non-rigid binary tree | |
CN111931572B (zh) | 一种遥感影像的目标检测方法 | |
CN112101516A (zh) | 一种目标变量预测模型的生成方法、系统及装置 | |
US20220335298A1 (en) | Robust learning device, robust learning method, program, and storage device | |
KR102409041B1 (ko) | 액터 크리틱 모델을 이용한 포트폴리오 자산배분 강화학습방법 | |
CN116030077B (zh) | 基于多数据集协作学习的视频显著性区域检测方法 | |
CN117669726A (zh) | 自然语言问题处理方法、电子设备及计算机可读存储介质 | |
US11574181B2 (en) | Fusion of neural networks | |
CN114821184B (zh) | 一种基于均衡互补熵的长尾图像分类方法及系统 | |
US11561326B1 (en) | System and method for generating accurate hyperlocal nowcasts | |
CN113537490A (zh) | 一种神经网络裁剪方法及电子设备 | |
CN115577765A (zh) | 网络模型剪枝方法、电子设备及存储介质 | |
CN114359655A (zh) | 面向图像识别的神经网络训练方法及系统 | |
CN108595843B (zh) | 一种动态自适应的众创设计方案数据寻优方法 | |
Zheng et al. | RBF Neural Network Based on TS Fuzzy Model Adaptive Learning Algorithm and Application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221125 |
|
CF01 | Termination of patent right due to non-payment of annual fee |