CN113313178B - 一种跨域图像示例级主动标注方法 - Google Patents
一种跨域图像示例级主动标注方法 Download PDFInfo
- Publication number
- CN113313178B CN113313178B CN202110619202.4A CN202110619202A CN113313178B CN 113313178 B CN113313178 B CN 113313178B CN 202110619202 A CN202110619202 A CN 202110619202A CN 113313178 B CN113313178 B CN 113313178B
- Authority
- CN
- China
- Prior art keywords
- model
- domain
- prediction
- image
- examples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000035945 sensitivity Effects 0.000 abstract 1
- 230000006978 adaptation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种跨域图像示例级主动标注方法。数字图像目标检测是计算机视觉的基本任务之一,它通常需要大量带有物体框标注的样本用于训练机器学习模型。但在真实任务中,由于敏感性等原因,往往无法获得大量目标任务的训练样本,导致模型性能低下,模型提升困难。本发明利用容易获得且知识丰富的无监督源域,通过主动学习技术,自动选择高效用示例标注,从而获得更精细的标记信息,大幅降低了数据标注难度;同时,充分利用获得的监督信息,高效提升模型在目标任务上的性能,可显著减轻用户的参与代价。
Description
技术领域
本发明属于数字图像自动标注技术领域,具体涉及一种跨域图像示例级主动标注方法。
背景技术
数字图像的语义理解是人工智能领域的一项重要基本任务。目标检测是其中的关键技术,它试图预测出图像中每个物体的边界框与其类别。现有的检测模型通常通过将图像分解为大量不同大小的区域,即示例,并进行示例级的预测,来完成目标检测任务。检测模型的训练往往需要大量完整的示例级标注图片,代价高昂。自动图像标注技术往往被广泛应用以降低标注代价。然而,在一些实际任务中,目标域数据由于涉及敏感信息或缺少可靠的标注专家而无法大量获得,导致模型性能低下,且提升困难。好在现有的百度,Flickr,iNaturalist等高质量的图片搜索引擎可提供大量廉价且知识丰富的未标注的数据,可用于提升目标模型。然而这些数据往往存在一些非目标类别,或风格差异过大的物体,对模型帮助甚微,甚至有害,无法直接利用。一个解决方案是引入主动标注技术,选择出最有价值的样本向用户查询标记,从而尽可能以更低代价提升模型。现有的面向目标检测的主动学习方法通常以图像为单位进行标注,即要求标注者标出图中所有前景物体的边界框与类别。这一查询方式不仅标注难度大,开销高,若用于知识丰富的源域中,还将带来大量冗余或不可迁移的监督信息,导致标注效率低下,信息利用率不高,无法有效提升模型。因此不能适应于目标域数据获取困难的图像自动标注问题。
发明内容
发明目的:为了克服真实任务中目标域数据获取困难,模型性能难以提升的问题,本发明提供一种跨域图像示例级主动标注方法,
技术方案:为实现上述目的,本发明采用的技术方案为:
一种跨域图像示例级主动标注方法,包括以下步骤:
(一)利用搜索引擎等手段,获取一批与目标任务相关,且知识丰富的无标记图像作为源域,其中可能含有非目标类别的物体;
(二)利用少量标记样本训练初始模型f。具体地,模型属于“一阶段”目标检测模型,且带有域判别分支;
(三)根据模型f对源域无标记数据的预测Y′,计算图像的每个示例对标注模型的价值评分S′,并对候选示例进行过滤,得到少量高效用待查询示例评分S;
(四)对步骤(三)中得到的候选示例评分S排序,在标记预算范围内,根据从大到小的顺序向用户查询示例的监督信息,得到相应的用户反馈;
(五)根据步骤(四)中得到的包括前背景、真实物体框及物体类别在内的用户反馈结果进行梯度下降更新预测模型f;
(六)返回步骤(二)或结束并输出预测模型f。
进一步的,所述步骤(二)训练初始模型的具体方法为:
步骤2.1:初始化一个“一阶段”目标检测预测模型f;“一阶段”目标检测模型特征在于一次性完成示例预测,不包括区域推荐阶段。通常对所有锚区域(anchor box)都进行前背景、类别、框回归预测。例如,YOLO,SSD,RetinaNet等模型。
步骤2.2:将图像与示例域判别器加入到“一阶段”目标检测预测模型f中;其中,域判别器的实现为任意分类层;图像域判别器分支加在主干网络后,示例域判别器加在目标检测预测的前一层,与目标检测预测层平行;
步骤2.3:使用训练图像数据集优化模型f;其中,域判别器部分用于预测训练图像/示例来自源域还是目标域,采用交叉熵损失优化;当梯度经过域判别器,即将反向回传到主干网络部分时,将梯度设成相反数来对抗地优化主干网络。
进一步的,所述步骤(三)计算图像的每个示例对标注模型的价值评分S′,并对候选示例进行过滤,得到少量高效用待查询示例评分S的具体方法为:
假设总共有nsu张未标注图像,用Y′i表示第i幅图像Xi的预测标记矩阵,其中对于第j个示例的预测为y′ij。记已标记集合为其中第i个样本的第k个示例标记为lik;无标记集合为/>
将预测的候选框与标记集合的示例交叠率大于阈值μ的框过滤,所述公式为:
计算所有示例的价值评分S′,所述公式为:
其中,s(·)为评分函数,具体形式为:
其中,w′(z)=1-Gd(z);分别为图片和示例的特征提取器,特别的,示例特征用预测层的前一层输出来近似;y′ijb为示例的前背景概率预测,y′ijc为示例的类别预测;η为超参数;/>为l2范数的平方。
将候选示例按照评分S′进行极大值抑制(NMS),从而过滤低分和重合的示例,得到少量高效用待查询示例评分S。
进一步的,所述步骤(四)用户反馈结果的具体方法为:
若所查询示例包含或部分包含前景物体,则用户提供前景物体的边界框及物体类别标记信息。否则,用户仅给出“背景”的标记信息。
进一步的,所述步骤(五)更新模型的具体方法为:
对于样本i,将模型对其预测置信度超过阈值λ的背景示例当作标记为背景的示例,按照模型默认的损失计算方式计算损失。
将查询得到的背景示例与所有预测示例计算交叠率,与其交叠率超过阈值μ的示例当作标记为背景的高信息量示例,除默认的损失项以外,额外计算分类损失,真实类别标记为所有类别都为0。
将查询得到的前景示例与所有预测示例计算交叠率,与其交叠率超过阈值μ的示例当作标记为前景的示例,按照模型默认的损失计算方式计算损失。
剩余的示例不参与损失的计算。
有益效果:本发明提供的跨域图像示例级主动标注方法,通过利用容易获得且知识丰富的无监督源域,自动选择高效用示例标注,从而获得更精细的标记信息,大幅降低数据标注难度;同时,充分利用获得的监督信息,高效提升模型在目标任务上的性能,可显著减轻用户的参与代价。
具体的,本发明每次挑选出对于提升目标模型最有帮助的一个示例进行查询,让用户给出反馈信息。在选择示例时,本发明兼顾示例对于当前模型的信息量以及对目标任务的迁移性,挑选出最有价值的图像区域查询,并让用户有区别地进行反馈。当所选示例存在前景物体时,用户需标出物体的边界框与类别,从而为模型提供不确定示例的准确监督信息;否则用户只需给出“背景”的标记,如此可以极低代价获得高信息量背景示例。
由于知识丰富的源域中存在一些非目标类别,或风格差异过大的物体,对模型帮助甚微,甚至有害,因此这样的反馈机制一方面避免了引入无效的信息,另一方面大幅降低了标注难度,从而既保证了用户较低的参与度,又能更大程度的提高标注精度。而为了充分地利用这种精细的反馈信息,本发明结合机器学习中的自训练方法,对于图像中高效用的区域直接利用用户反馈的监督信息,对于模型预测较为确定的区域则利用自训练方法引入伪标记来更新模型。该方法既充分利用了获得的精细监督信息,又挖掘了可用的置信区域,同时,方案仅在现有训练方法的基础上做了少量修改,而具有很好的扩展性。
附图说明
图1是数字图像自动标注装置工作流程图;
图2是训练初始标注模型的流程图;
图3是本发明机制的流程图;
图4是计算示例评分的流程图;
图5是更新标注模型的流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示为数字图像自动标注装置工作流程图。假设初始时存在少量完全标注的训练图像数据集合,包括来自源域和目标域的两部分组成;以及一个收集好的知识丰富的无监督源域样本池装置首先利用初始标记数据训练得到基本预测模型。然后,模型对源域数据集合/>的图像进行预测,得到每张无标记图片的目标检测预测结果及图像和示例的域分类结果。根据模型输出计算得到每个示例的效用评分。将候选示例进行一定的后处理后,按照得分大小排序,从高到低向用户查询示例的监督信息,直到标记开销达到预算。最后利用用户反馈的信息更新模型,从而进入新一轮循环。
图2所示为训练初始标注模型的流程图。首先需要选取一个“一阶段”目标检测模型作为基本模型,本例中采用常用的YOLOv3模型。随后将图像与示例域判别器分别加到目标检测模型的图像与示例特征提取器后。特别地,图像部分可加在模型主干网络之后,示例部分加在预测层的前一层,与目标检测预测层平行。模型初始化后,将初始标记集合样本输入模型进行训练。对于目标检测的预测结果,按模型默认的方式计算损失;对域分类预测结果计算交叉熵损失,并在梯度传回到特征提取器之前将梯度取反,这一步操作可以采用加一层梯度取反层(GRL)实现。重复上述步骤直至模型收敛。
图3所示为本发明机制的流程图。首先利用当前模型对无标记数据进行预测,根据预测结果计算图像的每个示例对标注模型的效用评分S′,并对候选示例进行过滤,得到少量高效用待查询示例评分S。将S按照评分大小从高到低排序,并依次向用户查询示例的监督信息。用户根据示例是否为前景分别给出不同的反馈。具体地,若所查询示例包含或部分包含前景物体,则用户提供前景物体的边界框及物体类别标记信息。否则,用户仅给出“背景”的标记信息。查询过程将循环执行,直至标记开销达到预算。此时用获得的用户反馈更新模型,并返回。
图4所示为计算示例效用评分的流程图。首先利用当前模型对无标记数据进行预测,得到每个样本的示例预测结果Y′,将预测的候选框与标记集合的示例交叠率大于阈值μ的框过滤,所述公式为:
其中,μ在本例中设为0.5。随后计算所有示例的效用评分S′,所述公式为:
其中,s(·)为评分函数,具体形式为:
其中,w′(z)=1-Gd(z);分别为图片和示例的特征提取器,特别的,示例特征用预测层的前一层输出来近似;y′ijb为示例的前背景概率预测,y′ijc为示例的类别预测;η为超参数,本例中设为0.1;/>为l2范数的平方。上述公式第一项通过重要性采样技术考虑了样本的迁移性,从而避免了风格差异过大的示例被查询而无法被完全利用。第二项公式衡量了模型对示例预测的不确定程度,以确保所查示例的高信息量。将候选示例按照效用评分S′进行极大值抑制(NMS),从而过滤大量低分和重合的示例,得到少量高效用待查询示例评分S。
图5所示为更新标注模型的流程图。由于本发明的标注方式仅执行示例级的标注,因此训练数据包括初始完全标记集合,以及示例级标记集合。在一轮训练中,首先用初始完全标记集合更新预测模型,其中包括目标检测及域分类两部分,目标检测部分按照预测模型默认的方式更新模型参数;域判别器部分按照步骤2.3的方式更新参数;查询的示例包括前景示例和背景示例;其中,前景示例按照目标检测模型默认的方式计算损失;背景示例除了计算默认的前背景预测损失外,还额外计算分类损失,其真实类别标记为所有类别都为0;除上述损失外,模型对其预测置信度超过阈值λ的背景示例当作标记为背景的真实示例,按照模型默认的损失计算方式计算损失;剩余的预测示例不参与损失的计算。上述训练流程将循环执行直至模型收敛。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种跨域图像示例级主动标注方法,其特征在于,包括以下步骤:
(一)收集知识丰富的无标记的源域数据集合和完全标注的训练图像数据集合,所述训练图像数据集合包括来自源域和目标域的两部分;
(二)利用训练图像数据训练初始预测模型f;
(三)利用模型f对源域数据集合的图像进行预测,得到每张无标记图片的目标检测预测结果及图像和示例的域分类结果,并计算每张无标记图像的每个示例对训练预测模型的效用评分S′,并对示例进行过滤,得到候选查询示例效用评分S;
(四)对步骤(三)中得到的候选示例效用评分S排序,在标记预算范围内,根据分值从大到小的顺序向用户查询示例的监督信息,得到相应的用户反馈;
(五)根据步骤(四)中得到的包括前背景、真实物体框及物体类别在内的用户反馈结果进行梯度下降更新预测模型f;
(六)返回步骤(二)或结束并输出预测模型f;
步骤(三)计算图像的每个示例对训练预测模型的效用评分S′,并对示例进行过滤,得到候选查询示例效用评分S的具体方法为:
步骤3.1:利用预测模型f对未标注图像进行预测,用Y′i表示第i幅图像Xi的预测标记矩阵,其中对于第j个示例的预测为y′ij;
步骤3.2:将预测的候选框与标记集合的示例交叠率大于阈值μ的框过滤,公式为:
其中,已标记集合为为第i个标记样本;第i幅图像的第k个示例标记为lik;
步骤3.3:计算所有源域样本示例的效用评分S′,公式为:
其中,s(·)为评分函数,具体形式为:
其中,w′(z)=1-Gd(z);分别为图片和示例的特征提取网络;y′ijb为示例的前背景概率预测,y′ijc为示例的类别预测;η为超参数;/>为l2范数的平方;
步骤3.4:将候选示例按照效用评分S′执行非极大值抑制,从而过滤低分和重合的示例,得到候选查询示例效用评分S。
2.根据权利要求1所述的一种跨域图像示例级主动标注方法,其特征在于,步骤(二)训练初始模型的具体方法为:
步骤2.1:初始化一个“一阶段”目标检测预测模型f;
步骤2.2:将图像与示例域判别器加入到“一阶段”目标检测预测模型f中;其中,域判别器的实现为任意分类层;图像域判别器分支加在主干网络后,示例域判别器加在目标检测预测的前一层,与目标检测预测层平行;
步骤2.3:使用训练图像数据集优化模型f;其中,域判别器部分用于预测训练图像/示例来自源域还是目标域,采用交叉熵损失优化;当梯度经过域判别器,即将反向回传到主干网络部分时,将梯度设成相反数来对抗地优化主干网络。
3.根据权利要求2所述的一种跨域图像示例级主动标注方法,其特征在于,所述“一阶段”模型为YOLO,SSD或RetinaNet。
4.根据权利要求1所述的一种跨域图像示例级主动标注方法,其特征在于,步骤(四)用户反馈结果的具体方法为:
若所查询示例包含或部分包含前景物体,则用户提供前景物体的边界框及物体类别标记信息;否则,用户仅给出“背景”的标记信息。
5.根据权利要求2所述的一种跨域图像示例级主动标注方法,其特征在于,步骤(五)更新预测模型的具体方法为:
步骤5.1:对源域和目标域数据分别构造一个数据库;
步骤5.2:更新时,从源域和目标域各取一批数据用于更新预测模型;具体地,来自初始完全标注的训练图像数据按照目标检测模型默认的方式更新模型参数;域判别器部分按照步骤2.3的方式更新参数;查询的示例包括前景示例和背景示例;其中,前景示例按照目标检测模型默认的方式计算损失;背景示例除了计算默认的前背景预测损失外,还额外计算分类损失,其真实类别标记为所有类别都为0;除上述损失外,模型对其预测置信度超过阈值λ的背景示例当作标记为背景的真实示例,按照模型默认的损失计算方式计算损失;剩余的预测示例不参与损失的计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110619202.4A CN113313178B (zh) | 2021-06-03 | 2021-06-03 | 一种跨域图像示例级主动标注方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110619202.4A CN113313178B (zh) | 2021-06-03 | 2021-06-03 | 一种跨域图像示例级主动标注方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113313178A CN113313178A (zh) | 2021-08-27 |
CN113313178B true CN113313178B (zh) | 2024-05-03 |
Family
ID=77377269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110619202.4A Active CN113313178B (zh) | 2021-06-03 | 2021-06-03 | 一种跨域图像示例级主动标注方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313178B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114187452A (zh) * | 2022-02-15 | 2022-03-15 | 南京航空航天大学 | 一种基于主动标注的鲁棒深度图像分类模型训练方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022389A (zh) * | 2016-05-30 | 2016-10-12 | 南京航空航天大学 | 一种主动选择多示例多标记数字图像的相关反馈方法 |
CN110609895A (zh) * | 2019-07-15 | 2019-12-24 | 南京航空航天大学 | 一种主动选择示例以进行高效文本分类的样本自动生成方法 |
CA3061717A1 (en) * | 2018-11-16 | 2020-05-16 | Royal Bank Of Canada | System and method for a convolutional neural network for multi-label classification with partial annotations |
-
2021
- 2021-06-03 CN CN202110619202.4A patent/CN113313178B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022389A (zh) * | 2016-05-30 | 2016-10-12 | 南京航空航天大学 | 一种主动选择多示例多标记数字图像的相关反馈方法 |
CA3061717A1 (en) * | 2018-11-16 | 2020-05-16 | Royal Bank Of Canada | System and method for a convolutional neural network for multi-label classification with partial annotations |
CN110609895A (zh) * | 2019-07-15 | 2019-12-24 | 南京航空航天大学 | 一种主动选择示例以进行高效文本分类的样本自动生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113313178A (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109741332B (zh) | 一种人机协同的图像分割与标注方法 | |
CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
CN110880019B (zh) | 通过无监督域适应训练目标域分类模型的方法 | |
CN110019889A (zh) | 训练特征提取模型及计算图片与查询词相关性系数的方法和相关装置 | |
CN113222149A (zh) | 模型训练方法、装置、设备和存储介质 | |
CN114357221B (zh) | 一种基于图像分类的自监督主动学习方法 | |
CN110472518A (zh) | 一种基于全卷积网络的指纹图像质量判断方法 | |
CN104680193A (zh) | 基于快速相似性网络融合算法的在线目标分类方法与系统 | |
CN107563327B (zh) | 一种基于自步反馈的行人重识别方法及系统 | |
CN112613428A (zh) | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 | |
CN113011559A (zh) | 基于kubernetes的自动机器学习方法及系统 | |
CN113313178B (zh) | 一种跨域图像示例级主动标注方法 | |
CN115690549A (zh) | 一种基于并联交互架构模型实现多维度特征融合的目标检测方法 | |
CN115292532A (zh) | 基于伪标签一致性学习的遥感图像域适应检索方法 | |
CN114579794A (zh) | 特征一致性建议的多尺度融合地标图像检索方法及系统 | |
CN113192108A (zh) | 一种针对视觉跟踪模型的人在回路训练方法及相关装置 | |
CN106022389B (zh) | 一种主动选择多示例多标记数字图像的相关反馈方法 | |
CN116821407A (zh) | 基于hgr最大相关性的跨模态遥感图像检索方法及装置 | |
CN116935438A (zh) | 一种基于模型结构自主进化的行人图像重识别方法 | |
CN116630694A (zh) | 一种偏多标记图像的目标分类方法、系统及电子设备 | |
CN111401519B (zh) | 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法 | |
CN114092735A (zh) | 一种实例物体目标检测级别的自标注方法及系统 | |
CN112906763A (zh) | 一种利用跨任务信息的数字图像自动标注方法 | |
CN116384439B (zh) | 一种基于自蒸馏的目标检测方法 | |
CN114842246B (zh) | 一种社交媒体压力类别检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |