CN112613462B - 一种加权交并比方法 - Google Patents
一种加权交并比方法 Download PDFInfo
- Publication number
- CN112613462B CN112613462B CN202011604949.4A CN202011604949A CN112613462B CN 112613462 B CN112613462 B CN 112613462B CN 202011604949 A CN202011604949 A CN 202011604949A CN 112613462 B CN112613462 B CN 112613462B
- Authority
- CN
- China
- Prior art keywords
- frame
- function
- box
- true value
- anchor frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及到了计算机视觉领域,具体公开了一种加权交并比方法,包括步骤A1:获取真值框G坐标锚框A坐标;步骤A2:计算每个真值框G和锚框A之间的交集I;步骤A3:计算每个真值框G和锚框A之间的并集U;步骤A4:给真值框G和锚框A的每个位置赋予权重;步骤A5:计算加权交并比值。本发明通过对目标框内的每个位置赋予不同的权重,提供一种更加合理的度量两个轴向包围盒重叠程度的方法,来解决交并比相同情况下,不同位置的预测框P评测准确度相同的问题,同时本发明可用作回归损失函数进行目标检测模型训练。本发明在目标检测模型评估时作为评测标准也表现更加鲁棒。
Description
技术领域
本发明涉及计算机视觉领域,特别涉及一种加权交并比方法。
背景技术
目前,在计算机视觉的一些任务中,如目标检测和目标跟踪,要完成回归任务,也就是学习一个目标检测模型,这个目标检测模型可以找到图像中的目标,通常用一个包围盒来确定目标的位置和大小,这个包围盒称之为预测框P。为了学习这个任务,需要有标注的样本,标注的信息中需要包含一个能表示目标位置和大小的包围盒,称之为真值框G。在评价目标的真值框G和预测框P的重叠程度时,通常使用的评价指标是交并比。交并比是通过计算目标的预测区域与真实区域的交集I和这两个区域的并集U之比得到的。利用交并比这一指标来反映实际的检测效果,交并比越大说明预测框P和真值框G之间的重叠程度越高,也就是预测框P的准确度越高。但是它的缺点是使用交并比并不能很好的衡量实际情况中两个包围盒之间重叠程度。例如当预测框P在真值框G内部时,使用交并比这个评价标准只能反映预测框P和真值框G的大小匹配情况,不能反映预测框P在真值框G内部的位置信息,同一个预测框P在真值框G内部的任意位置,交并比的结果是一样的。但是在实际情况中,在相同交并比的情况下中心点越靠近的包围盒准确度越好,这无法通过传统的交并比反映出来。另外,在一些由于标注标准不一致而产生误差标注的目标检测数据集中,例如同一个目标让不同人去标注,标注的包围盒大小可能不一致,但是目标都标注在包围盒的中心位置,对于这样的数据,使用传统的交并比指标训练的检测器效果并不理想。
发明内容
本发明的目的是克服上述现有技术中存在的问题,提供一种加权交并比方法来度量两个轴向包围盒重叠程度,从而解决上述背景技术中提出的问题。
为此,本发明提供了一种加权交并比方法,包括如下步骤:
A3:计算每个真值框G和锚框A之间的并集U,其中并集U定义为:U=A∪G={(x,y):(x,y)∈A或(x,y)∈G};
A4:将权重函数Wg(x,y)赋予所述真值框G,将权重函数Wa(x,y)赋予所述锚框A,根据所述真值框G的权重函数Wg(x,y)和所述锚框A的权重函数Wa(x,y)定义叠加赋权函数W(x,y);其中,所述锚框A的权重函数Wa(x,y)是随函数ra(x,y)单调递减的函数,函数所述函数ra(x,y)表示所述锚框A中任意位置与中心点之间的距离,Wa(x,y)在所述中心点位置的时候权重值最大;所述真值框G的权重函数Wg(x,y)是随函数rg(x,y)单调递减的函数,函数 所述函数rg(x,y)表示所述真值框G中任意位置与中心点之间的距离,Wg(x,y)在所述中心点位置的时候权重值最大;
进一步,在步骤A4中,所述叠加赋权函数W(x,y)=Wa(x,y)+Wg(x,y)或者W(x,y)=Wa(x,y)×Wg(x,y),且Wa(x,y)>0,Wg(x,y)>0。
更进一步,所述真值框G的权重函数Wg(x,y)和所述锚框A的权重函数Wa(x,y)相对应,所述真值框G的权重函数Wg(x,y)和所述锚框A的权重函数Wa(x,y)的表达式分别可以有多种,每一种所述表达式相互独立;
所述锚框A的权重函数Wa(x,y)的表达式可以为方式一~方式四的任意一种;
所述方式四为:Wa(x,y)=f(x)×f(y),其中f(x),f(y)定义如下:
进一步,计算每个所述真值框G和所述锚框A之间的带权重的交并比WIOU(S,G),然后通过设置阈值的方式选择锚框A作为正样本和负样本,所述正样本和所述负样本分别用于目标检测模型的训练。
更进一步,所述带权重的交并比WIOU(A,G)将的阈值设置为0.5,当WIOU(A,G)>0.5时作为正样本,当WIOU(A,G)<0.5时将对应的锚框A设置为负样本。
更进一步,在训练所述目标检测模型的时候:
定义回归的损失函数为LWIOU=1-WIOU(A,G);
根据回归的损失函数更新所述目标检测模型。
将所述预测框P作为所述锚框A得到带权重的交并比WIOU(P,G);
再使用WIOU(P,G)的值用于精度计算。
本发明提供的一种加权交并比方法,具有如下有益效果:本发明使用一种带权重的交并比,通过对目标框内的每个位置赋予不同的权重,在交并比相同情况下,来解决不同位置预测框P评测准确度相同的问题。同时本发明的方法可用作回归损失函数进行目标检测模型训练。利用本发明提出的方法,在交并比相同的情况下还会考虑目标所在的位置,越靠近目标中心位置的权重越大,也就是交并比相同,越接近目标中心位置的预测框P准确度越高,符合实际情况中对两个轴向包围盒重叠程度好坏的判断。本方法可以被集成到任意的跟踪或检测系统中,用于对两个轴向包围盒重叠程度的评判标准。在一些由于标注标准不一致而产生误差标注的目标检测数据集中,例如同一个目标让不同人去标注,标注的轴向包围盒大小可能不一致,但是目标都标注在包围盒的中心位置,对于这样情况下的标注数据使用本文所述的方法作为评判标准的结果也表现的更加鲁棒。
附图说明
图1为锚框A与真值框G的关系示意图,其中虚线表示真值框G,实线表示锚框A。
具体实施方式
下面结合附图,对本发明的一个具体实施方式进行详细描述,但应当理解本发明的保护范围并不受具体实施方式的限制。
具体的,本发明提供了一种加权交并比方法,包括如下步骤:
A3:计算每个真值框G和锚框A之间的并集U,其中并集U定义为:U=A∪G={(x,y):(x,y)∈A或(x,y)∈G};
A4:将权重函数Wg(x,y)赋予所述真值框G,将权重函数Wa(x,y)赋予所述锚框A,根据所述真值框G的权重函数Wg(x,y)和所述锚框A的权重函数Wa(x,y)定义叠加赋权函数W(x,y);其中,所述锚框A的权重函数Wa(x,y)是随函数ra(x,y)单调递减的函数,函数所述函数ra(x,y)表示所述锚框A中任意位置与中心点之间的距离,Wa(x,y)在所述中心点位置的时候权重值最大;所述真值框G的权重函数Wg(x,y)是随函数rg(x,y)单调递减的函数,函数 所述函数rg(x,y)表示所述真值框G中任意位置与中心点之间的距离,Wg(x,y)在所述中心点位置的时候权重值最大;
按照这样的计算方式计算当锚框A和真值框G之间的重叠程度,对重叠的部分进行积分计算权重,锚框A和真值框G重叠部分越大,相应权重值的积分也会越大,以此作为锚框A和真值框G之间的重叠程度的评判标准。
使用交并比的方式计算的交并比取值范围在0到1之间,使用本发明方法的带权重交并比取值范围也在0到1之间,因此带权重交并比使用方法和交并比使用方法一样。
在本发明的实施例中,在步骤A4中,所述叠加赋权函数W(x,y)=Wa(x,y)+Wg(x,y)或者W(x,y)=Wa(x,y)×Wg(x,y),且Wa(x,y)>0,Wg(x,y)>0。
更进一步,所述真值框G的权重函数Wg(x,y)和所述锚框A的权重函数Wa(x,y)相对应,所述真值框G的权重函数Wg(x,y)和所述锚框A的权重函数Wa(x,y)的表达式分别可以有多种,每一种所述表达式相互独立;
所述锚框A的权重函数Wa(x,y)的表达式可以为方式一~方式四的任意一种;
所述方式四为:Wa(x,y)=f(x)×f(y),其中f(x),f(y)定义如下:
另外,Wg(x,y)和Wa(x,y)相对应,也可以使用上述的四种方式,对此,不进行一一列举。即,Wa(x,y)当使用的是方式一,Wg(x,y)可以使用方式一~方式四的任意一种方式,Wa(x,y)当使用的是方式二,Wg(x,y)可以使用方式一~方式四的任意一种方式,以此类推。
超参数是一个未知变量,但是它不同于在训练过程中的参数,它是可以对训练得到的参数有影响的参数,需要训练者人工输入,并作出调整,以便优化训练目标检测模型的效果。一般在机器学习中使用,超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。通常情况下,需要对超参数进行优化,给学习机选择一组最优超参数,以提高学习的性能和效果。
在本发明的实施例中,计算每个所述真值框G和所述锚框A之间的带权重的交并比WIOU(A,G),然后通过设置阈值的方式选择锚框A作为正样本和负样本,所述正样本和所述负样本分别用于目标检测模型的训练。
同时,在本实施例中,所述带权重的交并比WIOU(A,G)将的阈值设置为0.5,当WIOU(A,G)>0.5时作为正样本,当WIOU(A,G)<0.5时将对应的锚框A设置为负样本。通常来说将WIOU(A,G)阈值设置为0.5,当WIOU(A,G)>0.5时作为正样本,当WIOU(A,G)<0.5时将对应的锚框A设置为负样本。通常设置样本数为256,其中正样本和负样本的比例为1:3,随机选择对应数目的样本参与训练。
同时,在本实施例中,在训练所述目标检测模型的时候,定义回归的损失函数为LWIOU=1-WIOU(A,G);根据回归的损失函数更新所述目标检测模型。根据LWIOU值判断预测框P和真值框G重叠程度。LWIOU值越小表示预测框P和真值框G重叠程度越好,可以通过损失函数值来确定预测框P的更新方向。
即,通过上述步骤选取的样本,使用这些样本来训练目标检测器,需要完成回归任务。这里介绍加权交并比在回归任务中的实现过程,对步骤3中选取的每个正样本都会产生相应的预测框P,在训练过程中定义回归的损失函数,用这个损失函数来描述预测框P和真值框G之间的差异,通过这个差异来更新检测目标检测模型,更新的目标是减小损失函数值。当损失函数越小,也就是预测框P和真值框G重叠程度越高,此时所要更新的值也会越小,训练的目标是期望损失函数值可以收敛到尽量小的值。定义回归的损失函数为LWIOU=1-WIOU(A,G),利用上述步骤3的加权交并比方法可以计算预测框P和真值框G之间的WIOU(A,G),损失函数的取值范围为0≤LWIOU≤1。当LWIOU值为0时,此时WIOU(A,G)值为1,表示预测框P和真值框G完全重合。LWIOU值越小表示预测框P和真值框G重叠程度越好,可以通过损失函数值来确定预测框P的更新方向。
利用获取到的每个目标的预测框P和预测类别,同时将对应的真值框G和标注的类别读取出来。计算每个目标的预测框P和真值框G之间的带权重交并比WIOU(A,G),具体计算方式同步骤3,将计算出来的带权重的交并比的值作为评估预测框P和真值框G之间重叠程度的指标,带权重交并比的值越大代表预测框P预测结果越准确。这里我们只介绍了评估结果中预测框P的准确度的判断,最终的结果还取决于预测的类别是否准确。利用预测框P的准确度和预测类别的准确度来计算最终检测目标检测模型的精确度。
具体的,对于上述的一种加权交并比方法的在目标检测任务的应用,包括如下步骤:
S1:收集图片并将所收集到的图片分为两部分,分别为训练集和测试集;
S2:分别读取所述训练集中的每一个图片中目标的真值框G;
S3:建立目标检测模型,使用步骤S2所得到的真值框G和该真值框G所对应的图片对所述目标检测模型进行训练,遍历所述训练集中的每一个图片,得到训练好的目标检测模型;
S4:将所述测试集中的每一个图片分别输入到训练好的目标检测模型中,分别输出得到所述测试集中的每一个图片所对应的预测框P;
S5:分别读取每一个所述测试集中的图片的真值框G,并使用上述加权交并比方法获得该真值框G和该预测框P之间的重叠程度,再计算出对应的检测精度。
该上述步骤S3步骤中,该步骤中,在对所述目标检测模型进行训练进行训练的时候,包括如下步骤:
第一,对训练时所使用图片的产生锚框A;
第二,用上述的加权交并比方法选取锚框A作为样本;
第三,将选取的样本使用上述的加权交并比方法作为回归的损失函数对所述目标检测模型进行训练。
通常我们说的目标检测任务要完成分类和回归任务,训练所述目标检测模型需要标注样本,标注样本的标注内容包括目标的真值框G。在目标检测模型训练时需要读取每个目标的真值框G及类别,用于目标检测器的训练,其中类别信息用于分类任务,真值框G用于训练时选取样本,同时在回归任务时用于计算回归的损失函数值。
一般在目标检测训练过程中选取样本时,会在图像中生成密集的不同大小不同长宽比的包围盒,称之为锚框A,如图1所示,在图1中,虚线方框为真值框G,实线的方框为锚框A。锚框A可以覆盖到图片的所有位置,对于图像中任意一个目标都有相应的锚框A与之对应。对当前图片生成这样的锚框A,保存每一个锚框A的坐标信息。
在选取锚框A之后,使用上述所提供的一种加权交并比方法。
以上公开的仅为本发明的几个具体实施例,但是,本发明实施例并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (6)
1.一种加权交并比方法,其特征在于,包括如下步骤:
A3:计算每个真值框G和锚框A之间的并集U,其中并集U定义为:U=A∪G={(x,y):(x,y)∈A或(x,y)∈G};
A4:将权重函数Wg(x,y)赋予所述真值框G,将权重函数Wa(x,y)赋予所述锚框A,根据所述真值框G的权重函数Wg(x,y)和所述锚框A的权重函数Wa(x,y)定义叠加赋权函数W(x,y);其中,所述锚框A的权重函数Wa(x,y)是随函数ra(x,y)单调递减的函数,函数所述函数ra(x,y)表示所述锚框A中任意位置与中心点之间的距离,Wa(x,y)在所述中心点位置的时候权重值最大;所述真值框G的权重函数Wg(x,y)是随函数rg(x,y)单调递减的函数,函数 所述函数rg(x,y)表示所述真值框G中任意位置与中心点之间的距离,Wg(x,y)在所述中心点位置的时候权重值最大;
A6:计算每个所述真值框G和所述锚框A之间的带权重的交并比WIOU(A,G),然后通过设置阈值的方式选择锚框A作为正样本和负样本,所述正样本和所述负样本分别用于目标检测模型的训练。
2.如权利要求1所述的一种加权交并比方法,其特征在于,在步骤A4中,所述叠加赋权函数W(x,y)=Wa(x,y)+Wg(x,y)或者W(x,y)=Wa(x,y)×Wg(x,y),且Wa(x,y)>0,Wg(x,y)>0。
4.如权利要求1所述的一种加权交并比方法,其特征在于,所述带权重的交并比WIOU(A,G)将的阈值设置为0.5,当WIOU(A,G)>0.5时作为正样本,当WIOU(A,G)<0.5时将对应的锚框A设置为负样本。
5.如权利要求1所述的一种加权交并比方法,其特征在于,在训练所述目标检测模型的时候:
定义回归的损失函数为LWIOU=1-WIOU(A,G);
根据回归的损失函数更新所述目标检测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011604949.4A CN112613462B (zh) | 2020-12-29 | 2020-12-29 | 一种加权交并比方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011604949.4A CN112613462B (zh) | 2020-12-29 | 2020-12-29 | 一种加权交并比方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112613462A CN112613462A (zh) | 2021-04-06 |
CN112613462B true CN112613462B (zh) | 2022-09-23 |
Family
ID=75249219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011604949.4A Active CN112613462B (zh) | 2020-12-29 | 2020-12-29 | 一种加权交并比方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112613462B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113221769B (zh) * | 2021-05-18 | 2023-06-27 | 北京百度网讯科技有限公司 | 识别模型训练方法、识别方法、装置、设备及存储介质 |
CN113469025B (zh) * | 2021-06-29 | 2024-05-31 | 阿波罗智联(北京)科技有限公司 | 应用于车路协同的目标检测方法、装置、路侧设备和车辆 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109308469A (zh) * | 2018-09-21 | 2019-02-05 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN111353440A (zh) * | 2019-12-30 | 2020-06-30 | 广西财经学院 | 一种目标检测方法 |
CN111881764A (zh) * | 2020-07-01 | 2020-11-03 | 深圳力维智联技术有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
CN111915583A (zh) * | 2020-07-29 | 2020-11-10 | 西安电子科技大学 | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 |
CN111931915A (zh) * | 2020-08-06 | 2020-11-13 | 中国科学院重庆绿色智能技术研究院 | 一种基于diou损失函数的训练网络的方法 |
-
2020
- 2020-12-29 CN CN202011604949.4A patent/CN112613462B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109308469A (zh) * | 2018-09-21 | 2019-02-05 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN111353440A (zh) * | 2019-12-30 | 2020-06-30 | 广西财经学院 | 一种目标检测方法 |
CN111881764A (zh) * | 2020-07-01 | 2020-11-03 | 深圳力维智联技术有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
CN111915583A (zh) * | 2020-07-29 | 2020-11-10 | 西安电子科技大学 | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 |
CN111931915A (zh) * | 2020-08-06 | 2020-11-13 | 中国科学院重庆绿色智能技术研究院 | 一种基于diou损失函数的训练网络的方法 |
Non-Patent Citations (4)
Title |
---|
Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression;Zheng Z 等;《arXiv》;20191119;第1-8页 * |
Optimizing Intersection-Over-Union in Deep Neural Networks for Image Segmentation;Rahman M A 等;《International Symposium on Visual Computing》;20161231;第1-11页 * |
基于改进YOLOv3的火焰检测;赵飞扬 等;《中国科技论文》;20200731;第15卷(第7期);第820-826页 * |
复杂场景下深度表示的无人机目标检测算法;李斌 等;《计算机工程与应用》;20190916;第118-123页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112613462A (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018219016A1 (zh) | 一种人脸检测训练方法、装置及电子设备 | |
CN104680542B (zh) | 基于在线学习的遥感影像变化检测方法 | |
CN109034245B (zh) | 一种利用特征图融合的目标检测方法 | |
CN112613462B (zh) | 一种加权交并比方法 | |
CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
CN113360701B (zh) | 一种基于知识蒸馏的素描图处理方法及其系统 | |
CN111274981B (zh) | 目标检测网络构建方法及装置、目标检测方法 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
CN109255363A (zh) | 一种基于加权卡方距离度量的模糊k近邻分类方法及系统 | |
JP2021193564A (ja) | 機械学習方法、機械学習システム及び非一時的コンピュータ可読記憶媒体 | |
CN111144466B (zh) | 一种图像样本自适应的深度度量学习方法 | |
CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
CN115424111A (zh) | 一种抗原检测试剂盒智能识别方法、装置、设备及介质 | |
CN115376007A (zh) | 目标检测方法、装置、设备、介质及计算机程序产品 | |
CN114708462A (zh) | 多数据训练的检测模型生成方法、系统、设备及存储介质 | |
CN111144462A (zh) | 一种雷达信号的未知个体识别方法及装置 | |
CN111797993A (zh) | 深度学习模型的评价方法、装置、电子设备及存储介质 | |
CN114677670B (zh) | 一种身份证篡改自动识别与定位的方法 | |
CN116206186A (zh) | 一种sar图像目标检测、识别方法及相关装置 | |
Daudt et al. | Learning to understand earth observation images with weak and unreliable ground truth | |
Brejl et al. | Edge-based image segmentation: machine learning from examples | |
CN112001388B (zh) | 一种基于YOLOv3改进模型的用于检测PCB中圆形目标的方法 | |
CN113343918A (zh) | 一种电力设备识别方法、系统、介质及电子设备 | |
CN115205843A (zh) | 三维对象检测方法、装置、电子设备及存储介质 | |
CN117036790B (zh) | 一种小样本条件下的实例分割多分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |