CN107707913A - 快速视频编码中防帧内误差传递方法 - Google Patents
快速视频编码中防帧内误差传递方法 Download PDFInfo
- Publication number
- CN107707913A CN107707913A CN201710909152.7A CN201710909152A CN107707913A CN 107707913 A CN107707913 A CN 107707913A CN 201710909152 A CN201710909152 A CN 201710909152A CN 107707913 A CN107707913 A CN 107707913A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- frame
- munder
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种快速视频编码中防帧内误差传递方法,用于解决快速编码中帧内CU的误差传递问题。首先,本发明研究快速编码视频中帧内不同区域CU的不确定性问题。其次,基于CU预测的不确定性,推导出它对总体编码质量的影响关系。最后,通过各区域的误差传递系数,对原始CU分配的半径进行调整,以在基本不增加编码时间的条件下,降低率编码失真代价,提高编码质量。
Description
技术领域
本发明属于视频编码技术领域,具体涉及一种快速视频编码中防帧内误差传递方法。
背景技术
视频编码是指利用视频时域和空域的相关性,使用已编码的CU对当前CU进行预测编码。时空域参考CU的编码质量直接影响到当前CU的编码。当参考CU出现误差时,当前CU的编码质量也会随之下降,继而影响到视频帧总体的RD性能。本发明提出的防误差传递算法,根据不同区域CU对总体编码质量的影响不同,利用误差传递系数对原始算法进行调整,从而提高编码的总体质量,减少视频失真。
发明内容
本发明针对快速视频编码提出一种种快速视频编码中防帧内误差传递方法。
本发明采用以下技术方案:一种快速视频编码中防帧内误差传递方法,其特征在于:包括以下步骤:步骤S1:改变当前CU的参考模式的个数,记录不同参考模式下得到的预测分割模式;步骤S2:将各个预测分割模式和最佳分割模式进行比对,计算出不同参考模式下预测最佳模式的准确性,从而确定各个区域的不确定性;步骤S3:根据不同区域对编码质量的影响不同,计算得到各个区域的误差传递系数;步骤S4:开始CU编码时,提取当前CU的坐标信息,根据坐标判定所属的区域;步骤S5:基于原始视频帧给定的编码复杂度的基础上,结合误差传递系数,对原始CU分配的半径进行调整,实现不同区域的CU分配不同的复杂度,从而提高编码质量。
在本发明一实施例中,步骤S1包括以下步骤:步骤S11:在HEVC编码中,当前CU主要由其上方、左边,时域相同位置的CU预测而得,称这些位置的CU为参考模式,当某个CU的参考模式越多时,预测得到模式也越准确;步骤S12:对当前CU而言,定义一个完备的参考集合为:
S={MA,MB,MC},
其中MA,MB,MC分别代表当前CU的上边,左边和时域参考模式;步骤S13:通过改变当前CU参考模式的个数,以模拟CU所处区域的不同,并记录不同方案下得到的预测模式和标准模式间的距离。
进一步的,步骤S2中通过以下步骤确定各个区域的不确定性:通过集合S预测而得的最佳模式定义为Mx,预测模式与最佳模式间的不确定性d表示为:
d=||Mbest-Mx||,
其中,Mbest表示当前CU的最佳模式,集合S里的元素越多时,预测得到的Mx也越准确,d越小。
在本发明一实施例中,步骤S3中计算得到各个区域的误差传递系数包括以下步骤:不同区域具有不同的不确定性,对总体编码质量的影响也不同;定义各个区域的误差传递系数为:εi,i=1,2,3,其中,△Ctot为当前视频帧总体的RDcost,△Cself为当前区域的RDcost;Ntot为视频帧内CU的总个数,Nself为当前区域内视频帧的总个数;同时△Ctot=△Cself+△Cother.△Cother为其他区域的RDcost变化量;。
在本发明一实施例中,步骤S5中基于误差传递系数从而调整CU的计算复杂度分配包括以下步骤:步骤S51:在视频编码单个CU内所占用的编码时间tcu与原始搜索半径r0有以下关系:
tcu=β0r0,
其中,β0为CU内编码时间系数;未经误差传递调整前,单帧内所有CU的搜索半径r0都相同;
步骤S52:视频编码中单帧内总体的编码时间T表示为:
其中,ni单帧内CU的个数,i为CU编号下标;
步骤S53:假定经过误差传递调整后搜索半径为ri:
ri=wεi,
其中,w为调整系数,εi为误差传递系数;
步骤S54:此时单帧编码所占用的总体时间为Tep:
其中,βi不同的ri对CU编码时间的影响系数;
步骤S56:令误差传递调整后的时间Tep和原始的编码时间T相同,即可求得调整系数w为:
最后利用下式最终可确定经过误差传递调整的半径ri为:
本发明解决了快速编码中帧内误差传递的问题,达到了率失真优化的目的。
附图说明
图1为视频帧不同区域示意图。
图2为所提出的防误差传递算法的流程图。
具体实施方式
下面结合附图和具体实施例对本方面发明做进一步解释说明。
本发明提供一种快速视频编码中防帧内误差传递方法,其包括以下步骤:步骤S1:改变当前CU的参考模式的个数,记录不同参考模式下得到的预测分割模式;步骤S2:将各个预测分割模式和最佳分割模式进行比对,计算出不同参考模式下预测最佳模式的准确性,从而确定各个区域的不确定性;步骤S3:根据不同区域对编码质量的影响不同,计算得到各个区域的误差传递系数;步骤S4:开始CU编码时,提取当前CU的坐标信息,根据坐标判定所属的区域;步骤S5:基于原始视频帧给定的编码复杂度的基础上,结合误差传递系数,对原始CU分配的半径进行调整,实现不同区域的CU分配不同的复杂度,从而提高编码质量。
获取各个区域CU的不确定性原理及方法如下:
视频编码是指利用视频时域和空域的相关性,使用已编码的CU对当前CU进行预测编码。时空域参考CU的编码质量直接影响到当前CU的编码。当参考CU出现误差时,当前CU的编码质量也会随之下降,继而影响到视频帧总体的RD性能。为了理清参考CU对编码质量的影响,我们对视频帧内不同区域CU的不确定性问题进行研究。
在HEVC编码中,当前CU主要由其上方,左边,时域相同位置的CU预测而得,我们称这些位置的CU为参考模式。当某个CU的参考模式越多时,预测得到模式也越准确。例如,在视频帧相对中心部分的CU,他们具备有相对完备的参考模式,预测准确度高。而在视频帧的起始部分和边界部分,他们缺少某类参考模式(例如每帧的起始CU缺少上方和左边的参考模式,位于边界的CU缺少上方或左边的参考模式),因此由参考模式预测而来的模式准确度低。
对当前CU而言,我们定义一个完备的参考集合为
S={MA,MB,MC}, (1)
其中MA,MB,MC分别代表:当前CU的上边,左边和时域参考模式。根据视频帧内参考模式个数的不同,我们将视频帧划分为以下三个区域,如图1所示。
图1中,d1表示视频帧的起始CU,其预测集合S内只有时域参考一种模式;d2表示视频帧的边界位置CU,该CU缺省上方或左边参考模式;d3内表示帧内中心区域的CU,该位置的CU具备完整的预测集合。
通过集合S预测而得的最佳模式定义为Mx,预测模式与最佳模式间的不确定性d可表示为:
d=||Mbest-Mx||, (2)
其中,Mbest表示当前CU的最佳模式。集合S里的元素越多时,预测得到的Mx也越准确,d越小。
为了具体分体不同区域内不确定性的程度,我们设计了一个探究实验。在实验中改变当前CU参考模式的个数,以模拟CU所处区域的不同,并记录不同方案下得到的预测模式和标准模式间的距离。该实验基于HTM标准测试平台,并使用H.264多视点视频“ballroom”,“exit”,“race”,“vassar”,“ballet”,“break”作为测试视频。实验结果如表1所示。
表1不同区域的不确定性
d1 | d2 | d3 | |
不确定性 | 0.49968 | 0.403153 | 0.312864 |
结合图1和表1可知,在d1区域内,由于参考模式最小,其不确定性也是最大。而d3区域的CU具有完备的参考模式,其不确定性是最小,即能更加准确的最测到最佳模式。
在步骤S3中,根据CU的不确定性,计算各个区域CU的误差传递系数方法如下:
不同区域具有不同的不确定性,他们对总体编码质量的影响也不同。我们定义各个区域的误差传递系数为:εi,i=1,2,3。
其中,△Ctot为当前视频帧总体的RDcost,△Cself为当前区域的RDcost;Ntot为视频帧内CU的总个数,Nself为当前区域内视频帧的总个数。同时存在:
△Ctot=△Cself+△Cother. (4)
其中△Cother为其他区域的RDcost变化量;
为了确定误差传递系数的数值,我们设计了一个实验。首先,在实验中改变当前区域的编码参数,记录下当前区域的RDcost和总体的RDcost数据。其次,将所有的实验数据利用式(3)进行处理,结果如表2所示。
表2误差传递系数
d1 | d2 | d3 | |
误差传递系ε | 1.576202 | 0.041361 | 0 |
从表2可以看出,区域1的CU在编码时不确定性最大,其误差传递系数也是最大的。而区域3的CU不会对其他区域CU造成编码质量的影响,因此其误差传递系数为0。
步骤S5中,基于误差传递系数从而调整CU的计算复杂度分配方案如下:
在视频编码单个CU内所占用的编码时间tcu与原始搜索半径r0有以下关系:
tcu=β0r0, (5)
其中,β0为CU内编码时间系数。未经误差传递调整前,单帧内所有CU的搜索半径r0都相同。
视频编码中单帧内总体的编码时间T可表示为:
其中,ni单帧内CU的个数,i为CU编号下标。
假定经过误差传递调整后搜索半径为ri:
ri=wεi, (7)
其中,w为调整系数,εi为步骤三中误差传递系数。
此时单帧编码所占用的总体时间为Tep:
其中,βi不同的ri对CU编码时间的影响系数。
令误差传递调整后的时间Tep和原始的编码时间T相同,即可求得调整系数w为:
最后利用式(7),最终可确定经过误差传递调整的半径ri为:
对发明方法进行验证:
为了验证本发明算法的有效性,我们将防误差传递算法和多视点编码模式选择算法相结合,并应用于3D-HEVC标准测试软件HTM中。该测试采用CTC标准3D测试集,其中包括:”Newspaper”,”GhostTownFly”,”balloons”,”kendo”,”PoznanHall2”,”PoznanStreet”,”Shark”,”Undo_Dancer”这八个不同精度的标准测试视频。实验结果如表3所示。
表3实验结果
结果表明,在现有的模式选择算法的基础上,本发明提出的防误差传递算法能在基本不增加编码时间和计算复杂度的情况下,简单有效的提高编码质量,提升用户的观看体验。此外,本发明算法还可以和其他H.265/HEVC的优化算法相结合,如:率失真优化算法,码率控制算法和快速算法等,以达到更好的性能效果。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种快速视频编码中防帧内误差传递方法,其特征在于:包括以下步骤:
步骤S1:改变当前CU的参考模式的个数,记录不同参考模式下得到的预测分割模式;
步骤S2:将各个预测分割模式和最佳分割模式进行比对,计算出不同参考模式下预测最佳模式的准确性,从而确定各个区域的不确定性;
步骤S3:根据不同区域对编码质量的影响不同,计算得到各个区域的误差传递系数;
步骤S4:开始CU编码时,提取当前CU的坐标信息,根据坐标判定所属的区域;
步骤S5:基于原始视频帧给定的编码复杂度的基础上,结合误差传递系数,对原始CU分配的半径进行调整,实现不同区域的CU分配不同的复杂度,提高编码质量。
2.根据权利要求1所述的快速视频编码中防帧内误差传递方法,其特征在于:步骤S1包括以下步骤:
步骤S11:在HEVC编码中,当前CU主要由其上方、左边,时域相同位置的CU预测而得,称这些位置的CU为参考模式,当某个CU的参考模式越多时,预测得到模式也越准确;
步骤S12:对当前CU而言,定义一个完备的参考集合为:
S={MA,MB,MC},
其中MA,MB,MC分别代表当前CU的上边,左边和时域参考模式;
步骤S13:通过改变当前CU参考模式的个数,以模拟CU所处区域的不同,并记录不同方案下得到的预测模式和标准模式间的距离。
3.根据权利要求2所述的快速视频编码中防帧内误差传递方法,其特征在于:步骤S2中通过以下步骤确定各个区域的不确定性:
通过集合S预测而得的最佳模式定义为Mx,预测模式与最佳模式间的不确定性d表示为:
d=||Mbest-Mx||,
其中,Mbest表示当前CU的最佳模式,集合S里的元素越多时,预测得到的Mx也越准确,d越小。
4.根据权利要求1所述的快速视频编码中防帧内误差传递方法,其特征在于:步骤S3中计算得到各个区域的误差传递系数包括以下步骤:
不同区域具有不同的不确定性,对总体编码质量的影响也不同;定义各个区域的误差传递系数为:εi,i=1,2,3,其中,△Ctot为当前视频帧总体的RDcost,△Cself为当前区域的RDcost;△Cother为其他区域的RDcost变化量;Ntot为视频帧内CU的总个数,Nself为当前区域内视频帧的总个数;同时△Ctot=△Cself+△Cother。
5.根据权利要求1所述的快速视频编码中防帧内误差传递方法,其特征在于:步骤S5中基于误差传递系数从而调整CU的计算复杂度分配包括以下步骤:
步骤S51:在视频编码单个CU内所占用的编码时间tcu与原始搜索半径r0有以下关系:
tcu=β0r0,,
其中,β0为CU内编码时间系数;未经误差传递调整前,单帧内所有CU的搜索半径r0都相同;
步骤S52:视频编码中单帧内总体的编码时间T表示为:
<mrow>
<mi>T</mi>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<msub>
<mi>&beta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>r</mi>
<mn>0</mn>
</msub>
<mo>,</mo>
</mrow>
其中,ni单帧内CU的个数,i为CU编号下标;
步骤S53:假定经过误差传递调整后搜索半径为ri:
ri=wεi,
其中,w为调整系数,εi为误差传递系数;
步骤S54:此时单帧编码所占用的总体时间为Tep:
<mrow>
<msub>
<mi>T</mi>
<mrow>
<mi>e</mi>
<mi>p</mi>
</mrow>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>wr</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
</mrow>
其中,βi不同的ri对CU编码时间的影响系数;
步骤S56:令误差传递调整后的时间Tep和原始的编码时间T相同,即可求得调整系数w为:
<mrow>
<mi>w</mi>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>r</mi>
<mn>0</mn>
</msub>
</mrow>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<msub>
<mi>&beta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>&epsiv;</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
最后利用下式最终可确定经过误差传递调整的半径ri为:
<mrow>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>r</mi>
<mn>0</mn>
</msub>
</mrow>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<msub>
<mi>&beta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>&epsiv;</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mi>&epsiv;</mi>
<mi>i</mi>
</msub>
<mo>.</mo>
</mrow>
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710909152.7A CN107707913B (zh) | 2017-09-29 | 2017-09-29 | 快速视频编码中防帧内误差传递方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710909152.7A CN107707913B (zh) | 2017-09-29 | 2017-09-29 | 快速视频编码中防帧内误差传递方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107707913A true CN107707913A (zh) | 2018-02-16 |
CN107707913B CN107707913B (zh) | 2019-12-17 |
Family
ID=61175845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710909152.7A Active CN107707913B (zh) | 2017-09-29 | 2017-09-29 | 快速视频编码中防帧内误差传递方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107707913B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1913630A (zh) * | 2005-08-11 | 2007-02-14 | 深圳市凯达尔科技实业有限公司 | 基于漏预测技术的精细的可伸缩性视频编码方法 |
CN101043619A (zh) * | 2006-03-24 | 2007-09-26 | 华为技术有限公司 | 视频编码的误差控制系统和方法 |
CN101815218A (zh) * | 2010-04-02 | 2010-08-25 | 北京工业大学 | 基于宏块特征的快速运动估计视频编码方法 |
CN103188500A (zh) * | 2011-12-31 | 2013-07-03 | 中国科学院深圳先进技术研究院 | 多视点视频信号的编码方法 |
CN105051785A (zh) * | 2013-03-18 | 2015-11-11 | 快图有限公司 | 用于运动估算的方法和装置 |
US20170238022A1 (en) * | 2016-02-15 | 2017-08-17 | Nvidia Corporation | Quality aware error concealment method for video and game streaming and a viewing device employing the same |
-
2017
- 2017-09-29 CN CN201710909152.7A patent/CN107707913B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1913630A (zh) * | 2005-08-11 | 2007-02-14 | 深圳市凯达尔科技实业有限公司 | 基于漏预测技术的精细的可伸缩性视频编码方法 |
CN101043619A (zh) * | 2006-03-24 | 2007-09-26 | 华为技术有限公司 | 视频编码的误差控制系统和方法 |
CN101815218A (zh) * | 2010-04-02 | 2010-08-25 | 北京工业大学 | 基于宏块特征的快速运动估计视频编码方法 |
CN103188500A (zh) * | 2011-12-31 | 2013-07-03 | 中国科学院深圳先进技术研究院 | 多视点视频信号的编码方法 |
CN105051785A (zh) * | 2013-03-18 | 2015-11-11 | 快图有限公司 | 用于运动估算的方法和装置 |
US20170238022A1 (en) * | 2016-02-15 | 2017-08-17 | Nvidia Corporation | Quality aware error concealment method for video and game streaming and a viewing device employing the same |
Also Published As
Publication number | Publication date |
---|---|
CN107707913B (zh) | 2019-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107316066B (zh) | 基于多通路卷积神经网络的图像分类方法及系统 | |
CN105513064B (zh) | 一种基于图像分割和自适应权重的立体匹配方法 | |
CN107730151B (zh) | 一种基于概念性水文模型的流域设计洪水推求方法 | |
CN105657402B (zh) | 一种深度图恢复方法 | |
CN108182384A (zh) | 一种人脸特征点定位方法及装置 | |
CN107679477A (zh) | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 | |
CN102998973B (zh) | 一种非线性系统的多模型自适应控制器及控制方法 | |
CN107578430B (zh) | 一种基于自适应权值和局部熵的立体匹配方法 | |
CN107180426A (zh) | 基于可迁移的多模型集成的计算机辅助肺结节分类方法 | |
CN109583483A (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
CN102508907A (zh) | 一种基于训练集优化的推荐系统的动态推荐方法 | |
CN113822284A (zh) | 一种基于边界注意力的rgbd图像语义分割方法 | |
CN113673196A (zh) | 一种基于可布线性预测的全局布线优化方法 | |
CN110969606A (zh) | 一种纹理表面缺陷检测方法及系统 | |
CN110084222B (zh) | 一种基于多目标角点池化神经网络的车辆检测方法 | |
CN108734340A (zh) | 一种基于洪型概化的河道洪水预报方法 | |
CN109005398A (zh) | 一种基于卷积神经网络的立体图像视差匹配方法 | |
CN110245620A (zh) | 一种基于注意力的非最大化抑制方法 | |
CN108629809A (zh) | 一种精确高效的立体匹配方法 | |
CN105160653A (zh) | 一种用于雾天图像的质量评价方法 | |
CN109978858B (zh) | 一种基于前景检测的双框架缩略图像质量评价方法 | |
CN106776979A (zh) | 基于遥感的矢量电子地图质量提升自动化方法 | |
CN109993772B (zh) | 基于时空采样的实例级别特征聚合方法 | |
CN110598711B (zh) | 一种结合分类任务的目标分割方法 | |
CN107707913A (zh) | 快速视频编码中防帧内误差传递方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |