CN104539967A - 混合视频编码标准中帧间预测方法 - Google Patents
混合视频编码标准中帧间预测方法 Download PDFInfo
- Publication number
- CN104539967A CN104539967A CN201510020490.6A CN201510020490A CN104539967A CN 104539967 A CN104539967 A CN 104539967A CN 201510020490 A CN201510020490 A CN 201510020490A CN 104539967 A CN104539967 A CN 104539967A
- Authority
- CN
- China
- Prior art keywords
- current block
- prediction
- inter
- frame
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
混合视频编码标准中帧间预测方法，属于视频编码领域。为了解决如何在现有加权预测方案中增强鲁棒性的问题。一种混合视频编码标准中帧间预测方法，通过以下步骤实现：选定当前块，获取当前块的时域对应块作为当前块的预测块，选取当前块的空域邻近像素和时域对应块的空域邻近像素利用线性加权预测模型：y＝ax+b，求出当前块的加权预测参数：加权因子a和附加的偏移b；式中，y表示当前块的空域邻近像素，x表示时域对应块的空域邻近像素；根据求出的加权因子a和附加的偏移b，利用步骤一的线性加权预测模型对预测块中的预测像素值进行处理，使处理后预测块与当前块接近；利用获得的处理后的预测块进行帧间预测。
Description
技术领域
本发明涉及一种混合视频编码标准中帧间预测方法。
背景技术
随着人们对视频显示质量要求的提高，高清和超高清视频等新视频应用形式应运而生。在这种高分辨率高质量视频欣赏应用越来越广泛的情况下，如何增强视频压缩效率变得至关重要。
图像与视频在数字化过程中，产生了大量的数据冗余，这使得视频压缩技术成为了可能。一般而言，冗余类型至少包括空间冗余、时间冗余、信息熵冗余。对于时间冗余的消除，一般采用基于预测的方法，即帧间预测编码。其基本思想是从已编码的相邻帧中找到当前块最匹配的块，只需将残差和与运动矢量传给解码端即可，有效的降低了视频编码中的时域冗余。
然而对于包含有亮度变化的序列，普通的帧间预测技术尤其是单向预测技术不能进行有效地帧间预测，使得编码效率受到限制。
为了改善帧间预测性能，H.264/MPEG4AVC和HEVC编码标准集成了加权预测工具。此标准中集成了两种加权预测模式：主要改善双向预测性能的隐式模式和主要补偿亮度的渐变效应的显式模式。对于显式模式，编码端会根据当前帧和参考帧对每一个参考帧计算加权预测参数，即加权因子和偏移。然后根据使用加权预测和未使用加权预测的参考帧相对于当前帧的失真判定当前帧是否使用加权预测。对于判定要使用加权预测的帧，会在帧头传输加权预测参数以便在解码端使用。隐式模式则不会传输加权预测参数，而是根据当前帧和每一个参考帧的时域距离在编解码端计算得到。
对于有全局均匀亮度变化的序列，当前帧从同一个参考帧进行预测时，使用一组加权预测参数就能够进行有效地帧间预测。然而对于有局部亮度变化的序列，这种方案将不再有效。为此，局部加权预测应运而生，正如N.M.M.Rodrigues,V.M.M.Silva and S.M.M.Faria,“Hierarchical motion compensation with spatial and luminance transformations”,ICIP,pp.518-521,Oct.2001即“对每一个块都要编码和传输加权预测参数，考虑到编码这些参数的负担，该方案可能不会导致显著的性能提高”和“P.Yin,A.M.Tourapis,and J.Boyce,“Localized weighted prediction forvideo coding,”in Proc.IEEE Int.Symp.Circuits and Systems,vol.5.May 2005,pp.4365–4368”即“使用当前块和其时域对应块的空域邻近块的均值差估计得到当前块和参考块的偏移来进行局部加权预测，并在帧头中引入一个标志位来避免由于错误的偏移估计引入性能下降。然而该方案只对有亮度变化的序列有性能提升”所提议的那样。
S.Jeong,and H.Park,“Offset Compensation Method for Skip Mode in Hybrid VideoCoding,”IEEE Trans.Circuits Syst.Video Technol.,vol.24,no.10,pp.1825-1831,Oct.2014提出应用于H.264平台上的一个带偏移量的skip模式。该技术根据当前块和其时域对应块的空域邻近块的均值差估计得到当前块和参考块的偏移量，并将skip模式直接替换为带偏移量的skip模式。然而该技术有效的前提是采用skip模式的块和其邻近块有很强的相关性，估计得到的偏移量准确性很高。
为此，提供一个更加鲁棒的加权预测方案来提升帧间预测性能变得尤为重要。
发明内容
本发明的目的是为了解决如何在现有的加权预测方案的中加强鲁棒性的问题，而提出一种混合视频编码标准中帧间预测方法。
步骤一：选定当前块，获取当前块的时域对应块作为当前块的预测块，选取当前块的空域邻近像素和时域对应块的空域邻近像素利用线性加权预测模型：y＝ax+b，求出当前块的加权预测参数：加权因子a和附加的偏移b；式中，y表示当前块的空域邻近像素，x表示时域对应块的空域邻近像素；
步骤二：根据步骤一求出的加权因子a和附加的偏移b，利用步骤一的线性加权预测模型对预测块中的预测像素值进行处理，使处理后预测块与当前块接近；
步骤三：利用步骤二获得的处理后的预测块进行帧间预测。
本发明的有益效果为：
本发明是通过建立加强鲁棒性能的加权预测方案，从而使帧间预测性能得到提升。
本发明提出的混合视频编码标准中帧间预测方法，不需要明确地编码和传输加权预测参数，而是基于线性加权预测模型和带约束的最小二乘法，利用当前块和其空域邻近块以及当前块的时域预测块和其空域邻近块的相关性，得到加强鲁棒性的参数估计方法，利用这种局部加权预测方法增强帧间预测性能，从而提高视频编码的编码效率。
附图说明
图1为本发明方法的流程框图；
图2为本发明实施例1通过当前块和当前考查的运动矢量mv定位得到当前块的时域对应块的示意图；图中，1为参考帧，2为当前帧，3为时域对应块，4为当前块，5为时域对应块的空域邻近像素，6为当前块的空域邻近像素。
具体实施方式
具体实施方式一：
本实施方式的混合视频编码标准中帧间预测方法，如图1所示，所述预测方法通过以下步骤实现：
步骤一：选定当前块，获取当前块的时域对应块作为当前块的预测块，选取当前块的空域邻近像素和时域对应块的空域邻近像素利用线性加权预测模型：y＝ax+b，求出当前块的加权预测参数：加权因子a和附加的偏移b；式中，y表示当前块的空域邻近像素，x表示时域对应块的空域邻近像素；
步骤二：根据步骤一求出的加权因子a和附加的偏移b，利用步骤一的线性加权预测模型对预测块中的预测像素值进行处理，使处理后预测块与当前块接近；
步骤三：利用步骤二获得的处理后的预测块进行帧间预测，以减少残差、提高编码效率。
根据率失真性能通过一个编码单元级别的标志位控制是否使用加权预测方法，或者可以在帧头中加一个标志位决定一帧是否需要增强帧间预测，如果需要，再进行相应的加权预测。
具体实施方式二：
与具体实施方式一不同的是，本实施方式的混合视频编码标准中帧间预测方法，步骤三中增强帧间预测，具体是对一帧中所有的帧间预测，或一帧中2Nx2N分割的帧间预测，或一帧中merge 2Nx2N和skip 2Nx2N的帧间预测；其中，所述帧的类型为P帧或B帧。
具体实施方式三：
与具体实施方式一不同的是，本实施方式的混合视频编码标准中帧间预测方法，步骤三中增强帧间预测，具体是对亮度分量预测，或亮度分量与色度分量的预测；其中，所述帧的类型为P帧或B帧。
具体实施方式四：
与具体实施方式一不同的是，本实施方式的混合视频编码标准中帧间预测方法，步骤一所述获取当前块的时域对应块的过程为，通过当前块和当前考查的运动矢量mv定位得到
具体实施方式五：
与具体实施方式一不同的是，本实施方式的混合视频编码标准中帧间预测方法，步骤一所述获取当前块的时域对应块的过程为，通过当前块的运动矢量mv预测定位得到；其中，所述运动矢量mv预测由当前块的空域邻近块的运动矢量mv和当前块的时域邻近块的运动矢量mv中的一项或两项同时获得。
具体实施方式六：
与具体实施方式一不同的是，本实施方式的混合视频编码标准中帧间预测方法，步骤一所述获取当前块的时域对应块的过程为，取当前块在时域参考帧中相同位置的块作为时域对应块。
具体实施方式七：
与具体实施方式一、二、三、四、五或六不同的是，本实施方式的混合视频编码标准中帧间预测方法，步骤一所述求取当前块的加权预测参数的过程为，利用所述线性加权预测模型由最小二乘法获得。
具体实施方式八：
与具体实施方式七不同的是，本实施方式的混合视频编码标准中帧间预测方法，步骤一所述求取当前块的加权预测参数的过程为，利用所述线性加权预测模型采用带约束的最小二乘法将误差函数一：最小化，以单独对加权因子a进行定值约束，使得加权因子a更接近于1，式中，N表示训练加权预测参数采用的空域邻近像素个数，xi表示时域对应块的第i个空域邻近像素，yi表示当前块的第i个空域邻近像素，i表示空域邻近像素的索引，λ1表示控制正则项(a-1)2在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数二：最小化，以单独对附加的偏移b进行定值约束，使得对附加的偏移b更接近于当前块空域邻近像素的均值与当前块时域对应块的空域邻近像素的均值的差，式中，表示当前块的空域邻近像素均值和时域对应块的空域邻近像素均值的差，λ2表示控制正则项在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数三：最小化，以同时对加权因子a和附加的偏移b进行定值约束，式中，λ1表示控制正则项(a-1)2在误差函数中比重的参数，λ2表示控制正则项在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数四：最小化，以单独对加权因子a进行不定值约束，使得加权因子a更接近于当前块邻近块(空域或时域)的加权因子a，式中，M表示不定值约束时采用的邻近块的个数，aj表示当前块邻近块的加权因子，λ3表示控制正则项在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数五：最小化，以单独对附加的偏移b进行不定值约束，使得附加的偏移b更接近于当前块邻近块(空域或时域)的附加的偏移b，式中，M表示不定值约束时采用的邻近块的个数，bj表示当前块邻近块的偏移，λ4表示控制正则项在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数六：最小化，以同时对加权因子a和附加的偏移b进行不定值约束；式中，λ3表示控制正则项在误差函数中比重的参数，λ4表示控制正则项在误差函数中比重的参数。
具体实施方式九：
与具体实施方式一、二、三、四、五、六或八不同的是，本实施方式的混合视频编码标准中帧间预测方法，步骤一所述选取当前块的空域邻近像素和其时域对应块的空域邻近像素具体为，分别选取与所述当前块的上面紧邻的n行像素和左边紧邻的n列像素、与所述当前块的时域对应块的上面紧邻的n行像素和左边紧邻的n列像素，其中，n为选取的像素行或像素列的总数，n≥1，且选取的像素行为连续n行或不连续的n行，选取的像素列为连续的n列或不连续的n列。
实施例1：
一种增强混合视频编码标准中P帧帧间预测性能的方法，具体预测方法的实施步骤如下：
步骤一：选定当前块，通过当前块和当前考查的运动矢量mv定位得到当前块的时域对应块作为当前块的预测块，分别选取当前块的时域预测块的上面紧邻第1行空域邻近像素和左边紧邻第1列空域邻近像素，利用线性加权预测模型：y＝ax+b，采用带约束的最小二乘法最小化误差函数：以单独对加权因子a进行定值约束，式中，N表示训练加权预测参数采用的空域邻近像素个数，xi表示时域对应块的第i个空域邻近像素，yi表示当前块的第i个空域邻近像素，i表示空域邻近像素的索引，λ表示控制正则项(a-1)2在误差函数中比重的参数求出当前块的加权预测参数：加权因子a和附加的偏移b；式中，y表示当前块的空域邻近像素，x表示时域对应块的空域邻近像素；
步骤二：根据步骤一求出的加权因子a和附加的偏移b，利用步骤一的线性加权预测模型对预测块中的预测像素值进行处理，使处理后预测块与当前块接近；
步骤三：利用步骤二获得的处理后的预测块增强P帧中2Nx2N分割的帧间预测(inter/merge/skip 2Nx2N模式)，亮度分量和色度分量预测都增强，以减少残差、提高编码效率。
该实施方式根据率失真性能通过一个编码单元级别的标志位控制是否使用加权预测方法。
实施例2：
一种增强混合视频编码标准中P帧帧间预测性能的方法，与实施例1不同的是步骤三中利用步骤二获得的处理后的预测块增强P帧中merge2Nx2N和skip 2Nx2N的帧间预测，亮度分量和色度分量预测都增强，以减少残差、提高编码效率。
当上述加权预测方法应用于其他帧间预测时，也同样支持。
由表1可知，与HM12.0(HEVC的测试模型)相比，实施例1平均减少1.9％的BD比特率。实施例2与HM12.0(HEVC的测试模型)相比，平均减少1.5％的BD比特率。且实施例2相对于例1以BD比特率损失0.4％的代价节省20％的编码时间。其中测试序列均为HEVC通测条件中定义的序列。HEVC通测条件参考F.Bossen,“Common testconditions and software reference configurations,”JCTVC-L1100,Geneva,Jan.2013。BD比特率表示在同样的客观质量下两种方法的码率节省情况，参考G.“Calculation of average PSNR differences between RD-Curves,”ITU-T SG16Q.6Document,VCEG-M33,Austin,US,April 2001。
表1.实施例1和实施例2相对于HM12.0的BD比特率性能
Claims (9)
1.一种混合视频编码标准中帧间预测方法，其特征在于：所述预测方法通过以下步骤实现：
步骤一：选定当前块，获取当前块的时域对应块作为当前块的预测块，选取当前块的空域邻近像素和时域对应块的空域邻近像素利用线性加权预测模型：y＝ax+b，求出当前块的加权预测参数：加权因子a和附加的偏移b；式中，y表示当前块的空域邻近像素，x表示时域对应块的空域邻近像素；
步骤二：根据步骤一求出的加权因子a和附加的偏移b，利用步骤一的线性加权预测模型对预测块中的预测像素值进行处理，使处理后预测块与当前块接近；
步骤三：利用步骤二获得的处理后的预测块进行帧间预测。
2.根据权利要求1所述混合视频编码标准中帧间预测方法，其特征在于：步骤三中帧间预测，具体是对一帧中所有的帧间预测，或一帧中2Nx2N分割的帧间预测，或一帧中merge 2Nx2N和skip 2Nx2N的帧间预测；其中，所述帧的类型为P帧或B帧。
3.根据权利要求1所述混合视频编码标准中帧间预测方法，其特征在于：步骤三中帧间预测，具体是对亮度分量预测，或亮度分量与色度分量的预测；其中，所述帧的类型为P帧或B帧。
4.根据权利要求1所述混合视频编码标准中帧间预测方法，其特征在于：步骤一所述获取当前块的时域对应块的过程为，通过当前块和当前考查的运动矢量mv定位得到。
5.根据权利要求1所述混合视频编码标准中帧间预测方法，其特征在于：步骤一所述获取当前块的时域对应块的过程为，通过当前块的运动矢量mv预测定位得到；其中，所述运动矢量mv预测由当前块的空域邻近块的运动矢量mv和当前块的时域邻近块的运动矢量mv中的一项或两项同时获得。
6.根据权利要求1所述混合视频编码标准中帧间预测方法，其特征在于：步骤一所述获取当前块的时域对应块的过程为，取当前块在时域参考帧中相同位置的块作为时域对应块。
7.根据权利要求1、2、3、4、5或6所述混合视频编码标准中帧间预测方法，其特征在于：步骤一所述求取当前块的加权预测参数的过程为，利用所述线性加权预测模型由最小二乘法获得。
8.根据权利要求7所述混合视频编码标准中帧间预测方法，其特征在于：步骤一所述求取当前块的加权预测参数的过程为，
采用带约束的最小二乘法将误差函数一：最小化，以单独对加权因子a进行定值约束，式中，N表示训练加权预测参数采用的空域邻近像素个数，xi表示时域对应块的第i个空域邻近像素，yi表示当前块的第i个空域邻近像素，i表示空域邻近像素的索引，λ1表示控制正则项(a-1)2在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数二：最小化，以单独对附加的偏移b进行定值约束，式中，表示当前块的空域邻近像素均值和时域对应块的空域邻近像素均值的差，λ2表示控制正则项在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数三：最小化，以同时对加权因子a和附加的偏移b进行定值约束，式中，λ1表示控制正则项(a-1)2在误差函数中比重的参数，λ2表示控制正则项在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数四：最小化，以单独对加权因子a进行不定值约束，式中，M表示不定值约束时采用的邻近块的个数，aj表示当前块邻近块的加权因子，λ3表示控制正则项在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数五：最小化，以单独对附加的偏移b进行不定值约束，式中，M表示不定值约束时采用的邻近块的个数，bj表示当前块邻近块的偏移，λ4表示控制正则项在误差函数中比重的参数；
或者利用所述线性加权预测模型采用带约束的最小二乘法将误差函数六：最小化，以同时对加权因子a和附加的偏移b进行不定值约束；式中，λ3表示控制正则项在误差函数中比重的参数，λ4表示控制正则项在误差函数中比重的参数。
9.根据权利要求1、2、3、4、5、6或8所述混合视频编码标准中帧间预测方法，其特征在于：步骤一所述选取当前块的空域邻近像素和其时域对应块的空域邻近像素具体为，分别选取与所述当前块的上面紧邻的n行像素和左边紧邻的n列像素、与所述当前块的时域对应块的上面紧邻的n行像素和左边紧邻的n列像素，其中，n为选取的像素行或像素列的总数，n≥1，且选取的像素行为连续n行或不连续的n行，选取的像素列为连续的n列或不连续的n列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510020490.6A CN104539967B (zh) | 2015-01-15 | 2015-01-15 | 混合视频编码标准中帧间预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510020490.6A CN104539967B (zh) | 2015-01-15 | 2015-01-15 | 混合视频编码标准中帧间预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104539967A true CN104539967A (zh) | 2015-04-22 |
| CN104539967B CN104539967B (zh) | 2017-07-28 |
Family
ID=52855413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510020490.6A Active CN104539967B (zh) | 2015-01-15 | 2015-01-15 | 混合视频编码标准中帧间预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104539967B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104935938A (zh) * | 2015-07-15 | 2015-09-23 | 哈尔滨工业大学 | 一种混合视频编码标准中帧间预测方法 |
| TWI797582B (zh) * | 2020-03-25 | 2023-04-01 | 大陸商杭州海康威視數字技術股份有限公司 | 一種編解碼方法、裝置及其設備 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783956A (zh) * | 2010-02-03 | 2010-07-21 | 武汉大学 | 基于时空邻居信息的后向预测方法 |
| CN102413326A (zh) * | 2010-09-26 | 2012-04-11 | 华为技术有限公司 | 视频编码、解码方法和装置 |
| US20130182971A1 (en) * | 2012-01-18 | 2013-07-18 | Dolby Laboratories Licensing Corporation | Spatiotemporal Metrics for Rate Distortion Optimization |
-
2015
- 2015-01-15 CN CN201510020490.6A patent/CN104539967B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783956A (zh) * | 2010-02-03 | 2010-07-21 | 武汉大学 | 基于时空邻居信息的后向预测方法 |
| CN102413326A (zh) * | 2010-09-26 | 2012-04-11 | 华为技术有限公司 | 视频编码、解码方法和装置 |
| US20130182971A1 (en) * | 2012-01-18 | 2013-07-18 | Dolby Laboratories Licensing Corporation | Spatiotemporal Metrics for Rate Distortion Optimization |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104935938A (zh) * | 2015-07-15 | 2015-09-23 | 哈尔滨工业大学 | 一种混合视频编码标准中帧间预测方法 |
| CN104935938B (zh) * | 2015-07-15 | 2018-03-30 | 哈尔滨工业大学 | 一种混合视频编码标准中帧间预测方法 |
| TWI797582B (zh) * | 2020-03-25 | 2023-04-01 | 大陸商杭州海康威視數字技術股份有限公司 | 一種編解碼方法、裝置及其設備 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104539967B (zh) | 2017-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104935938B (zh) | 一种混合视频编码标准中帧间预测方法 | |
| CN104023233B (zh) | 一种hevc快速帧间预测方法 | |
| CN102301716B (zh) | 解码代表画面序列的流的方法，编码画面序列的方法以及编码的数据结构 | |
| CN100551075C (zh) | 一种低复杂度的帧内预测模式选择方法 | |
| CN103188496B (zh) | 基于运动矢量分布预测的快速运动估计视频编码方法 | |
| CN102148989B (zh) | 一种h.264中全零块检测的方法 | |
| CN106412585A (zh) | 内部预测模式编码的方法 | |
| CN106507116B (zh) | 一种基于3d显著性信息和视点合成预测的3d-hevc编码方法 | |
| CN102752596B (zh) | 一种率失真优化方法 | |
| CN105120290B (zh) | 一种深度视频快速编码方法 | |
| CN111031319B (zh) | 一种局部光照补偿预测方法、终端设备及计算机存储介质 | |
| US10750200B2 (en) | Encoding method, decoding method, encoder, and decoder | |
| CN102025995A (zh) | 一种可伸缩视频编码的空间增强层快速模式选择方法 | |
| CN107888929A (zh) | 视频编码解码方法、设备以及生成和存储比特流的方法 | |
| CN110365982A (zh) | 一种多用途编码中帧内编码的多变换选择加速方法 | |
| CN105306957A (zh) | 自适应环路滤波方法和设备 | |
| CN101313581B (zh) | 视频图像编码方法及设备 | |
| CN104702959B (zh) | 一种视频编码的帧内预测方法及系统 | |
| CN104539970A (zh) | 一种3d-hevc帧间编码合并模式快速决策方法 | |
| CN102196253B (zh) | 一种帧类型自适应选择的视频编码方法及装置 | |
| CN101783956B (zh) | 基于时空邻居信息的后向预测方法 | |
| CN109688411B (zh) | 一种视频编码率失真代价估计方法和装置 | |
| CN104539967B (zh) | 混合视频编码标准中帧间预测方法 | |
| JP2015526004A (ja) | 空間予測方法及び空間予測装置 | |
| CN103051896B (zh) | 一种基于模式跳过的视频编码方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |