CN110662045B - 一种面向8k的avs2超高清视频编码码率控制方法 - Google Patents

一种面向8k的avs2超高清视频编码码率控制方法 Download PDF

Info

Publication number
CN110662045B
CN110662045B CN201910944715.5A CN201910944715A CN110662045B CN 110662045 B CN110662045 B CN 110662045B CN 201910944715 A CN201910944715 A CN 201910944715A CN 110662045 B CN110662045 B CN 110662045B
Authority
CN
China
Prior art keywords
frame
ith frame
buffer
executing
rate control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910944715.5A
Other languages
English (en)
Other versions
CN110662045A (zh
Inventor
廖义
李日
谢亚光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201910944715.5A priority Critical patent/CN110662045B/zh
Publication of CN110662045A publication Critical patent/CN110662045A/zh
Application granted granted Critical
Publication of CN110662045B publication Critical patent/CN110662045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种面向8K的AVS2超高清视频编码的码率控制方法。它具体包括如下步骤:(1)在帧层码率控制中,当编码第i帧前,根据视频目标码率C、第i帧在miniGOP中的权重和第i帧的SATD值D(i)求取量化步长q(i),并计算之后N帧的SATD值;(2)利用RQ模型计算出第i到i+N帧的预估比特数;(3)定义第i帧的缓冲区预测值F(i),判断F(i)是否小于0.5或者大于0.8,来确定最优量化步长;(4)开始编码第i帧中的第j个CU,判断第j个CU是否是当前帧中的最后一个CU,若是则更新缓冲区并执行步骤(1),若否则执行步骤(4)。本发明的有益效果是:能够使缓冲区得到及时更新,能够有效控制缓冲区,减少码率溢出,提升编码质量的稳定性。

Description

一种面向8K的AVS2超高清视频编码码率控制方法
技术领域
本发明涉及视频编码相关技术领域,尤其是指一种面向8K的AVS2超高清视频编码的码率控制方法。
背景技术
AVS2是我国第二代数字视频编码标准,它规定了适应多种比特率、分辨率和质量要求的高效视频压缩方法的解码过程,在相同的压缩效率下,其编码速度可以达到开源平台x265的8倍以上,非常适合于4K/8K超高清电视实时直播的应用。4K/8K视频的数据量大,对网络带宽的要求高,此外,4K/8K 的实时直播通常要求编码器的速度达到50帧/秒以上,如何在一定的网络带宽和速度要求下提升视频输出质量是视频编码技术发展的一个关键。
视频图像数据有极强的相关性,一帧图像内部有很多邻近像素的数据是相似或相同的,这就是空域冗余,而视频中邻近帧之间的数据也存在很多相似或重复,这就是时域冗余,编码压缩就是将数据中的这些冗余信息去掉,帧内编码技术可以去除空域冗余,而帧间编码技术则可以去除时域冗余。为了提升编码压缩效率,编码器将各输入帧分为I帧、B帧、P帧,其中I帧采用帧内编码方式,编码失真小但是消耗比特数多,P帧采用前向预测的帧间编码方式,所消耗的比特数略少,而B帧采用双向预测的帧间编码方式,所消耗的比特数最少。图1是AVS2中常用的分级B帧结构,它将1个P帧和 7个B帧组成1个miniGOP,并将7个B帧分为3个等级:B1级、B2级、 B3级。
码率(单位时间内的比特数)控制是视频编码的一个重要环节,它通过获取视频信源特性(如运动剧烈程度、图像纹理复杂度等)和可用网络带宽来计算视频中每一帧图像和该图像中的各个CU(Coding Unit,编码单元)应该分配的比特数,指导编码器对视频进行编码,使输出的码流符合信道的传输,同时使输出的视频质量尽可能好。由于视频信源每帧的复杂度(比特数)不相同,而网络带宽则是恒定的,因此码率控制中需要设置缓冲区,使编码出的码流以恒定的码率(单位时间内的比特数)发送到网络中。
AVS2码率控制算法基本可以分为三层:miniGOP层码率控制、帧层码率控制和CU(Coding Unit,编码单元)层码率控制。miniGOP层码率控制目的就是根据视频特性、视频目标码率、缓冲区饱和度计算各个miniGOP的目标码率;帧层码率控制将一个miniGOP的目标码率划分到miniGOP中的各个帧,根据各帧的复杂度、各帧的权重因子、缓冲区饱和度计算各帧的目标码率; CU层码率控制在帧级QP的基础上根据CU纹理复杂度计算量化参数供CU进行编码。在CU编码过程中,各个CU需要通过RDO(Rate distortion optimization,率失真优化)来获取最优编码模式,从而在比特数一定的条件下获得最小失真。在RDO结束后,需要进行熵编码输出码流同时获取CU所消耗的实际码率,该实际码率可以更新到缓冲区,方便后续帧的帧级码率控制。
视频信源中每帧的复杂度不相同,一旦发生场景切换则复杂度变化非常大,容易导致输出的码流不再以恒定的码率发送至网络,出现缓冲区溢出(缓冲区饱和度超过缓冲区最大值或者小于0),这对于码率控制算法的要求非常高。原始AVS2方法未能提前分析未来若干帧对缓冲区的占用情况,当视频内容由简单场景切换为复杂场景时,码率会突然增大造成缓冲区下溢,使输出断流。此外,原始方法为了提升编码速度,将RDO和熵编码置于两个不同的线程,熵编码进度远远滞后于RDO导致各CU熵编码计算出的比特数无法实时更新到缓冲区,进一步造成码率控制不准。
发明内容
本发明是为了克服现有技术中存在上述的不足,提供了一种有效控制缓冲区的面向8K的AVS2超高清视频编码的码率控制方法。
为了实现上述目的,本发明采用以下技术方案:
一种面向8K的AVS2超高清视频编码的码率控制方法,具体包括如下步骤:
(1)在帧层码率控制中,当编码第i帧前,根据视频目标码率C、第i 帧在miniGOP中的权重和第i帧的SATD值D(i)求取量化步长q(i),并计算第i+1、i+2、…、i+N帧的SATD值,分别标记为D(i+1)、D(i+2)、…、D(i+N),其中N为一常数;
(2)利用RQ模型计算出第i、i+1、i+2、…、i+N帧的预估比特数,分别标记为R(i)、R(i+1)、R(i+2)、….、R(i+N);
(3)定义第i帧的缓冲区饱和度预测值F(i),判断F(i)是否小于0.5,若是则令q(i)=q(i)*w,并重新执行步骤(2);否则判断F(i)是否大于0.8,若是则令q(i)=q(i)/w,并重新执行步骤(2);否则选择当前q(i)作为当前帧的最优量化步长,并执行步骤(4),w为常数;
(4)开始编码第i帧中的第j个CU,判断第j个CU是否是当前帧中的最后一个CU,若是则更新缓冲区并执行步骤(1),若否则执行步骤(4)。
本发明方法针对原有AVS2码率控制算法存在的弊端,做出了以下改进及创新:第一,在AVS2编码器中添加了缓冲区预测方式,利用RQ模型计算出后续若干帧的预估比特数,从而计算出这些帧对缓冲区的占用度,进一步计算出适合当前帧的帧级QP值,在场景切换时减少了缓冲区的溢出;第二,本发明方法在每个CU进行的RDO过程中预测当前CU熵编码所需消耗的比特数并在每行CU结束RDO时更新缓冲区的状态,而非等待CU熵编码完之后再更新缓冲区,因此本发明方法能够使缓冲区得到及时更新,能够有效控制缓冲区,减少码率溢出,提升编码质量的稳定性。
作为优选,在步骤(2)中,利用RQ模型计算预估比特数的计算公式如下:
Figure BDA0002223834970000041
其中:a、b和c分别为模型参数。
作为优选,在步骤(3)中,第i帧的缓冲区饱和度预测值F(i)的计算公式如下:
Figure BDA0002223834970000042
其中:F(i-1)为编码完第i-1帧的实际缓冲区饱和度,Fr为编码帧率,w的取值范围为(1,2)。
作为优选,在步骤(4)中,编码第i帧中的第j个CU的方法具体为:根据缓冲区饱和度计算第i帧中第j个CU的编码量化步长q(i,j),q(i,j)= q(i)*h(i,j),其中h(i,j)的计算为:
Figure BDA0002223834970000043
其中:BT(i,j-1)为第i帧中前j-1个CU熵编码所产生的比特数总和,Z为一帧中CU个数的总和,利用编码量化步长q(i,j)进行RDO,获取最优编码模式在RDO中计算出的比特数T(i,j),定义熵编码预测比特数A(i,j)=m*T(i,j)+n,并在每行CU结束RDO时将该行所有CU的熵编码预测比特数更新到缓冲区,其中m、n为模型参数。
本发明的有益效果是:能够使缓冲区得到及时更新,能够有效控制缓冲区,减少码率溢出,提升编码质量的稳定性。
附图说明
图1是本发明背景技术中的miniGOP中分级B帧结构图;
图2是Dancer序列的vbv波动图;
图3是Fountain-lady序列的vbv波动图;
图4是Leaves序列的vbv波动图;
图5是Bamboo序列的vbv波动图;
图6是Dancer序列的PSNR波动图;
图7是Fountain-lady序列的PSNR波动图;
图8是Leaves序列的PSNR波动图;
图9是Bamboo序列的PSNR波动图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
一种面向8K的AVS2超高清视频编码的码率控制方法,具体包括如下步骤:
(1)在帧层码率控制中,当编码第i帧前,根据视频目标码率C、第i 帧在miniGOP中的权重和第i帧的SATD值D(i)求取量化步长q(i),并计算第i+1、i+2、…、i+N帧的SATD值,分别标记为D(i+1)、D(i+2)、…、D(i+N),其中N为一常数;
(2)利用RQ模型计算出第i、i+1、i+2、…、i+N帧的预估比特数,分别标记为R(i)、R(i+1)、R(i+2)、….、R(i+N);利用RQ模型计算预估比特数的计算公式如下:
Figure BDA0002223834970000061
其中:a、b和c分别为模型参数;a、b、c是变化的,能够使RQ模型中的R 和Q的关系更为精确;
(3)定义第i帧的缓冲区饱和度预测值F(i),第i帧的缓冲区饱和度预测值F(i)的计算公式如下:
Figure BDA0002223834970000062
判断F(i)是否小于0.5,若是则令q(i)=q(i)*w,并重新执行步骤(2);否则判断F(i)是否大于0.8,若是则令q(i)=q(i)/w,并重新执行步骤(2);否则选择当前q(i)作为当前帧的最优量化步长,并执行步骤(4);其中:F(i-1)为编码完第i-1帧的实际缓冲区饱和度,Fr为编码帧率,w为常数,w的取值范围为 (1,2);
(4)开始编码第i帧中的第j个CU,编码第i帧中的第j个CU的方法具体为:根据缓冲区饱和度计算第i帧中第j个CU的编码量化步长q(i,j), q(i,j)=q(i)*h(i,j),其中h(i,j)的计算为:
Figure BDA0002223834970000071
其中:BT(i,j-1)为第i帧中前j-1个CU熵编码所产生的比特数总和,Z为一帧中CU个数的总和,利用编码量化步长q(i,j)进行RDO,获取最优编码模式在RDO中计算出的比特数T(i,j),定义熵编码预测比特数A(i,j)=m*T(i,j)+n,并在每行CU结束RDO时将该行所有CU的熵编码预测比特数更新到缓冲区,其中m、n为模型参数,m和n是线性回归的参数,是变化的;判断第j个 CU是否是当前帧中的最后一个CU,若是则更新缓冲区并执行步骤(1),若否则执行步骤(4)。
本发明方法针对原有AVS2码率控制算法存在的弊端,做出了以下改进及创新:第一,在AVS2编码器中添加了缓冲区预测方式,利用RQ模型计算出后续若干帧的预估比特数,从而计算出这些帧对缓冲区的占用度,进一步计算出适合当前帧的帧级QP值,在场景切换时减少了缓冲区的溢出;第二,本发明方法在每个CU进行的RDO过程中预测当前CU熵编码所需消耗的比特数并在每行CU结束RDO时更新缓冲区的状态,而非等待CU熵编码完之后再更新缓冲区,因此本发明方法能够使缓冲区得到及时更新,能够有效控制缓冲区,减少码率溢出,提升编码质量的稳定性。
如图2、图3、图4、图5所示,是测试4个视频序列的缓冲区波动图,横轴代表帧数,纵轴代表缓冲区饱和度,当缓冲区饱和度的波动幅值越小则说明码率控制更加稳定,缓冲区最大值设置为300ms。图中虚线代表原始 AVS2方法,而实线代表本发明方法,从这4个视频序列可以看出,本发明方法的缓冲区波动更加稳定,比原始方法减少了下溢的次数和程度。
如图6、图7、图8、图9所示,是4个视频序列的PSNR波动图,横轴代表帧数,纵轴代表PSNR,当PSNR的波动幅值越小则说明视频质量更加稳定。图中虚线代表原始AVS2方法,而实线代表本发明方法,从这4个视频序列可以看出,本发明方法的PSNR波动更小,因此视频质量更加稳定。

Claims (2)

1.一种面向8K的AVS2超高清视频编码的码率控制方法,其特征是,具体包括如下步骤:
(1)在帧层码率控制中,当编码第i帧前,根据视频目标码率C、第i帧在miniGOP中的权重和第i帧的SATD值D(i)求取量化步长q(i),并计算第i+1、i+2、…、i+N帧的SATD值,分别标记为D(i+1)、D(i+2)、…、D(i+N),其中N为一常数;
(2)利用RQ模型计算出第i、i+1、i+2、…、i+N帧的预估比特数,分别标记为R(i)、R(i+1)、R(i+2)、....、R(i+N);利用RQ模型计算预估比特数的计算公式如下:
Figure FDA0003203291630000011
其中:a、b和c分别为模型参数;
(3)定义第i帧的缓冲区饱和度预测值F(i),判断F(i)是否小于0.5,若是则令q(i)=q(i)*w,并重新执行步骤(2);否则判断F(i)是否大于0.8,若是则令q(i)=q(i)/w,并重新执行步骤(2);否则选择当前q(i)作为当前帧的最优量化步长,并执行步骤(4),w为常数;第i帧的缓冲区饱和度预测值F(i)的计算公式如下:
Figure FDA0003203291630000012
其中:F(i-1)为编码完第i-1帧的实际缓冲区饱和度,Fr为编码帧率,w的取值范围为(1,2);
(4)开始编码第i帧中的第j个CU,判断第j个CU是否是当前帧中的最后一个CU,若是则更新缓冲区并执行步骤(1),若否则执行步骤(4)。
2.根据权利要求1所述的一种面向8K的AVS2超高清视频编码的码率控制方法,其特征是,在步骤(4)中,编码第i帧中的第j个CU的方法具体为:根据缓冲区饱和度计算第i帧中第j个CU的编码量化步长q(i,j),q(i,j)=q(i)*h(i,j),其中h(i,j)的计算为:
Figure FDA0003203291630000021
其中:BT(i,j-1)为第i帧中前j-1个CU熵编码所产生的比特数总和,Z为一帧中CU个数的总和,利用编码量化步长q(i,j)进行RDO,获取最优编码模式在RDO中计算出的比特数T(i,j),定义熵编码预测比特数A(i,j)=m*T(i,j)+n,并在每行CU结束RDO时将该行所有CU的熵编码预测比特数更新到缓冲区,其中m、n为模型参数。
CN201910944715.5A 2019-09-30 2019-09-30 一种面向8k的avs2超高清视频编码码率控制方法 Active CN110662045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910944715.5A CN110662045B (zh) 2019-09-30 2019-09-30 一种面向8k的avs2超高清视频编码码率控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910944715.5A CN110662045B (zh) 2019-09-30 2019-09-30 一种面向8k的avs2超高清视频编码码率控制方法

Publications (2)

Publication Number Publication Date
CN110662045A CN110662045A (zh) 2020-01-07
CN110662045B true CN110662045B (zh) 2021-10-15

Family

ID=69038435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910944715.5A Active CN110662045B (zh) 2019-09-30 2019-09-30 一种面向8k的avs2超高清视频编码码率控制方法

Country Status (1)

Country Link
CN (1) CN110662045B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2373028A1 (en) * 2010-03-31 2011-10-05 British Telecommunications public limited company Video coding estimation
CN102447903A (zh) * 2010-10-13 2012-05-09 美信集成产品公司 基于边缘强度的i帧大小估计
CN102724507A (zh) * 2012-06-18 2012-10-10 上海交通大学 一种gpu加速编码器码率控制方法
CN102932641A (zh) * 2012-11-13 2013-02-13 北京大学 一种恒定质量码率控制方法
CN103533365A (zh) * 2012-07-04 2014-01-22 珠海扬智电子科技有限公司 比特率控制方法与比特率控制系统
CN104717500A (zh) * 2013-12-12 2015-06-17 中国电信股份有限公司 一种视频编码码率控制方法和系统
CN106612434A (zh) * 2015-10-22 2017-05-03 北京博雅华录视听技术研究院有限公司 一种基于视频复杂度的统计复用方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644383B2 (en) * 2011-03-10 2014-02-04 Microsoft Corporation Mean absolute difference prediction for video encoding rate control

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2373028A1 (en) * 2010-03-31 2011-10-05 British Telecommunications public limited company Video coding estimation
CN102447903A (zh) * 2010-10-13 2012-05-09 美信集成产品公司 基于边缘强度的i帧大小估计
CN102724507A (zh) * 2012-06-18 2012-10-10 上海交通大学 一种gpu加速编码器码率控制方法
CN103533365A (zh) * 2012-07-04 2014-01-22 珠海扬智电子科技有限公司 比特率控制方法与比特率控制系统
CN102932641A (zh) * 2012-11-13 2013-02-13 北京大学 一种恒定质量码率控制方法
CN104717500A (zh) * 2013-12-12 2015-06-17 中国电信股份有限公司 一种视频编码码率控制方法和系统
CN106612434A (zh) * 2015-10-22 2017-05-03 北京博雅华录视听技术研究院有限公司 一种基于视频复杂度的统计复用方法

Also Published As

Publication number Publication date
CN110662045A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN106791848B (zh) 一种基于HEVC的Two-Pass码率控制方法
CN105681793B (zh) 基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法
CN104219522B (zh) 一种视频图像编码中的码率控制方法及装置
CN111741300B (zh) 一种视频处理方法
CN103533359A (zh) 一种h.264码率控制方法
KR20000068362A (ko) 화상 부호화 제어장치와 방법, 부호화 시스템, 전송 시스템 및방송 시스템
CN106937112A (zh) 基于h.264视频压缩标准的码率控制方法
KR101959490B1 (ko) 비디오 비트율 제어 방법 및 그 장치
CN104754335B (zh) 一种视频编码码率控制方法
WO2002096120A1 (en) Bit rate control for video compression
CN106888379A (zh) 应用于h.264到hevc的帧间快速视频转码方法
CN106412611A (zh) 一种高效视频编码的复杂度控制方法
CN102752598A (zh) 快速自适应码率控制方法
CN100448295C (zh) 一种低复杂度的积分码率控制方法
CN100574442C (zh) 基于图像直方图的码率控制方法
CN105187832B (zh) 基于2.5g无线网络移动视频码率控制方法
CN108322740B (zh) 一种编码复杂度可控的编码方法
CN110662045B (zh) 一种面向8k的avs2超高清视频编码码率控制方法
CN101605250A (zh) 码率控制中确定初始量化步长的方法
CN102724507B (zh) 一种gpu加速编码器码率控制方法
CN110971900A (zh) 一种适用于4k、8k超高清运动平缓视频的码率控制方法
JPH09294267A (ja) 画像圧縮符号化装置
CN109618156A (zh) 一种视频编码码率调整方法
CN110572661B (zh) 一种面向4k/8k超高清视频编码的低延时码率控制方法
CN110677664B (zh) 一种面向4k/8k超高清视频编码的低抖动码率控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant