CN106791849A - 基于hevc帧内交错预测的降码率算法 - Google Patents

基于hevc帧内交错预测的降码率算法 Download PDF

Info

Publication number
CN106791849A
CN106791849A CN201710115601.0A CN201710115601A CN106791849A CN 106791849 A CN106791849 A CN 106791849A CN 201710115601 A CN201710115601 A CN 201710115601A CN 106791849 A CN106791849 A CN 106791849A
Authority
CN
China
Prior art keywords
prediction
hevc
sampling
depth
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710115601.0A
Other languages
English (en)
Other versions
CN106791849B (zh
Inventor
何小海
鄢小慧
滕奇志
卿粼波
吴小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201710115601.0A priority Critical patent/CN106791849B/zh
Publication of CN106791849A publication Critical patent/CN106791849A/zh
Application granted granted Critical
Publication of CN106791849B publication Critical patent/CN106791849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

虽然最新一代视频编码标准HEVC相比H.264/AVC降低了一半的码率,但是HEVC依然有进一步压缩码率的可能,本文针对HEVC帧内编码提出了一种交错预测降码率的算法。本文算法实现的主要思想是,在HEVC帧内预测CU的划分过程中,对CU的四分之一采样点进行预测,变换,量化和重建,用重建的点作为参考样点对其它四分之三的点进行预测。由于减小了预测距离,预测的准确率提高,从而减小了残差,降低了码率。实验结果显示,本文提出的算法与标准的HEVC相比,在低码率段平均提高了26.97%的编码效率,而仅增加了10.17%的编码时间。

Description

基于HEVC帧内交错预测的降码率算法
技术领域
本发明涉及图像通信领域中的视频编码,最主要的是降低码率技术问题,涉及新一代高清视频编码标准HEVC的帧内降低码率算法。
背景技术
随着日常生活中多媒体视频变得越来越高清,视频编码标准也在不断提升,由现在主流的H.264/AVC到目前最新一代视频编码标准HEVC,实现了更高的编码效率和更好的视频质量。在相同的视频质量下,HEVC相比H.264提升了50%的编码效率。HEVC支持更高的视频分辨率,使我们能观看到更高质量的3D蓝光,4K电视和高清电视。
虽然HEVC相比H.264降低了50%的码率,但高清视频就意味着高码率的数据量,进一步降低码率依然是我们研究的主要方向。在HEVC视频编码过程中,帧内预测相比帧间预测需要更高的码率,因此本发明主要研究了帧内预测降低码率的问题。
在HEVC帧内预测过程中,有33种角度预测,及平面预测和直流预测,共35种预测模式。参考样本像素由邻域已重建样本产生,重建样本包括左边,左下,左上,上边,右上块。编码单元CU通过预测单元PU来预测,PU的大小从4×4到64×64。参考样本通过35种预测模式算出PU预测值,因而我们改善参考样本的值有助于提高预测值的准确性,从而减小残差值,提高编码效率。
目前已有一些论文对降低码率做了相关的工作。Li Song等针对H.264提出了一种基于像素空间交错采样的帧内无损编码算法,通过对邻域重建像素值的交错下采,降低了4.13%的码率。S.Kanimozhi等对H.264追加了三种预测模式,分别是垂直,水平和均值模式,降低了约4%的码率。W.Shi等在HEVC上追加了3种编码模式,分别是垂直,水平和对角模式,平均降低了约8%的码率。W.Shi等在之前的基础上,追加了2种模式,分别是简化均值模式和均值模式,平均降低了18.43%的码率,同时增加了8.37%的编码时间。本发明在W.Shi等的基础上,改变了预测方式和步骤,平均降低了约26.97%的编码效率,而仅增加了10.17%的编码时间。
发明内容
针对新一代视频压缩编码标准HEVC码率依旧较高,可以进一步研究降低码率的问题,本发明提出了一种基于HEVC帧内交错预测的降码率算法,该算法通过增加几种帧内预测模式,提高了预测的准确性,从而减小残差,在低码率端有效地降低了码率。
本发明的基本思想是利用I帧相邻点之间的空域相关性,我们知道标准HEVC是用当前PU周边的点作为参考样本来预测,而本发明还利用了当前PU内部的点作为参考样本来预测,减小了参考样本和预测点之间的距离,从而提高了预测的准确性。
本发明提供的基于HEVC帧内交错预测的降码率算法,该算法主要包括下采样得到参考样点,追加5种PU预测模式,及最近邻像素填充边界。在下采样得到参考样点中,我们对当前PU进行四分之一交错下采,并求出下采的四分之一样点重建后的值。在追加5种PU预测模式中,我们用得到的四分之一样点重建后的值对其它四分之三样点进行预测。在最近邻像素填充边界中,我们对不存在的样点值用其邻近存在的点对该样点赋值。具体主要包括以下过程步骤:
(1)对CU深度进行判断,只做深度层0,1,2,不做深度层3。
(2)在亮度预测部分,在最佳模式选择RMD过程中,对CU进行交错下采样。
(3)只进行当前深度预测,跳过全深度PU划分,跳过色度预测。
(4)计算各深度的Rd cost,求出PU的最佳划分,得到重建值。
(5)对CU的重建值进行交错下采样,得到参考样点D1值。
(6)将CU块大小重置为64×64,再做一次PU预测过程。
(7)PU宽度大于4时,进行19种原HEVC帧内模式和5种追加模式预测。
(8)只进行当前深度预测,跳过全深度PU划分。
(9)PU宽度等于4时,进行标准的HEVC编码。
(10)比较Rd cost,决定最优划分。
(11)结束。
在本发明的上述技术方案中,在步骤(1)中,对CU深度进行判断,如果CU深度小于3则进行本发明的亮度预测,如果深度大于3则跳过亮度预测。
在本发明的上述技术方案中,在做完步骤(2)的亮度预测过程后,跳过色度预测。
在本发明的上述技术方案中,在步骤(7)中,HEVC标准35种预测模式只选择其中的19种(分别是模式0,1,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34)。
在本发明的上述技术方案中,追加的5种模式是利用下采的参考样点来预测。
在本发明的上述技术方案中,追加的5种模式分别为简化均值模式,均值模式,水平模式,垂直模式和对角模式。其公式为
在简化均值模式中,
D4[i][j]=(D1[i][j]+D1[i+1][j]+D1[i][j+1]+D1[i+1][j+1])>>2; (1)
D3[i][j]=(D1[i][j]+D1[i][j+1]+D4[i][j]+D4[i-1][j])>>2; (2)
D2[i][j]=(D1[i][j]+D1[i+1][j]+D4[i][j]+D4[i][j-1]+D3[i][j]+D3[i+1][j]+D3[i][j-1]+
D3[i+1][j-1])>>3; (3)
在均值模式中,
D4[i][j]=((-4)*D1[i-1][j-1]+36*D1[i][j]+36*D1[i+1][j+1]+(-4)*D1[i+2][j+2]-4*D1
[i+2][j-1]+36*D1[i+1][j]+36*D1[i][j+1]-4*D1[i-1][j+2])>>7; (4)
D3[i][j]=((-4)*D1[i][j-1]+36*D1[i][j]+36*D1[i][j+1]-4*D1[i][j+2]-4*D1[i-2][j]+
36*D1[i-1][j]+36*D1[i][j]-4*D1[i+1][j])>>7; (5)
D2[i][j]=((-4)*D3[i-1][j+1]+36*D3[i][j]+36*D3[i+1][j-1]-4*D3[i+2][j-2]-4*D3[i-1][j-2]
+36*D3[i][j-1]+36*D3[i+1][j]-4*D3[i+2][j+1]-4*D4[i][j-2]+36*D4[i][j-1]+
36*D4[i][j]-4*D4[i][j+1]-4*D4[i-1][j]+36*D4[i][j]+36*D4[i+1][j]-4*D4
[i+2][j])>>8; (6)
在水平模式中,
D2[i][j]=((-4)*D1[i-1][j]+36*D1[i][j]+36*D1[i+1][j]-4*D1[i+2][j])>>6; (7)
D4[i][j]=((-4)*D1[i-1][j-1]+36*D1[i][j]+36*D1[i+1][j+1]+36*D1[i][j+1]-4*D1[i-1][j+2]
-4*D1[i+2][j+2]-4*D1[i+2][j-1]+36*D1[i+1][j])>>7; (8)
D3[i][j]=((-4)*D4[i-2][j]+36*D4[i-1][j]+36*D4[i][j]-4*D4[i+1][j])>>6; (9)
在垂直模式中,
D3[i][j]=((-4)*D1[i][j-1]+36*D1[i][j]+36*D1[i][j+1]-4*D1[i][j+2])>>6; (10)
D4[i][j]=((-4)*D1[i-1][j-1]+36*D1[i][j]+36*D1[i+1][j+1]-4*D1[i+2][j+2]-4*D1
[i+2][j-1]+36*D1[i+1][j]+36*D1[i][j+1]-4*D1[i-1][j+2])>>7; (11)
D2[i][j]=((-4)*D4[i][j-2]+36*D4[i][j-1]+36*D4[i][j]-4*D4[i][j+1])>>6;(12)
在对角模式中,
D4[i][j]=((-4)*D1[i-1][j-1]+36*D1[i][j]+36*D1[i+1][j+1]-4*D1[i+2][j+2]-4*D1
[i+2][j-1]+36*D1[i+1][j]+36*D1[i][j+1]-4*D1[i-1][j+2])>>7; (13)
D3[i][j]=((-4)*D1[i][j-1]+36*D1[i][j]+36*D1[i][j+1]-4*D1[i][j+2]-4*D4[i-2][j]+
36*D4[i-1][j]+36*D4[i][j]-4*D4[i+1][j])>>7; (14)
D2[i][j]=((-4)*D3[i-1][j+1]+36*D3[i][j]+36*D3[i+1][j-1]-4*D3[i+2][j-2])>>6; (15)
在上述(1)-(15)的公式中,D1为四分之一下采样的参考样点,D2,D3,D4为其它四分之三的下采样点。
在本发明的上述技术方案中,最邻近像素填充边界为,对于不存在的样点值用其邻近存在的点对该样点赋值,可以用右边的点对左边的点赋值,下边的点对上边的点赋值。
根据本发明的上述方法可以编制执行上述基于HEVC帧内交错预测的降码率算法的HEVC视频编码器。
与标准的HEVC视频编码方法相比,本发明针对HEVC的帧内编码提出的交错预测算法,能有效降低码率。该算法在HEVC帧内预测CU的划分过程中,对CU进行四分之一交错采样,然后用重建的采样点作为参考样点对其它四分之三的点进行预测。本发明提出的方法减小了预测距离,提高了预测的准确率,随之减小了残差,降低了码率,减小了算法的复杂度。
附图说明
图1为本发明的基于HEVC帧内交错预测的降码率算法的流程图。
图2为本发明交错下采样图示,左边的8×8大小的CU块,经过交错下采后得到4个子CU块,分别是D1,D2,D3,D4块。
图3为本发明方法参考样点的变化,左边是标准HEVC的PU参考样本图示,右边是本发明的PU参考样本图示。从图中可以看出,本发明增加了当前PU邻域的点作为参考样本。
图4为本发明最邻近像素填充图,当我们有A-G像素的值,但是没有1-16像素的值,就可以用A-G像素的值赋值1-16像素点。水平方向上,P1=A,P9=P1,P2=B,P10=P2,这样我们可以依次得到1-4,9-12点的值。同理,垂直方向上,P5=A,P13=P5,P6=E,P14=P6,这样我们可以依次得到5-8,13-16点的值。
图5~图8为本发明方法与标准HM16.0对比的率失真曲线图,其中带圆圈的线表示本发明的效果,带三角形的线表示标准HM16.0的效果。其中,图5为NebutaFestival(2560×1600)的率失真曲线图,图6为PeopleOnStreet(2560×1600)的率失真曲线图,图7为ParkScene(1920×1080)的率失真曲线图,图8为Cactus(1920×1080)的率失真曲线图。
具体实施方式
下面结合实施例对本发明作进一步的详细说明,有必要指出的是,以下的实施例只用于对本发明做进一步的说明,不能理解为对本发明保护范围的限制,所属领域技术熟悉人员根据上述发明内容,对本发明做出一些非本质的改进和调整进行具体实施,应仍属于本发明的保护范围。
本发明所提出的基于HEVC帧内交错预测的降码率算法,与HEVC标准参考代码HM16.0的帧内编码方法比较过程如下:
1、打开标准HM16.0参考代码,配置文件为encoder_intra_main.cfg。量化QP为22,27,32,37。实验结果取4个QP的平均值。
2、这里我们定义变量Δbitrate,ΔPSNR,Δtime,其中Δbitrate表示改进算法的比特率变化,比特率表示压缩率,ΔPSNR是指改进算法PSNR的变化,Δtime表示改进算法的算法复杂度的变化。计算公式分别如下所示。
Δbitrate=(bitrate(改进)-bitrate(标准))/bitrate(标准)×100% (16)
ΔPSNR=PSNR(改进)-PSNR(标准) (17)
Δtime=(time(改进)-time(标准))/time(标准)×100% (18)
3、编码的对象为标准的HEVC测试视频,它们的名称、分辨率分别为:NebutaFestival(2560×1600)、PeopleOnStreet(2560×1600)、Cactus(1920×1080)、ParkScene(1920×1080)、FourPeople(1280×720)、Johnny(1280×720)、BasketballDrill(832×480)、Keiba(832×480)、Flowervase(416×240)、BlowingBubbles(416×240)。
4、输入2个相同的视频序列;
5、分别对2个相同的视频序列进行视频编码;
6、利用HM16.0标准方法对视频序列在HEVC方式下进行视频编码;
7、利用本发明方法对视频序列在HEVC方式下进行视频编码;
8、结果如表1所示,分别对分辨率从2560×1600大小到416×240大小的共10个视频序列进行实验,来比较HM16.0标准算法和改进的算法的相关参数。我们分别分析了(16)、(17)、(18)公式的参数,结果显示改进算法平均能降低26.97%的比特率,而仅降低了0.526的PSNR值和增加了10.17%的编码时间。
9、从表1可以看出,我们的改进算法对大部分序列效果都较好,总的来说,高分辨率的序列效果要比低分辨率好一些。而最好的序列ParkScene可以看到已经达到48%的比特率节省,NebutaFestival序列也达到了34%的比特率下降。
表1本发明方法与标准HM16.0对比的实验结果

Claims (8)

1.一种基于HEVC帧内交错预测的降码率算法,主要是针对HEVC视频编码标准中降低码率部分做了改进。其主要特征在于包括以下过程步骤:
(1)对CU深度进行判断,只做深度层0,1,2,不做深度层3。
(2)在亮度预测部分,在最佳模式选择RMD过程中,对CU进行交错下采样。
(3)只进行当前PU深度预测,跳过全深度PU划分,跳过色度预测。
(4)计算各深度的Rd cost,求出PU的最佳划分,得到重建值。
(5)对CU的重建值进行交错下采样,得到参考样点D1值。
(6)将CU块大小重置为64×64,再做一次PU预测过程。
(7)PU宽度大于4时,进行19种原HEVC帧内模式和5种追加模式预测。
(8)只进行当前深度预测,跳过全深度PU划分。
(9)PU宽度等于4时,进行标准的HEVC编码。
(10)比较Rd cost,决定最优划分。
(11)结束。
2.如权利要求1所述的基于HEVC帧内交错预测的降码率算法,其特征在于对CU深度进行判断时,如果CU深度小于3则进行本发明的亮度预测,如果深度大于3则跳过亮度预测。
3.如权利要求2所述的基于HEVC帧内交错预测的降码率算法,其特征在于对CU的重建值下采样得到参考样点过程中,在最佳模式选择RMD过程中,对CU进行交错下采样,在当前PU深度预测部分,对CU不进行下采样。
4.如权利要求3所述的基于HEVC帧内交错预测的降码率算法,其特征在于对CU的重建值下采样得到参考样点过程后,跳过色度预测。
5.如权利要求4所述的基于HEVC帧内交错预测的降码率算法,其特征在于追加5种PU预测模式过程中,当PU宽度等于4时,进行标准的HEVC编码。
6.如权利要求5所述的基于HEVC帧内交错预测的降码率算法,其特征在于D1为四分之一下采样的参考样点,D2,D3,D4为其它四分之三的下采样点。
7.如权利要求6所述的基于HEVC帧内交错预测的降码率算法,其特征在于最邻近像素填充边界为,对于不存在的样点值用其邻近存在的点对该样点赋值,可以用右边的点对左边的点赋值,下边的点对上边的点赋值。
8.一种用于执行权利要求1~7之一所述基于HEVC帧内交错预测的降码率算法的HEVC视频编码器。
CN201710115601.0A 2017-03-01 2017-03-01 基于hevc帧内交错预测的降码率算法 Active CN106791849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710115601.0A CN106791849B (zh) 2017-03-01 2017-03-01 基于hevc帧内交错预测的降码率算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710115601.0A CN106791849B (zh) 2017-03-01 2017-03-01 基于hevc帧内交错预测的降码率算法

Publications (2)

Publication Number Publication Date
CN106791849A true CN106791849A (zh) 2017-05-31
CN106791849B CN106791849B (zh) 2019-08-13

Family

ID=58960279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710115601.0A Active CN106791849B (zh) 2017-03-01 2017-03-01 基于hevc帧内交错预测的降码率算法

Country Status (1)

Country Link
CN (1) CN106791849B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111386707A (zh) * 2017-11-22 2020-07-07 韩国电子通信研究院 图像编码/解码方法和设备以及用于存储比特流的记录介质
CN111510723A (zh) * 2019-01-30 2020-08-07 奇景光电股份有限公司 时序控制器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140010305A1 (en) * 2012-07-03 2014-01-09 Samsung Electronics Co., Ltd. Method of multi-view video sequence coding/decoding based on adaptive local correction of illumination of reference frames without transmission of additional parameters (variants)
CN103621095A (zh) * 2011-06-13 2014-03-05 高通股份有限公司 用于视频译码中的帧内预测的边界像素填补
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
CN105100809A (zh) * 2011-06-28 2015-11-25 三星电子株式会社 用于使用帧内预测进行图像编码和解码的方法和设备
CN105681797A (zh) * 2016-01-12 2016-06-15 四川大学 一种基于预测残差的dvc-hevc视频转码方法
CN105847843A (zh) * 2015-02-02 2016-08-10 联发科技股份有限公司 具有新颖的帧内预测解码多标准视频译码器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103621095A (zh) * 2011-06-13 2014-03-05 高通股份有限公司 用于视频译码中的帧内预测的边界像素填补
CN105100809A (zh) * 2011-06-28 2015-11-25 三星电子株式会社 用于使用帧内预测进行图像编码和解码的方法和设备
US20140010305A1 (en) * 2012-07-03 2014-01-09 Samsung Electronics Co., Ltd. Method of multi-view video sequence coding/decoding based on adaptive local correction of illumination of reference frames without transmission of additional parameters (variants)
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
CN105847843A (zh) * 2015-02-02 2016-08-10 联发科技股份有限公司 具有新颖的帧内预测解码多标准视频译码器
CN105681797A (zh) * 2016-01-12 2016-06-15 四川大学 一种基于预测残差的dvc-hevc视频转码方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111386707A (zh) * 2017-11-22 2020-07-07 韩国电子通信研究院 图像编码/解码方法和设备以及用于存储比特流的记录介质
CN111510723A (zh) * 2019-01-30 2020-08-07 奇景光电股份有限公司 时序控制器
CN111510723B (zh) * 2019-01-30 2022-02-22 奇景光电股份有限公司 时序控制器

Also Published As

Publication number Publication date
CN106791849B (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN104869409B (zh) 推导帧内预测模式的方法和设备
CN103096070B (zh) 推导量化参数的方法
CN104602011B (zh) 图像解码装置
CN104396245B (zh) 用于对图像进行编码或解码的方法和装置
CN102484719B (zh) 对视频编码的方法和设备及对视频解码的方法和设备
CN107483939A (zh) 视频数据的解码设备
CN105208387B (zh) 一种hevc帧内预测模式快速选择方法
CN106028038A (zh) 用于解码图像的设备
CN107426568A (zh) 用于对色度图像解码的方法
CN107770535A (zh) 产生重构块的方法
CN105681797B (zh) 一种基于预测残差的dvc-hevc视频转码方法
CN103442229A (zh) 适用于hevc标准的编码器中sao模式判决的比特率估计方法
CN106791849A (zh) 基于hevc帧内交错预测的降码率算法
CN107736021A (zh) 用于样点值补偿的图像编码方法和装置以及用于样点值补偿的图像解码方法和装置
CN104618726B (zh) 一种基于pu纹理特性的hevc帧内快速模式决策算法
KR20160045243A (ko) 플레너 인트라 예측 부호화 장치 및 그 방법
CN100512445C (zh) 隔行视频序列帧内场间预测编码方法
Liu et al. A Hierarchical Mode Decision Method for H. 264 Intra Image Coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant