CN106878753B - 一种使用纹理平滑信息的3d视频残差编码模式选择方法 - Google Patents
一种使用纹理平滑信息的3d视频残差编码模式选择方法 Download PDFInfo
- Publication number
- CN106878753B CN106878753B CN201710082465.XA CN201710082465A CN106878753B CN 106878753 B CN106878753 B CN 106878753B CN 201710082465 A CN201710082465 A CN 201710082465A CN 106878753 B CN106878753 B CN 106878753B
- Authority
- CN
- China
- Prior art keywords
- sdc
- residual coding
- classifier
- current
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000009499 grossing Methods 0.000 title claims abstract description 10
- 238000010187 selection method Methods 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000007476 Maximum Likelihood Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 4
- 229920002635 polyurethane Polymers 0.000 claims 10
- 239000004814 polyurethane Substances 0.000 claims 9
- 230000006870 function Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提出了一种使用纹理平滑信息的3D视频残差编码模式选择方法。该方法使用纹理图像信息对预测单元即PU分类,不同类别PU的残差编码模式的选择方式不同,步骤如下:在残差编码部分引入分类器对PU进行分类,收集统计数据,计算分类器阈值T;判断当前PU水平方向像素梯度和是否小于分类器阈值T:如果小于,则计算模式列表里所有模式采用SDC残差编码时的率失真代价,采用SDC残差编码对当前PU编码;否则,分别计算模式列表里所有模式采用non‑SDC以及SDC残差编码时的率失真代价,比较该两种率失真代价,选出最优的残差编码方式对当前PU块编码。本发明在保证合成视频质量不下降的同时,有效地降低了深度图像残差编码复杂度,减少了帧内预测所需的编码时间。
Description
技术领域
本发明属于视频编解码技术领域,具体涉及一种3D视频深度图像残差编码模式选择方法。
背景技术
随着3D电影和电视的发展,3D视频技术成为近年研究的热点。H.265是联合视频开发组在2013年发布的新一代的国际视频编码标准。其主体架构与H.264相似,但H.265能在有限带宽下传输更高质量的视频,即H.265只需H.264的一半的带宽就可以传输相同质量的视频。同时H.265使用多种方式降低码率。H.265相较于H.264最重要的发展就是扩展了3D-HEVC标准。
3D视频采用多视点加深度图格式(MVD),这种格式对捕获的视点图像和与其相关联的深度图进行编码,并将得到的比特流一起作为3D视频的比特流。在视频和深度图解码后,通过使用渲染技术(DIBR)加入适合3D内容显示的中间视点实现自动立体的显示效果的合成。多视点加深度图像的编码的一个重要的组成部分就是深度图像的压缩编码。深度图像以锐利的物体边界和大部分的平坦区域为特征,其像素值代表物体与摄像镜头的距离。深度图像不是用来直接观看的,而是用来合成虚拟视点。传统意义上的多视点图像是用紧密排列的摄像机同时录像,通过将所有摄像机录制的视频合成产生3D效果。采用这种方式得到的3D视频基线固定,长时间观看会令人产生眩晕感。H.265使用多视点加深度图像得到的3D视频是纹理图像和深度图像合成的虚拟视点,其基线可调,在保证3D视频质量的同时,节省设备开支。
但深度图像的引入增加了编解码的复杂度,在帧内编码阶段不仅要对纹理图像编码还要对深度图像进行压缩编码。和纹理图像的编码不同,深度图像需要保留高频率的物体边界,而对于平坦区域可进行压缩。深度图像帧内模式选择由四个步骤组成:1)roughmod选择;2)DMM模式选择;3)残差编码模式选择SDC(segment-wise DC coding)或non-SDC;4)实际编码。粗糙模式选择根据低复杂度的率失真代价计算为当前PU选出几个常用的HEVC帧内模式(CHIMs)并加入候选模式列表。然后,在大量候选模式中选出最优的楔形分割模式并加入候选模式列表。在步骤3)中,通过基于VSO的率失真函数为每个由粗糙模式选择选出的候选模式选择残差编码模式。在这个过程中,步骤2)DMM模式选择和步骤3)残差模式选择因为有大量的模式候选项因此会消耗大部分的时间。
发明内容
本发明的目的在于提供一种使用纹理平滑信息的3D视频残差编码模式选择方法,在保证合成视角中视频质量的前提下,通过使用纹理图像平坦信息加快对深度图像帧内编码残差模式的选择,并降低深度图像帧内残差模式选择的计算复杂度。
实现本发明目的的技术解决方案为:一种使用纹理平滑信息的3D视频残差编码模式选择方法,使用纹理图像信息对预测单元即PU分类,不同类别PU的残差编码模式的选择方式不同,包括如下步骤:
步骤1:在残差编码部分引入分类器对PU进行分类,收集统计数据,计算分类器阈值T;
步骤2:判断当前PU水平方向像素梯度和是否小于分类器阈值T,如果小于阈值T直接跳到步骤4,否则继续步骤3;
步骤3:计算模式列表里所有模式采用non-SDC残差编码时的率失真代价;
步骤4:计算模式列表里所有模式采用SDC残差编码时的率失真代价;
步骤5:比较步骤3和步骤4计算出来的率失真代价,选出最优的残差编码方式对当前PU块编码;如果在步骤2中跳过步骤3,则不作比较直接采用SDC残差编码对当前PU编码。
进一步地,步骤1所述在残差编码部分引入分类器对PU进行分类,其中分类器为特征分类器,所选用特征为PU的水平像素梯度和Grad,定义为p(x,y)表示当前块在位置(x,y)处的纹理像素值,S为当前PU块单行或单列包含的像素数。
进一步地,步骤1所述分类器阈值T通过贝叶斯决策得到:
残差模式的选择看成一个二分类问题ΨR:W={ωsdc,ωnon-sdc},ΨR是分类器,W是包含两个元素的集合,ωsdc表示SDC是最优的残差模式,non-SDC残差验证需要跳过;ωnon-sdc表示按照HTM-13.0原来顺序检验SDC和non-SDC;
所以,分类器ΨR表示为:
实验表明,p(x|ωi)服从高斯分布,用高斯分布描述p(x|ωi):
本发明与现有技术相比,其显著优点在于:(1)利用纹理图像平滑信息,使用PU块水平像素梯度和作为特征对当前PU进行分类;(2)根据PU的类别分别进行不同的残差编码模式选择,若当前PU的水平像素梯度和小于阈值则跳过non-SDC率失真代价计算直接进行SDC率失真代价计算,在提高了编码的速度的同时,可以有效保留边界,从而保证了合成视角的视频质量。
附图说明
图1是本发明使用纹理平滑信息的3D视频残差编码模式选择方法的结构图。
图2是本发明使用纹理平滑信息的3D视频残差编码模式选择方法的整体框架图。
图3是水平像素梯度和类条件密度图。
图4是每个基准视频深度图和纹理图,其中(a1)~(g1)为基准视频纹理图,(a2)~(g2)为基准视频纹理图(a1)~(g1)对应的深度图。
图5是RCM算法在不同QP下节省的编码时间比例图。
具体实施方式
本发明提出的使用纹理平滑信息的3D视频残差编码模式选择方法,使用纹理图像信息对预测单元即PU分类,不同类别PU的残差编码模式的选择方式不同,对特征值小于阈值的PU块直接跳过non-SDC率失真代价计算,进而减少计算率失真代价时间和复杂度。如图1~2所示,本发明使用纹理平滑信息的3D视频残差编码模式选择方法,包括如下步骤:
步骤201:在残差编码部分引入分类器对PU进行分类,收集统计数据,计算分类器阈值T;
所述在残差编码部分引入分类器对PU进行分类,其中分类器为特征分类器,所选用特征为PU的水平像素梯度和Grad,定义为 px,y表示当前块在位置x,y处的纹理像素值,S为当前PU块单行或单列包含的像素数。
所述分类器阈值T通过贝叶斯决策得到:
残差模式的选择看成一个二分类问题ΨR:W={ωsdc,ωnon-sdc},ΨR是分类器,W是包含两个元素的集合,ωsdc表示SDC是最优的残差模式,non-SDC残差验证需要跳过;ωnon-sdc表示按照原来顺序检验SDC和non-SDC;
所以,分类器ΨR表示为:
实验表明,p(x|ωi)服从高斯分布,用高斯分布描述p(x|ωi):
步骤202:判断当前PU水平方向像素梯度和是否小于分类器阈值T,如果小于阈值T直接跳到步骤204,否则继续步骤203;
步骤203:计算模式列表里所有模式采用non-SDC残差编码时的率失真代价;
步骤204:计算模式列表里所有模式采用SDC残差编码时的率失真代价;
步骤205:比较步骤203和步骤204计算出来的率失真代价,选出最优的残差编码方式对当前PU块编码;如果在步骤202中跳过步骤203,则不作比较直接采用SDC残差编码对当前PU编码
上述步骤201中引入分类器对PU分类,分类器阈值T通过贝叶斯决策得到,其大体思路如下:
因为多视点加深度视频可被紧密相邻的平行的摄像机捕获,所以深度图像的扭曲只能发生在水平方向。因此,水平方向上纹理像素值的强度可反映深度失真的包含能力。纹理强度越大,深度失真的容限越大。残差模式的选择可以看成一个二分类问题ΨR:W={ωsdc,ωnon-sdc},ΨR是分类器,ωsdc表示SDC是最优的残差模式,non-SDC残差验证需要跳过;ωnon-sdc表示按照原来顺序检验SDC和non-SDC。纹理平滑可以用来判断是否有必要对深度映射进行non-SDC残差编码。采用纹理图像水平像素梯度和作为分类标准,定义为p(x,y)表示当前块在位置(x,y)处的纹理像素值,S为当前PU块单行或单列包含的像素数。
贝叶斯的定义:在不完全情报下,对部分位置的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。
实验表明,p(x|ωi)服从高斯分布,如图3所示,可以用高斯分布描述p(x|ωi):
其中,参数μ和σ可用最大似然估计得到,其估计公式为:
其中,n是视频序列前8帧图像的样本总数,这些图像使用HTM原来的方式编码。xk是样本的水平像素梯度和Grad。根据贝叶斯决策,分类器阈值T定义为: 判断当前PU水平方向像素梯度和是否小于分类器阈值T,如果小于阈值T就跳过候选模式表中候选模式的non-SDC率失真代价计算,直接计算SDC率失真代价;否则,按照HTM顺序继续执行。
实施例1
为了使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例,对本发明进一步详细说明。
本发明实施例对提出的3D视频深度图像残差模式选择方法的性能在3D-HEVC的参考软件HTM-13.0中进行了验证,应用编码参数使用常用检测条件(CTC),图4是每个基准视频深度图和纹理图,其中(a1)~(g1)为基准视频纹理图,(a2)~(g2)为基准视频纹理图(a1)~(g1)对应的深度图:
视频序列分辨率:1920x1088、1024x768。
测试帧类型:全I帧
深度模型模式(DMM):开
量化参数值:纹理图像:25 34 30 39深度图像:35 42 40 45
简化深度编码(SDC):开
环路滤波:关
样本自适应补偿滤波SAO:关
视角合成优化VSO:开
使用码率(BR)和峰值信噪比(PSNR)来评价编码效果。ΔT表示与HTM方法相比编码时间的节省量。
本实施例操作流程如图2所示,具体步骤如下:
步骤201:在残差编码部分引入分类器对PU进行分类,收集统计数据,计算分类器阈值T。残差模式的选择可以看成一个二分类问题ΨR:W={ωsdc,ωnon-sdc},ΨR是分类器,ωsdc表示SDC是最优的残差模式,non-SDC残差验证需要跳过;ωnon-sdc表示按照原来顺序检验SDC和non-SDC。根据贝叶斯决策,ω的后验概率定义为前验概率与似然函数乘积再与概率密度函数的商:所以,分类器可表示为:
实验表明,p(x|ωi)服从高斯分布,如图3所示,可以用高斯分布描述p(x|ωi):
其中,参数μ和σ可用最大似然估计得到,其估计公式为:
其中,n是视频序列前8帧图像的样本总数,这些图像使用HTM-13.0原来的方式编码。xk是样本的水平像素梯度和Grad。根据贝叶斯决策,分类器阈值T定义为:
步骤203:计算模式列表里所有模式采用non-SDC残差编码时的率失真代价;
步骤204:计算模式列表里所有模式采用SDC残差编码时的率失真代价;
步骤205:比较步骤203和步骤204计算出来的率失真代价,选出最优的残差编码方式对当前PU块编码;如果在步骤2中跳过步骤3,则不作比较直接采用SDC残差编码对当前PU编码。
从图5可看出使用RCM算法节省的时间和量化参数QP有关,QP越大该算法效果越明显。这是因为RCM算法选取的阈值与量化参数有关,当量化参数增大时,阈值T变大,这就意味着会有更多的PU被认为是平滑区域而跳过SDC率失真代价计算。因此,在量化参数较大时non-SDC的计算复杂度在深度图编码复杂度中占很大比例。纹理图像的QP随深度图像QP的增加而增加。也就是说,当Grad取较小的值时,重建的纹理图像会包含更多的平滑区域,这使得p(x|ωsdc)的中心向左移动。同时,本发明提供的分类器的高斯参数采用在线学习的方法,所以ωsdc的决策域会随量化参数的增加而变大。
表1本发明提供方法结果与HTM13.0方法比较结果表
从表1的实验结果可以看出使用本发明提出的残差编码方法(RCM)仅有0.37%码率的增加,PSNT仅有0.02%的下降,说明这种编码方法对合成视频的质量没有影响,但其可节省22.31%的编码时间。
Claims (1)
1.一种使用纹理平滑信息的3D视频残差编码模式选择方法,其特征在于,使用纹理图像信息对预测单元即PU分类,不同类别PU的残差编码模式的选择方式不同,包括如下步骤:
步骤1:在残差编码部分引入分类器对PU进行分类,收集统计数据,计算分类器阈值T;
步骤2:判断当前PU水平方向像素梯度和是否小于分类器阈值T,如果小于阈值T直接跳到步骤4,否则继续步骤3;
步骤3:计算模式列表里所有模式采用non-SDC残差编码时的率失真代价;
步骤4:计算模式列表里所有模式采用SDC残差编码时的率失真代价;
步骤5:比较步骤3和步骤4计算出来的率失真代价,选出最优的残差编码方式对当前PU块编码;如果在步骤2中跳过步骤3,则不作比较直接采用SDC残差编码对当前PU编码;
步骤1所述在残差编码部分引入分类器对PU进行分类,其中分类器为特征分类器,所选用特征为PU的水平像素梯度和Grad,定义为 p(x,y)表示当前块在位置(x,y)处的纹理像素值,S为当前PU块单行或单列包含的像素数;
步骤1所述分类器阈值T通过贝叶斯决策得到:
残差模式的选择看成一个二分类问题ΨR:W={ωsdc,ωnon-sdc},ΨR是分类器,W是包含两个元素的集合,ωsdc表示SDC是最优的残差模式,non-SDC残差验证需要跳过;ωnon-sdc表示按照HTM-13.0的顺序检验SDC和non-SDC;
所以,分类器ΨR表示为:
实验表明,p(x0|ωi)服从高斯分布,用高斯分布描述p(x0|ωi):
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710082465.XA CN106878753B (zh) | 2017-02-16 | 2017-02-16 | 一种使用纹理平滑信息的3d视频残差编码模式选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710082465.XA CN106878753B (zh) | 2017-02-16 | 2017-02-16 | 一种使用纹理平滑信息的3d视频残差编码模式选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106878753A CN106878753A (zh) | 2017-06-20 |
CN106878753B true CN106878753B (zh) | 2020-04-28 |
Family
ID=59166427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710082465.XA Expired - Fee Related CN106878753B (zh) | 2017-02-16 | 2017-02-16 | 一种使用纹理平滑信息的3d视频残差编码模式选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106878753B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643190B (zh) * | 2020-04-27 | 2024-07-16 | 北京金山云网络技术有限公司 | 图像锐化方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103119940A (zh) * | 2010-09-30 | 2013-05-22 | 日本电信电话株式会社 | 视频编码方法、视频解码方法、视频编码装置、视频解码装置以及它们的程序 |
WO2013113997A1 (en) * | 2012-02-01 | 2013-08-08 | Nokia Corporation | Method and apparatus for video coding |
CN105379282A (zh) * | 2013-06-21 | 2016-03-02 | 高通股份有限公司 | 用于纹理译码的更精确先进残余预测(arp) |
CN105794209A (zh) * | 2013-12-13 | 2016-07-20 | 高通股份有限公司 | 控制三维(3d)hevc或其它3d译码中的子预测单元(sub-pu)运动参数继承mpi |
-
2017
- 2017-02-16 CN CN201710082465.XA patent/CN106878753B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103119940A (zh) * | 2010-09-30 | 2013-05-22 | 日本电信电话株式会社 | 视频编码方法、视频解码方法、视频编码装置、视频解码装置以及它们的程序 |
WO2013113997A1 (en) * | 2012-02-01 | 2013-08-08 | Nokia Corporation | Method and apparatus for video coding |
CN105379282A (zh) * | 2013-06-21 | 2016-03-02 | 高通股份有限公司 | 用于纹理译码的更精确先进残余预测(arp) |
CN105794209A (zh) * | 2013-12-13 | 2016-07-20 | 高通股份有限公司 | 控制三维(3d)hevc或其它3d译码中的子预测单元(sub-pu)运动参数继承mpi |
Also Published As
Publication number | Publication date |
---|---|
CN106878753A (zh) | 2017-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2518435C2 (ru) | Оптимизация кодера в системах доставки стереоскопического видео | |
US7949053B2 (en) | Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium | |
TWI634777B (zh) | 搜索參考區塊的方法 | |
US8891892B2 (en) | Image encoding method using adaptive preprocessing scheme | |
JP2006519565A (ja) | ビデオ符号化 | |
JP2011528889A5 (zh) | ||
CN101710993A (zh) | 基于块的自适应超分辨率视频处理方法及系统 | |
CN1695381A (zh) | 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强 | |
CN114793282B (zh) | 带有比特分配的基于神经网络的视频压缩 | |
CN114745549B (zh) | 一种基于感兴趣区域的视频编码方法和系统 | |
WO2005094083A1 (en) | A video encoder and method of video encoding | |
Lan et al. | Exploiting non-local correlation via signal-dependent transform (SDT) | |
KR20060111528A (ko) | 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출 | |
CN106878754B (zh) | 一种3d视频深度图像帧内预测模式选择方法 | |
CN106878753B (zh) | 一种使用纹理平滑信息的3d视频残差编码模式选择方法 | |
CN102098516A (zh) | 多视点视频解码端去块滤波方法 | |
CN107483936B (zh) | 一种基于宏像素的光场视频帧间预测方法 | |
Chubach et al. | Motion-distribution based dynamic texture synthesis for video coding | |
Tang et al. | Optimization of CU Partition Based on Texture Degree in H. 266/VVC | |
Yang et al. | Fast depth map coding based on virtual view quality | |
Zhang et al. | Region-based texture modelling for next generation video codecs | |
WO2023241690A1 (en) | Variable-rate neural network based compression | |
CN107623858B (zh) | 一种基于自适应分段跳过规则的3d视频快速编码方法 | |
Huang | Bit Allocation of LCU Layer Based on Visual Saliency for High Efficiency Video Coding | |
CN115776569A (zh) | 基于Skipped宏块的运动矢量域视频隐写分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200428 |