CN105263027B - 一种视频帧的下采样方法和上采样方法以及传输处理方法 - Google Patents

一种视频帧的下采样方法和上采样方法以及传输处理方法 Download PDF

Info

Publication number
CN105263027B
CN105263027B CN201510593694.9A CN201510593694A CN105263027B CN 105263027 B CN105263027 B CN 105263027B CN 201510593694 A CN201510593694 A CN 201510593694A CN 105263027 B CN105263027 B CN 105263027B
Authority
CN
China
Prior art keywords
video frame
sampling
frequency component
radio
cosine transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510593694.9A
Other languages
English (en)
Other versions
CN105263027A (zh
Inventor
张萌
陈廷欢
孙知非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201510593694.9A priority Critical patent/CN105263027B/zh
Publication of CN105263027A publication Critical patent/CN105263027A/zh
Priority to PCT/CN2016/073415 priority patent/WO2017045344A1/zh
Application granted granted Critical
Publication of CN105263027B publication Critical patent/CN105263027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种视频帧的下采样方法和上采样方法以及传输处理方法，利用视频帧经过离散余弦变换后大部分能量都集中在低频系数中和高频系数所对应的空间域是稀疏的这两个性质，将视频帧经过离散余弦变换后，下采样截取低频系数，将高频系数所对应的空间域利用压缩感知理论进行下采样；在上采样端，将高频系数补零利用逆离散余弦变换回到空间域，利用压缩感知重构算法重构高频系数所对应的空间域，低频系数补零的空间域成分加上高频压缩感知重构算法得到的空间域成分就得到与原视频帧高度一致的重构视频帧。本发明方法在与传统方案相比，在利用相同的下采样比进行采样的情况下，上采样得到的视频帧相对于原视频帧具有更高的相似度。

Description

一种视频帧的下采样方法和上采样方法以及传输处理方法
技术领域
本发明属于图像处理领域，尤其涉及一种视频帧的下采样方法和上采样方法以及传输处理方法。
背景技术
随着显示器件的发展，高清视频在消费市场上非常流行。然而，有限的带宽资源限制了高清图像的传输，比如，4k高清电视是人们非常喜爱的，但其每一个视频帧包含了大量的像素数据，导致了在传输时占用了大量的带宽资源。为了突破带宽的限制，学者提出了视频帧下采样和上采样概念。上、下采样属于一种伸缩编码，在下采样过程中，减少高清图像传输的数据量；而在上采样过程中，恢复出高清图像原有的数据量。
近年来，国内外学者提出了很多上、下采样方案，如插值，预测和估计等。然而，这些方法只优化了上采样过程。而在下采样过程中，原视频帧数据只是在空间域或者变换域中被截断。
一些学者论证了在小波域或者DCT(离散余弦变换)域的下采样和上采样可以获得很好的性能。DCT被广泛地应用在视频编码方案中，如AVC/H.264。因为视频帧或者图像中大部分的能量都集中在低频成分中，很多下采样方案是在DCT域中高频成分被简单地截断。例如：加州大学圣芭芭拉分校的Mitra提出了子带DCT近似方案；首尔大学的Park提出了无逆DCT的模块表示方案；纽约州立大学Chen提出了DCT-维纳方案，其中维纳滤波器被用来估计高频成分；香港理工大学的Siu提出了基于自学习的k-NNMMSE估计方案来提高PSNR；Mitra应用了DCT系数之间的相关性来提高视觉质量。然而，这些方案都基于大部分能量都集中于DCT低频系数上这个假设，但这个假设不满足时，这些方案的性能将变差。因此，当视频帧中存在较多快速变换的区域或者边缘区域，即能量在高频DCT系数部分较为集中，上述关于DCT的下采样方案的PSNR(峰值信噪比)和SSIM(结构相似度测量)将会下降。
另一方面，2006年T.Tao等人提出了压缩感知(Compressive Sensing；CS)理论引起了国内外学者的广泛关注。利用压缩感知理论能够在远低于奈奎斯特采样速率下进行采样，使压缩和采样同时进行，从而减少了大量的采样数据，且能保证对信号的准确重构。但利用压缩感知理论的前提是压缩采样的信号必须是稀疏的，因此，利用压缩感知进行图像采样处理，必须先对图像进行稀疏变换，但往往图像经过稀疏变换以后，图像的数据量将变大，导致图像传输占用大的带宽。
申请人通过对视频帧的DCT域进行大量理论研究和仿真实验，发现高频DCT系数所对应的空域成分是稀疏的，即将视频帧的低频系数去除而保留高频成分时，在视频帧中只有快速变化区域和边缘区域。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种视频帧的下采样方法和上采样方法，通过利用DCT高频系数所对应空域的稀疏性对视频帧数据进行下采样和相应的上采样，达到低数据量传输和高重构精度的效果。
技术方案：为实现上述目的，本发明中视频帧的下采样方法包括以下步骤：
(1)将视频帧Ioriginal进行离散余弦变换得到视频帧Ioriginal在余弦变换域下的系数IDCT；
(2)将所述余弦变换域下的系数IDCT中的高频系数利用截断矩阵进行截断，得到低频成分的下采样结果Tlf；
(3)将所述余弦变换域下的系数IDCT中的低频系数置零得到高频成分，并将高频成分通过逆离散余弦变换回到空间域Ihf；
(4)将所述空间域Ihf排列成向量，然后利用测量矩阵进行压缩采样，得到高频成分的下采样结果Thf。
相应的，本发明还公开了一种视频帧的上采样方法，包括以下步骤：
(1)将低频成分的下采样结果Tlf中的高频系数补零，然后使用逆离散余弦变换回到空间域，得到低频空间域成分Ilf'；
(2)将高频成分的下采样结果Thf利用压缩感知重构算法重构，并排列成一个矩阵，得到空间域高频成分矩阵I'hf；
(3)将所述低频空间域成分Ilf'和空间域高频成分I'hf进行叠加恢复出原视频帧I'。
进一步地，本发明还提供一种视频帧的传输处理方法，包括以下步骤：
(1)发送端对输入的视频帧按照上述下采样方法对视频帧中的低频成分和高频成分分别进行下采样得到低频成分的下采样结果Tlf和高频成分的下采样结果Thf；
(2)将所述低频成分的下采样结果Tlf和高频成分的下采样结果Thf进行发送；
(3)接收端接收到所述低频成分的下采样结果Tlf和高频成分的下采样结果Thf，并利用上述上采样方法进行视频帧的还原。
有益效果：本发明中利用视频帧的大部分能量集中在离散余弦变换的低频系数且高频系数所对应的空域是稀疏的这两个性质，在对视频帧进行下采样的过程中先对低频成分和高频成分进行分离，将视频帧的DCT低频系数截断并保留，高频DCT系数所对应的空域成分采用压缩感知理论进行压缩采样，对低频系成分和高频成分分别进行下采样，保留了视频帧的大部分信息，特别是高频系数所对应的边缘信息和快速变化区域的信息；相应的，在对视频帧进行上采样的过程中，针对下采样的低频成分和高频成分，利用逆离散余弦变换和l1范数重构算法分别重构出低频成分和高频成分，将保留的DCT低频系数补零到与原图像相同的数据大小，同时利用压缩感知重构算法重构出高频DCT系数所对应的空域成分，两者相加即为原图像的高相似度重构图像，在下采样保留了视频帧的大部分信息的基础上，上采样重构还原的图像便可达到很高的精度。本发明方法在与传统方案相比，在利用相同的下采样比进行采样的情况下，上采样得到的视频帧相对于原视频帧具有更高的相似度。
附图说明
图1是视频帧DCT高频成分和低频成分的分解图；图1(a)是原视频帧；图1(b)是原视频帧保留离散余弦变换低频系数并且高频系数补零的空域图；图1(c)是原视频帧离散余弦变换高频系数对应的空域图；
图2是本发明的视频帧下采样方法的流程图；
图3是本发明的视频帧上采样方法的流程图；
图4是本发明与现有的混合插值法在不同采样比条件下PSNR数据的仿真对比图；
图5是本发明与现有的混合插值法在不同下采样比条件下SSIM数据的仿真对比图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
图1中可以看出，图1(b)中相对于图1(a)较为模糊，但基本上可以确定视频帧的内容，足以见得，低频系数对应的空域图集中了原视频帧中的大部分能量，图1(c)中视频帧的灰度值大部分是零或者接近于零(对应于图中黑色部分)，只有边缘区域存在稀疏值，可以看出视频帧的高频成分所对应的空间域是稀疏的。
在图像处理过程中，视频以视频帧为一个处理单元，视频帧以矩阵的形式进行表示，矩阵的元素为像素点，视频帧作为图像，其长度和宽度也都以像素为单位，全文中所提到的视频帧和视频帧数据为同一概念，均表示指代某一视频帧的矩阵。
图2中视频帧发送端利用离散余弦变换和压缩感知分别对视频帧的低频成分和高频成分进行下采样，包括以下步骤：
(1)输入原始的视频帧Ioriginal数据；
(2)将视频帧Ioriginal进行离散余弦变换C2D得到原视频帧在余弦变换域下的系数IDCT∈RM×N：
其中，M是图像的长度，N是图像的宽度，flf表示低频系数，fhf表示高频系数C1Dm、C1Dn均是一维离散余弦变换矩阵，C1Dm的长度为M，它的元素是i,j是位置坐标，当j＝1时，当j＝2,…,M时，C1Dn长度为N，它的元素是当j＝1时，当j＝2,…,N时， 表示Kronecker积；C1Dn'为C1Dn的转置。
(3)将视频帧在余弦变换域下的系数IDCT的高频系数进行行截断Dc和列截断Dr，得到低频系数对应的空间域视频帧图像，即低频成分的下采样结果Tlf：
其中，是行截断矩阵，MD是截断后的图像列数是列截断矩阵，R表示实数集，ND是列截断后的图像宽度，E是单位矩阵。
(4)将视频帧在余弦变换域下的系数IDCT的低频系数置零，并将高频系数通过逆离散余弦变换回到空间域Ihf，该空间域中仅存在高频成分：
其中是逆离散余弦变换矩阵。
(5)将空间域Ihf排列成一个向量，然后利用压缩感知理论进行压缩采样，得到高频成分下采样结果Thf：
Thf＝Φvec(Ihf)＝Φλ
其中Φ是测量矩阵，测量矩阵是压缩感知理论里的一个定义量，是一种随机矩阵，并且满足有限等距性质(RIP)即可为测量矩阵，所谓有限等距性，简单解释就是矩阵的每一列近似正交，vec()是将矩阵排列成一个向量的操作，一般按照矩阵的从左到右，从上到下排列，λ是中间变量，λ＝vec(Ihf)。
在对视频帧进行下采样之后，将采样后的数据发送给视频接收端，相应的，接收端利用离散余弦变换和压缩感知分别对视频帧的低频成分和高频成分进行上采样处理，然后进行整合得到复原后的视频帧数据，如图3所示，该方法包括以下步骤：
(1)将低频成分下采样结果Tlf的高频系数补零，然后使用逆离散余弦变换回到空间域Ilf'：
其中，Uc和Ur分别是上采样行补零矩阵和下采样列补零矩阵，E是单位矩阵。
(2)将高频成分下采样结果Thf利用压缩感知重构算法重构，并排列成一个矩阵，得到空间域高频成分矩阵I'hf：
I'hf＝mat(λ')
其中，λ'是重构的λ，mat()是vec()的逆操作，即将向量转化成矩阵，表示求向量λ的0范数，即为向量λ中非零元素的个数，argmin(·)是求最小值，s.t.表示约束条件，Φ是测量矩阵，Thf是高频成分下采样后的结果，Ihf'是重构的离散余弦变换高频成分对应的空域数据。
(3)将重构的空间域高频成分加上由逆离散余弦变换得到的低频空间域成分，即可恢复出原视频帧矩阵I'：
I'＝I'lf+I'hf
为了验证本发明方法比现有技术的优势，在本发明的下上采样方法与现有的下上采样方法在不同的采样率下，利用峰值信噪比PSNR和结构相似度测量SSIM数据的仿真对比图进行比较两种方法的性能，PSNR和SSIM都是对两幅图相似性的一种量化评价，值越高，相似度越高，本发明方法对比的两幅图为：原视频帧和上采样还原的图像；现有下采样方法对比的两幅图为：原视频帧和其相应上采样还原的图像。
如图4所示，在不同的下采样率下，本发明方法的峰值信噪比PSNR比离散余弦变换-维纳插值法高1.239dB以上，可以看出，随着采样率的升高，本发明方法的峰值信噪比PSNR的提升率高于离散余弦变换-维纳插值法，而混合插值法随着下采样率的升高，峰值信噪比PSNR增长的很少；另外，对于本发明方法而言，低频成分下采样数据固定(固定DCT截断率)的性能比高频成分下采样数据固定(固定压缩采样率)的性能较高。
如图5所示，在不同的下采样率下，本发明方法的结构相似度测量SSIM比离散余弦变换-维纳插值法高0.0067以上。
为了验证本发明方法对不同图像均有较好的普遍适用性，采用相同的下采样率利用本发明方法和DCT维纳混合插值法和双三次插值对不同图像进行处理对比，表1中三种方法的下采样率为0.5，针对不同图像进行处理(表中罗列了13个图像)，就PSNR而言，本发明方法比DCT维纳混合插值法和双三次插值平均高至少2.5dB；就SSIM而言，本发明方法比DCT维纳混合插值法和双三次插值平均高至少0.05，足以见得本发明方法的稳定性和普遍适用性。
表1本发明方法与DCT维纳混合插值法和双三次插值的性能对比表
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (4)

1.一种视频帧的下采样方法，其特征在于，包括以下步骤：
(1)将视频帧Ioriginal进行离散余弦变换得到视频帧Ioriginal在余弦变换域下的系数IDCT；
(2)将所述余弦变换域下的系数IDCT中的高频系数利用截断矩阵进行截断，得到低频成分的下采样结果Tlf；
(3)将所述余弦变换域下的系数IDCT中的低频系数置零得到高频成分，并将高频成分通过逆离散余弦变换回到空间域Ihf；
(4)将所述空间域Ihf排列成向量，然后利用测量矩阵进行压缩采样，得到高频成分的下采样结果Thf。
2.根据权利要求1所述的视频帧的下采样方法，其特征在于，所述截断矩阵包括行截断矩阵Dr和列截断矩阵Dc，表达式如下：
式中，MD是截断后的图像列数，R表示实数集，ND是列截断后的图像宽度，E是单位矩阵，M是图像的长度，N是图像的宽度。
3.一种视频帧的上采样方法，对权利要求1或2中视频帧的下采样方法得到的下采样结果进行处理，其特征在于，包括以下步骤：
(1)将低频成分的下采样结果Tlf中的高频系数补零，然后使用逆离散余弦变换回到空间域，得到低频空间域成分Ilf'；
(2)将高频成分的下采样结果Thf利用压缩感知重构算法重构，并排列成一个矩阵，得到空间域高频成分矩阵I'hf；
(3)将所述低频空间域成分Ilf'和空间域高频成分I'hf进行叠加恢复出原视频帧I'。
4.一种视频帧的传输处理方法，其特征在于，包括以下步骤：
(1)发送端对输入的视频帧按照权利要求1所述的下采样方法对视频帧中的低频成分和高频成分分别进行下采样得到低频成分的下采样结果Tlf和高频成分的下采样结果Thf；
(2)将所述低频成分的下采样结果Tlf和高频成分的下采样结果Thf进行发送；
(3)接收端接收到所述低频成分的下采样结果Tlf和高频成分的下采样结果Thf，并利用权利要求3所述的上采样方法进行视频帧的还原。
CN201510593694.9A 2015-09-17 2015-09-17 一种视频帧的下采样方法和上采样方法以及传输处理方法 Active CN105263027B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510593694.9A CN105263027B (zh) 2015-09-17 2015-09-17 一种视频帧的下采样方法和上采样方法以及传输处理方法
PCT/CN2016/073415 WO2017045344A1 (zh) 2015-09-17 2016-02-04 一种视频帧的下采样方法和上采样方法以及传输处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510593694.9A CN105263027B (zh) 2015-09-17 2015-09-17 一种视频帧的下采样方法和上采样方法以及传输处理方法

Publications (2)

Publication Number Publication Date
CN105263027A CN105263027A (zh) 2016-01-20
CN105263027B true CN105263027B (zh) 2019-01-29

Family

ID=55102508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510593694.9A Active CN105263027B (zh) 2015-09-17 2015-09-17 一种视频帧的下采样方法和上采样方法以及传输处理方法

Country Status (2)

Country Link
CN (1) CN105263027B (zh)
WO (1) WO2017045344A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105263027B (zh) * 2015-09-17 2019-01-29 东南大学 一种视频帧的下采样方法和上采样方法以及传输处理方法
US10498558B1 (en) * 2018-05-11 2019-12-03 Mitsubishi Electric Research Laboratories, Inc. Symbol detection in shared wireless channel
CN109040116B (zh) * 2018-09-06 2020-03-27 广州宏途教育网络科技有限公司 一种基于云端服务器的视频会议系统
CN109413152B (zh) * 2018-09-25 2021-02-26 上海瑾盛通信科技有限公司 图像处理方法、装置、存储介质及电子设备
WO2022109910A1 (zh) * 2020-11-26 2022-06-02 深圳市大疆创新科技有限公司 视频编码方法、装置、编码器和存储介质
CN114025168B (zh) * 2021-09-30 2023-08-04 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281443A (zh) * 2011-08-22 2011-12-14 天津师范大学 基于优化的层式离散余弦变换的压缩感知图像处理方法
CN104883579A (zh) * 2015-06-08 2015-09-02 电子科技大学 一种基于空-频域的联合视频图像的上采样方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030053108A (ko) * 2001-12-22 2003-06-28 한국과학기술원 블록 이산코사인변환 영역에서의 영상 크기 변환 방법
CN103098464A (zh) * 2010-08-04 2013-05-08 Nxp股份有限公司 在频域中具有下采样的视频解码器
CN102378011B (zh) * 2010-08-12 2014-04-02 华为技术有限公司 一种图像上采样的方法、装置和系统
KR101773279B1 (ko) * 2013-04-26 2017-08-30 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 업샘플링 및 신호 향상
CN104469389B (zh) * 2014-12-09 2017-05-24 上海交通大学 基于变换下采样的低码率视频编码方法及系统
CN105263027B (zh) * 2015-09-17 2019-01-29 东南大学 一种视频帧的下采样方法和上采样方法以及传输处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281443A (zh) * 2011-08-22 2011-12-14 天津师范大学 基于优化的层式离散余弦变换的压缩感知图像处理方法
CN104883579A (zh) * 2015-06-08 2015-09-02 电子科技大学 一种基于空-频域的联合视频图像的上采样方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《压缩感知理论及其在成像技术中的应用》;赵春晖;《智能系统学报》;20120229;第7卷(第1期);全文
《基于局部DCT系数的图像压缩感知编码与重构》;潘榕;《自动化学报》;20110630;第37卷(第6期);全文
《基于改进层式DCT的压缩感知图像处理》;尹晓慧;《计算机工程》;20120531;第38卷(第9期);第2、3节

Also Published As

Publication number Publication date
CN105263027A (zh) 2016-01-20
WO2017045344A1 (zh) 2017-03-23

Similar Documents

Publication Publication Date Title
CN105263027B (zh) 一种视频帧的下采样方法和上采样方法以及传输处理方法
CN104574336B (zh) 基于自适应亚模字典选择的超分辨率图像重建系统
CN102123278B (zh) 基于分布式压缩感知技术的信源编解码的方法
CN103167284B (zh) 一种基于画面超分辨率的视频流传输方法及系统
CN104331913A (zh) 基于稀疏k-svd的极化sar图像压缩方法
CN104199627B (zh) 基于多尺度在线字典学习的可分级视频编码系统
CN113516601A (zh) 基于深度卷积神经网络与压缩感知的图像恢复技术
Parmar et al. Comparison of DCT and wavelet based image compression techniques
CN105392014B (zh) 一种优化的小波变换图像压缩方法
CN104683818B (zh) 基于双正交不变集多小波的图像压缩方法
Kalavathi et al. A wavelet based image compression with RLC encoder
Deshlahra et al. A comparative study of DCT, DWT & hybrid (DCT-DWT) transform
Pandey et al. Block wise image compression & Reduced Blocks Artifacts Using Discrete Cosine Transform
Rathod et al. A comparative study of transform domain methods for image resolution enhancement of satellite image
Deshlahra Analysis of Image Compression Methods Based On Transform and Fractal Coding
CN107948644B (zh) 一种水下图像压缩方法及传输方法
Shamna Satellite image resolution and brightness enhancement using discrete, stationary wavelet and singular value decomposition
Li et al. Image reconstruction for compressed sensing based on joint sparse bases and adaptive sampling
Divakara et al. High speed modular systolic array-based DTCWT with parallel processing architecture for 2D image transformation on FPGA
Wang et al. Hyperspectral image compression based on 3D reversible integer lapped transform
Kumar et al. A comparative case study on compression algorithm for remote sensing images
Pokle et al. Lossy Image Compression using Discrete Cosine Transform
Lee et al. Effects of compression on classification performance and discriminant information preservation in remotely sensed data
Sharma et al. Image compression and sparsity measurement by using multilevel and different wavelet functions
Ranjeeta et al. Image compression: an overview

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant