CN111510719A - 一种视频的分布式压缩感知编解码方法 - Google Patents

一种视频的分布式压缩感知编解码方法 Download PDF

Info

Publication number
CN111510719A
CN111510719A CN202010171701.7A CN202010171701A CN111510719A CN 111510719 A CN111510719 A CN 111510719A CN 202010171701 A CN202010171701 A CN 202010171701A CN 111510719 A CN111510719 A CN 111510719A
Authority
CN
China
Prior art keywords
block
picture
algorithm
data
bcs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010171701.7A
Other languages
English (en)
Other versions
CN111510719B (zh
Inventor
孙鹏达
阔永红
陈健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010171701.7A priority Critical patent/CN111510719B/zh
Publication of CN111510719A publication Critical patent/CN111510719A/zh
Application granted granted Critical
Publication of CN111510719B publication Critical patent/CN111510719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频的分布式压缩感知编解码方法,克服了现有技术中DCVS的重建方法仍有待改进的问题。该发明含有步骤1.1:对图片计算自适应分块信息;步骤1.2:根据得到的分块信息进行不同尺寸的DCT变换编码;步骤2.1:通过大量实验测试、创建并统计最佳尺度样本数据;步骤2.2:计算样本图片的纹理复杂度;步骤2.3:对样本数据使用BP神经网络进行训练,得到自适应尺度因子模型;步骤2.4:修改原BCS_SPL算法,增加新的输入参数;步骤2.5:使用改进的BCS_SPL算法修改整个关键帧编码和解码流程。本发明提出的关键帧改进算法在明显降低重构质量的前提大幅度缩减了图像的重建时间;非关键帧改进算法也能在不增加时间复杂度的情况下提高图像的重构质量。

Description

一种视频的分布式压缩感知编解码方法
技术领域
本发明涉及视频压缩技术领域,特别是涉及一种视频的分布式压缩感知编解码方法。
背景技术
随着信息技术和网络技术的高速发展,视频信息的传输在人们的生活、商业、环保,甚至是军事等 方面的应用越来越广泛。例如,目前基于手持移动设备进行视频采集、编码、传输的直播平台的兴起,对 编码端简单的设备的存储、处理、传输视频信息能力提出更高要求,这就需要不同于或更优于传统视频编 解码算法的支撑。显然,传统的基于奈奎斯特采样定理的数据采集、处理方法已经不适用于这种信息量不 断增多,信号带宽不断变大的情况。而且,目前大多数的对于视频的编码都是采用传统的基于H.264/AVC 标准的方式,采用复杂的预测编码结构对视频进行压缩,所以不适用于发端(编码端)要求复杂度低、功耗 低的编码计算。
在最近几年,Candes和Donoho针对上述问题提出了压缩感知理论(CompressedSensing,CS),该 理论以线性方式获取相对较少的信号测量值,同时仍允许通过相对复杂且非线性的恢复过程进行精确或近 似重建,并且该理论打破了信号采样必须遵循奈奎斯特采样定理的传统,将信号在的采样步骤和压缩步骤 合二为一,也就是说这两个步骤在时间线上是统一的,这样就大大降低了对编码端硬件设备的要求。而近 年来Thong T Do等人提出的分布式视频压缩感知编码(Distributed Compressed Video Sensing,DCVS) 方式就也是用来解决上述问题的。DCVS充非常适合于要求编码端消耗能量低、带宽等资源占用相对较少的 无线视频传输场合。
发明内容
本发明克服了现有技术中DCVS的重建方法仍有待改进的问题,提供一种能够达到更高重建质量的视 频的分布式压缩感知编解码方法。
本发明的技术解决方案是,提供一种具有以下步骤的视频的分布式压缩感知编解码方法:含有以下步 骤,包括步骤1,对关键帧的基于JPEG编解码算法的改进;步骤2,对非关键帧的基于BCS_SPL重建算法 的改进;其中步骤1中关键帧的编码过程中在分块DCT的基础上加入基于Canny边缘检测的自适应方法含 有以下步骤:步骤1.1:对图片计算自适应分块信息;步骤1.2:根据得到的分块信息进行不同尺寸的DCT 变换编码;
其中步骤2中非关键帧在BCS_SPL算法的基础上引入动态自适应尺度因子,含有以下步骤:
步骤2.1:通过大量实验测试、创建并统计最佳尺度样本数据;
步骤2.2:计算样本图片的纹理复杂度;
步骤2.3:对样本数据使用BP神经网络进行训练,得到自适应尺度因子模型;
步骤2.4:修改原BCS_SPL算法,增加新的输入参数;
步骤2.5:使用改进的BCS_SPL算法修改整个关键帧编码和解码流程。
优选地,所述步骤1.1含有以下步骤:
1.1.1、采用Canny边缘检测方法对图片进行边缘化,得到只包含0和1的二值矩阵,统计整张图片 二值矩阵中1的个数,称为总边缘点数;
步骤1.1.2、将图片按照32x32尺寸进行平均分块;
步骤1.1.3、统计分块的个数,使用总边缘点数除以分块个数得到每一分块的平均边缘点数;
步骤1.1.4、根据每一块的点数与平均点数的对比结果,判断是否继续分块;
步骤1.1.5、若当前块边缘点数大于平均边缘点数且当前分块尺寸大于16x16时,需进行进一步分块, 则执行1.1.6;否则不需要继续分块,则执行步骤1.1.7;
步骤1.1.6、继续分块则将当前分块平均分为四份,统计每个新分块边缘点数,并计算得到新分块的 平均边缘点数,然后执行1.1.4;
步骤1.1.7、记录当前分块在整个图片的坐标位置,以整张图片左上角为原点,当前分块左上角的点 到图片左边界的距离为横坐标x;当前分块左上角的点到整张图片上边界的距离为纵坐标y,并记录当前 分块大小b;
步骤1.1.8、当整张图片所有分块均不能继续分块后,输出该图片的自适应分块信息,分块信息为一 个二维矩阵,每一行三个数据,分别代表分块的横坐标、纵坐标以及分块大小,数据记录顺序是原图片中 从左到右从上到下依次记录分块信息。
优选地,所述步骤1.2含有以下步骤:编码时循环读取自适应分块信息表,根据表中每一行的分块横 纵坐标和分块大小从原图片中读取相应大小的块数据;对获取的块数据进行DCT变换编码以及均匀量化和 熵编码工作;最后将该编码后的数据打包发送,完成关键帧编码。
优选地,所述步骤2.1含有以下步骤:选取100幅不同纹理复杂程度的图片作为实验图片,使用8x8、 16x16以及32x32三种分块大小,在0.2~0.8的采样率下进行实验,其中间隔为0.1,每次实验进行100 次取均值,共获得2100组数据。
优选地,所述步骤2.2含有以下步骤:继续使用步骤2.1中的100幅样本图片,使用Canny边缘检测 方法使这些图片进行边缘化,得到0、1二值矩阵;统计矩阵中1的个数P,用P除以图片大小得到图片纹 理复杂度,将每张图片的纹理复杂度一一对应地添加到步骤2.1中的测试数据中,作为样本数据。
优选地,所述步骤2.3含有以下步骤:根据训练数据创建合适的归一化模型并保存,取出训练数据中 的百分之八十作为训练样本,百分之二十作为测试样本,每组数据以分块大小、采样率、图片纹理复杂度 为特征参数,以统计最佳尺度因子作为标记;将训练样本的特征参数数据和标记数据传入BP神经网络中 进行训练,并通过测试样本进行模型调整,最终得到计算近似最佳尺度因子的模型并保存,其中BP神经 网络的权重优化解决方案为lbfgs,L2正则系数为0.0001,alpha正则参数为7e-5。
优选地,所述步骤2.4含有以下步骤:在原BCS_SPL算法中引入新的输入参数:纹理复杂度w,w的 值通过步骤2.2计算,将w传入BCS_SPL算法后,加载步骤2.3训练好的模型M,使用Q=M(w,b)来计算近 似最佳尺度因子Q,改动原算法的阈值计算函数,将函数中的固定尺度因子0.6745修改为近似最佳尺度因 子Q,原算法其他部分无需改动,即将
Figure BDA0002409392560000031
修改为
Figure BDA0002409392560000032
具体过程如下:
7.1、将图片测量值y,正交测量矩阵ΦB,稀疏基Ψ,常数因子λ,纹理复杂度ω,分块大小b作 为参数传入改进的BCS_SPL解码函数中;
7.2、将存放重建图片值的
Figure BDA0002409392560000033
初始化为
Figure BDA0002409392560000034
并设置最大迭代次数nmax为200,,迭代因子n设置 为0,开始循环执行7.3到7.8,直到n达到nmax或者符合阈值判断即可退出;
7.3、对当前重建图片值进行维纳滤波,消除块效应,即
Figure BDA0002409392560000035
7.4、对当前重建图片值的每一分块进行凸松弛投影重构:
Figure BDA0002409392560000036
7.5、使用步骤2.3中训练好的模型计算近似尺度因子Qf=Model(ω,b),并用该尺度因子计算阈值;
7.6、进行阈值判断
Figure BDA0002409392560000037
7.7、再次对图像块执行凸松弛重构:
Figure BDA0002409392560000038
7.8、计算误差
Figure BDA0002409392560000039
并使用误差进行循环终止判断:不满足则返回步骤7.3, 并让迭代因子n的值加1,直到满足阈值条件|D(n)-D[n-1]|<10-4,则循环结束,并返回x=x[n]
优选地,所述步骤2.5含有以下步骤:在使用改进的BCS_SPL算法时,编码端多计算一个纹理复杂度 参数,该参数会随编码数据一同传输到解码端,便于解码,解码端在接收到纹理复杂度后,传入到解码函 数中,便于计算自适应尺度因子。
与现有技术相比,本发明视频的分布式压缩感知编解码方法具有以下优点:压缩感知可以将数据的 采样和压缩在同一步骤中完成,非常高的效率和简单的操作使其特别适合于在编码端资源受限的环境中处 理多媒体视频数据。针对关键帧编解码提出了基于JPEG编解码算法的改进方案、针对非关键帧编解码提 出了基于BCS_SPL重建算法的改进方案,进一步提高了本系统的重建质量,更适合追求高重建质量、低计 算复杂度的通信环境。经过实验验证,本发明提出的关键帧改进算法在明显降低重构质量的前提大幅度缩 减了图像的重建时间;非关键帧改进算法也能在不增加时间复杂度的情况下提高图像的重构质量。
附图说明
图1是本发明中JPEG图像编码的过程示意图;
图2是本发明中自适应分块算法的流程示意图;
图3是本发明中lena原图和边缘检测结果的示意图;
图4是本发明中对Lena进行自适应分块处理后的示意图;
图5是本发明中Lena原图和使用两种算法重构后的主观效果对比示意图;
图6是本发明中GoldHill原图和使用两种算法重构后的主观效果对比示意图;
图7是本发明中Bridge原图和使用两种算法重构后的主观效果对比示意图;
图8是本发明中Man原图和使用两种算法重构后的主观效果对比示意图;
图9是本发明中CameraMan、Goldhill、Bridge以及Mandrill四张图片在使用两种重构算法且在不 同采样率下的重构质量对比示意图;
图10是本发明中CameraMan原图和使用两种算法重构后的主观效果对比示意图;
图11是本发明中GoldHill原图和使用两种算法重构后的主观效果对比示意图;
图12是本发明中Bridge原图和使用两种算法重构后的主观效果对比示意图;
图13是本发明中Mandrill原图和使用两种算法重构后的主观效果对比示意图。
具体实施方式
下面结合附图和具体实施方式对本发明视频的分布式压缩感知编解码方法作进一步说明:本实施例 中含有以下内容:结合压缩感知和分布式视频编码的DCVS方案已经有了大量的研究成果。而在这些成果 中,两种帧的编解码算法一直是最核心最重要的部分之一。对于非关键帧主流框架都是使用基于压缩感知 的编解码算法;而关键帧既有使用传统帧内编码方式,也有使用压缩感知重构。
1、基于JPEG的关键帧重构算法的改进
关键帧基于DCT变换的JPEG算法是静态图像编解码中一种常见标准,其对图像的处理过程如图1所 示:在编码端输入图像划分成8x8大小的图像块,然后分别对这些图像块进行DCT变换,最后将得到的DCT 系数矩阵进行量化、熵编码等操作完成压缩过程。在解码端按照编码的逆过程进行解压缩操作。在该算法 中有一个很重要的步骤就是分块,其优点是降低计算复杂度、便于实现,因此目前流行的大多数视频或图 像的编解码都会采用分块的方式。但是分块也会带来另外一个问题,那就是块效应。
实际应用中的自然图像在相邻元素之间具有很强的相关性,这也是自然图像能够被压缩的基础,分 块处理后的图像在重构后会破坏这种相关性,因此所谓块效应就是当压缩率较高时各个重构的图像块边缘 之间就会出现明显的不连贯的情况,块效应产生的原因通过现有技术的记载可以推导得出,此处不再累述。
边缘检测技术是图像或视频处理领域中进行图像分割或目标识别的一个重要的基础内容。其中Canny 边缘检测技术去噪能力较强、实现复杂度较低并能在保持弱边缘时对强边缘的不连续性有很好的识别,所 以一直被广泛应用。本发明的具体自适应分块算法详细过程如图2所示:
首先对一帧图像进行Canny边缘检测,得到二值图像矩阵,矩阵中“1”表示边缘点,后续操作都要 基于这个边缘点;“0”表示非边缘点,图3以Lena为例进行边缘检测操作,通过对比原图可以很清晰的 看出,原图中比较细节的区域对应的边缘点也相对较多,例如帽子上的毛绒装饰、人物眼睛等部位。
然后对整幅图像进行B×B的块划分,8≤B≤32,计算此时划分块的个数为N,并统计每一分块的 边缘点数Pi,从而有总的边缘点数
Figure BDA0002409392560000051
因此可以求出分块的平均点数Pm=Pa/N。最后比较每一 块的边缘点数Pi和平均边缘点数Pm。Pi≤Pm表示该块的边缘点数少于平均水平,也就是说该块纹理变换 相对平坦,因此不需要再继续分块,此时分块停止;Pi>Pm表示该块的边缘点数密集,说明块中有纹理 变换剧烈的地方,需要继续分块,则将B取原来值的一半,然后对这一块图像重复之前的过程,直到B小 于8为止。图4是对Lena进行划分的结果,图像块用白色边线隔开。可以看出在图中帽子毛绒装饰和眼 睛等细节部分都进行了进一步的分块划分,而人物背景等纹理平坦部位就保持最大分块。
根据上述过程可以得到自适应分块伪码:算法1:自适应分块算法,输入:图像x,最小分块Bmin, 最大分块Bmax,步骤如下:
1.初始化分块大小Bi=Bmax
2.对图像x进行Canny边缘检测,统计所有边缘点数得到Pa
3.对图像进行B划分,得到分块个数N以及每个分块边缘点数Pi
4.计算平均点数Pm=Pa/N;
5.遍历每一块图像xi,比较当前分块边缘点数与平均点数,判定是否继续分块;
5.若继续分块,则B=B/2,跳转到步骤3;若不继续分块,则跳转到步骤6;
6.记录当前分块位置和大小Ri、Ci以及Bi
输出:分块位置横坐标R,分块位置纵坐标C,分块大小B。
2、基于BCS_SPL的非关键帧重构算法的改进
2.1、IHT算法
循环硬门限法(Iterative Hard Thresholding,IHT)是一种较为流行的解决非线性逆问题的方法。 IHT算法的结构非常简单:假设初始重建目标信号为x[0],且让x[0]=0,IHT算法将通过下面的迭代公式 来获取一系列的预测值:x[n+1]=Hs(x[n]T(y-Φx[n])) (1)
其中Hs(x)是非线性运算符,它将x中除了s个最大(在数量级上)元素以外的其它所有元素设置 为零,即保留x中s个最大元素而将其他所有元素置零。如果没有唯一的这样的集合,则可以随机地或基 于元素的预定义顺序来选择集合。但Blumensath和Davies已经证明了这种循环算法在采样矩阵Φ满足 RIP特性时,会收敛到一个最优的固定点x。
循环硬门限法算法总的来说是非常简单的。它涉及到每次迭代中采样矩阵Φ和ΦT的一次应用以及 向量的两个加法。运算符Hs(x)的大小涉及x[n]T(y-Φx[n])的元素的部分排序。该算法存储需求很 小,除了存储y之外,我们只需要存储长度为N的向量x。IHT算法的存储和计算复杂度的瓶颈取决于采 样矩阵Φ和ΦT。如果这些矩阵是通用矩阵,则计算复杂度或存储需求是O(MN)。对于大多数情况,采 样矩阵通常使用基于快速傅里叶变换或小波变换的结构化矩阵,这些变换大大减少存储需求,并且可以把 计算复杂度降到O(Nlog(M))甚至是O(N)。
2.2、BCS_SPL算法
BCS_SPL算法是基于硬循环门限算法的,也就是说是在硬循环门限算法的基础上进行改进的。在该算 法中,图像或者视频的采样由随机矩阵逐块的进行采样,而重建是包含平滑操作式(1)的PL重建的变体。 由于该算法是由基于块的压缩感知(BCS)采样和平滑PL(SPL)重建组合的,因此将整体技术称为BCS_SPL。 下面将详细的阐述其组成部分。
(1)BCS—基于块的压缩感知
在感知和重建过程中,当图像太大而不能被可行地处理时,可以采用图像处理领域的思想,具体而 言就是将图像分解成更小的块并独立地处理块。这种方法是Gan针对图像的基于块的压缩感知(BCS)而 提出的。
在BCS中,图像被划分为B×B大小的块,并使用适当尺寸的测量矩阵进行采样。也就是说,假设xj是以光栅扫描的方式得到的来表示输入信号x的j块的矢量。则对应的yj就表示为yj=ΦBxj,其中ΦB是MB×B2的正交测量矩阵,
Figure BDA0002409392560000061
使得图像作为整体的目标子速率为S=MB/B2
对整个图像x而言,选择使用BCS相较于使用随机采样会有很多益处。首先,由于测量矩阵ΦB的尺 寸很小,所以它可以被方便地存储和使用。第二,设备中的编码器不需要等到整个图像都被测量完毕,而 是可以在其线性投影之后马上发送每个块。因此可以得到具有最小均方误差的初始近似x[0]
(2)SPL——一个平滑PL的变体
由Gan的理论可知,维纳滤波器被并入到基本的PL框架中,能够去除块状伪影。实质上,除了PL 固有的稀疏性之外,这种操作还施加了平滑度。具体地来说,SPL就是维纳滤波步骤与式(1)的PL投影 交织。相应的伪码如下所示。
算法2:SPL算法
输入:x[n],信号测量值y,正交测量矩阵ΦB,稀疏基Ψ,常数因子λ。初始化:x[0]=ΦTy,进 行维纳滤波
Figure BDA0002409392560000071
步骤如下:
1.对每一小块,循环执行:
Figure BDA0002409392560000072
2.
Figure BDA0002409392560000073
3.
Figure BDA0002409392560000074
4.
Figure BDA0002409392560000075
5.再对每一小块,循环执行:
Figure BDA0002409392560000076
6.直到步骤5的循环结束,返回x[n+1]。输出:x[n+1]
其中,Wiener(·)使用的是3×3的邻域的像素自适应维纳滤波器,而Threshold(·)是如下所述的阈 值处理过程。在上述SPL过程中用x[0]=ΦTy进行初始化,结束条件是|D(n+1)-D[n]|<10-4,其中
Figure BDA0002409392560000077
(3)BCS_SPL
BCS_SPL算法虽然是基于IHT算法,但它和IHT算法还是有一定不同的。这个不同之处也就是BCS_SPL 算法的改进之处:在选取要保留的值和要置零的值时,正如2.1小节所说,IHT算法是将x中保留s个最 大(在数量级上)元素并将其余部分的元素值设置为零;而BCS_SPL算法不是根据s值,而是根据阈值来 进行判断保留或置零,因此阈值判断公式为:
Figure BDA0002409392560000078
其中
Figure BDA0002409392560000079
表示阈值,具体计算过程将在下一节详细给出。BCS_SPL算法比IHT算法还有一个先进的地 方就是运用了维纳滤波器,用维纳滤波器的好处就是可以减少每次迭代的块效应,因此它的重建效果也就 相比IHT算法而言更加优秀,特别是在重建质量方面。
BCS_SPL算法相应的伪码如下所示。
算法3:BCS_SPL算法,输入:信号测量值y,正交测量矩阵ΦB,稀疏基Ψ,常数因子λ。初始化: 计算初始重建信号
Figure BDA00024093925600000710
设置初始迭代数值n=0。阈值循环迭代:
1.对x[n]进行维纳滤波,
Figure BDA00024093925600000711
2.对每一小块,循环执行:
Figure BDA00024093925600000712
3.
Figure BDA0002409392560000081
4.
Figure BDA0002409392560000082
5.
Figure BDA0002409392560000083
6.再对每一小块,循环执行:
Figure BDA0002409392560000084
7.
Figure BDA0002409392560000085
8.n=n+1;
9.判断是否满足阈值条件,不满足则返回步骤1,直到满足阈值条件|D(n)-D[n-1]|<10-4,则循环结 束,并返回x=x[n]。输出:重建信号x。
2.3、BCS_SPL算法改进方案
在实际过程中,BCS_SPL重建算法无论是在重建质量还是在重建速度上都比大部分算法优秀,但是仔 细研究该算法的重建流程,就可以发现该算法还是有一定瑕疵的,也就是存在改进提升的可能。在 Threshold函数中,阈值判断公式中的阈值计算如(3)所示:
Figure BDA0002409392560000086
式中K表示稀疏变换后系数的个数,而σ表示的是噪声方差估计。σ值由式(4)所示:
Figure BDA0002409392560000087
也就是说σ使用维纳滤波后图像系数稀疏的中值除以固定的噪声尺度因子Qf而得到的。在BCS_SPL 算法中,Q的取值是固定的,大小为0.6745上。正是使用了固定的尺度因子,BCS_SPL算法因此存在一定 的问题。该算法没有考虑图像的纹理复杂情况、采样率大小以及分块大小,统一使用固定的尺度因子,这 就会导致噪声方差的估计与实际情况不符,也就会影响到阈值判断。假设每一帧图片的最佳尺度因子为 Qb,则最佳阈值为τb,而每次重构时使用的实际尺度因子设为Qa,实际阈值为τa。当使用固定尺度因子 作为实际尺度因子Qa对其进行重构时会出现两种错误的情况:当最佳尺度因子Qb大于实际尺度因子Qa时,根据公式(3)和式(4)可知实际阈值τa就会大于最佳阈值τb,这就迭代次数就会减少,也就是还未达到最佳重构结果就提前终止迭代了;同理,当最佳因尺度因子Qb比实际尺度因子Qa小时,即实际阈 值τa比最佳阈值τb大,这样就会增加迭代次数,这些多余的迭代次数并不会对重构质量有很大提升,反 而会增加图片的重构时间。
针对这个问题,本发明提出了一种基于BP神经网络的噪声方差估计方法,将固定的0.6745改为动 态的尺度因子Qd,该尺度因子会根据图像的纹理复杂度情况、采样率以及分块大小等可能存在的影响因 素进行动态调整,保证每一帧图像的尺度因子都接近最佳。为了得出尺度因子的动态变化模型,本发明首 先对100幅不同类型的标准测试图像分别使用三种不同分块大小(8、16、32)进行BCS_SPL重构,稀疏 基使用的是DCT稀疏基,观测矩阵是随机高斯正交矩阵,并且设置采样率为0.2~0.8(以0.1为间隔)来 进行大量实验,统计出每种图像的统计最佳尺度因子。为了避免出现偶然性,每组数据进行20次试验最 后求其均值。部分实验数据如下表1所示。
表1实验统计的最佳尺度因子
Figure BDA0002409392560000091
由表中数据可以看出,试验中每幅图片的Qb均不是0.6745,这也再次证明原算法存在问题。并且大 量数据表明同一幅图片在不同采样率下对最佳尺度因子影响不大,故后续训练模型时不考虑该参数。
最后将分块大小、图像纹理作为参数,使用机器学习中的BP神经网络算法进行训练,得出计算近似 最佳尺度因子的模型函数:Qf=Model(ω,b), (5)
其中Qf表示近似最佳尺度因子,Model表示已经训练好的模型,ω为图片的纹理复杂度,b为块 大小。因此标准噪声的公式要修改为:
Figure BDA0002409392560000092
综上所述可以得到改进的BCS_SPL算法伪码:
算法4:改进的BCS_SPL算法
输入:信号测量值y,正交测量矩阵ΦB,稀疏基Ψ,常数因子λ,纹理复杂度ω,分块大小b。 初始化:计算初始重建信号
Figure BDA0002409392560000101
设置初始迭代数值n=0。阈值循环迭代:
1.对x[n]进行维纳滤波,
Figure BDA0002409392560000102
2.对每一小块,循环执行:
Figure BDA0002409392560000103
3.
Figure BDA0002409392560000104
4.Qf=Model(ω,b),σ=median(θ)/Qf
5.
Figure BDA0002409392560000105
6.
Figure BDA0002409392560000106
7.再对每一小块,循环执行:。
Figure BDA0002409392560000107
8.
Figure BDA0002409392560000108
9.n=n+1;
10.判断是否满足阈值条件,不满足则返回步骤1,直到满足阈值条件|D(n)-D[n-1]|<10-4,则循环 结束,并返回x=x[n]。输出:重建信号x。
改进后的BCS_SPL算法和原版本的算法,最主要的不同就是加入了两个新的输入参数,即ω和b。ω 参数的计算需要在编码时计算后并随编码后的数据一同发送给解码方。纹理复杂度ω使用第1节介绍的图 像的边缘点数进行计算,如公式
Figure BDA0002409392560000109
式中Pa为图片的总边缘点数,xrow表示图像数据的行数,xcol表示图像数据的列数,其乘积就是图 片像素点的个数。相比原算法,改进的算法虽然增加了一个尺度因子计算,但该尺度因子在模型已经训练 好的前提下,计算极其简单,对其整个系统的步骤没有影响,因此并不会增加算法的计算复杂度,也就是 说在不增加计算复杂度的前提下,提高了重建质量。
以上内容在现有图像、视频编解码算法的基础上,针对编解码框架中的非关键帧和关键帧的编码算 法的一些缺点分别提出了改进的方案,使其更适合本发明提出的基于分布式压缩感知视频采集传输系统。 对于关键帧,先分析基于分块的图像处理算法产生块效应的原因,然后针对均匀分块的缺点,提出了基于 Canny边缘检测技术的自适应分块算法。对于非关键帧,首先对现有的硬循环门限算法和BCS_SPL算法进 行详细阐述,分别用伪码的方式再现了这两种算法。指出了BCS_SPL算法比IHT算法的优秀之处,也指出 了BCS_SPL算法的不足指出或者说是有待改进的地方。然后根据这个不足之处提出了改进的方案,即将原 来的阈值判断函数中的参数由固定值改为自适应动态值,使其更适合实际中视频图像种类繁多的情况,大 大提高了重构算法的普适性和鲁棒性。对于两种改进方法,均给出全面详尽的说明,包括引入的新公式、 新增参数、改进后的具体流程等。
3.1、关键帧改进算法的仿真与分析
采用的硬件平台是联想Thinkpad系列,型号是X240,所使用的操作系统是Windows10专业版,处理 器是Intel(R)Core(TM)i7-4600U CPU,2.69GHz,系统类型是64位操作系统(基于x64的处理器),已 安装的内存(RAM)为8GB(7.69GB可用)。实验所使用的Matlab软件版本为R2019(b)。使用的测试图 像是bmp格式的Lena、Goldhill、Bridge和Man等10张图像处理中常用的标准测试图像,大小均为512*512。 实图像最大分块设置为32,最小分块设置为8,即可选择的分块大小为8、16、32三种。为了尽量减低偶 然性带来的结果误差,对于每幅图片的仿真时间均进行100次,最后求平均值。对于性能分析除了根据客 观评价外,还将编解码时间作为衡量性能好坏的指标。10张不同纹理复杂度的图像分别使用两种算法的仿 真结果如表2。
表2关键帧重构时间和PSNR值
Figure BDA0002409392560000111
根据上述实验结果,我们可以看出,改进算法的重建时间在不同纹理复杂度的图像上均有缩短。10 张图片平均缩短了0.99s,总体节省了52.03%的时间,也就是缩短了超过一半的时间。在10张图内进行 对比,发现对于图像Lena的重建时间节省比例最大,节省了56.48%;图像Bridge节省最少。仔细分析了 图像Lena,发现造成这种现象的主要原因是该图像的纹理复杂度相对比较小,纹理变换也相对缓慢。纹理 简单的背景部分占很大比重,只有帽子装饰部分纹理相比复杂,但该部分占比很小,这样整张图片需要更 进一步的分块的区域就很小,因此整体分块个数变少,计算次数就会减少,最终节省了重构时间。而对于 图像Bridge来说,虽然改进的算法的重建时间也有所节省,但节省程度相对小一些,这是因为该图像纹 理相对比较复杂,纹理变化剧烈,即使使用自适应分块算法也需要进行大量分块,分块数目虽然较原算法 会有减少,但是对比其他图片来说分块数量还是很多,因此节省的时间也会减少。实验中Lena图像被划 分为1168块,Bridge图像被划分为1501块,这也证明了上述的分析结果。
再从重构质量来看,10幅图中有9幅图的重构质量均会有一定程度的提升,只有图片Man会有一点 下降,但下降幅度不大,符合系统的“在牺牲一点重构质量或保持重构质量但能大幅节省重构时间”设计 初衷。
图5—图8分别给出了对于Lena、Goldhill、Bridge和Man这4幅比较有代表性的图像的重建效果 主观对比图。从图中可以看出,不管对于哪一幅图像来说,改进后的算法的重建效果较原算法均变化不大, 图像纹理平滑,局部细节清晰,即使是Man这张图像,虽然从客观数据可知重构质量有所下滑,但在主观 看来下滑程度不明显,完全可以接受。综上所述改进后算法确实能够有效的节省重构时间并保持原算法的 重建质量。
3.2非关键帧改进算法的仿真与分析
采用的硬件平台是联想Thinkpad系列,型号是X240,所使用的操作系统是Windows10专业版,处理 器是Intel(R)Core(TM)i7-4600U CPU,2.69GHz,系统类型是64位操作系统(基于x64的处理器),已 安装的内存(RAM)为8GB(7.69GB可用)。实验所使用的Matlab软件版本为R2019(b)。实验中使用的 测试图片为CameraMan、GoldHill、Bridge以及Mandrill这四张具有代表性的图片,每张图片均为bmp 格式,大小为512x512.四张图片的纹理计算值如表3所示。
表3测试图片纹理值
图片 纹理值ω 主观复杂情况
CameraMan 0.0901 简单
GoldHill 0.1238 一般
Bridge 0.1599 较复杂
Mandrill 0.1865 非常复杂
其中纹理值ω越小代表图片纹理复杂度越低,因此可以得到四张图的纹理复杂关杂关系: ManDrill>Bridge>GoldHill>CameraMan.实验中使用的对比算法为BCS_SPL算法,本发明提出的自适应尺 度因子结合BCS_SPL简称为ASC_BCS_SPL(Adaptive Scale FactorBCS_SPL),两种算法稀疏基使用的是 DCT稀疏基,观测矩阵是随机高斯正交矩阵,并且设置采样率为0.2~0.5(以0.1为间隔),图像分块大 小为8x8、16x16以及32x32三种。为了尽量减低偶然性带来的结果误差,对于每幅图片的仿真时间均进 行100次,最后求平均值。对于性能衡量指标仍然是PSNR和重构时间。
3.3不同采样率下重构性能分析
首先,为了验证自适应尺度因子模型的准确性,将四张图片的纹理以及三种分块大小作为参数传入 模型,得到表4。
表4尺度因子表
Figure BDA0002409392560000121
Figure BDA0002409392560000131
表中Qb表示大量实验统计得出的最佳尺度因子,Qa为模型计算出的结果。可以看到模型计算出的尺 度因子非常接近统计最佳尺度因子。下面将自适应尺度因子带入BCS_SPL重构算法中,在分块大小为16 的情况下,不同的采样率下得出结果如图9。
从图中可以看出四张纹理复杂度不同的测试图片在各个采样率中PSNR值均有提升,平均提升了 0.5db。其中图片CameraMan提升最大。图10至13为四幅图片在采样率0.3,分块大小8x8情况下重构主 观效果对比,可以看出本发明提出的ASC_BCS_SPL在主观效果上表现良好,在低采样率下也能很好的重构 图片。上述实验结果可以表明,针对不同纹理复杂度的图片,使用本发明提出的重构算法均能提高重构质 量。
3.4算法时间复杂度分析
表5是四幅图片在不同采样率且分块大小为8的情况下,分别采用BCS_SPL和ASC_BCS_SPL重构算 法进行图片重构所消耗的时间。
表5重构时间表
Figure BDA0002409392560000132
其中CameraMan重构时间减少,其余三张图片时间均有所增加。这是因为CameraMan的最佳尺度因 子为0.3525,而BCS_SPL使用的固定尺度因子0.6745大于最佳尺度因子,这会导致增加不必要的迭代次 数,当将0.6745改为由本文提所提算法计算而得的0.3753后,迭代次数减少,最终降低了重构时间;而 GoldHill、:Bridge以及Mandrill计算出的尺度因子均大于0.6745,从而增加了迭代次数,最终导致时 间增加。虽然这三张图片重构时间消耗有所增加,但增加幅度平均为0.04秒,幅度不是很明显,在实际 应用中会忽略不计,在使用ASF_BCS_SPL算法时重构质量是有提升的。综上所述,本文提出的ASF_BCS_SPL 重构算法在不明显增加时间复杂度的前提下提高了重构质量,具有一定的应用价值。

Claims (8)

1.一种视频的分布式压缩感知编解码方法,其特征在于:包括步骤1,对关键帧的基于JPEG编解码算法的改进;步骤2,对非关键帧的基于BCS_SPL重建算法的改进;
其中步骤1中关键帧的编码过程中在分块DCT的基础上加入基于Canny边缘检测的自适应方法含有以下步骤:
步骤1.1:对图片计算自适应分块信息;
步骤1.2:根据得到的分块信息进行不同尺寸的DCT变换编码;
其中步骤2中非关键帧在BCS_SPL算法的基础上引入动态自适应尺度因子,含有以下步骤:
步骤2.1:通过大量实验测试、创建并统计最佳尺度样本数据;
步骤2.2:计算样本图片的纹理复杂度;
步骤2.3:对样本数据使用BP神经网络进行训练,得到自适应尺度因子模型;
步骤2.4:修改原BCS_SPL算法,增加新的输入参数;
步骤2.5:使用改进的BCS_SPL算法修改整个关键帧编码和解码流程。
2.根据权利要求1所述的视频的分布式压缩感知编解码方法,其特征在于:所述步骤1.1含有以下步骤:
1.1.1、采用Canny边缘检测方法对图片进行边缘化,得到只包含0和1的二值矩阵,统计整张图片二值矩阵中1的个数,称为总边缘点数;
步骤1.1.2、将图片按照32x32尺寸进行平均分块;
步骤1.1.3、统计分块的个数,使用总边缘点数除以分块个数得到每一分块的平均边缘点数;
步骤1.1.4、根据每一块的点数与平均点数的对比结果,判断是否继续分块;
步骤1.1.5、若当前块边缘点数大于平均边缘点数且当前分块尺寸大于16x16时,需进行进一步分块,则执行1.1.6;否则不需要继续分块,则执行步骤1.1.7;
步骤1.1.6、继续分块则将当前分块平均分为四份,统计每个新分块边缘点数,并计算得到新分块的平均边缘点数,然后执行1.1.4;
步骤1.1.7、记录当前分块在整个图片的坐标位置,以整张图片左上角为原点,当前分块左上角的点到图片左边界的距离为横坐标x;当前分块左上角的点到整张图片上边界的距离为纵坐标y,并记录当前分块大小b;
步骤1.1.8、当整张图片所有分块均不能继续分块后,输出该图片的自适应分块信息,分块信息为一个二维矩阵,每一行三个数据,分别代表分块的横坐标、纵坐标以及分块大小,数据记录顺序是原图片中从左到右从上到下依次记录分块信息。
3.根据权利要求1所述的视频的分布式压缩感知编解码方法,其特征在于:所述步骤1.2含有以下步骤:编码时循环读取自适应分块信息表,根据表中每一行的分块横纵坐标和分块大小从原图片中读取相应大小的块数据;对获取的块数据进行DCT变换编码以及均匀量化和熵编码工作;最后将该编码后的数据打包发送,完成关键帧编码。
4.根据权利要求1所述的视频的分布式压缩感知编解码方法,其特征在于:所述步骤2.1含有以下步骤:选取100幅不同纹理复杂程度的图片作为实验图片,使用8x8、16x16以及32x32三种分块大小,在0.2~0.8的采样率下进行实验,其中间隔为0.1,每次实验进行100次取均值,共获得2100组数据。
5.根据权利要求1所述的视频的分布式压缩感知编解码方法,其特征在于:所述步骤2.2含有以下步骤:继续使用步骤2.1中的100幅样本图片,使用Canny边缘检测方法使这些图片进行边缘化,得到0、1二值矩阵;统计矩阵中1的个数P,用P除以图片大小得到图片纹理复杂度,将每张图片的纹理复杂度一一对应地添加到步骤2.1中的测试数据中,作为样本数据。
6.根据权利要求1所述的视频的分布式压缩感知编解码方法,其特征在于:所述步骤2.3含有以下步骤:根据训练数据创建合适的归一化模型并保存,取出训练数据中的百分之八十作为训练样本,百分之二十作为测试样本,每组数据以分块大小、采样率、图片纹理复杂度为特征参数,以统计最佳尺度因子作为标记;将训练样本的特征参数数据和标记数据传入BP神经网络中进行训练,并通过测试样本进行模型调整,最终得到计算近似最佳尺度因子的模型并保存,其中BP神经网络的权重优化解决方案为lbfgs,L2正则系数为0.0001,alpha正则参数为7e-5。
7.根据权利要求1所述的视频的分布式压缩感知编解码方法,其特征在于:所述步骤2.4含有以下步骤:在原BCS_SPL算法中引入新的输入参数:纹理复杂度w,w的值通过步骤2.2计算,将w传入BCS_SPL算法后,加载步骤2.3训练好的模型M,使用Q=M(w,b)来计算近似最佳尺度因子Q,改动原算法的阈值计算函数,将函数中的固定尺度因子0.6745修改为近似最佳尺度因子Q,原算法其他部分无需改动,即将
Figure FDA0002409392550000021
修改为
Figure FDA0002409392550000022
具体过程如下:
7.1、将图片测量值y,正交测量矩阵ΦB,稀疏基Ψ,常数因子λ,纹理复杂度ω,分块大小b作为参数传入改进的BCS_SPL解码函数中;
7.2、将存放重建图片值的
Figure FDA0002409392550000023
初始化为
Figure FDA0002409392550000024
并设置最大迭代次数nmax为200,,迭代因子n设置为0,开始循环执行7.3到7.8,直到n达到nmax或者符合阈值判断即可退出;
7.3、对当前重建图片值进行维纳滤波,消除块效应,即
Figure FDA0002409392550000025
7.4、对当前重建图片值的每一分块进行凸松弛投影重构:
Figure FDA0002409392550000026
7.5、使用步骤2.3中训练好的模型计算近似尺度因子Qf=Model(ω,b),并用该尺度因子计算阈值;
7.6、进行阈值判断
Figure FDA0002409392550000027
7.7、再次对图像块执行凸松弛重构:
Figure FDA0002409392550000028
7.8、计算误差
Figure FDA0002409392550000031
并使用误差进行循环终止判断:不满足则返回步骤7.3,并让迭代因子n的值加1,直到满足阈值条件|D(n)-D[n-1]|<10-4,则循环结束,并返回x=x[n]
8.根据权利要求1所述的视频的分布式压缩感知编解码方法,其特征在于:所述步骤2.5含有以下步骤:在使用改进的BCS_SPL算法时,编码端多计算一个纹理复杂度参数,该参数会随编码数据一同传输到解码端,便于解码,解码端在接收到纹理复杂度后,传入到解码函数中,便于计算自适应尺度因子。
CN202010171701.7A 2020-03-12 2020-03-12 一种视频的分布式压缩感知编解码方法 Active CN111510719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010171701.7A CN111510719B (zh) 2020-03-12 2020-03-12 一种视频的分布式压缩感知编解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010171701.7A CN111510719B (zh) 2020-03-12 2020-03-12 一种视频的分布式压缩感知编解码方法

Publications (2)

Publication Number Publication Date
CN111510719A true CN111510719A (zh) 2020-08-07
CN111510719B CN111510719B (zh) 2022-03-15

Family

ID=71872526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010171701.7A Active CN111510719B (zh) 2020-03-12 2020-03-12 一种视频的分布式压缩感知编解码方法

Country Status (1)

Country Link
CN (1) CN111510719B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240975A (zh) * 2022-02-28 2022-03-25 安翰科技(武汉)股份有限公司 图像处理方法和图像处理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011156250A1 (en) * 2010-06-07 2011-12-15 Thomson Licensing Learned transform and compressive sensing for video coding
CN105761290A (zh) * 2016-03-01 2016-07-13 北京理工大学 一种自适应的多尺度分块压缩感知采样方法
CN107146259A (zh) * 2017-04-05 2017-09-08 电子科技大学 一种基于压缩感知理论的新型图像压缩方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011156250A1 (en) * 2010-06-07 2011-12-15 Thomson Licensing Learned transform and compressive sensing for video coding
CN105761290A (zh) * 2016-03-01 2016-07-13 北京理工大学 一种自适应的多尺度分块压缩感知采样方法
CN107146259A (zh) * 2017-04-05 2017-09-08 电子科技大学 一种基于压缩感知理论的新型图像压缩方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN, J (CHEN, JIAN): "《Distributed compressed video sensing based on key frame secondary reconstruction》", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
LI RAN;GAN ZONGLIANG;CUI ZIGUAN;WU MINGHU;ZHU XIUCHANG: "《China Communications》", 《DISTRIBUTED ADAPTIVE COMPRESSED VIDEO SENSING USING SMOOTHED PROJECTED LANDWEBER RECONSTRUCTION》 *
曹玉强等: "图像自适应分块的压缩感知采样算法", 《中国图象图形学报》 *
程德强等: "自适应多尺度分块压缩感知算法", 《中国图象图形学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240975A (zh) * 2022-02-28 2022-03-25 安翰科技(武汉)股份有限公司 图像处理方法和图像处理装置

Also Published As

Publication number Publication date
CN111510719B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
Zhang et al. Low-rank decomposition-based restoration of compressed images via adaptive noise estimation
CN110490832B (zh) 一种基于正则化深度图像先验方法的磁共振图像重建方法
Li et al. An efficient deep convolutional neural networks model for compressed image deblocking
CN109671029B (zh) 基于伽马范数最小化的图像去噪方法
KR20190127909A (ko) 심층 신경망을 통한 시각 품질 유지 양자화 파라미터 예측
Sun et al. Reduction of JPEG compression artifacts based on DCT coefficients prediction
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
Hou et al. Sparse representation for colors of 3D point cloud via virtual adaptive sampling
Aytekin et al. Block-optimized variable bit rate neural image compression
CN111510719B (zh) 一种视频的分布式压缩感知编解码方法
Zou et al. A nonlocal low-rank regularization method for fractal image coding
CN112218094A (zh) 一种基于dct系数预测的jpeg图像去压缩效应方法
KR100319557B1 (ko) 블럭 단위로 부호화된 영상의 블럭 경계 잡음 성분 제거 방법
CN107154061B (zh) 一种分块压缩感知的正则化解码方法
WO2019191891A1 (zh) 用于视频处理的方法和设备
Hsung et al. Application of singularity detection for the deblocking of JPEG decoded images
US7260269B2 (en) Image recovery using thresholding and direct linear solvers
CN109559357B (zh) 一种基于小波包阈值的图像块压缩感知重构方法
CN109448065B (zh) 一种基于梯度分块自适应测量的压缩感知方法
Hu et al. Adaptive Image Zooming based on Bilinear Interpolation and VQ Approximation
CN110175965B (zh) 基于自适应采样及平滑投影的分块压缩感知方法
Jiang et al. Oriented total variation l1/2 regularization
Paul et al. On visual masking estimation for adaptive quantization using steerable filters
Algazi et al. Preprocessing for improved performance in image and video coding
CN116109519B (zh) 图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant