CN112437300B - 一种基于自适应区间重叠因子的分布式视频编码方法 - Google Patents

一种基于自适应区间重叠因子的分布式视频编码方法 Download PDF

Info

Publication number
CN112437300B
CN112437300B CN202011318867.3A CN202011318867A CN112437300B CN 112437300 B CN112437300 B CN 112437300B CN 202011318867 A CN202011318867 A CN 202011318867A CN 112437300 B CN112437300 B CN 112437300B
Authority
CN
China
Prior art keywords
bit
residual
data stream
plane data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011318867.3A
Other languages
English (en)
Other versions
CN112437300A (zh
Inventor
周俊伟
吕婷
夏喆
赵冬冬
熊盛武
杨焱超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202011318867.3A priority Critical patent/CN112437300B/zh
Publication of CN112437300A publication Critical patent/CN112437300A/zh
Application granted granted Critical
Publication of CN112437300B publication Critical patent/CN112437300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种基于自适应区间重叠因子的分布式视频编码方法。在编码端,首先将输入的视频序列根据图像组的大小,分为关键帧和剩余帧。利用关键帧和剩余帧计算残差图像,经过图像分割、整数DCT变化、量化以及位平面定序后的残差图像由DAC编码器进行压缩。在解码端,首先利用关键帧生成辅助边信息。其次结合边信息以及相关噪声模型在DAC解码器上得到位平面上的DAC解码数据。最后,重构出解码的剩余帧并输出。分别计算DVC系统编解码端位平面数据流的信息熵,并结合幂函数模型,可以实现DVC系统编解码端的码率控制。本发明优点在于,对于不同运动程度的视频,可以实现DAC区间重叠因子的自适应估计,从而实现码率控制。

Description

一种基于自适应区间重叠因子的分布式视频编码方法
技术领域
本发明属于分布式视频编码技术领域,尤其涉及一种基于自适应区间重叠因子的分布式视频编码方法。
背景技术
不同于传统的视频编码方式,DVC从编码端将具有复杂运算的模块(如运动估计、运动补偿等)转移到解码端。因此,它可以在编码端的计算能力、存储空间和功耗资源都受限的场景中进行应用。DVC一般采用帧内编码、帧间解码的方法将视频帧分为关键帧和剩余帧。使用传统的视频编码方式对关键帧进行编解码,采用DVC实现剩余帧的编解码。
目前,大多数的DVC方案使用信道编码实现剩余帧的编解码。虽然信道编码具有一定的纠错能力,但在中短长度信源中压缩性能表现不佳。因为绝大多数视频分块之后的信源长度都比较小,所以信道编码的优势得不到充分展现。鉴于传统视频编码方式采用信源编码(如算术编码)可以表现出良好的压缩性能。DAC结合了分布式信源编码与算术编码的优点,既适用于DVC,又能很好地压缩视频的中短长度信源。
虽然Zhou等人提出的基于DAC的视频编码方案能达到比较不错的率失真性能,但是在实际编码过程中依然需要手动调参。与此同时,尽管无反馈DVC由于不存在反馈信道而降低了网络时延,但它对码率估计的精度要求较高。因此,对于具有不同运动程度的视频,该方案无法实现DAC区间重叠因子的自适应估计。
发明内容
本发明实现了无反馈DVC的码率控制,解决了基于信道编码的视频编码方案在中短长度信源上译码性能不佳的技术问题。
本发明所采用的技术方案为一种基于自适应区间重叠因子的分布式视频编码方法,具体包括以下步骤
步骤1:将输入的视频序列划分成多个图像组,每个图像组里面第一幅图像定义为关键帧,其余的图像定义为剩余帧;
步骤2:利用图像组中的关键帧和剩余帧计算残差图像,将残差图像通过图像分割处理得到多个信号矩阵,对信号矩阵进行整数DCT变化得到整数DCT系数矩阵;
步骤3:将整数DCT系数矩阵进行量化得到一维频带,将一维频带通过位平面定序得到位平面数据流,将位平面数据流通过DAC编码器得到二进制码字;
步骤4:将相邻两个图像组的关键帧分别经过低通滤波器的处理得到滤波后相邻两个图像组的关键帧,滤波后相邻两个图像组的关键帧进行双向运动估计得到运动向量,进一步通过双向运动补偿得到边信息;
步骤5:将边信息帧通过图像分割处理得到多个边信息信号矩阵,对边信息信号矩阵进行整数DCT变化得到边信息整数DCT系数矩阵,用拉普拉斯分布计算剩余帧和边信息的差异,得到拉普拉斯分布模型;
步骤6:将边信息整数DCT系数矩阵进行量化得到一维频带,将一维频带通过位平面定序得到位平面数据流,将位平面数据流通过拉普拉斯分布模型转换为软输入信息,将软输入信息通过条件比特概率转化成相关边信息信源。
步骤7:利用二进制符号统计概率初始化解码区间,建立解码二叉树,利用相关边信息信源在解码二叉树中计算出解码后的位平面数据流,将解码后的位平面数据流通过位平面重定序生成重构后的一维频带,将重构后的一维频带通过量化得到重构后的整数DCT系数矩阵,将重构后的整数DCT系数矩阵进行整数DCT逆变换得到重构后的信号矩阵;
步骤8:通过步骤1至步骤3对DVC系统的编码端进行控制,计算DVC系统编码端位平面数据流的信息熵,通过幂函数模型实现DVC系统的编码端的码率控制;通过步骤4至步骤7对DVC系统的解码端进行控制,计算DVC系统的解码端位平面数据流的信息熵,通过幂函数模型实现DVC系统的解码端的码率控制。
作为优选,步骤1所述图像组为:
GOPk={datak,1,datak,2,…,datak,N}
k∈[1,M]
其中,GOPk为第k个图像组,M为图像组的数量,datak,s为第k个图像组中第s幅图像,若s=1则为关键帧,若s∈[2,N]则为剩余帧,N为第k个图像组中图像的数量,N的值为2的整数次幂,datak,s(i,j)为第k个图像组里第s幅图像中第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为图像的行数,Y为图像的列数。
作为优选,步骤2所述残差图像为:
Δdatak,s(i,j)=datak,s(i,j)-datak,1(i,j)
k∈[1,M],s∈[2,N]
其中,Δdatak,s为第k个图像组中第s幅剩余帧对应的残差图像,每个图像组包括N-1个残差图像,共M个图像组。
所述信号矩阵为:
Δdatak,s={fk,s,(1,1),fk,s,(1,2),…,fk,s,(A,B)}
其中,fk,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的信号矩阵,分割后的残差图像每行有A个信号矩阵,每列有B个信号矩阵,共有A×B个信号矩阵,且A=Y/W,B=X/W。
fk,s,(p,q)为第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的信号矩阵,大小为W×W,且p∈[1,B],q∈[1,A];fk,s,(p,q)(i′,j′)表示fk,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
步骤2所述将信号矩阵进行整数DCT变化得到整数DCT系数矩阵,具体为:
整数DCT系数矩阵Fk,s,(p,q)可以表示为:
Figure BDA0002792169920000021
其中,Fk,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的整数DCT系数矩阵,Af表示整数DCT变换矩阵;
Fk,s,(p,q)大小为W×W,共有A×B个,Fk,s,(p,q)(i′,j′)是整数DCT系数矩阵Fk,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
作为优选,步骤3所述将整数DCT系数矩阵进行量化得到一维频带为:
第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的整数DCT系数矩阵即Fk,s,(p,q)分别与量化矩阵L的对应位置进行按位或操作,生成第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的中间矩阵即Mk,s,(p,q)
Mk,s,(p,q)大小为W×W,共有A×B个,Mk,s,(p,q)(i′,j′)是中间矩阵Mk,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
对每个Mk,s,(p,q)进行Z字形扫描,扫描到的相同顺序的值组成一维频带Pk,s,z
其中,Pk,s,z表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带,且z∈[1,W2],一维频带Pk,s,z的长度为A×B;
Figure BDA0002792169920000022
表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带上第
Figure BDA0002792169920000023
个块的值,且
Figure BDA0002792169920000024
即在第
Figure BDA0002792169920000025
个中间矩阵Mk,s,(p,q)上取到的值;
在这W2个频带中,频率最低的称为直流频带,其他频带称为交流频带。
所述量化矩为:
量化矩阵即L的大小为W×W,L(i′,j′)是量化矩阵第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
量化矩阵中的值L(i′,j′)表示与DCT频带关联的量化级别数,可以表示为:
L(i′,j′)∈[0,2m]
其中,m为整数,一维频带Pk,s,z产生的位平面的个数Bk,s,z可以表示为Bk,s,z=log2L(i′,j′)。Bk,s,z表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的位平面数据流的个数。
当L(i′,j′)=0时,表示没有将剩余帧datak,s上的信息发送到解码器相应量化级别的频带上;
步骤3所述将一维频带通过位平面定序得到位平面数据流为:
频带上第
Figure BDA0002792169920000031
个块的值
Figure BDA0002792169920000032
与只有第d位为1的二进制字符串进行按位与操作,提取
Figure BDA0002792169920000033
第d位的元素值
Figure BDA0002792169920000034
组成一个位平面数据流LSk,s,z,d,且d∈[1,Bk,s,z],即同一条频带上不同块的同一位比特组成为位平面数据流;
LSk,s,z,d={Pk,s,z(1)d,Pk,s,z(2)d,…,Pk,s,z(A×B)d}
其中,LSk,s,z,d表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流,且位平面数据流LSk,s,z,d的长度为A×B,
Figure BDA0002792169920000035
表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流上第
Figure BDA0002792169920000036
个块值的第d位元素;
步骤3所述将位平面数据流通过DAC编码器得到二进制码字为:
DAC编码器先分别统计位平面数据流LSk,s,z,d中二进制符号0和1的个数,进而计算出二进制符号0和1出现的概率p0和p1,然后通过DAC概率扩大因子α计算出扩大后的概率
Figure BDA0002792169920000037
Figure BDA0002792169920000038
并划分出它们在区间[0,1)上对应的子区间
Figure BDA0002792169920000039
Figure BDA00027921699200000310
其中
Figure BDA00027921699200000311
且i∈{0,1},表示二进制符号0和1,α∈[0,1);
数据准备完毕后,将位平面数据流根据以下方式进行迭代编码,找到最终区间上的二进制码字Ck,s,z,d
初始区间为[0,1),这里的下标
Figure BDA00027921699200000312
表示LSk,s,z,d中的第
Figure BDA00027921699200000313
个符号,用
Figure BDA00027921699200000314
表示;
步骤3.1,计算区间的大小;
Figure BDA00027921699200000315
步骤3.2,计算区间的新上限;
Figure BDA00027921699200000323
为符号0时,
Figure BDA00027921699200000316
Figure BDA00027921699200000317
为符号1时,
Figure BDA00027921699200000318
步骤3.3,计算区间的新下限;
Figure BDA00027921699200000319
为符号0时,
Figure BDA00027921699200000320
Figure BDA00027921699200000321
为符号1时,
Figure BDA00027921699200000322
运用上述公式,反复迭代,更新区间,最终在最新区间中选择一个小数输出,最为最终的编码输出结果,即码字Ck,s,z,d
Ck,s,z,d是第k个图像组中第s幅剩余帧对应的残差图像中第z个频带上第d个位平面数据流的二进制码字;
对于即将出现数学溢出的码字Ck,s,z,d,采用数据缓冲的方式,将溢出部分暂存于缓冲区。然后将剩余部分进行缩放,并继续进行DAC编码。重复上述编码过程直到所有符号都编码完成后,再将缓冲区中的缓存数据取出,拼接成最终的DAC码字Ck,s,z,d
设定一个阈值为2-l,当码字Ck,s,z,d的区间长度值大于l时,采用数据缓冲的方式,将前l个值暂存于缓冲区。然后将剩余部分前移l位,并继续进行DAC编码。重复上述编码过程直到所有符号都编码完成后,再讲缓冲区的缓存数据取出依次排列,拼接成最终的二进制码字即Ck,s,z,d
作为优选,步骤4所述将相邻两个图像组的关键帧分别经过低通滤波器的处理得到滤波后相邻两个图像组的关键帧为:
所述相邻两个图像组的关键帧为:datak,1、datak+1,1
所述滤波后相邻两个图像组的关键帧:data′k,1和data′k+1,1
其中,datak,1为第k个图像组中的关键帧,datak+1,1为第k+1个图像组中的关键帧,且k∈[1,M],M为图像组的数量,datak,s(i,j)为第k个图像组里关键帧第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为图像的行数,Y为图像的列数,data′k,1为第k个图像组中的关键帧经过低通滤波器处理得到的滤波后的关键帧,data′k+1,1为第k+1个图像组中的关键帧经过低通滤波器处理得到的滤波后的关键帧,data′k,1(i,j)为第k个图像组中的关键帧经过低通滤波器处理得到的滤波后的关键帧第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为滤波后关键帧的行数,Y为滤波后关键帧的列数。
步骤4所述运动向量为MVk
MVk是第k个图像组的运动向量,且k∈[1,M],M为图像组的数量,MVk(i,j)为第k个图像组运动向量第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为运动向量的行数,Y为运动向量的列数。
步骤4所述边信息为sik
sik是第k个图像组的边信息,且k∈[1,M],M为图像组的数量,sik(i,j)为第k个图像组边信息第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为边信息sik的行数,Y为边信息sik的列数。
作为优选,步骤5所述边信息信号矩阵为:
sik={sk,(1,1),sk,(1,2),…,sk,(A,B)}
其中,sk,(p,q)表示第k个图像组边信息第p行第q列的信号矩阵,分割后的边信息每行有A个边信息信号矩阵,每列有B个边信息信号矩阵,共有A×B个边信息信号矩阵,且A=Y/W,B=X/W。
sk,(p,q)为第k个图像组边信息第p行第q列的边信息信号矩阵,大小为W×W,且p∈[1,B],q∈[1,A];sk,(p,q)(i′,j′)表示sk,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
步骤5所述将边信息信号矩阵进行整数DCT变化得到边信息整数DCT系数矩阵,具体为:
边信息整数DCT系数矩阵表示为:
Figure BDA0002792169920000041
其中,Sk,(p,q)第k个图像组边信息第p行第q列的边信息整数DCT系数矩阵,Af表示边信息整数DCT变换矩阵;
Sk,(p,q)的大小为W×W,共有A×B个,Sk,(p,q)(i′,j′)是边信息整数DCT系数矩阵Sk,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
步骤5用拉普拉斯分布计算剩余帧和边信息的差异,得到拉普拉斯分布模型所述为:
同一图像组中,剩余帧datak,s和边信息sik之间的差异定义为相关噪声残差即CNR;
使用拉普拉斯分布对CNR建模,来获取解码后的相关噪声参数θ,具体如下所示:
假设σ2是剩余帧datak,s和边信息sik之间的差异生成的残差数据的方差。拉普拉斯参数可以定义为
Figure BDA0002792169920000051
拉普拉斯分布的概率密度P可以表示为:
Figure BDA0002792169920000052
其中,datak,s(i,j)表示第k个图像组中第s个剩余帧第i行第j列的值,sik(i,j)表示用于第k个图像组边信息第i行第j列的值,且i∈[1,X],j∈[1,Y],X为剩余帧和边信息的行数,Y为剩余帧和边信息的列数。
利用重构和逆变换之后的解码数据,对生成的噪声残差使用噪声残差精炼即NRR的方式进行精炼,将精炼后的噪声残差输入到拉普拉斯分布模型中,可以获得更加精确的θ值。
作为优选,步骤6所述将整数DCT系数矩阵进行量化得到一维频带的具体方法如第一步的步骤5中所示。
其中,Pk,1,z表示第k个图像组关键帧得到的边信息中第z个频带,且z∈[1,W2],Pk,1,z的长度为A×B,
Figure BDA0002792169920000053
表示第k个图像组关键帧得到的边信息中第z个频带上第
Figure BDA0002792169920000054
个块的值,且
Figure BDA0002792169920000055
利用重构和逆变换之后的解码数据,对一维频带采用边信息精炼即SIR的方式提高每个频带上边信息的准确度。
步骤6所述将一维频带通过位平面定序得到位平面数据流的具体方法如第一步的步骤5中所示。
LSk,1,z,d={Pk,1,z(1)d,Pk,1,z(2)d,…,Pk,1,z(A×B)d}
其中,LSk,1,z,d表示第k个图像组关键帧得到的边信息中第z个频带生成的第d个位平面数据流,且位平面数据流LSk,1,z,d的长度为A×B,共有Bk,1,z个;Bk,1,z表示第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流的个数,
Figure BDA0002792169920000056
表示第k个图像组中关键帧得到的边信息中第z个频带上第
Figure BDA0002792169920000057
个块值的第d位元素;
步骤6所述将位平面数据流通过拉普拉斯分布模型转换为软输入信息为:
使用拉普拉斯分布模型将边信息的位平面数据流LSk,1,z,d转化为软输入信息的位平面数据流Rk,1,z,d
Rk,1,z,d={P′k,1,z(1)d,P′k,1,z(2)d,…,P′k,1,z(A×B)d}
其中,Rk,1,z,d表示第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流转换得到的软输入信息的位平面数据流,且软输入信息位平面数据流的长度为A×B,共有Bk,1,z个,Bk,1,z表示第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流转化得到的软输入信息位平面数据流的个数;
Figure BDA00027921699200000510
表示第k个图像组关键帧得到的边信息中第z个频带上第
Figure BDA0002792169920000058
个块的值通过转化得到的结果,且
Figure BDA0002792169920000059
步骤6所述将软输入信息通过条件比特概率转化为相关边信息为:
软输入信息的位平面数据流Rk,1,z,d的对数似然比(Log-LikelihoodRatio,简称LLR)可以表示为:
Figure BDA0002792169920000061
其中,Rk,1,z,d=0表示Rk,1,z,d中的所有元素为0的情况,Rk,1,z,d=1表示Rk,1,z,d中的所有元素为1的情况,data′k,s表示第k个图像组中重构的第s幅剩余帧。
当L(Rk,1,z,d)≥0时,yk,1,z,d的值取0,否则yk,1,z,d的值取1。
其中yk,1,z,d是第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流转化得到的软输入信息的位平面数据流的对数似然比。
生成的LLR将作为相关边信息信源
Figure BDA0002792169920000062
发送到DAC解码器。
作为优选,步骤7所述利用二进制符号统计概率
Figure BDA0002792169920000063
Figure BDA0002792169920000064
初始化解码区间为:
通过二进制符号统计概率
Figure BDA0002792169920000065
Figure BDA0002792169920000066
可以在区间[0,1)上划分出对应的子区间
Figure BDA0002792169920000067
Figure BDA0002792169920000068
其中
Figure BDA0002792169920000069
是二进制符号0对应的区间范围,
Figure BDA00027921699200000610
是二进制符号1对应的符号范围,并且子区间
Figure BDA00027921699200000611
Figure BDA00027921699200000612
会有一部分的重叠区间。
步骤7所述将码字建立解码二叉树为:
由于子区间
Figure BDA00027921699200000613
Figure BDA00027921699200000614
会有一部分的重叠区间,所以根据码字是否位于重叠区间内,可分为两种情况。
当码字Ck,s,z,d不位于重叠区间时,可以实现对位平面数据符号的正确解码,即能正确判断是符号0还是1,将解码二叉树的节点值定为正确的解码符号;
当码字Ck,s,z,d位于重叠区间时,则无法推断出正确的解码符号;此时,需要对解码二叉树建立新的分支,将符号0和1保留为候选解码结果。
重复上述步骤,直到位平面数据流中所有的符号都被解码出来,则可以得到最终的解码二叉树
Figure BDA00027921699200000615
随着产生的歧义部分越来越多,解码二叉树
Figure BDA00027921699200000616
的解码路径呈指数增长,可以使用M算法来修剪路径,M算法也会在解码过程中根据度量值对每条路径进行排序。
步骤7所述利用相关边信息信源在解码二叉树中计算出解码后的位平面数据流为:
使用最大后验概率度量指标来评估解码二叉树中每条路径的可靠性。最大后验概率可以表示为:
Figure BDA00027921699200000617
利用最大后验概率对解码二叉树
Figure BDA00027921699200000618
中所有的路径排序之后,保留M算法得到的度量值较高的前M个路径。剩余具有较低度量值的其他路径将从解码树中被去除掉。解码过程中,CRC校验仅参与最终输出路径的选择。对这M个最佳路径逐一进行CRC检查,最后将符合CRC校验且拥有最高度量指标的路径作为解码输出,得到解码后的位平面数据流LS′k,s,z,d
LS′k,s,z,d={P′k,s,z(1)d,P′k,s,z(2)d,…,P′k,s,z(A×B)d}
其中,LS′k,s,z,d表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带的第d个位平面数据流,且d∈[1,Bk,1,z],Bk,1,z表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的位平面数据流的总数,位平面数据流LS′k,s,z,d的长度为A×B;
位平面数据流中的符号
Figure BDA00027921699200000619
可以简化表示为Zx
LS′k,s,z,d={Z′0,Z′1,…,Z′A×B-1}
步骤7所述将解码后的位平面数据流通过位平面重定序生成重构后的一维频带为:
将解码后的位平面数据流LS′k,s,z,d分别与只有第
Figure BDA0002792169920000071
位符号为0的二进制字符串进行按位或操作,依次赋值到重构后的一维频带P′k,s,z的第
Figure BDA0002792169920000072
个块的第d位上,最终组成重构后的一维频带P′k,s,z
其中,P′k,s,z表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第z个频带,且z∈[1,W2],重构的一维频带P′k,s,z的长度为A×B;
步骤7所述将重构后的一维频带通过量化得到重构后的整数DCT系数矩阵为:
重构后的一维频带P′k,s,z按照之前Z字形扫描的顺序重新排列组成重构后的中间矩阵M′k,s,(p,q)
其中,M′k,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第p行第q列的中间矩阵,M′k,s,(p,q)的大小为W×W,共有A×B个,M′k,s,(p,q)(i′,j′)是重构后的中间矩阵M′k,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
重构后的中间矩阵M′k,s,(p,q)分别与量化矩阵L的对应位置进行按位与操作,生成重构后的整数DCT系数矩阵F′k,s,(p,q)
其中,F′k,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第p行第q列的整数DCT系数矩阵,F′k,s,(p,q)的大小为W×W,共有A×B个,F′k,s,(p,q)(i′,j′)是重构后的整数DCT系数矩阵F′k,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],
j′∈[(q-1)W+1,qW]。
步骤7所述将重构后的整数DCT系数矩阵进行整数DCT逆变换得到重构后的信号矩阵为:
重构后的信号矩阵f′k,s,(p,q)可以表示为:
Figure BDA0002792169920000073
其中,Ef表示相关矩阵,f′k,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第p行第q列的信号矩阵,大小为W×W,且p∈[1,A],q∈[1,B];f′k,s,(p,q)(i′,j′)表示f′k,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
重构后的信号矩阵按照对应的下标(p,q)位置排列,合成重构后的残差图像Δdata′k,s。重构后的残差图像与关键帧一起组成重构后的剩余帧。
data′k,s(i,j)=Δdata′k,s(i,j)+datak,1(i,j)
其中,Δdata′k,s表示第k个图像组中重构的第s幅残差图像,Δdata′k,s(i,j)表示Δdata′k,s第i′行第j′列的值;data′k,s表示第k个图像组中重构的第s幅剩余帧,data′k,s(i,j)表示data′k,s第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
作为优选,步骤8所述计算DVC系统的编码端位平面数据流的信息熵为:
步骤3中,将一维频带通过位平面定序得到位平面数据流LSk,s,z,d
LSk,s,z,d={Pk,s,z(1)d,Pk,s,z(2)d,…,Pk,s,z(A×B)d}
其中,LSk,s,z,d表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流,且位平面数据流LSk,s,z,d的长度为A×B,
Figure BDA0002792169920000074
表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流上第
Figure BDA0002792169920000075
个块值的第d位元素;
编码端的位平面数据流LSk,s,z,d中二进制符号0和1的统计概率为p0和p1,经过DAC扩大因子α计算扩大后的概率为
Figure BDA0002792169920000081
Figure BDA0002792169920000082
其中
Figure BDA0002792169920000083
且i∈{0,1},表示二进制符号0和1,α∈[0,1)。
编码端位平面数据流的信息熵H(LSk,s,z,d)可以表示为:
Figure BDA0002792169920000084
步骤8所述通过幂函数模型实现DVC系统的编码端的码率控制为:
编码端位平面数据流的信息熵H(LSk,s,z,d)与区间重叠因子γ存在某种函数关系f,可以表示为:
γ=f[H(LSk,s,z,d)]
其中,γ=1-α,且γ∈[0,1),α为DAC的概率扩大因子。
本发明使用幂函数模型实现码率控制,建立编码端位平面数据流的信息熵H(LSk,s,z,d)与区间重叠因子γ的函数关系为幂函数fpow,则fpow拟合的自适应区间重叠因子的函数模型可以表示为:
γ=a·[H(LSk,s,z,d)b]
其中,a为比例系数,b为指数系数;
编码端位平面数据流LSk,s,z,d编码之后的平均码率RDAC可以表示为:
Figure BDA0002792169920000085
这样利用编码端位平面数据流的信息熵H(LSk,s,z,d)和概率扩大因子α计算出平均码率RDAC,并应用到DVC系统中去,以控制DAC编码所需的码率。
步骤8所述计算DVC系统位平面数据流的解码端信息熵为:
步骤7中,利用相关边信息信源在解码二叉树中计算出解码后的位平面数据流LS′k,s,z,d
LS′k,s,z,d={P′k,s,z(1)d,P′k,s,z(2)d,…,P′k,s,z(A×B)d}
其中,LS′k,s,z,d表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带的第d个位平面数据流,且d∈[1,Bk,1,z],Bk,1,z表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的位平面数据流的总数,位平面数据流LS′k,s,z,d的长度为A×B;
解码端的位平面数据流LS′k,s,z,d中二进制符号0和1的统计概率为p0和p1,经过DAC扩大因子α计算扩大后的概率为
Figure BDA0002792169920000086
Figure BDA0002792169920000087
其中
Figure BDA0002792169920000088
且i∈{0,1},表示二进制符号0和1,α∈[0,1)。
解码端位平面数据流的信息熵H(LS′k,s,z,d)可以表示为:
Figure BDA0002792169920000089
步骤8所述通过幂函数模型实现DVC系统的解码端的码率控制为:
解码端位平面数据流的信息熵H(LS′k,s,z,d)与区间重叠因子γ存在某种函数关系f,可以表示为:
γ=f[H(LS′k,s,z,d)]
其中,γ=1-α,且γ∈[0,1),α为DAC的概率扩大因子。
本发明使用幂函数模型实现码率控制,建立解码端位平面数据流的信息熵H(LS′k,s,z,d)与区间重叠因子γ的函数关系为幂函数fpow,则fpow拟合的自适应区间重叠因子的函数模型可以表示为:
γ=a·[H(LS′k,s,z,d)b]
其中,a为比例系数,b为指数系数
解码端位平面数据流LS′k,s,z,d编码之后的平均码率RDAC可以表示为:
Figure BDA0002792169920000091
这样利用编码端位平面数据流的信息熵H(LS′k,s,z,d)和概率扩大因子α计算出平均码率RDAC,并应用到DVC系统中去,以控制DAC解码所需的码率。
通过步骤8控制DVC系统编码端和解码端所需的码率,从而实现基于自适应区间重叠因子的分布式视频编码。
本发明优点在于,对于不同运动程度的视频,可以实现DAC区间重叠因子的自适应估计,从而实现码率控制。
附图说明
图1:基于DAC的DVC系统。
图2:量化矩阵。
图3:DAC解码树。
图4:幂函数拟合曲线。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
本发明的具体实施方式在编码端,首先将输入的视频序列根据图像组(GroupofPicture,简称GOP)的大小,分为关键帧和剩余帧。使用传统视频编码的帧内编码方式对关键帧进行编码,而经过离散余弦变换(DiscreteCosineTransform,简称DCT)和量化后的剩余帧由DAC编码器进行压缩。在解码端,首先对关键帧使用传统视频编码方式进行解码,并生成辅助边信息。其次结合边信息以及相关噪声模型在DAC解码器上得到位平面上的DAC解码数据。最后,重构出解码的剩余帧并输出。
下面结合图1至图4绍本发明的具体实施方式为:
步骤1:将输入的视频序列划分成多个图像组,每个图像组里面第一幅图像定义为关键帧,其余的图像定义为剩余帧;
步骤1所述图像组为:
GOPk={datak,1,datak,2,…,datak,N}
k∈[1,M]
其中,GOPk为第k个图像组,M=150为图像组的数量,datak,s为第k个图像组中第s幅图像,若s=1则为关键帧,若s∈[2,N]则为剩余帧,N为第k个图像组中图像的数量,N的值为2的整数次幂,取N=2,datak,s(i,j)为第k个图像组里第s幅图像中第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X=288为图像的行数,Y=352为图像的列数。
步骤2:利用图像组中的关键帧和剩余帧计算残差图像,将残差图像通过图像分割处理得到多个信号矩阵,对信号矩阵进行整数DCT变化得到整数DCT系数矩阵;
所述残差图像为:
Δdatak,s(i,j)=datak,s(i,j)-datak,1(i,j)
k∈[1,M],s∈[2,N]
其中,Δdatak,s为第k个图像组中第s幅剩余帧对应的残差图像,每个图像组包括N-1个残差图像,共M个图像组,其中M=150。
所述信号矩阵为:
Δdatak,s={fk,s,(1,1),fk,s,(1,2),…,fk,s,(A,B)}
其中,fk,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的信号矩阵,分割后的残差图像每行有A=88个信号矩阵,每列有B=72个信号矩阵,共有A×B=6336个信号矩阵,且A=Y/W,B=X/W。
fk,s,(p,q)为第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的信号矩阵,大小为W×W=4×4,且p∈[1,B]=[1,72],q∈[1,A]=[1,88];fk,s,(p,q)(i′,j′)表示fk,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
步骤2所述将信号矩阵进行整数DCT变化得到整数DCT系数矩阵,具体为:
整数DCT系数矩阵Fk,s,(p,q)可以表示为:
Figure BDA0002792169920000105
其中,Fk,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的整数DCT系数矩阵,Af表示整数DCT变换矩阵;
Fk,s,(p,q)大小为W×W=4×4,共有A×B=6336个,Fk,s,(p,q)(i′,j′)是整数DCT系数矩阵Fk,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
步骤3:将整数DCT系数矩阵进行量化得到一维频带,将一维频带通过位平面定序得到位平面数据流,将位平面数据流通过DAC编码器得到二进制码字;
步骤3所述将整数DCT系数矩阵进行量化得到一维频带为:
第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的整数DCT系数矩阵即Fk,s,(p,q)分别与量化矩阵L的对应位置进行按位或操作,生成第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的中间矩阵即Mk,s,(p,q)
Mk,s,(p,q)大小为W×W=4×4,共有A×B=6336个,Mk,s,(p,q)(i′,j′)是中间矩阵Mk,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
对每个Mk,s,(p,q)进行Z字形扫描,扫描到的相同顺序的值组成一维频带Pk,s,z
其中,Pk,s,z表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带,且z∈[1,W2]=[1,16],一维频带Pk,s,z的长度为A×B=6336;
Figure BDA0002792169920000101
表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带上第
Figure BDA0002792169920000102
个块的值,且
Figure BDA0002792169920000103
即在第
Figure BDA0002792169920000104
个中间矩阵Mk,s,(p,q)上取到的值;
在这W2个频带中,频率最低的称为直流频带,其他频带称为交流频带。
所述量化矩为:
量化矩阵即L的大小为W×W=4×4,L(i′,j′)是量化矩阵第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
图2中展现了八种具体的量化矩阵,即八种量化级别数;
量化矩阵中的值L(i′,j′)表示与DCT频带关联的量化级别数,可以表示为:
L(i′,j′)∈[0,2m]
其中,m为整数,一维频带Pk,s,z产生的位平面的个数Bk,s,z可以表示为Bk,s,z=log2L(i′,j′)。Bk,s,z表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的位平面数据流的个数。
当L(i′,j′)=0时,表示没有将剩余帧datak,s上的信息发送到解码器相应量化级别的频带上;
步骤3所述将一维频带通过位平面定序得到位平面数据流为:
频带上第
Figure BDA0002792169920000111
个块的值
Figure BDA0002792169920000112
与只有第d位为1的二进制字符串进行按位与操作,提取
Figure BDA0002792169920000113
第d位的元素值
Figure BDA0002792169920000114
组成一个位平面数据流LSk,s,z,d,且d∈[1,Bk,s,z],即同一条频带上不同块的同一位比特组成为位平面数据流;
LSk,s,z,d={Pk,s,z(1)d,Pk,s,z(2)d,…,Pk,s,z(A×B)d}
其中,LSk,s,z,d表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流,且位平面数据流LSk,s,z,d的长度为A×B=6336,
Figure BDA0002792169920000115
表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流上第
Figure BDA0002792169920000116
个块值的第d位元素;
步骤3所述将位平面数据流通过DAC编码器得到二进制码字为:
DAC编码器先分别统计位平面数据流LSk,s,z,d中二进制符号0和1的个数,进而计算出二进制符号0和1出现的概率p0和p1,然后通过DAC概率扩大因子α计算出扩大后的概率
Figure BDA0002792169920000117
Figure BDA0002792169920000118
并划分出它们在区间[0,1)上对应的子区间
Figure BDA0002792169920000119
Figure BDA00027921699200001110
其中
Figure BDA00027921699200001111
且i∈{0,1},表示二进制符号0和1,α∈[0,1);
数据准备完毕后,将位平面数据流根据以下方式进行迭代编码,找到最终区间上的二进制码字Ck,s,z,d
初始区间为[0,1),这里的下标
Figure BDA00027921699200001112
表示LSk,s,z,d中的第
Figure BDA00027921699200001113
个符号,用
Figure BDA00027921699200001114
表示;
步骤3.1,计算区间的大小;
Figure BDA00027921699200001115
步骤3.2,计算区间的新上限;
Figure BDA00027921699200001116
为符号0时,
Figure BDA00027921699200001117
Figure BDA00027921699200001118
为符号1时,
Figure BDA00027921699200001119
步骤3.3,计算区间的新下限;
Figure BDA00027921699200001120
为符号0时,
Figure BDA00027921699200001121
Figure BDA00027921699200001122
为符号1时,
Figure BDA00027921699200001123
运用上述公式,反复迭代,更新区间,最终在最新区间中选择一个小数输出,最为最终的编码输出结果,即码字Ck,s,z,d
Ck,s,z,d是第k个图像组中第s幅剩余帧对应的残差图像中第z个频带上第d个位平面数据流的二进制码字;
对于即将出现数学溢出的码字Ck,s,z,d,采用数据缓冲的方式,将溢出部分暂存于缓冲区。然后将剩余部分进行缩放,并继续进行DAC编码。重复上述编码过程直到所有符号都编码完成后,再将缓冲区中的缓存数据取出,拼接成最终的DAC码字Ck,s,z,d
设定一个阈值为2-l,当码字Ck,s,z,d的区间长度值大于l时,采用数据缓冲的方式,将前l个值暂存于缓冲区。然后将剩余部分前移l位,并继续进行DAC编码,取l=16。重复上述编码过程直到所有符号都编码完成后,再讲缓冲区的缓存数据取出依次排列,拼接成最终的二进制码字即Ck,s,z,d
步骤4:将相邻两个图像组的关键帧分别经过低通滤波器的处理得到滤波后相邻两个图像组的关键帧,滤波后相邻两个图像组的关键帧进行双向运动估计得到运动向量,进一步通过双向运动补偿得到边信息;
步骤4所述将相邻两个图像组的关键帧分别经过低通滤波器的处理得到滤波后相邻两个图像组的关键帧为:
所述相邻两个图像组的关键帧为:datak,1、datak+1,1
所述滤波后相邻两个图像组的关键帧:data′k,1和data′k+1,1
其中,datak,1为第k个图像组中的关键帧,datak+1,1为第k+1个图像组中的关键帧,且k∈[1,M],M=150为图像组的数量,datak,s(i,j)为第k个图像组里关键帧第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X=288为图像的行数,Y=352为图像的列数,data′k,1为第k个图像组中的关键帧经过低通滤波器处理得到的滤波后的关键帧,data′k+1,1为第k+1个图像组中的关键帧经过低通滤波器处理得到的滤波后的关键帧,data′k,1(i,j)为第k个图像组中的关键帧经过低通滤波器处理得到的滤波后的关键帧第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X=288为滤波后关键帧的行数,Y=352为滤波后关键帧的列数。
步骤4所述运动向量为MVk
MVk是第k个图像组的运动向量,且k∈[1,M],M=150为图像组的数量,MVk(i,j)为第k个图像组运动向量第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X=288为运动向量的行数,Y=352为运动向量的列数。
步骤4所述边信息为sik
sik是第k个图像组的边信息,且k∈[1,M],M=150为图像组的数量,sik(i,j)为第k个图像组边信息第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X=288为边信息sik的行数,Y=352为边信息sik的列数。
步骤5:将边信息帧通过图像分割处理得到多个边信息信号矩阵,对边信息信号矩阵进行整数DCT变化得到边信息整数DCT系数矩阵,用拉普拉斯分布计算剩余帧和边信息的差异,得到拉普拉斯分布模型;
步骤5所述边信息信号矩阵为:
sik={sk,(1,1),sk,(1,2),…,sk,(A,B)}
其中,sk,(p,q)表示第k个图像组边信息第p行第q列的信号矩阵,分割后的边信息每行有A=88个边信息信号矩阵,每列有B=72个边信息信号矩阵,共有A×B=6336个边信息信号矩阵,且A=Y/W,B=X/W。
sk,(p,q)为第k个图像组边信息第p行第q列的边信息信号矩阵,大小为W×W=4×4,且p∈[1,B]=[1,72],q∈[1,B]=[1,88];sk,(p,q)(i′,j′)表示sk,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
步骤5所述将边信息信号矩阵进行整数DCT变化得到边信息整数DCT系数矩阵,具体为:
边信息整数DCT系数矩阵表示为:
Figure BDA0002792169920000137
其中,Sk,(p,q)第k个图像组边信息第p行第q列的边信息整数DCT系数矩阵,Af表示边信息整数DCT变换矩阵;
Sk,(p,q)的大小为W×W=4×4,共有A×B=6336个,Sk,(p,q)(i′,j′)是边信息整数DCT系数矩阵Sk,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
步骤5用拉普拉斯分布计算剩余帧和边信息的差异,得到拉普拉斯分布模型所述为:
同一图像组中,剩余帧datak,s和边信息sik之间的差异定义为相关噪声残差即CNR;
使用拉普拉斯分布对CNR建模,来获取解码后的相关噪声参数θ,具体如下所示:
假设σ2是剩余帧datak,s和边信息sik之间的差异生成的残差数据的方差。拉普拉斯参数可以定义为
Figure BDA0002792169920000131
拉普拉斯分布的概率密度P可以表示为:
Figure BDA0002792169920000132
其中,datak,s(i,j)表示第k个图像组中第s个剩余帧第i行第j列的值,sik(i,j)表示用于第k个图像组边信息第i行第j列的值,且i∈[1,X],j∈[1,Y],X=288为剩余帧和边信息的行数,Y=352为剩余帧和边信息的列数。
利用重构和逆变换之后的解码数据,对生成的噪声残差使用噪声残差精炼即NRR的方式进行精炼,将精炼后的噪声残差输入到拉普拉斯分布模型中,可以获得更加精确的θ值。
步骤6:将边信息整数DCT系数矩阵进行量化得到一维频带,将一维频带通过位平面定序得到位平面数据流,将位平面数据流通过拉普拉斯分布模型转换为软输入信息,将软输入信息通过条件比特概率转化成相关边信息信源。
步骤6所述将整数DCT系数矩阵进行量化得到一维频带的具体方法如第一步的步骤5中所示。
其中,Pk,1,z表示第k个图像组关键帧得到的边信息中第z个频带,且z∈[1,W2]=[1,16],Pk,1,z的长度为A×B=6336,
Figure BDA0002792169920000133
表示第k个图像组关键帧得到的边信息中第z个频带上第
Figure BDA0002792169920000134
个块的值,且
Figure BDA0002792169920000135
利用重构和逆变换之后的解码数据,对一维频带采用边信息精炼即SIR的方式提高每个频带上边信息的准确度。
步骤6所述将一维频带通过位平面定序得到位平面数据流的具体方法如第一步的步骤5中所示。
LSk,1,z,d={Pk,1,z(1)d,Pk,1,z(2)d,…,Pk,1,z(A×B)d}
其中,LSk,1,z,d表示第k个图像组关键帧得到的边信息中第z个频带生成的第d个位平面数据流,且位平面数据流LSk,1,z,d的长度为A×B=6336,共有Bk,1,z个;Bk,1,z表示第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流的个数,
Figure BDA0002792169920000138
表示第k个图像组中关键帧得到的边信息中第z个频带上第
Figure BDA0002792169920000136
个块值的第d位元素;
步骤6所述将位平面数据流通过拉普拉斯分布模型转换为软输入信息为:
使用拉普拉斯分布模型将边信息的位平面数据流LSk,1,z,d转化为软输入信息的位平面数据流Rk,1,z,d
Rk,1,z,d={P′k,1,z(1)d,P′k,1,z(2)d,…,P′k,1,z(A×B)d}
其中,Rk,1,z,d表示第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流转换得到的软输入信息的位平面数据流,且软输入信息位平面数据流的长度为A×B=6336,共有Bk,1,z个,Bk,1,z表示第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流转化得到的软输入信息位平面数据流的个数;
Figure BDA0002792169920000141
表示第k个图像组关键帧得到的边信息中第z个频带上第
Figure BDA0002792169920000142
个块的值通过转化得到的结果,且
Figure BDA0002792169920000143
步骤6所述将软输入信息通过条件比特概率转化为相关边信息为:
软输入信息的位平面数据流Rk,1,z,d的对数似然比(Log-LikelihoodRatio,简称LLR)可以表示为:
Figure BDA0002792169920000144
其中,Rk,1,z,d=0表示Rk,1,z,d中的所有元素为0的情况,Rk,1,z,d=1表示Rk,1,z,d中的所有元素为1的情况,data′k,s表示第k个图像组中重构的第s幅剩余帧。
当L(Rk,1,z,d)≥0时,yk,1,z,d的值取0,否则yk,1,z,d的值取1。
其中yk,1,z,d是第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流转化得到的软输入信息的位平面数据流的对数似然比。
生成的LLR将作为相关边信息信源
Figure BDA00027921699200001419
发送到DAC解码器。
步骤7:利用二进制符号统计概率初始化解码区间,建立解码二叉树,利用相关边信息信源在解码二叉树中计算出解码后的位平面数据流,将解码后的位平面数据流通过位平面重定序生成重构后的一维频带,将重构后的一维频带通过量化得到重构后的整数DCT系数矩阵,将重构后的整数DCT系数矩阵进行整数DCT逆变换得到重构后的信号矩阵,
步骤7所述利用二进制符号统计概率
Figure BDA0002792169920000145
Figure BDA0002792169920000146
初始化解码区间为:
通过二进制符号统计概率
Figure BDA0002792169920000147
Figure BDA0002792169920000148
可以在区间[0,1)上划分出对应的子区间
Figure BDA0002792169920000149
Figure BDA00027921699200001410
其中
Figure BDA00027921699200001411
是二进制符号0对应的区间范围,
Figure BDA00027921699200001412
是二进制符号1对应的符号范围,并且子区间
Figure BDA00027921699200001413
Figure BDA00027921699200001414
会有一部分的重叠区间。
步骤7所述将码字建立解码二叉树为:
由于子区间
Figure BDA00027921699200001415
Figure BDA00027921699200001416
会有一部分的重叠区间,所以根据码字是否位于重叠区间内,可分为两种情况,解码二叉树的建立如图3所示。
当码字Ck,s,z,d不位于重叠区间时,可以实现对位平面数据符号的正确解码,即能正确判断是符号0还是1,将解码二叉树的节点值定为正确的解码符号;
当码字Ck,s,z,d位于重叠区间时,则无法推断出正确的解码符号;此时,需要对解码二叉树建立新的分支,将符号0和1保留为候选解码结果。
重复上述步骤,直到位平面数据流中所有的符号都被解码出来,则可以得到最终的解码二叉树
Figure BDA00027921699200001417
随着产生的歧义部分越来越多,解码二叉树
Figure BDA00027921699200001418
的解码路径呈指数增长,可以使用M算法来修剪路径,M算法也会在解码过程中根据度量值对每条路径进行排序。
步骤7所述利用相关边信息信源在解码二叉树中计算出解码后的位平面数据流为:
使用最大后验概率度量指标来评估解码二叉树中每条路径的可靠性。最大后验概率可以表示为:
Figure BDA0002792169920000151
利用最大后验概率对解码二叉树
Figure BDA0002792169920000152
中所有的路径排序之后,保留M算法得到的度量值较高的前M个路径。剩余具有较低度量值的其他路径将从解码树中被去除掉。解码过程中,CRC校验仅参与最终输出路径的选择。对这M个最佳路径逐一进行CRC检查,最后将符合CRC校验且拥有最高度量指标的路径作为解码输出,得到解码后的位平面数据流LS′k,s,z,d
LS′k,s,z,d={P′k,s,z(1)d,P′k,s,z(2)d,…,P′k,s,z(A×B)d}
其中,LS′k,s,z,d表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带的第d个位平面数据流,且d∈[1,Bk,1,z],Bk,1,z表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的位平面数据流的总数,位平面数据流LS′k,s,z,d的长度为A×B=6336;
位平面数据流中的符号
Figure BDA0002792169920000153
可以简化表示为Zx
LS′k,s,z,d={Z′0,Z′1,…,Z′A×B-1}
步骤7所述将解码后的位平面数据流通过位平面重定序生成重构后的一维频带为:
将解码后的位平面数据流LS′k,s,z,d分别与只有第
Figure BDA0002792169920000154
位符号为0的二进制字符串进行按位或操作,依次赋值到重构后的一维频带P′k,s,z的第
Figure BDA0002792169920000155
个块的第d位上,最终组成重构后的一维频带P′k,s,z
其中,P′k,s,z表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第z个频带,且z∈[1,W2]=[1,16],重构的一维频带P′k,s,z的长度为A×B=6336;
步骤7所述将重构后的一维频带通过量化得到重构后的整数DCT系数矩阵为:
重构后的一维频带P′k,s,z按照之前Z字形扫描的顺序重新排列组成重构后的中间矩阵M′k,s,(p,q)
其中,M′k,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第p行第q列的中间矩阵,M′k,s,(p,q)的大小为W×W=4×4,共有A×B=6336个,M′k,s,(p,q)(i′,j′)是重构后的中间矩阵M′k,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
重构后的中间矩阵M′k,s,(p,q)分别与量化矩阵L的对应位置进行按位与操作,生成重构后的整数DCT系数矩阵F′k,s,(p,q)
其中,F′k,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第p行第q列的整数DCT系数矩阵,F′k,s,(p,q)的大小为W×W=4×4,共有A×B=6336个,F′k,s,(p,q)(i′,j′)是重构后的整数DCT系数矩阵F′k,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
步骤7所述将重构后的整数DCT系数矩阵进行整数DCT逆变换得到重构后的信号矩阵为:
重构后的信号矩阵f′k,s,(p,q)可以表示为:
Figure BDA0002792169920000156
其中,Ef表示相关矩阵,f′k,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第p行第q列的信号矩阵,大小为W×W=4×4,且p∈[1,B]=[1,72],q∈[1,A]=[1,88];f′k,s,(p,q)(i′,j′)表示f′k,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
重构后的信号矩阵按照对应的下标(p,q)位置排列,合成重构后的残差图像Δdata′k,s。重构后的残差图像与关键帧一起组成重构后的剩余帧。
data′k,s(i,j)=Δdata′k,s(i,j)+datak,1(i,j)
其中,Δdata′k,s表示第k个图像组中重构的第s幅残差图像,Δdata′k,s(i,j)表示Δdata′k,s第i′行第j′列的值;data′k,s表示第k个图像组中重构的第s幅剩余帧,data′k,s(i,j)表示data′k,s第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
步骤8:通过步骤1至步骤3对DVC系统的编码端进行控制,计算DVC系统编码端位平面数据流的信息熵,通过幂函数模型实现DVC系统的编码端的码率控制,对应图1中编码端;通过步骤4至步骤7对DVC系统的解码端进行控制,计算DVC系统的解码端位平面数据流的信息熵,通过幂函数模型实现DVC系统的解码端的码率控制,对应图1中的解码端。
步骤8所述计算DVC系统的编码端位平面数据流的信息熵为:
步骤3中,将一维频带通过位平面定序得到位平面数据流LSk,s,z,d
LSk,s,z,d={Pk,s,z(1)d,Pk,s,z(2)d,…,Pk,s,z(A×B)d}
其中,LSk,s,z,d表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流,且位平面数据流LSk,s,z,d的长度为A×B=6336,
Figure BDA0002792169920000161
表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流上第
Figure BDA0002792169920000162
个块值的第d位元素;
编码端的位平面数据流LSk,s,z,d中二进制符号0和1的统计概率为p0和p1,经过DAC扩大因子α计算扩大后的概率为
Figure BDA0002792169920000163
Figure BDA0002792169920000164
其中
Figure BDA0002792169920000165
且i∈{0,1},表示二进制符号0和1,α∈[0,1)。
编码端位平面数据流的信息熵H(LSk,s,z,d)可以表示为:
Figure BDA0002792169920000166
步骤8所述通过幂函数模型实现DVC系统的编码端的码率控制为:
编码端位平面数据流的信息熵H(LSk,s,z,d)与区间重叠因子γ存在某种函数关系f,可以表示为:
γ=f[H(LSk,s,z,d)]
其中,γ=1-α,且γ∈[0,1),α为DAC的概率扩大因子。
本发明使用幂函数模型实现码率控制,建立编码端位平面数据流的信息熵H(LSk,s,z,d)与区间重叠因子γ的函数关系为幂函数fpow,则fpow拟合的自适应区间重叠因子的函数模型可以表示为:
γ=a·[H(LSk,s,z,d)b]
其中,0.005371≤a≤0.009904,-0.9379≤b≤-0.8093。取a=0.007638,b=-0.8736得到的幂函数拟合模型如图4所示。
编码端位平面数据流LSk,s,z,d编码之后的平均码率RDAC可以表示为:
Figure BDA0002792169920000171
这样利用编码端位平面数据流的信息熵H(LSk,s,z,d)和概率扩大因子α计算出平均码率RDAC,以控制DAC编码所需的码率。
步骤8所述计算DVC系统位平面数据流的解码端信息熵为:
步骤7中,利用相关边信息信源在解码二叉树中计算出解码后的位平面数据流LS′k,s,z,d
LS′k,s,z,d={P′k,s,z(1)d,P′k,s,z(2)d,…,P′k,s,z(A×B)d}
其中,LS′k,s,z,d表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带的第d个位平面数据流,且d∈[1,Bk,1,z],Bk,1,z表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的位平面数据流的总数,位平面数据流LS′k,s,z,d的长度为A×B;
解码端的位平面数据流LS′k,s,z,d中二进制符号0和1的统计概率为p0和p1,经过DAC扩大因子α计算扩大后的概率为
Figure BDA0002792169920000172
Figure BDA0002792169920000173
其中
Figure BDA0002792169920000174
且i∈{0,1},表示二进制符号0和1,α∈[0,1)。
解码端位平面数据流的信息熵H(LS′k,s,z,d)可以表示为:
Figure BDA0002792169920000175
步骤8所述通过幂函数模型实现DVC系统的解码端的码率控制为:
解码端位平面数据流的信息熵H(LS′k,s,z,d)与区间重叠因子γ存在某种函数关系f,可以表示为:
γ=f[H(LS′k,s,z,d)]
其中,γ=1-α,且γ∈[0,1),α为DAC的概率扩大因子。
本发明使用幂函数模型实现码率控制,建立解码端位平面数据流的信息熵H(LS′k,s,z,d)与区间重叠因子γ的函数关系为幂函数fpow,则fpow拟合的自适应区间重叠因子的函数模型可以表示为:
γ=a·[H(LS′k,s,z,d)b]
其中,0.005371≤a≤0.009904,-0.9379≤b≤-0.8093。取a=0.007638,b=-0.8736得到的幂函数拟合模型如图4所示。
解码端位平面数据流LS′k,s,z,d编码之后的平均码率RDAC可以表示为:
Figure BDA0002792169920000176
这样利用编码端位平面数据流的信息熵H(LS′k,s,z,d)和概率扩大因子α计算出平均码率RDAC,以控制DAC解码所需的码率。
通过步骤8控制DVC系统编码端和解码端所需的码率,从而实现基于自适应区间重叠因子的分布式视频编码。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种基于自适应区间重叠因子的分布式视频编码方法,其特征在于,包括以下步骤:
步骤1:将输入的视频序列划分成多个图像组,每个图像组里面第一幅图像定义为关键帧,其余的图像定义为剩余帧;
步骤2:利用图像组中的关键帧和剩余帧计算残差图像,将残差图像通过图像分割处理得到多个信号矩阵,对信号矩阵进行整数DCT变化得到整数DCT系数矩阵;
步骤3:将整数DCT系数矩阵进行量化得到一维频带,将一维频带通过位平面定序得到位平面数据流,将位平面数据流通过DAC编码器得到二进制码字;
步骤4:将相邻两个图像组的关键帧分别经过低通滤波器的处理得到滤波后相邻两个图像组的关键帧,滤波后相邻两个图像组的关键帧进行双向运动估计得到运动向量,进一步通过双向运动补偿得到边信息;
步骤5:将边信息帧通过图像分割处理得到多个边信息信号矩阵,对边信息信号矩阵进行整数DCT变化得到边信息整数DCT系数矩阵,用拉普拉斯分布计算剩余帧和边信息的差异得到拉普拉斯分布模型;
步骤6:将边信息整数DCT系数矩阵进行量化得到一维频带,将一维频带通过位平面定序得到位平面数据流,将位平面数据流通过拉普拉斯分布模型转换为软输入信息,将软输入信息通过条件比特概率转化成相关边信息信源;
步骤7:利用二进制符号统计概率初始化解码区间,建立解码二叉树,利用相关边信息信源在解码二叉树中计算出解码后的位平面数据流,将解码后的位平面数据流通过位平面重定序生成重构后的一维频带,将重构后的一维频带通过量化得到重构后的整数DCT系数矩阵,将重构后的整数DCT系数矩阵进行整数DCT逆变换得到重构后的信号矩阵;
步骤8:通过步骤1至步骤3对DVC系统的编码端进行控制,计算DVC系统编码端位平面数据流的信息熵,通过幂函数模型实现DVC系统的编码端的码率控制;通过步骤4至步骤7对DVC系统的解码端进行控制,计算DVC系统的解码端位平面数据流的信息熵,通过幂函数模型实现DVC系统的解码端的码率控制。
2.根据权利要求1所述的基于自适应区间重叠因子的分布式视频编码方法,其特征在于:
步骤1所述图像组为:
GOPk={datak,1,datak,2,…,datak,N}
k∈[1,M]
其中,GOPk为第k个图像组,M为图像组的数量,datak,s为第k个图像组中第s幅图像,若s=1则为关键帧,若s∈[2,N]则为剩余帧,N为第k个图像组中图像的数量,N的值为2的整数次幂,datak,s(i,j)为第k个图像组里第s幅图像中第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为图像的行数,Y为图像的列数。
3.根据权利要求1所述的基于自适应区间重叠因子的分布式视频编码方法,其特征在于:
步骤2所述残差图像为:
Δdatak,s(i,j)=datak,s(i,j)-datak,1(i,j)
k∈[1,M],s∈[2,N]
其中,Δdatak,s为第k个图像组中第s幅剩余帧对应的残差图像,每个图像组包括N-1个残差图像,共M个图像组,datak,s(i,j)为第k个图像组里第s幅图像中第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为图像的行数,Y为图像的列数;
所述信号矩阵为:
Δdatak,s={fk,s,(1,1),fk,s,(1,2),…,fk,s,(A,B)}
其中,fk,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的信号矩阵,分割后的残差图像每行有A个信号矩阵,每列有B个信号矩阵,共有A×B个信号矩阵,且A=Y/W,B=X/W;
fk,s,(p,q)为第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的信号矩阵,大小为W×W,且p∈[1,B],q∈[1,A];fk,s,(p,q)(i′,j′)表示fk,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
步骤2所述将信号矩阵进行整数DCT变化得到整数DCT系数矩阵,具体为:
整数DCT系数矩阵Fk,s,(p,q)可以表示为:
Figure FDA0003533721000000021
其中,Fk,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的整数DCT系数矩阵,Af表示整数DCT变换矩阵;
Fk,s,(p,q)大小为W×W,共有A×B个,Fk,s,(p,q)(i′,j′)是整数DCT系数矩阵Fk,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW]。
4.根据权利要求1所述的基于自适应区间重叠因子的分布式视频编码方法,其特征在于:
步骤3所述将整数DCT系数矩阵进行量化得到一维频带为:
第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的整数DCT系数矩阵即Fk,s,(p,q)分别与量化矩阵L的对应位置进行按位或操作,生成第k个图像组中第s幅剩余帧对应的残差图像中第p行第q列的中间矩阵即Mk,s,(p,q)
Mk,s,(p,q)大小为W×W,共有A×B个,Mk,s,(p,q)(i′,j′)是中间矩阵Mk,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
对每个Mk,s,(p,q)进行Z字形扫描,扫描到的相同顺序的值组成一维频带Pk,s,z
其中,Pk,s,z表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带,且z∈[1,W2],一维频带Pk,s,z的长度为A×B;
Figure FDA0003533721000000022
表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带上第
Figure FDA0003533721000000023
个块的值,且
Figure FDA0003533721000000024
即在第
Figure FDA0003533721000000025
个中间矩阵Mk,s,(p,q)上取到的值;
在这W2个频带中,频率最低的称为直流频带,其他频带称为交流频带;
所述量化矩为:
量化矩阵即L的大小为W×W,L(i′,j′)是量化矩阵第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
量化矩阵中的值L(i′,j′)表示与DCT频带关联的量化级别数,可以表示为:
L(i′,j′)∈[0,2m]
其中,m为整数,一维频带Pk,s,z产生的位平面的个数Bk,s,z可以表示为Bk,s,z=log2L(i′,j′);Bk,s,z表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的位平面数据流的个数;
当L(i′,j′)=0时,表示没有将剩余帧datak,s上的信息发送到解码器相应量化级别的频带上;
步骤3所述将一维频带通过位平面定序得到位平面数据流为:
频带上第
Figure FDA0003533721000000026
个块的值
Figure FDA0003533721000000027
与只有第d位为1的二进制字符串进行按位与操作,提取
Figure FDA0003533721000000028
第d位的元素值
Figure FDA0003533721000000029
组成一个位平面数据流LSk,s,z,d,且d∈[1,Bk,s,z],即同一条频带上不同块的同一位比特组成为位平面数据流;
LSk,s,z,d={Pk,s,z(1)d,Pk,s,z(2)d,…,Pk,s,z(A×B)d}
其中,LSk,s,z,d表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流,且位平面数据流LSk,s,z,d的长度为A×B,
Figure FDA0003533721000000031
表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流上第
Figure FDA0003533721000000032
个块值的第d位元素;
步骤3所述将位平面数据流通过DAC编码器得到二进制码字为:
DAC编码器先分别统计位平面数据流LSk,s,z,d中二进制符号0和1的个数,进而计算出二进制符号0和1出现的概率p0和p1,然后通过DAC概率扩大因子α计算出扩大后的概率
Figure FDA0003533721000000033
Figure FDA0003533721000000034
并划分出它们在区间[0,1)上对应的子区间
Figure FDA0003533721000000035
Figure FDA0003533721000000036
其中
Figure FDA0003533721000000037
且i∈{0,1},表示二进制符号0和1,α∈[0,1);
数据准备完毕后,将位平面数据流根据以下方式进行迭代编码,找到最终区间上的二进制码字Ck,s,z,d
初始区间为[0,1),这里的下标
Figure FDA0003533721000000038
表示LSk,s,z,d中的第
Figure FDA0003533721000000039
个符号,用
Figure FDA00035337210000000310
表示;
步骤3.1,计算区间的大小;
Figure FDA00035337210000000311
步骤3.2,计算区间的新上限;
Figure FDA00035337210000000312
为符号0时,
Figure FDA00035337210000000313
Figure FDA00035337210000000314
为符号1时,
Figure FDA00035337210000000315
步骤3.3,计算区间的新下限;
Figure FDA00035337210000000316
为符号0时,
Figure FDA00035337210000000317
Figure FDA00035337210000000318
为符号1时,
Figure FDA00035337210000000319
运用上述公式,反复迭代,更新区间,最终在最新区间中选择一个小数输出,最为最终的编码输出结果,即码字Ck,s,z,d
Ck,s,z,d是第k个图像组中第s幅剩余帧对应的残差图像中第z个频带上第d个位平面数据流的二进制码字;
对于即将出现数学溢出的码字Ck,s,z,d,采用数据缓冲的方式,将溢出部分暂存于缓冲区;然后将剩余部分进行缩放,并继续进行DAC编码;重复上述编码过程直到所有符号都编码完成后,再将缓冲区中的缓存数据取出,拼接成最终的DAC码字Ck,s,z,d
设定一个阈值为2-l,当码字Ck,s,z,d的区间长度值大于l时,采用数据缓冲的方式,将前l个值暂存于缓冲区;然后将剩余部分前移l位,并继续进行DAC编码;重复上述编码过程直到所有符号都编码完成后,再讲缓冲区的缓存数据取出依次排列,拼接成最终的二进制码字即Ck,s,z,d
5.根据权利要求1所述的基于自适应区间重叠因子的分布式视频编码方法,其特征在于:
步骤4所述将相邻两个图像组的关键帧分别经过低通滤波器的处理得到滤波后相邻两个图像组的关键帧为:
所述相邻两个图像组的关键帧为:datak,1、datak+1,1
所述滤波后相邻两个图像组的关键帧:data′k,1和data′k+1,1
其中,datak,1为第k个图像组中的关键帧,datak+1,1为第k+1个图像组中的关键帧,且k∈[1,M],M为图像组的数量,datak,s(i,j)为第k个图像组里关键帧第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为图像的行数,Y为图像的列数,data′k,1为第k个图像组中的关键帧经过低通滤波器处理得到的滤波后的关键帧,data′k+1,1为第k+1个图像组中的关键帧经过低通滤波器处理得到的滤波后的关键帧,data′k,1(i,j)为第k个图像组中的关键帧经过低通滤波器处理得到的滤波后的关键帧第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为滤波后关键帧的行数,Y为滤波后关键帧的列数;
步骤4所述运动向量为MVk
MVk是第k个图像组的运动向量,且k∈[1,M],M为图像组的数量,MVk(i,j)为第k个图像组运动向量第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为运动向量的行数,Y为运动向量的列数;
步骤4所述边信息为sik
sik是第k个图像组的边信息,且k∈[1,M],M为图像组的数量,sik(i,j)为第k个图像组边信息第i行第j列的像素值,且i∈[1,X],j∈[1,Y],X为边信息sik的行数,Y为边信息sik的列数。
6.根据权利要求1所述的基于自适应区间重叠因子的分布式视频编码方法,其特征在于:
步骤5所述边信息信号矩阵为:
sik={sk,(1,1),sk,(1,2),…,sk,(A,B)}
其中,sk,(p,q)表示第k个图像组边信息第p行第q列的信号矩阵,分割后的边信息每行有A个边信息信号矩阵,每列有B个边信息信号矩阵,共有A×B个边信息信号矩阵,且A=Y/W,B=X/W;
sk,(p,q)为第k个图像组边信息第p行第q列的边信息信号矩阵,大小为W×W,且p∈[1,B],q∈[1,A];sk,(p,q)(i′,j′)表示sk,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
步骤5所述将边信息信号矩阵进行整数DCT变化得到边信息整数DCT系数矩阵,具体为:
边信息整数DCT系数矩阵表示为:
Figure FDA0003533721000000041
其中,Sk,(p,q)第k个图像组边信息第p行第q列的边信息整数DCT系数矩阵,Af表示边信息整数DCT变换矩阵;
Sk,(p,q)的大小为W×W,共有A×B个,Sk,(p,q)(i′,j′)是边信息整数DCT系数矩阵Sk,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
步骤5所述用拉普拉斯分布计算剩余帧和边信息的差异得到拉普拉斯分布模型,具体如下:
同一图像组中,剩余帧datak,s和边信息sik之间的差异定义为相关噪声残差即CNR;
使用拉普拉斯分布对CNR建模,来获取解码后的相关噪声参数θ,具体如下所示:
假设σ2是剩余帧datak,s和边信息sik之间的差异生成的残差数据的方差;拉普拉斯参数可以定义为
Figure FDA0003533721000000042
拉普拉斯分布的概率密度P可以表示为:
Figure FDA0003533721000000051
其中,datak,s(i,j)表示第k个图像组中第s个剩余帧第i行第j列的值,sik(i,j)表示用于第k个图像组边信息第i行第j列的值,且i∈[1,X],j∈[1,Y],X为剩余帧和边信息的行数,Y为剩余帧和边信息的列数;
利用重构和逆变换之后的解码数据,对生成的噪声残差使用噪声残差精炼即NRR的方式进行精炼,将精炼后的噪声残差输入到拉普拉斯分布模型中,可以获得更加精确的θ值。
7.根据权利要求1所述的基于自适应区间重叠因子的分布式视频编码方法,其特征在于:
步骤6所述将整数DCT系数矩阵进行量化得到一维频带的具体方法如步骤3中所述;
其中,Pk,1,z表示第k个图像组关键帧得到的边信息中第z个频带,且z∈[1,W2],Pk,1,z的长度为A×B,
Figure FDA0003533721000000052
表示第k个图像组关键帧得到的边信息中第z个频带上第
Figure FDA0003533721000000053
个块的值,且
Figure FDA0003533721000000054
利用重构和逆变换之后的解码数据,对一维频带采用边信息精炼即SIR的方式提高每个频带上边信息的准确度;
步骤6所述将一维频带通过位平面定序得到位平面数据流的具体方法如步骤3中所述;
LSk,1,z,d={Pk,1,z(1)d,Pk,1,z(2)d,…,Pk,1,z(A×B)d}
其中,LSk,1,z,d表示第k个图像组关键帧得到的边信息中第z个频带生成的第d个位平面数据流,且位平面数据流LSk,1,z,d的长度为A×B,共有Bk,1,z个;Bk,1,z表示第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流的个数,
Figure FDA0003533721000000055
表示第k个图像组中关键帧得到的边信息中第z个频带上第
Figure FDA0003533721000000056
个块值的第d位元素;
步骤6所述将位平面数据流通过拉普拉斯分布模型转换为软输入信息为:
使用拉普拉斯分布模型将边信息的位平面数据流LSk,1,z,d转化为软输入信息的位平面数据流Rk,1,z,d
Rk,1,z,d={P′k,1,z(1)d,P′k,1,z(2)d,…,P′k,1,z(A×B)d}
其中,Rk,1,z,d表示第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流转换得到的软输入信息的位平面数据流,且软输入信息位平面数据流的长度为A×B,共有Bk,1,z个,Bk,1,z表示第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流转化得到的软输入信息位平面数据流的个数;
Figure FDA0003533721000000057
表示第k个图像组关键帧得到的边信息中第z个频带上第
Figure FDA0003533721000000058
个块的值通过转化得到的结果,且
Figure FDA0003533721000000059
步骤6所述将软输入信息通过条件比特概率转化为相关边信息为:
软输入信息的位平面数据流Rk,1,z,d的对数似然比(Log-Likelihood Ratio,简称LLR)可以表示为:
Figure FDA00035337210000000510
其中,Rk,1,z,d=0表示Rk,1,z,d中的所有元素为0的情况,Rk,1,z,d=1表示Rk,1,z,d中的所有元素为1的情况,data′k,s表示第k个图像组中重构的第s幅剩余帧;
当L(Rk,1,z,d)≥0时,yk,1,z,d的值取0,否则yk,1,z,d的值取1;
其中yk,1,z,d是第k个图像组中关键帧得到的边信息中第z个频带生成的位平面数据流转化得到的软输入信息的位平面数据流的对数似然比;
生成的LLR将作为相关边信息信源Y=[y1,…,yd,…,yBk,1,z]发送到DAC解码器。
8.根据权利要求1所述的基于自适应区间重叠因子的分布式视频编码方法,其特征在于:
步骤7所述利用二进制符号统计概率
Figure FDA0003533721000000061
Figure FDA0003533721000000062
初始化解码区间为:
通过二进制符号统计概率
Figure FDA0003533721000000063
Figure FDA0003533721000000064
可以在区间[0,1)上划分出对应的子区间
Figure FDA0003533721000000065
Figure FDA0003533721000000066
其中
Figure FDA0003533721000000067
是二进制符号0对应的区间范围,
Figure FDA0003533721000000068
是二进制符号1对应的符号范围,并且子区间
Figure FDA0003533721000000069
Figure FDA00035337210000000610
会有一部分的重叠区间;
步骤7所述将码字建立解码二叉树为:
由于子区间
Figure FDA00035337210000000611
Figure FDA00035337210000000612
会有一部分的重叠区间,所以根据码字是否位于重叠区间内,可分为两种情况;
当码字Ck,s,z,d不位于重叠区间时,可以实现对位平面数据符号的正确解码,即能正确判断是符号0还是1,将解码二叉树的节点值定为正确的解码符号;
当码字Ck,s,z,d位于重叠区间时,则无法推断出正确的解码符号;此时,需要对解码二叉树建立新的分支,将符号0和1保留为候选解码结果;
重复上述步骤,直到位平面数据流中所有的符号都被解码出来,则可以得到最终的解码二叉树
Figure FDA00035337210000000613
随着产生的歧义部分越来越多,解码二叉树
Figure FDA00035337210000000614
的解码路径呈指数增长,可以使用M算法来修剪路径,M算法也会在解码过程中根据度量值对每条路径进行排序;
步骤7所述利用相关边信息信源在解码二叉树中计算出解码后的位平面数据流为:
使用最大后验概率度量指标来评估解码二叉树中每条路径的可靠性;最大后验概率可以表示为:
Figure FDA00035337210000000615
利用最大后验概率对解码二叉树
Figure FDA00035337210000000616
中所有的路径排序之后,保留M算法得到的度量值较高的前M个路径;剩余具有较低度量值的其他路径将从解码树中被去除掉;解码过程中,CRC校验仅参与最终输出路径的选择;对这M个最佳路径逐一进行CRC检查,最后将符合CRC校验且拥有最高度量指标的路径作为解码输出,得到解码后的位平面数据流LS′k,s,z,d
LS′k,s,z,d={P′k,s,z(1)d,P′k,s,z(2)d,…,P′k,s,z(A×B)d}
其中,LS′k,s,z,d表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带的第d个位平面数据流,且d∈[1,Bk,1,z],Bk,1,z表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的位平面数据流的总数,位平面数据流LS′k,s,z,d的长度为A×B;
位平面数据流中的符号
Figure FDA00035337210000000617
可以简化表示为Zx
LS′k,s,z,d={Z′0,Z′1,…,Z′A×B-1}
步骤7所述将解码后的位平面数据流通过位平面重定序生成重构后的一维频带为:
将解码后的位平面数据流LS′k,s,z,d分别与只有第
Figure FDA00035337210000000618
位符号为0的二进制字符串进行按位或操作,依次赋值到重构后的一维频带P′k,s,z的第
Figure FDA00035337210000000619
个块的第d位上,最终组成重构后的一维频带P′k,s,z
其中,P′k,s,z表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第z个频带,且z∈[1,W2],重构的一维频带P′k,s,z的长度为A×B;
步骤7所述将重构后的一维频带通过量化得到重构后的整数DCT系数矩阵为:
重构后的一维频带P′k,s,z按照之前Z字形扫描的顺序重新排列组成重构后的中间矩阵M′k,s,(p,q)
其中,M′k,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第p行第q列的中间矩阵,M′k,s,(p,q)的大小为W×W,共有A×B个,M′k,s,(p,q)(i′,j′)是重构后的中间矩阵M′k,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
重构后的中间矩阵M′k,s,(p,q)分别与量化矩阵L的对应位置进行按位与操作,生成重构后的整数DCT系数矩阵F′k,s,(p,q)
其中,F′k,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第p行第q列的整数DCT系数矩阵,F′k,s,(p,q)的大小为W×W,共有A×B个,F′k,s,(p,q)(i′,j′)是重构后的整数DCT系数矩阵F′k,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
步骤7所述将重构后的整数DCT系数矩阵进行整数DCT逆变换得到重构后的信号矩阵为:
重构后的信号矩阵f′k,s,(p,q)可以表示为:
Figure FDA0003533721000000071
其中,Ef表示相关矩阵,f′k,s,(p,q)表示第k个图像组中第s幅剩余帧对应的残差图像中重构的第p行第q列的信号矩阵,大小为W×W,且p∈[1,A],q∈[1,B];f′k,s,(p,q)(i′,j′)表示f′k,s,(p,q)第i′行第j′列的值,且i′∈[(p-1)W+1,pW],j′∈[(q-1)W+1,qW];
重构后的信号矩阵按照对应的下标(p,q)位置排列,合成重构后的残差图像Δdata′k,s;重构后的残差图像与关键帧一起组成重构后的剩余帧;
data′k,s(i,j)=Δdata′k,s(i,j)+datak,1(i,j)
其中,Δdata′k,s表示第k个图像组中重构的第s幅残差图像,Δdata′k,s(i,j)表示Δdata′k,s第i′行第j′列的值;data′k,s表示第k个图像组中重构的第s幅剩余帧,
data′k,s(i,j)表示data′k,s第i′行第j′列的值,且i′∈[(p-1)W+1,pW],
j′∈[(q-1)W+1,qW]。
9.根据权利要求1所述的基于自适应区间重叠因子的分布式视频编码方法,其特征在于:
步骤8所述计算DVC系统的编码端位平面数据流的信息熵为:
步骤3中,将一维频带通过位平面定序得到位平面数据流LSk,s,z,d
LSk,s,z,d={Pk,s,z(1)d,Pk,s,z(2)d,…,Pk,s,z(A×B)d}
其中,LSk,s,z,d表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流,且位平面数据流LSk,s,z,d的长度为A×B,
Figure FDA0003533721000000072
表示第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的第d个位平面数据流上第
Figure FDA0003533721000000073
个块值的第d位元素;
编码端的位平面数据流LSk,s,z,d中二进制符号0和1的统计概率为p0和p1,经过DAC扩大因子α计算扩大后的概率为
Figure FDA0003533721000000074
Figure FDA0003533721000000075
其中
Figure FDA0003533721000000076
且i∈{0,1},表示二进制符号0 和1,α∈[0,1);
编码端位平面数据流的信息熵H(LSk,s,z,d)可以表示为:
Figure FDA0003533721000000081
步骤8所述通过幂函数模型实现DVC系统的编码端的码率控制为:
编码端位平面数据流的信息熵H(LSk,s,z,d)与区间重叠因子γ存在某种函数关系f,可以表示为:
γ=f[H(LSk,s,z,d)]
其中,γ=1-α,且γ∈[0,1),α为DAC的概率扩大因子;
使用幂函数模型实现码率控制,建立编码端位平面数据流的信息熵H(LSk,s,z,d)与区间重叠因子γ的函数关系为幂函数fpow,则fpow拟合的自适应区间重叠因子的函数模型可以表示为:
γ=a·[H(LSk,s,z,d)b]
其中,a为比例系数,b为指数系数;
编码端位平面数据流LSk,s,z,d编码之后的平均码率RDAC可以表示为:
Figure FDA0003533721000000082
这样利用编码端位平面数据流的信息熵H(LSk,s,z,d)和概率扩大因子α计算出平均码率RDAC,并应用到DVC系统中去,以控制DAC编码所需的码率;
步骤8所述计算DVC系统位平面数据流的解码端信息熵为:
步骤7中,利用相关边信息信源在解码二叉树中计算出解码后的位平面数据流LS′k,s,z,d
LS′k,s,z,d={P′k,s,z(1)d,P′k,s,z(2)d,…,P′k,s,z(A×B)d}
其中,LS′k,s,z,d表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带的第d个位平面数据流,且d∈[1,Bk,1,z],Bk,1,z表示解码后第k个图像组中第s幅剩余帧对应的残差图像中第z个频带生成的位平面数据流的总数,位平面数据流LS′k,s,z,d的长度为A×B;
解码端的位平面数据流LS′k,s,z,d中二进制符号0和1的统计概率为p0和p1,经过DAC扩大因子α计算扩大后的概率为
Figure FDA0003533721000000083
Figure FDA0003533721000000084
其中
Figure FDA0003533721000000085
且i∈{0,1},表示二进制符号0和1,α∈[0,1);
解码端位平面数据流的信息熵H(LS′k,s,z,d)可以表示为:
Figure FDA0003533721000000086
步骤8所述通过幂函数模型实现DVC系统的解码端的码率控制为:
解码端位平面数据流的信息熵H(LS′k,s,z,d)与区间重叠因子γ存在某种函数关系f,可以表示为:
γ=f[H(LS′k,s,z,d)]
其中,γ=1-α,且γ∈[0,1),α为DAC的概率扩大因子;
使用幂函数模型实现码率控制,建立解码端位平面数据流的信息熵H(LS′k,s,z,d)与区间重叠因子γ的函数关系为幂函数fpow,则fpow拟合的自适应区间重叠因子的函数模型可以表示为:
γ=a·[H(LS′k,s,z,d)b]
其中,a为比例系数,b为指数系数
解码端位平面数据流LS′k,s,z,d编码之后的平均码率RDAC可以表示为:
Figure FDA0003533721000000091
这样利用编码端位平面数据流的信息熵H(LS′k,s,z,d)和概率扩大因子α计算出平均码率RDAC,并应用到DVC系统中去,以控制DAC解码所需的码率;
通过步骤8控制DVC系统编码端和解码端所需的码率,从而实现基于自适应区间重叠因子的分布式视频编码。
CN202011318867.3A 2020-11-23 2020-11-23 一种基于自适应区间重叠因子的分布式视频编码方法 Active CN112437300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011318867.3A CN112437300B (zh) 2020-11-23 2020-11-23 一种基于自适应区间重叠因子的分布式视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011318867.3A CN112437300B (zh) 2020-11-23 2020-11-23 一种基于自适应区间重叠因子的分布式视频编码方法

Publications (2)

Publication Number Publication Date
CN112437300A CN112437300A (zh) 2021-03-02
CN112437300B true CN112437300B (zh) 2022-04-15

Family

ID=74693501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011318867.3A Active CN112437300B (zh) 2020-11-23 2020-11-23 一种基于自适应区间重叠因子的分布式视频编码方法

Country Status (1)

Country Link
CN (1) CN112437300B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527904B (zh) * 2023-07-03 2023-09-12 鹏城实验室 熵编码方法、熵解码方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271256A (zh) * 2011-09-16 2011-12-07 河海大学常州校区 基于模式决策的自适应帧组分布式视频编码和解码方法
CN108712653A (zh) * 2018-05-25 2018-10-26 西安电子科技大学 基于迭代相关性噪声细化的单向分布式视频解码方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4582141B2 (ja) * 2007-11-27 2010-11-17 カシオ計算機株式会社 符号量制御装置、符号量制御方法、符号量制御プログラム、動画記録装置
US9171518B2 (en) * 2010-04-23 2015-10-27 Taiwan Semiconductor Manufacturing Co., Ltd. Two-stage DAC achitecture for LCD source driver utilizing one-bit pipe DAC
CN103561261B (zh) * 2013-10-12 2016-10-26 重庆邮电大学 基于视觉注意的全景可定位视频编码方法
US9877048B2 (en) * 2014-06-09 2018-01-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC)
CN105338357B (zh) * 2015-09-29 2018-08-24 湖北工业大学 一种分布式视频压缩感知编解码方法
US10432952B2 (en) * 2015-11-19 2019-10-01 Qualcomm Incorporated System and methods for fixed-point approximations in display stream compression (DSC)

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271256A (zh) * 2011-09-16 2011-12-07 河海大学常州校区 基于模式决策的自适应帧组分布式视频编码和解码方法
CN108712653A (zh) * 2018-05-25 2018-10-26 西安电子科技大学 基于迭代相关性噪声细化的单向分布式视频解码方法

Also Published As

Publication number Publication date
CN112437300A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN109996071B (zh) 基于深度学习的可变码率图像编码、解码系统及方法
US6215910B1 (en) Table-based compression with embedded coding
Malvar Adaptive run-length/Golomb-Rice encoding of quantized generalized Gaussian sources with unknown statistics
CN107481295B (zh) 基于动态字节长度分配的卷积神经网络的图像压缩系统
EP1782539B1 (en) Method, system and computer program product for optimization of data compression
CN111009018A (zh) 基于深度神经网络的图像降维和重建方法
CN108174218B (zh) 基于学习的视频编解码系统
CN111641832A (zh) 编码方法、解码方法、装置、电子设备及存储介质
CN113747163B (zh) 基于上下文重组建模的图像编码、解码方法及压缩方法
KR20220007853A (ko) 신경망의 매개변수를 압축하기 위한 방법 및 장치
CN106937112A (zh) 基于h.264视频压缩标准的码率控制方法
CN111050291B (zh) 一种基于系统在线喷泉码的高编码符号度值广播方法
CN112398484A (zh) 一种编码方法及相关设备
CN111669588B (zh) 一种超低时延的超高清视频压缩编解码方法
CN115087988A (zh) 用于编码神经网络参数的构思
CN112437300B (zh) 一种基于自适应区间重叠因子的分布式视频编码方法
JP2000114974A (ja) 符号化装置
Huang et al. Multi-channel multi-loss deep learning based compression model for color images
Kossentini et al. Finite-state residual vector quantization
CN111131834B (zh) 可逆自编码器、编解码方法以及图像压缩方法、装置
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质
EP4224852A1 (en) Video encoding and decoding methods, encoder, decoder, and storage medium
Hou et al. Learning-based Intra-Prediction For Point Cloud Attribute Transform Coding
CN115439567A (zh) 一种可变码率图像压缩方法及系统
CN115623220A (zh) 一种基于分层预测的高光谱图像边信息生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant