CN112085667A - 一种基于伪模拟视频传输的去分块效应方法和装置 - Google Patents

一种基于伪模拟视频传输的去分块效应方法和装置 Download PDF

Info

Publication number
CN112085667A
CN112085667A CN202010795777.7A CN202010795777A CN112085667A CN 112085667 A CN112085667 A CN 112085667A CN 202010795777 A CN202010795777 A CN 202010795777A CN 112085667 A CN112085667 A CN 112085667A
Authority
CN
China
Prior art keywords
block
filtering
noise
transform
collaborative filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010795777.7A
Other languages
English (en)
Other versions
CN112085667B (zh
Inventor
袁迎春
黄新林
李宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010795777.7A priority Critical patent/CN112085667B/zh
Publication of CN112085667A publication Critical patent/CN112085667A/zh
Application granted granted Critical
Publication of CN112085667B publication Critical patent/CN112085667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于伪模拟视频传输的去分块效应方法和装置，方法包括以下步骤：1)获取伪模拟视频传输过程中的含噪图片；2)对含噪图片依次进行块匹配和基于硬阈值滤波的变换域协同滤波，从而获取亮度调整后的含噪图片；3)对亮度调整后的含噪图片依次进行块匹配和基于硬阈值滤波的变换域协同滤波，从而获取基础估计后的含噪图片；4)对基础估计后的含噪图片进行块匹配，获取基础估计分组；根据该基础估计分组的坐标，从亮度调整后的含噪图片中提取出待处理分组；对该待处理分组进行基于维纳滤波的变换域协同滤波，从而获取最终图像。与现有技术相比，本发明实现了对伪模拟视频传输中分块效应的去除，提高了伪模拟视频传输的准确性。

Description

一种基于伪模拟视频传输的去分块效应方法和装置
技术领域
本发明涉及伪模拟视频传输领域，尤其是涉及一种基于伪模拟视频传输的去分块效应方法和装置。
背景技术
从4G时代开始，移动视频在通信中占据的流量成倍地增加。现在的无线通信技术，如WiFi,WiMax和LTE等技术，是否能够，提供可扩展、可容错的移动视频是当今的研究热点之一。因此，对现有的视频传输方案进行改进，是移动通信行业发展的主流趋势。现有的无线视频传输方案采用信源信道编码分离的编码方式。信源编码用于压缩视频，从时间和空间两个方面消除冗余信息。
如果视频编码器的压缩率很高，保留下来的都是有效信息，这使重建视频对于误比特和丢包很敏感，当视频编解码器使用熵编码(比如Huffman编码)时，单比特翻转可能导致接收机混淆符号边界，在视频中产生不可逆的解码错误。总而言之，压缩视频要在无线信道传输，信号容易在信道中受到干扰，因此，物理层通常需要添加大量的冗余作为纠错保护码，防止比特翻转或者丢包，这就是信道编码。信源编码与信道编码之间存在一定的矛盾性，由于移动性、互相干扰而添加的冗余码大大降低了编码效率。
信源编码与信道编码发生在计算机网络协议栈中不同的层次，前者发生在应用层，后者发生在物理层。基于信源信道分离编码的传输方案只有在信道参数对于传输者已知的单播信道有效，在组播、广播或者信道参数难以预测的时候，这种分层变得低效。最佳通信系统实际上是实现概率意义上信源与信道之间的匹配，匹配涉及源分布、失真度量、信道条件分布和信道输入成本函数。信源信道分离编码只是实现匹配的一种方式，但不是唯一实现方法，这为伪模拟视频传输方案提供了理论支持。现有的网络协议设计对于主流的数字视频传输系统在可扩展性、鲁棒性、有效性三个方面存在不足，信道编解码有一定的解码范围，当信道质量低于某一个门限之后，其接收视频的质量直线下降，这就是悬崖效应，反映在视频上就是马赛克现象。在特定的编码模式下，当SNR低于门限6dB时，接收视频的PSNR急剧下降，而高于门限时，接收视频质量保持稳定，不会随着信道SNR的提高而相应地增加。
从长远角度来看，现有的数字无线视频编码方案在特定通信场景中的表现还有待改进。目前，关于无线视频传输的研究可以粗略分为三个类型：数字编码方案；模拟编码方案；混合数字模拟方案——在视频编码时按照不同的设计原则分为数字编码部分与模拟编码部分。本发明研究的伪模拟视频传输方案在可扩展性方面具有显著的优势，但是模拟传输的精确性不如数字传输，KMV-Cast对于元数据的接收精准度有巨大的依赖，元数据的接收误差将导致重建视频中出现分块效应，这是本发明主要解决的问题。
发明内容
本发明的目的就是为了克服上述现有技术存在伪模拟视频传输过程出现分块效应的缺陷而提供一种基于伪模拟视频传输的去分块效应方法和装置。
本发明的目的可以通过以下技术方案来实现：
一种基于伪模拟视频传输的去分块效应方法，包括以下步骤：
S1：获取伪模拟视频传输过程中的含噪图片；
S2：对所述含噪图片依次进行块匹配和第一变换域协同滤波，从而获取亮度调整后的含噪图片；
S3：对所述亮度调整后的含噪图片依次进行块匹配和第二变换域协同滤波，从而获取基础估计后的含噪图片；
S4：对所述基础估计后的含噪图片进行块匹配，从而获取基础估计分组；根据该基础估计分组的坐标，从所述亮度调整后的含噪图片中提取出待处理分组；对该待处理分组进行第三变换域协同滤波，从而获取最终图像；
所述第一变换域协同滤波和第二变换域协同滤波均采用硬阈值滤波，所述第三变换域协同滤波采用维纳滤波。
进一步地，所述块匹配通过块间距离计算公式，计算两块间的距离，若距离小于预设的距离阈值，则为相似的块，通过不断搜索进行块匹配；
所述块间距离计算公式的表达式为：
Figure BDA0002625544760000031
式中，XR为滤波后的参考块，X为滤波后的检验块，YR为参考块，Y为检验块，d(XR,X)为参考块与检验块间的距离，γ(*)为硬阈值滤波操作，T2D(*)为进行基于滤波的二维线性变换。
进一步地，通过滑动窗口以预设的滑动步长在搜索区域中进行滑动搜索，每滑动一次，都计算所述滑动窗口内的分块与预设的参考图像块的距离，从而进行所述块匹配。
进一步地，所述第一变换域协同滤波、第二变换域协同滤波和第三变换域协同滤波均包括依次进行的3D变换、协同滤波和3D逆变换。
进一步地，所述3D变换为基于BM3D的3D变换。
进一步地，所述去分块效应方法还包括计算伪模拟视频传输过程的分块效应估计参数，从而确定所述协同滤波的滤波强度；
所述分块效应估计参数的计算表达式为：
Figure BDA0002625544760000032
式中，
Figure BDA0002625544760000033
为分块效应估计参数，λj为当前DCT块的幅度值，|Λ|为亮度归一化之后的幅值，αλ为第一功率调节因子，v为方差为
Figure BDA0002625544760000034
的零均值高斯分布的独立同分布变量，σ0为含噪图片零均值高斯分布的方差，p为DCT系数进行旋转时保证归一化的参数，θ为当前待发送的视频DCT系数的归一化向量，
Figure BDA0002625544760000035
为功率缩放因子的计算值，
Figure BDA0002625544760000036
为简化值r的估计值，φ为酉矩阵，
Figure BDA0002625544760000037
为功率划分参数的估计值。
进一步地，所述第一变换域协同滤波、第二变换域协同滤波和第三变换域协同滤波均还包括对所述3D逆变换后的含噪图片进行逐块估计，根据所述协同滤波的结果获取所述逐块估计对应的权重，根据所述逐块估计的结果及其对应的权重，进行聚集，输出处理后的含噪图片。
进一步地，所述第一变换域协同滤波和第二变换域协同滤波中，所述逐块估计对应的权重的计算表达式为：
Figure BDA0002625544760000038
式中，
Figure BDA0002625544760000039
为硬阈值滤波后逐块估计对应的权重，σ为滤波输入的噪声标准差，
Figure BDA0002625544760000041
为硬阈值滤波之后一个分组内非零系数的个数。
进一步地，所述第三变换域协同滤波中，所述逐块估计对应的权重的计算表达式为：
Figure BDA0002625544760000042
Figure BDA0002625544760000043
式中，
Figure BDA0002625544760000044
为维纳滤波后逐块估计对应的权重，σ为滤波输入的噪声标准差，
Figure BDA0002625544760000045
为维纳滤波中的3D变换，
Figure BDA0002625544760000046
为用于维纳滤波的待处理分组，α为功率缩放因子，σ0为含噪图片零均值高斯分布的方差，r为简化值，Φ为酉矩阵，v为方差为
Figure BDA0002625544760000047
的零均值高斯分布的独立同分布变量，C为功率划分参数。
本发明还提供一种基于伪模拟视频传输的去分块效应装置，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如上所述的方法的步骤。
与现有技术相比，本发明具有以下优点：
(1)本发明先基于BM3D滤波理论，通过硬阈值滤波估计分块的亮度，粗略地去除KMV-Cast重建视频时存在的分块效应，然后通过硬阈值与维纳滤波联合滤波去除视频帧的噪声，实现对伪模拟视频传输中分块效应的去除，提高了伪模拟视频传输的准确性。
(2)本发明计算伪模拟视频传输过程的分块效应估计参数，从而为协同滤波的滤波强度的设置提供一个新的参考依据，提升了滤波的有效性。
附图说明
图1为对匹配块进行3D变换示意图；
图2为本发明基于伪模拟视频传输的去分块效应方法流程示意图；
图3为信道SNR＝10dB的第一视频传输结果比较图，图3中，(a)为Foreman序列第11帧，(b)为KMV-Cast结果PSNR＝23.11dB，(c)为改进的BM3D去分块效应结果PSNR＝25.29dB，(d)为BM3D滤波结果PSNR＝23.89dB
图4为信道SNR＝10dB的第二视频传输结果比较图，图4中，(a)为Foreman序列第240帧，(b)为KMV-Cast结果PSNR＝23.71dB，(c)为改进的BM3D去分块效应结果PSNR＝25.05dB，(d)为BM3D滤波结果PSNR＝24.22dB；
图5为信道SNR＝10dB的第三视频传输结果比较图，图5中，(a)为Coastguard序列126帧，(b)为KMV-Cast结果PSNR＝23.4356dB，(c)为改进的BM3D滤波结果PSNR＝25.4398dB，(d)为BM3D结果PSNR＝24.327dB；
图6为信道SNR＝5dB的第一视频传输结果比较图，图6中，(a)为Foreman序列第11帧，(b)为KMV-Cast结果PSNR＝19.57dB，(c)为改进的BM3D滤波结果PSNR＝21.12dB，(d)为BM3D结果PSNR＝20.14dB；
图7为信道SNR＝5dB的第二视频传输结果比较图，图7中，(a)为Foreman序列第240帧，(b)为KMV-Cast结果PSNR＝19.33dB，(c)为改进的BM3D去分块效应算法结果PSNR＝20.81dB，(d)为BM3D滤波结果PSNR＝19.77dB；
图8为信道SNR＝5dB的第三视频传输结果比较图，图8中，(a)为Coastguard序列126帧，(b)为KMV-Cast结果PSNR＝19.45dB，(c)为改进的BM3D滤波结果PSNR＝20.87dB，(d)为BM3D滤波结果PSNR＝19.75dB；
图9为去分块效应算法与各算法的性能综合对比图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
如图2所示，本实施例提供一种基于伪模拟视频传输的去分块效应方法，在原有伪模拟视频传输技术KMV-Cast的基础上利用DCT系数以及相关的元数据，通过将其成对地组合复数向量实现伪模拟调制以建立分块效应估计模型，在此基础上推导出一种全新的去分块效应方法。此方法在BM3D算法的基础上加以改进，利用图像三维块匹配与变换域滤波的优势，通过硬阈值滤波与维纳滤波联合滤波去除视频帧的噪声。
基于伪模拟视频传输的去分块效应方法主要包括以下步骤：
S1：获取伪模拟视频传输过程中的含噪图片，建立分块效应估计模型，以分析在重建视频中出现分块效应的原因，并用于确定后续协同滤波的滤波强度；
S2：对含噪图片依次进行块匹配和第一变换域协同滤波，从而获取亮度调整后的含噪图片，块匹配为基于BM3D的三维块匹配；
S3：对亮度调整后的含噪图片依次进行块匹配和第二变换域协同滤波，从而获取基础估计后的含噪图片；
S4：对基础估计后的含噪图片进行块匹配，从而获取基础估计分组；根据该基础估计分组的坐标，从亮度调整后的含噪图片中提取出待处理分组；对该待处理分组进行第三变换域协同滤波，从而获取最终图像；
第一变换域协同滤波和第二变换域协同滤波均采用硬阈值滤波，第三变换域协同滤波采用维纳滤波。
下面对各部分进行详细描述。
1、建立分块效应估计模型
本实施例通过分块效应估计模型将DCT系数以及相关的元数据成对地组合为复数向量，实现伪模拟调制，以分析在重建视频中出现分块效应的原因。
11)视频帧经过KMV-Cast编码得到的数据
Figure BDA0002625544760000061
λ以及K组成的归一化数据；
12)元数据包括了DCT块的幅度值λ、相关系数K；在发送时，元数据与DCT系数一起分配功率，需对λ组成的向量Λ和K组成的向量
Figure BDA0002625544760000062
分别做归一化处理；
13)引入功率调节因子αλ和ακ以保护元数据；
14)根据带噪的元数据
Figure BDA0002625544760000063
计算得到参数
Figure BDA0002625544760000064
15)考虑元数据的噪声，得到分块效应估计参数
Figure BDA0002625544760000065
建立分块效应估计模型的具体描述如下：
S11：视频帧经过KMV-Cast编码得到的数据
Figure BDA0002625544760000066
λ以及K组成的归一化数据，其中α是功率缩放因子，θ是归一化矢量，Φ为酉矩阵(m×m)，用来减少峰均功率比，编码得到的数据系数为m×1向量。按照两两组合分别作为虚部和实部形成一个矢量信号的原则，注入OFDM的时频资源元素内。
S12：在发送端，DCT系数需要经过归一化之后才被传输，物理意义上表示分块亮度的幅值也需要作为元数据发送出去，接收端才能正确解码。元数据包括了DCT块的幅度值λ、相关系数K；在发送时，元数据与DCT系数一起分配功率，需对λ组成的向量Λ和K组成的向量
Figure BDA0002625544760000067
分别做归一化处理。
S13：引入功率调节因子αλ和ακ以保护元数据。|Λ|表示亮度归一化之后的幅值，利用调节因子，可以把接收端的亮度信息表示为：
Figure BDA0002625544760000071
式中，
Figure BDA0002625544760000072
为DCT块幅值信息估计值，λj为当前DCT块的幅度值，|Λ|为亮度归一化之后的幅值，αλ为第一功率调节因子，v表示方差为
Figure BDA0002625544760000073
的零均值高斯分布的独立同分布变量。
S14：相应的可以得到接收端的相关系数：
Figure BDA0002625544760000074
式中，
Figure BDA0002625544760000075
为相关系数估计值，表示传输像素块与相关块之间的相似度，Kj为当前相关系数值，
Figure BDA0002625544760000076
为归一化后的相关系数，αk为第二功率调节因子，v表示方差为
Figure BDA0002625544760000077
的零均值高斯分布的独立同分布变量，即高斯噪声。
S15：根据带噪的元数据
Figure BDA0002625544760000078
计算得到参数
Figure BDA0002625544760000079
考虑元数据的噪声，得到分块效应估计参数：
Figure BDA00026255447600000710
式中，
Figure BDA00026255447600000711
为分块效应估计参数值，p为DCT系数进行旋转时保证归一化的参数，θ为当前待发送的视频DCT系数的归一化向量，
Figure BDA00026255447600000712
为功率缩放因子的计算值，φ为酉矩阵，用以减少峰均功率比。
Figure BDA00026255447600000713
为功率划分参数的估计值，
Figure BDA00026255447600000714
为简化值r的估计值。
上式中的功率划分参数C为：
Figure BDA00026255447600000715
简化值r为：
Figure BDA00026255447600000716
2、应用于去分块效应的BM3D的三维块匹配
本实施例基于BM3D的二次硬阈值滤波算法进行去分块效应。BM3D分两个步骤实现，基础估计和最终估计。块匹配(BM)是一种特殊的匹配方法，在视频压缩(MPEG1、MPEG2、MPEG4和H.26x)中广泛应用于运动估计。作为一种特殊的分组方式，它用于查找相似的块，然后将这些块堆叠在一个3D分组中
21)计算分块之间理想的距离dideal(XR,X)，XR，X分别表示参考块以及检验块。
22)对两个块应用标准化的2D线性变换，然后对获得的系数进行硬阈值化，得到距离d(XR,X)。
23)当距离定义完成之后，通过匹配实现对相似块更简单有效的分组。
BM3D的三维块匹配的具体描述如下：
S21：XR，X分别表示参考块及检验块，计算分块之间理想的距离
Figure BDA0002625544760000081
式中，dideal(XR,X)为参考块与检验块间的理想距离，N1为块的边长。
当图像带有噪声后，距离的估量误差表示为
E(d(XR,X))＝d(YR,Y)+2σ2
式中，E(d(XR,X))为参考块与检验块间理想距离的估计误差，d(YR,Y)为参考块及检验块的实际距离，YR为参考块，Y为检验块，σ2为加性高斯噪声的方差。
S22：对两个块应用标准化的2D线性变换，然后对获得的系数进行硬阈值化，γ表示硬阈值滤波操作，得出理想距离的计算式
Figure BDA0002625544760000082
式中，γ表示硬阈值滤波操作，
Figure BDA0002625544760000083
表示对图像块进行基于硬阈值滤波的二维线性变换。
S23：当距离定义完成之后，通过以下操作实现对相似块更简单有效的分组：寻找与给定参考信号相似的信号片段，与参考块的距离小于给定阈值的块被认为是相似的，随后被分为一组。
3、变换域协同滤波
如图1所示，在变换域协同滤波实现过程中，BM3D的3D变换首先对分块进行2D变换，接下来对1D变换所有分块的2D系数进行1D变换。由于自然图像的分块内部与分块之间都具有高度的相关性，协同变换域收缩在应用于3维图像组时特别有效。变换域协同滤波可以概括为3个部分：3D变换、协同滤波和3D反变换。
31)3D变换。在图像块匹配时，固定图像分块的大小为N1×N1，接下来，准备一个N1×N1大小的滑动窗口，设置滑动步长为Ns，搜索区域为直径Nd的区域，每滑动一个窗口，都计算滑动窗口内分块Yx与参考图像块R之间的距离，x表示的是当前图像块的左上角坐标。
32)进行第一次硬阈值滤波，输入的噪声方差是λ的噪声，用以平滑亮度，从视觉上消除分块效应。
33)滤波之后进行反变换，计算
Figure BDA0002625544760000091
34)硬阈值滤波之后一个分组内非零的系数共
Figure BDA0002625544760000092
个，那么分组的噪声方差应该是
Figure BDA0002625544760000093
得到权重
Figure BDA0002625544760000094
35)变换系数中的协方差项以简化算法，根据加权平均得出全局的基础估计值
Figure BDA0002625544760000095
变换域协同滤波的具体描述如下：
S31：步骤S31包括以下子步骤：
S311：x，y表示像素点的横纵坐标，i(x,y)表示图像的像素值，n(x,y)表示加在该像素点上的噪声，in(x,y)表示带噪信号。以图像信号为例，噪声模型可以表示为
in(x,y)＝i(x,y)+n(x,y)
S312：
Figure BDA0002625544760000096
表示维纳滤波得到的估计值，
Figure BDA0002625544760000097
表示卷积，α表示滤波器系数，基于像素维度的最优线性估计过程可以表示为
Figure BDA0002625544760000098
S313：σi、σn分别表示信号与噪声的方差，滤波器系数计算式为
Figure BDA0002625544760000099
S314：在步骤S313中，对σi的估计精准度决定了滤波的有效性。在BM3D去噪算法中，把基础估计的结果近似为真实值，构建维纳滤波的系数。
S32：步骤S32包括以下子步骤：
S321：在图像块匹配时，固定图像分块的大小为N1×N1，接下来，准备一个N1×N1大小的滑动窗口，设置滑动步长为Ns，搜索区域为直径Nd的区域，每滑动一个窗口，都计算滑动窗口内分块Yx与参考图像块R之间的距离，x表示的是当前图像块的左上角坐标。滑动窗口经过指定的搜索范围之后得到一个与参考图像块R三维匹配块YS，
Figure BDA00026255447600000910
表示所有的匹配图像块的左上角坐标集合。
S322：参数
Figure BDA00026255447600000911
即距离判定阈值。为了和维纳滤波里面的参数区分，硬阈值滤波的参数用ht上标，维纳滤波的参数用wie上标。
Figure BDA00026255447600000912
式中，
Figure BDA0002625544760000101
表示使用硬阈值距离判定参数得到的三维匹配块。
S323：由于d(YxR,YxR)＝0，这就表示匹配块的数量至少为1
S33：进行第一次硬阈值滤波，输入的噪声方差是λ的噪声，这一步用以平滑亮度，从视觉上消除分块效应。
S34：以γ表示硬阈值滤波操作，滤波门槛是λ3D×σ，
Figure BDA0002625544760000102
表示三维变换，
Figure BDA0002625544760000103
表示三维逆变换。滤波之后进行反变换，计算过程为
Figure BDA0002625544760000104
其中，λ3D为三维变换后的幅值，σ为滤波输入的噪声标准差。
S35：一个像素点有多个估计值，对该像素点的最终估计值是它的多个估计值的加权平均值，权重应该和样本的噪声方差成反比，硬阈值滤波之后一个分组内非零系数共
Figure BDA0002625544760000105
个，那么分组的噪声方差应该是
Figure BDA0002625544760000106
计算得到权重
Figure BDA0002625544760000107
式中，
Figure BDA0002625544760000108
为硬阈值滤波之后一个分组内非零系数的个数。
S36：变换系数中的协方差项以简化算法，根据加权平均得出全局的基础估计值：
Figure BDA0002625544760000109
式中，
Figure BDA00026255447600001010
为基础估计后的带噪图片，xR为参考块，X参考块样本集合，xm为使用硬阈值距离判定参数得到的参考块，
Figure BDA00026255447600001011
表示硬阈值滤波之后的三维反变换过程。
4、硬阈值滤波与维纳滤波联合去噪
由于获得维纳滤波器的参数需要提供一个参考，因此对于亮度调整之后的带噪图像
Figure BDA00026255447600001012
再进行一次硬阈值滤波。其主要步骤与3.3.1所述的类似，在操作时设置的参数不同，对噪声水平的估计方式不同，硬阈值滤波得到的图像表示为
Figure BDA00026255447600001013
在块匹配阶段，使用基础估计得到的图像
Figure BDA00026255447600001014
做块匹配得到分组
Figure BDA00026255447600001015
然后根据这个分组的坐标，在含噪的接收图像上提取对应位置的分组，记为
Figure BDA00026255447600001016
41)利用
Figure BDA00026255447600001017
将基础估计的图像进行DCT变换，再进行归一化处理得到分块的亮度
Figure BDA00026255447600001018
42)用重新估计的亮度
Figure BDA0002625544760000111
代替KMV-Cast接收到的亮度
Figure BDA0002625544760000112
与
Figure BDA0002625544760000113
做IDCT变换得到亮度修正后的图像
Figure BDA0002625544760000114
43)对于亮度调整之后的带噪图像
Figure BDA0002625544760000115
再进行一次硬阈值滤波,得到的图像表示为
Figure BDA0002625544760000116
44)最终估计使用维纳滤波，维纳滤波器参数为
Figure BDA0002625544760000117
三维变换域的维纳滤波与反变换操作可以描述为
Figure BDA0002625544760000118
45)在系数加权阶段的权值定义为
Figure BDA0002625544760000119
46)对有交叠的分组聚集图像进行计算，得到最终图像
Figure BDA00026255447600001110
硬阈值滤波与维纳滤波联合去噪的具体描述如下：
S41：步骤S41包括以下子步骤：
S411：将基础估计的图像以8×8大小进行DCT变换，再进行归一化处理得到分块的亮度
Figure BDA00026255447600001111
用重新估计的亮度
Figure BDA00026255447600001112
代替KMV-Cast接收到的亮度
Figure BDA00026255447600001113
与
Figure BDA00026255447600001114
做IDCT变换得到亮度修正后的图像
Figure BDA00026255447600001115
S412：对于亮度调整之后的带噪图像
Figure BDA00026255447600001116
再进行一次硬阈值滤波。
S413：硬阈值滤波得到的图像表示为
Figure BDA00026255447600001117
S414：在块匹配阶段，使用基础估计得到的图像
Figure BDA00026255447600001118
做块匹配得到分组
Figure BDA00026255447600001119
然后根据这个分组的坐标，在含噪的接收图像上提取对应位置的分组，记为
Figure BDA00026255447600001120
S42：在变换域，基础估计使用硬阈值滤波，最终估计使用维纳滤波，维纳滤波器参数为
Figure BDA00026255447600001121
式中，
Figure BDA00026255447600001122
为维纳滤波中的3D变换，
Figure BDA00026255447600001123
为根据
Figure BDA00026255447600001124
分组的坐标在含噪图像对应位置上提取到的分组。维纳滤波器参数中的
Figure BDA00026255447600001125
项由第一次硬阈值滤波后图片参数决定。
S43：三维变换域的维纳滤波与反变换操作
Figure BDA00026255447600001126
式中，
Figure BDA00026255447600001127
为维纳滤波中的3D逆变换。
Figure BDA00026255447600001128
表示根据基础估计值计算出来的维纳滤波器系数，在系数加权阶段的权值定义为
Figure BDA0002625544760000121
式中，σ为分组噪声标准差。
S44：对有交叠的分组聚集图像进行计算，得到最终图像
Figure BDA0002625544760000122
本实施例还提供一种基于伪模拟视频传输的去分块效应装置，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如上所述的基于伪模拟视频传输的去分块效应方法的步骤。
5、实验分析
本实施例中，通过在Matlab仿真皮平台上进行实验验证本发明算法的性能，并根据实验结果对算法性能进行分析。算法的性能表现和算法中的参数设置有着很大的关联，在第一次硬阈值滤波时，噪声较大，选用的块匹配门限较大，搜索范围也更大，具体的参数配置如表1、2、3所示。本实施例将对所提算法与文献“Video Denoising,Deblocking andEnhancement Through Separable 4-D Nonlocal Spatiotemporal Transforms”(M.Maggioni,G.Boracchi,A.Foi,K.Egiazarian.IEEE Transactions on Image Process,2012,Vol.21(9):3952～3966)中的算法性能进行比较。
表1重建亮度的硬阈值滤波参数设置
参数名 变换方式 N<sub>1</sub> N<sub>s</sub> N<sub>d</sub> λ<sub>3D</sub> N<sub>m</sub> d<sub>1</sub>
参数值 2D-DCT、1D-haar 12 4 60 2.8 16 5000
表2联合去噪硬阈值滤波参数设置
参数名 变换方式 N<sub>1</sub> N<sub>s</sub> N<sub>d</sub> λ<sub>3D</sub> N<sub>m</sub> d<sub>1</sub>
参数值 2D-bior1.5、1D-haar 8 3 200 3 16 2000
表3联合去噪维纳滤波参数设置
参数名 变换方式 N<sub>1</sub> N<sub>s</sub> N<sub>d</sub> N<sub>m</sub> d<sub>1</sub>
参数值 2D-DCT、1D-haar 8 3 40 32 400
仿真选用标准YUV格式的测试序列“Foreman”和“Coastguard”进行实验，视频大小176×144，在仿真时使用代表灰度的Y序列，像素深度8比特。
根据图3、4、5的实验结果，可以看出，当信道SNR为10dB时，用本发明改进的去分块效应算法得到的结果比KMV-Cast接收得到的结果在PSNR的表现上高出约2dB，同时，本发明改进的算法比文献“Video Denoising,Deblocking and Enhancement Through Separable4-D Nonlocal Spatiotemporal Transforms”(M.Maggioni,G.Boracchi,A.Foi,K.Egiazarian.IEEE Transactions on Image Process,2012,Vol.21(9):3952～3966)的滤波算法高出约1.4dB。
根据图6、7、8的实验结果，可以看出，当信道SNR为5dB时，用本发明改进的去分块效应算法得到的结果比KMV-Cast接收得到的结果在PSNR的表现上高出约1.5dB，同时，本发明改进的算法比文献“Video Denoising,Deblocking and Enhancement ThroughSeparable 4-D Nonlocal Spatiotemporal Transforms”(M.Maggioni,G.Boracchi,A.Foi,K.Egiazarian.IEEE Transactions on Image Process,2012,Vol.21(9):3952～3966)的滤波算法高出约1.2dB。从视觉效果和PSNR的改善效果两方面判断，本发明所提算法对视频帧中的分块效应具有良好的改善效果。
本发明所提算法之所以有效，在于对分块亮度上的噪声与分块内部的噪声分开处理，因此，对于噪声强度也可以分别估计，第一次硬阈值滤波主要解决分块亮度的噪声，第二次硬阈值滤波与维纳滤波联合滤波主要对分块内像素点上的噪声进行处理。而直接将BM3D应用于接收端重建视频的算法由于噪声模型的不匹配以及噪声水平的估计不准确，所以无法达到有效的去分块效果。
图9描述了在不同信噪比下各个算法的性能，本发明所提出的基于BM3D的去分块效应算法(BM3D-deblocking)性能最优，而文献“Improved KMV-Cast with BM3DDenoising”(Xinlin Huang,Xiaowei Tang.Mobile Networks and Applications,2017:100～107)所提算法(BM3D)则因为对噪声的估计不准确使得性能受限，滤波后的视频质量略微高于KMV-Cast算法(KMD-Cast)接收视频质量。文献“An Efficient Wavelet-basedDeblocking Algorithm for Highly Compressed Images”(S.Wu,H.Yan,Z.Tan.2001,Vol.11(11):1193～1198)的基于双正交分解的软阈值滤波算法(bior-softthresh)表现一般，不能从视觉上达到去除分块的效果。本发明所提算法之所以有效，在于对分块亮度上的噪声与分块内部的噪声分开处理，因此，对于噪声强度也可以分别估计，第一次硬阈值滤波主要解决分块亮度的噪声，第二次硬阈值滤波与维纳滤波联合滤波主要对分块内像素点上的噪声进行处理。而直接将BM3D应用于接收端重建视频的算法由于噪声模型的不匹配以及噪声水平的估计不准确，无法达到有效的去块效果。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于伪模拟视频传输的去分块效应方法，其特征在于，包括以下步骤：
S1：获取伪模拟视频传输过程中的含噪图片；
S2：对所述含噪图片依次进行块匹配和第一变换域协同滤波，从而获取亮度调整后的含噪图片；
S3：对所述亮度调整后的含噪图片依次进行块匹配和第二变换域协同滤波，从而获取基础估计后的含噪图片；
S4：对所述基础估计后的含噪图片进行块匹配，从而获取基础估计分组；根据该基础估计分组的坐标，从所述亮度调整后的含噪图片中提取出待处理分组；对该待处理分组进行第三变换域协同滤波，从而获取最终图像；
所述第一变换域协同滤波和第二变换域协同滤波均采用硬阈值滤波，所述第三变换域协同滤波采用维纳滤波。
2.根据权利要求1所述的一种基于伪模拟视频传输的去分块效应方法，其特征在于，所述块匹配通过块间距离计算公式，计算两块间的距离，若距离小于预设的距离阈值，则为相似的块，通过不断搜索进行块匹配；
所述块间距离计算公式的表达式为：
Figure FDA0002625544750000011
式中，XR为滤波后的参考块，X为滤波后的检验块，YR为参考块，Y为检验块，d(XR,X)为参考块与检验块间的距离，γ(*)为硬阈值滤波操作，T2D(*)为进行基于滤波的二维线性变换。
3.根据权利要求2所述的一种基于伪模拟视频传输的去分块效应方法，其特征在于，通过滑动窗口以预设的滑动步长在搜索区域中进行滑动搜索，每滑动一次，都计算所述滑动窗口内的分块与预设的参考图像块的距离，从而进行所述块匹配。
4.根据权利要求1所述的一种基于伪模拟视频传输的去分块效应方法，其特征在于，所述第一变换域协同滤波、第二变换域协同滤波和第三变换域协同滤波均包括依次进行的3D变换、协同滤波和3D逆变换。
5.根据权利要求4所述的一种基于伪模拟视频传输的去分块效应方法，其特征在于，所述3D变换为基于BM3D的3D变换。
6.根据权利要求4所述的一种基于伪模拟视频传输的去分块效应方法，其特征在于，所述去分块效应方法还包括计算伪模拟视频传输过程的分块效应估计参数，从而确定所述协同滤波的滤波强度；
所述分块效应估计参数的计算表达式为：
Figure FDA0002625544750000021
式中，
Figure FDA0002625544750000022
为分块效应估计参数，λj为当前DCT块的幅度值，|Λ|为亮度归一化之后的幅值，αλ为第一功率调节因子，v为方差为
Figure FDA0002625544750000023
的零均值高斯分布的独立同分布变量，σ0为含噪图片零均值高斯分布的方差，p为DCT系数进行旋转时保证归一化的参数，θ为当前待发送的视频DCT系数的归一化向量，
Figure FDA0002625544750000024
为功率缩放因子的计算值，
Figure FDA0002625544750000025
为简化值r的估计值，φ为酉矩阵，
Figure FDA0002625544750000026
为功率划分参数的估计值。
7.根据权利要求4所述的一种基于伪模拟视频传输的去分块效应方法，其特征在于，所述第一变换域协同滤波、第二变换域协同滤波和第三变换域协同滤波均还包括对所述3D逆变换后的含噪图片进行逐块估计，根据所述协同滤波的结果获取所述逐块估计对应的权重，根据所述逐块估计的结果及其对应的权重，进行聚集，输出处理后的含噪图片。
8.根据权利要求7所述的一种基于伪模拟视频传输的去分块效应方法，其特征在于，所述第一变换域协同滤波和第二变换域协同滤波中，所述逐块估计对应的权重的计算表达式为：
Figure FDA0002625544750000027
式中，
Figure FDA0002625544750000028
为硬阈值滤波后逐块估计对应的权重，σ为滤波输入的噪声标准差，
Figure FDA0002625544750000029
为硬阈值滤波之后一个分组内非零系数的个数。
9.根据权利要求7所述的一种基于伪模拟视频传输的去分块效应方法，其特征在于，所述第三变换域协同滤波中，所述逐块估计对应的权重的计算表达式为：
Figure FDA00026255447500000210
Figure FDA00026255447500000211
式中，
Figure FDA0002625544750000031
为维纳滤波后逐块估计对应的权重，σ为滤波输入的噪声标准差，
Figure FDA0002625544750000032
为维纳滤波中的3D变换，
Figure FDA0002625544750000033
为用于维纳滤波的待处理分组，α为功率缩放因子，σ0为含噪图片零均值高斯分布的方差，r为简化值，Φ为酉矩阵，v为方差为
Figure FDA0002625544750000034
的零均值高斯分布的独立同分布变量，C为功率划分参数。
10.一种基于伪模拟视频传输的去分块效应装置，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如权利要求1～9任一所述的方法的步骤。
CN202010795777.7A 2020-08-10 2020-08-10 一种基于伪模拟视频传输的去分块效应方法和装置 Active CN112085667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010795777.7A CN112085667B (zh) 2020-08-10 2020-08-10 一种基于伪模拟视频传输的去分块效应方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010795777.7A CN112085667B (zh) 2020-08-10 2020-08-10 一种基于伪模拟视频传输的去分块效应方法和装置

Publications (2)

Publication Number Publication Date
CN112085667A true CN112085667A (zh) 2020-12-15
CN112085667B CN112085667B (zh) 2023-07-11

Family

ID=73735703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010795777.7A Active CN112085667B (zh) 2020-08-10 2020-08-10 一种基于伪模拟视频传输的去分块效应方法和装置

Country Status (1)

Country Link
CN (1) CN112085667B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347323A (zh) * 2021-05-31 2021-09-03 同济大学 一种基于像素自相关性的KMV-Cast伪模拟视频传输去噪方法
CN114422787A (zh) * 2022-01-29 2022-04-29 重庆邮电大学 一种基于残差层分块dct变换的图像伪模拟无线传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682429A (zh) * 2012-04-13 2012-09-19 泰山学院 一种尺寸自适应块匹配变换域滤波图像去噪方法
US20140219552A1 (en) * 2013-02-07 2014-08-07 Mitsubishi Electric Research Laboratories, Inc. Denoising of Images with Nonstationary Noise
CN108257098A (zh) * 2018-01-05 2018-07-06 同济大学 基于最大后验概率译码和三维块匹配滤波的视频去噪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682429A (zh) * 2012-04-13 2012-09-19 泰山学院 一种尺寸自适应块匹配变换域滤波图像去噪方法
US20140219552A1 (en) * 2013-02-07 2014-08-07 Mitsubishi Electric Research Laboratories, Inc. Denoising of Images with Nonstationary Noise
CN108257098A (zh) * 2018-01-05 2018-07-06 同济大学 基于最大后验概率译码和三维块匹配滤波的视频去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周顺勇;李雷;: "一种改进的小波域图像去噪法", 四川理工学院学报(自然科学版), no. 03 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347323A (zh) * 2021-05-31 2021-09-03 同济大学 一种基于像素自相关性的KMV-Cast伪模拟视频传输去噪方法
CN114422787A (zh) * 2022-01-29 2022-04-29 重庆邮电大学 一种基于残差层分块dct变换的图像伪模拟无线传输方法
CN114422787B (zh) * 2022-01-29 2023-07-04 重庆邮电大学 一种基于残差层分块dct变换的图像伪模拟无线传输方法

Also Published As

Publication number Publication date
CN112085667B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
US20200260117A1 (en) Methods and Apparatuses for Coding and Decoding Depth Map
US9438930B2 (en) Systems and methods for wavelet and channel-based high definition video encoding
Liu et al. Data-driven soft decoding of compressed images in dual transform-pixel domain
CN104025589B (zh) 基于图像细化的视频编码和解码
Zhang et al. Video compression artifact reduction via spatio-temporal multi-hypothesis prediction
CN104641643A (zh) 在分层层级中信号编码、解码和重构期间残差数据的分解
WO2009002675A1 (en) Rate distortion optimization for video denoising
Abou-Elailah et al. Fusion of global and local motion estimation for distributed video coding
Akbari et al. Sparse recovery-based error concealment
CN112085667B (zh) 一种基于伪模拟视频传输的去分块效应方法和装置
US20210042887A1 (en) Method and apparatus for removing compressed poisson noise of image based on deep neural network
WO2016040255A1 (en) Self-adaptive prediction method for multi-layer codec
Liu et al. CG-Cast: Scalable wireless image SoftCast using compressive gradient
Rajalakshmi et al. ZLBM: zero level binary mapping technique for video security
Kekre et al. Image Reconstruction using Fast Inverse Half tone and Huffman Coding Technique
CN110113605A (zh) 一种基于直方图平移可逆信息隐藏的视频差错掩盖方法
Petrov et al. Intra frame compression and video restoration based on conditional markov processes theory
Chammem et al. Stereoscopic video watermarking: a comparative study
US20230141888A1 (en) Bicriteria Block Splitting Heuristic For Lossy Compression
CN107509074A (zh) 基于压缩感知的自适应3d视频编解码方法
JP2017073135A (ja) ビデオエピトメを用いて画像からノイズを除去する方法及び装置
JP6195404B2 (ja) 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム
JP2017073135A5 (zh)
Thomas et al. A novel image compression method using wavelet coefficients and Huffman coding
CN116456094B (zh) 一种分布式视频混合数字模拟传输方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant