CN107945117B - 基于自适应相似集合稀疏的差错隐藏方法 - Google Patents
基于自适应相似集合稀疏的差错隐藏方法 Download PDFInfo
- Publication number
- CN107945117B CN107945117B CN201710975599.4A CN201710975599A CN107945117B CN 107945117 B CN107945117 B CN 107945117B CN 201710975599 A CN201710975599 A CN 201710975599A CN 107945117 B CN107945117 B CN 107945117B
- Authority
- CN
- China
- Prior art keywords
- image
- adaptive
- blocks
- similarity
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000003044 adaptive effect Effects 0.000 claims abstract description 39
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 11
- 238000011084 recovery Methods 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种基于自适应相似集合稀疏的差错隐藏方法。本发明不同于传统的采用单一图像块或固定数目图像块作为修复单元的方法,该方法根据自然图像中图像块之间的联合特征,自适应地选取不同数量的相似图像块,构造自适应相似集合;然后以相似集合作为基本单元,训练自适应字典,并构造基于稀疏表示的图像恢复模型;最后,采用分解Bregman迭代框架算法高效地求解目标代价函数。本发明所提方法采用自适应相似集合作为差错隐藏的基本单元,能够有效地排除非相似块的干扰,准确地构造相似集合,保证恢复后的图像具有较好的清晰度,能够进一步提高图像的恢复质量。
Description
技术领域
本发明涉及一种基于自适应相似集合稀疏的差错隐藏方法,属于视频通信中的后处理技术。
背景技术
随着互联网和无线移动通信的快速发展,视频通信逐渐成为网络通信的主要业务。压缩的视频码流对于信道误码极为敏感,传输过程中的误码可能导致解码端出现不能正确解码的图像块,严重降低视频的播放质量。为了减轻误码对视频质量的影响,相比于编码端的抗误码技术,解码端的错误隐藏技术由于不需要增加编码冗余和改变码流结构而受到广泛关注。空域错误隐藏主要利用帧内图像中普遍存在的空域相关性来恢复丢失块,不依赖任何时域信息。灵活宏块组织可以为不同空域错误隐藏(SEC)算法提供一个共同的比较基准和统一的测试平台。在灵活宏块组织中,一帧图像分为几个独立可解码的块组,并且每个块组包含一系列的块,不同的块组封装成不同的包,这样,解码图像的丢失块可以被邻近的正确像素块予以隐藏。在某些应用程序中,一个包的损失意味着图像内一个块组的损失。本发明专利针对的是图像编码块大小是8×8的情况,并假设丢失块的位置可以被解码器得到。根据丢失块的周围块的损坏情况,可以将损坏情况分为棋盘丢失或连续丢失。棋盘丢失表示一个丢失块周围的相邻块被正确接收,连续丢失的一个特例是图像突发错误,即一整行的块全部丢失,它是差错隐藏的一个难题。
图1a和图1b给出了错误隐藏所用的两种通用丢失模式,即:棋盘丢失模式和连续丢失模式,图中每个方块表示大小为8×8像素块,白色表示接收成功的块,黑色表示接收到的损坏块。图1a显示了典型的棋盘丢失模式,丢失块周围四个相邻块都被正确接收。对于棋盘丢失模式,许多SEC算法可以充分地利用损失块周围的信息进行有效的错误隐藏。图1b是连续丢失模式的一个示例,这是一个更具挑战性的丢失模式,因为同在一行的相邻块均丢失,待隐藏的块缺少其左右的正确块信息,可以利用的相关信息更少,许多SEC算法都难以有效应对连续块损失。连续块损失仍然是空域错误隐藏的一个开放性的难题。
发明内容
本发明的目的是:提高视频通信中差错隐藏的质量性能。
为了达到上述目的,本发明的技术方案是提供了一种基于自适应相似集合稀疏的差错隐藏方法,其特征在于,包括以下步骤:
步骤1、输入原始图像I及模拟丢失矩阵S,S为典型通用丢失模式,S.*I得损坏图像y;
步骤2、对损坏图像y采用双线性插值方式进行预处理,得到迭代输入图像In,并赋值给恢复图像x;
步骤3、循环执行以下步骤:
步骤3.1、更新迭代输入图像In,In=x-c,式中,c为临时图像;
步骤3.2、将迭代输入图像In分解为N个图像块xk,k=1,2,...,N,基于相似准则得到每个图像块的相似图像块,每个图像块的所有相似图像块构成一个块组,由每个块组构造一个自适应相似集合,其中,第k个图像块xk的块组为由块细构造的自适应相似集合为
步骤3.3、对每个自适应相似集合进行奇异值分解,获得与每个自适应相似集合相对应的自适应字典及稀疏表示向量,其中,对自适应相似集合进行奇异值分解后得到奇异值向量[SG_S,SG_V,SG_D],式中,SG_V为对角矩阵,SG_S、SG_D为酉矩阵,将SG_V中绝对值小于τ=λK/μN的元素置为0得到稀疏表示向量式中,λ及μ为比例系数,K为一般参数,由SG_S和SG_D得自适应字典
步骤3.5、更新临时矩阵r,r=S.*y+μ*(F+c);
步骤3.6、更新恢复图像x,x=(1/μ)*(r-S.*(A.*(S.*r))),式中,A=1./(μ+S),./表示两个向量的元素划分;
步骤3.7、从第二次循环开始,计算前后两次得到的恢复图像x的平均绝对误差MAD,当MAD小于阈值E或者迭代次数到达阈值Imax时直接跳出循环,否则转到执行步骤3.1;
步骤4、输出最终得到的恢复图像x。
优选地,在所述步骤3.2中,所述相似准则为欧几里得距离相似准则、结构相似性指数SSIM或平均绝对误差的相似准则。
优选地,在所述步骤3.2中,所述第k个图像块xk的相似图像块通过以下步骤搜索:
本发明不同于传统的采用单一图像块或固定数目图像块作为修复单元的方法,该方法根据自然图像中图像块之间的联合特征,自适应地选取不同数量的相似图像块,构造自适应相似集合;然后以相似集合作为基本单元,训练自适应字典,并构造基于稀疏表示的图像恢复模型;最后,采用分解Bregman迭代框架(SBI)算法高效地求解目标代价函数。
本发明所提方法采用自适应相似集合作为差错隐藏的基本单元,能够有效地排除非相似块的干扰,准确地构造相似集合,保证恢复后的图像具有较好的清晰度。本发明与其它空域差错隐藏算法相比,能够进一步提高图像的恢复质量。由于本发明方法以自适应相似集合作为基本单元,因此能够充分地利用自然图像中的空域相关信息,根据图像信号的先验特征指导图像的恢复过程,从而保证算法的高效性。
附图说明
图1a为错误隐藏所用的棋盘丢失模式;
图1b为错误隐藏所用的连续丢失模式;
图2为建议算法的流程图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
结合图2,本发明提供的一种基于自适应相似集合稀疏的差错隐藏方法可分为以下几个阶段进行:
首先,将待恢复图像x划分为N个尺寸为的重叠图像块,每一个图像块由向量表式,k=1,2,...N。中Bs表示每一个块向量的维度大小。对于每一个块Bs,在L×L的训练窗内,寻找它的最佳相似块,它由块组构成。本发明将平均绝对误差作为不同块之间的相似准则。中的所有块被组合成尺寸为Bs×c的矩阵,表示为它包含了中的每一个块来作为它的列向量,即矩阵包含了所有带有相似结构的块,它被称为一个相似集合,其定义为:
(2)构造基于自适应相似集合的稀疏字典
为了在统一的框架内同时利用自然图像的局部稀疏性和非局部自相似性,本发明采用了自然图像在组域的稀疏表示,所提模型称为自适应相似集合稀疏表示模型,模型假设每一个相似集合都能够被自适应字典的一些原子精准地表示。构造字典每一个原子是一个和集合同样尺寸的矩阵,m是中原子的数量。的尺寸为(Bs×c)×m,即特别地,每一个集合利用进行稀疏编码的过程是为了寻找一个稀疏向量使得注意不是一个严格的矩阵-向量乘法,每一个集合利用自适应字典进行稀疏编码的过程非常高效,然后整幅图像可以被稀疏编码在组域进行稀疏的表示,利用稀疏编码重构的恢复图像x可以表示为:
(3)通过循环步骤,不断更新(训练)自适应相似集合的字典
式中p为0或者1。公式(5)是一个Dx和的联合优化问题,可通过交替地优化Dx和进行求解。本发明不直接利用公式(5)为每一个相似集合训练字典。利用公式(5)训练的字典实际上是自适应给定的图像x,不是自适应相似集合这意味着所有的集合都被同一个字典Dx表示。这也是为什么利用公式(5)训练的字典在这里用Dx表示,而不是公式(5)中的字典学习过程忽略了每一个集合的特征,包含了带有相似结构的块。换而言之训练一个过完备字典是没有必要的,本发明实例通过一种更加可行和高效的方式训练一个字典,提出直接以的估计量为每一个集合训练自适应字典因为实际的原始图像是未知的,无法直接通过原图得到相似集合。在获得之后,本发明实例再对其应用奇异值分解(SVD),得到:
通过上述定义,本发明利用SVD为每一个相似集合训练一个自适应字典,优势在于保证每一个集合中的所有图像块采用同样的字典和共享同样的字典原子。
(4)进行双目标的联合优化,求解目标代价函数,最终恢复图像
因为l0最小化是非凸的NP难问题,通常的求解方法是求解它的最优凸近似l1最小化,l1最小化已经被证明在一定条件下等价于l0最小化。l1最小化可以被目前一些凸优化算法有效地求解,例如迭代收缩/阈值法、分解Bregman算法。因此,求解公式(4)的简单方法是把它转化成求解它的l1凸近似,即
对于一些图像逆问题,描述l0最小化和l1最小化的等价条件不一定满足。因此,本发明采用凸优化算法的框架来求解l0最小化。本发明选择采用分解Bregman迭代框架(SBI)来求解公式(4),采用如下约束优化问题:
1.设置t=0,μ>0,b0=0,u0=0,v0=0;
2.循环执行以下流程:
5.b(t+1)=b(t)-(u(t+1)-Gv(t+1));
6.t←t+1;
7.当t>=Imax时停止循环
在上述SBI方式中,参数μ是固定值,以避免数值不稳定的问题,而不是采用一个预先设定的序列,导致最后趋于无穷大。根据SBI方式,原始的最小化问题(10)被拆分成如下2个子问题,拆分背后的合理性是每一个子问题的最小化可能比原始问题(10)简单很多,下面解释如何运用SBI方式来求解子问题。通过引入一个变量u,首先将公式(4)转化成一个受约束的形式,
下一步,SBI伪代码的第4行变成:
根据SBI伪代码的第5行,更新b(t):
这样,公式(4)的最小化问题被转化成求解2个子问题,也就是u、αG子问题。接下来,阐述如何获得每一个子问题的有效解。
A.u子问题
给定αG,u子问题由公式(12)表示,它实质上是一个严格凸二次函数的最小化问题,即
设置Q1(u)的梯度等于0,可以获得公式(15)的一个近似解,它可以被表示为
B.αG子问题
给定u,根据公式(13),αG子问题可以被表示成
为了使公式(18)易于求解,在本发明中,公式(18)合理地转化为:
根据公式(21),子问题(20)等价于
因此,(22)的闭合解被表示为
Claims (4)
1.一种基于自适应相似集合稀疏的差错隐藏方法,其特征在于,包括以下步骤:
步骤1、输入原始图像I及模拟丢失矩阵S,S为典型通用丢失模式,S.*I得损坏图像y;
步骤2、对损坏图像y采用双线性插值方式进行预处理,得到迭代输入图像In,并赋值给恢复图像x;
步骤3、循环执行以下步骤:
步骤3.1、更新迭代输入图像In,In=x-c,式中,c为临时图像;
步骤3.2、将迭代输入图像In分解为N个图像块xk,k=1,2,…,N,基于相似准则得到每个图像块的相似图像块,每个图像块的所有相似图像块组成一个块组,由每个块组构造一个自适应相似集合,其中,第k个图像块xk的块组为由块组构造的自适应相似集合为
步骤3.3、对每个自适应相似集合进行奇异值分解,获得与每个自适应相似集合相对应的自适应字典及稀疏表示向量,其中,对自适应相似集合进行奇异值分解后得到奇异值向量[SG_S,SG_V,SG_D],式中,SG_V为对角矩阵,SG_S、SG_D为酉矩阵,将SG_V中绝对值小于τ=λK/μN的元素置为0得到稀疏表示向量式中,λ及μ为比例系数,K为一般参数,由SG_S和SG_D得自适应字典
步骤3.5、更新临时矩阵r,r=S.*y+μ*(F+c);
步骤3.6、更新恢复图像x,x=(1/μ)*(r-S.*(A.*(S.*r))),式中,A=1./(μ+S),./表示两个向量的元素划分;
步骤3.7、从第二次循环开始,计算前后两次得到的恢复图像x的平均绝对误差MAD,当MAD小于阈值E或者迭代次数到达阈值Imax时直接跳出循环,否则转到执行步骤3.1;
步骤4、输出最终得到的恢复图像x。
3.如权利要求1所述的一种基于自适应相似集合稀疏的差错隐藏方法,其特征在于,在所述步骤3.2中,所述相似准则为欧几里得距离相似准则、结构相似性指数SSIM或平均绝对误差的相似准则。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710975599.4A CN107945117B (zh) | 2017-10-19 | 2017-10-19 | 基于自适应相似集合稀疏的差错隐藏方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710975599.4A CN107945117B (zh) | 2017-10-19 | 2017-10-19 | 基于自适应相似集合稀疏的差错隐藏方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107945117A CN107945117A (zh) | 2018-04-20 |
CN107945117B true CN107945117B (zh) | 2021-12-10 |
Family
ID=61936235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710975599.4A Active CN107945117B (zh) | 2017-10-19 | 2017-10-19 | 基于自适应相似集合稀疏的差错隐藏方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107945117B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7120308B2 (en) * | 2001-11-26 | 2006-10-10 | Seiko Epson Corporation | Iterated de-noising for image recovery |
CN101166071A (zh) * | 2006-10-19 | 2008-04-23 | 北京三星通信技术研究有限公司 | 差错帧隐藏装置与方法 |
CN101895769A (zh) * | 2010-06-21 | 2010-11-24 | 清华大学 | 基于稀疏表示的视频差错隐藏方法和装置 |
CN102542542A (zh) * | 2012-01-02 | 2012-07-04 | 西安电子科技大学 | 基于非局部稀疏模型的图像去噪方法 |
CN102740080A (zh) * | 2012-06-06 | 2012-10-17 | 清华大学 | 一种基于压缩感知的错误隐藏方法 |
-
2017
- 2017-10-19 CN CN201710975599.4A patent/CN107945117B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7120308B2 (en) * | 2001-11-26 | 2006-10-10 | Seiko Epson Corporation | Iterated de-noising for image recovery |
CN101166071A (zh) * | 2006-10-19 | 2008-04-23 | 北京三星通信技术研究有限公司 | 差错帧隐藏装置与方法 |
CN101895769A (zh) * | 2010-06-21 | 2010-11-24 | 清华大学 | 基于稀疏表示的视频差错隐藏方法和装置 |
CN102542542A (zh) * | 2012-01-02 | 2012-07-04 | 西安电子科技大学 | 基于非局部稀疏模型的图像去噪方法 |
CN102740080A (zh) * | 2012-06-06 | 2012-10-17 | 清华大学 | 一种基于压缩感知的错误隐藏方法 |
Non-Patent Citations (1)
Title |
---|
Edge-aware spatial-frequency extrapolation for consecutive block loss;Hao Liu等;《Springerplus》;20160511;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107945117A (zh) | 2018-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104822063B (zh) | 一种基于字典学习残差重建的压缩感知视频重建方法 | |
CN104159003B (zh) | 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统 | |
CN107197260A (zh) | 基于卷积神经网络的视频编码后置滤波方法 | |
CN112884851A (zh) | 一种展开迭代优化算法的深度压缩感知网络 | |
CN104394418B (zh) | 一种视频数据编码、解码的方法及装置 | |
CN103202017B (zh) | 使用基于样本的数据修剪的视频解码的方法和装置 | |
CN102263951B (zh) | 一种快速的分形视频压缩与解压缩方法 | |
CN112734867B (zh) | 一种基于空谱特征分离提取的多光谱图像压缩方法及系统 | |
Islam et al. | Image compression with recurrent neural network and generalized divisive normalization | |
CN111031315B (zh) | 基于注意力机制和时间依赖性的压缩视频质量增强方法 | |
Majumdar et al. | Compressive color imaging with group-sparsity on analysis prior | |
CN105408935A (zh) | 上采样和信号增强 | |
CN101827268B (zh) | 一种基于对象的分形视频压缩与解压缩方法 | |
CN101860753B (zh) | 一种基于分形的视频压缩与解压缩方法 | |
JP5799080B2 (ja) | 画像シーケンスのブロックを符号化する方法および再構成する方法 | |
CN105184742A (zh) | 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法 | |
CN107945117B (zh) | 基于自适应相似集合稀疏的差错隐藏方法 | |
CN112188217A (zh) | 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法 | |
Yuan et al. | Learned image compression with channel-wise grouped context modeling | |
CN102726045A (zh) | 视频编码的空间预测技术 | |
KR20160078984A (ko) | 오리지널 이미지의 저품질 버전 및 에피톰으로부터 오리지널 이미지의 추정치를 구축하기 위한 방법 및 장치 | |
CN116668738A (zh) | 一种视频时空超分辨率重构方法、装置及存储介质 | |
CN102263954B (zh) | 一种基于对象的快速分形视频压缩与解压缩方法 | |
Wu et al. | Enhancement of transform coding by nonlinear interpolation | |
CN103647969A (zh) | 一种基于对象的快速分形视频压缩与解压缩方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |