CN102510438A - 一种用于视频图像恢复增强的稀疏系数向量的获取方法 - Google Patents

Abstract

本发明公开了一种用于视频图像恢复增强的稀疏系数向量的获取方法，通过对从自然图像库以及边缘分明的拟合图像中分别选取的图像片进行DCT变换，映射到频域空间，基于图像片的一般频域特征进行初步聚类处理，随后对每个聚类进一步的基于其高频信息特征进行二级聚类处理，最后，对得到的二级聚类提取前m个主成分分量，得到该聚类的稀疏子词典subD_{i_j}，全部的稀疏子词典subD_{i_j}构成最终的结构化稀疏词典，这样建立起的两级结构化稀疏词典库，区别于传统冗长低效的线性过完备词典。可以快速有效的求解输入图像视频信号的稀疏表达，对任意图像视频信号进行协同层级稀疏建模所得到稀疏系数向量是准确、有效的，具备相当程度的抗噪声特性。

Description

一种用于视频图像恢复增强的稀疏系数向量的获取方法

技术领域

本发明属于视频图像增强处理技术领域，更为具体地讲，涉及在图像视频增强处理中用于视频图像恢复增强的稀疏系数向量的获取方法。

背景技术

因为图像视频采集系统自身固有的缺陷或局限性，通过摄像系统从现实场景采集到的数字图像数据是经过了种种画质退化效应后的结果。也就是说，因为种种原因，从采集后的数字图像上看到的画面与真实场景在视觉质量上存在明显的差距。最典型的来说，有相机的点扩散函数(PSF)带来模糊效应，相机CMOS或CCD感应芯片的分辨率限制带来下采样效应，空气、相机系统噪声叠加后的噪声模糊效应等三大类图像画质退化的原因。

在典型的数字电视系统中，经过各类视频压缩技术编码的视频会隐含有程度不一的块效应瑕疵，而来自传统的广播电视模拟信号除了其分辨率局限在PAL/NTSC上之外，还有模拟信号解码转为数字信号、去隔行处理等过程中因为误差带来的噪声或画质退化。这就是我们今天在从电视机上看到的画面质量差强人意的原因。在播放高清视频片源如蓝光碟片时，赏心悦目的画面效果正好说明了我们的普通视频图像画质退化有多么严重。

因为海量的传统非高清视频源的存在，目前广播电视信号仍然以PAL制式标准为主，使用各种低成本便携摄像设备拍摄的低画质视频在不断增加，这些都表明有创新发明新的视频图像画质增强处理技术的巨大需求。

压缩感知技术认为在满足一定的条件下，被各种退化操作污损后的信号可以在一定程度上被准确重建与恢复。具体在图像处理领域中，建模如下：

I_LR＝UI_HR+w                        (1)

I_HR是未污染的理想的高清图像信号，I_LR是经过各种退化操作后所观察到的低清图像信号，w是加性的噪声变量，U线性的退化算子，可以是模糊算子、下采样算子、加性污损算子等。图像增强处理任务就是根据已知的低清图像I_LR数据恢复出未知的理想高清图像I_HR数据。为了得到视觉舒适的逼近的高清图像I_HR，需要整合更多的自然图像先验知识，以约束高清图像I_HR的恢复过程。该过程一般建模如下：

$\tilde{a}=\underset{a}{\arg \min }{\left|\right|a\left|\right|}_1,$ 且 ${\left|\right|I_{\mathrm{LR}}-\mathrm{UD}\tilde{a}\left|\right|}_2^2\≤\mathrm{\ϵ}---\left(2\right)$

$I_{\mathrm{HR}}=D\tilde{a}---\left(3\right)$

这种自然图像的先验知识也就是图像信号在特定定义域里的稀疏性，也就是说高清图像I_HR可以在变换域D以稀疏系数向量

进行合理表达，其中ε为设定的阈值。而稀疏系数向量中大部分元素都接近于零。通常来说，变换域D是一个基元素组成的过完备稀疏词典。传统的稀疏词典获取方法有两种：一是预定义变换基如傅立叶基、小波基等各种知名变换域组成；另一种是从大量的训练数据中学习得到这样的过完备词典。总之，稀疏词典的构建决定了式(3)中稀疏系数向量

的稀疏性，同时决定了式(2)中椭圆凸优化问题的收敛速度与稳定性，也就最终影响了高清信号高清图像I_HR恢复的性能。

当前现有技术的稀疏系数向量及其缺陷

传统的过完备稀疏词典方法，隐含着假定条件是各个稀疏词典元素间是不连贯互相独立的，因而也就假定稀疏系数向量中的非零系数位置是随机均匀分布的。另一方面为了表达高清图像I_HR的完备性，稀疏词典，即变换域D中的元素个数N相对于稀疏系数向量

中的非零值个数M非常大，也就是说需要满足N＞＞M的条件。因此在求解式(2)，即稀疏系数向量的优化问题时，理论上解空间大小，即自由度为为： $\left(\begin{array}{c}N\\ M\end{array}\right)$ 这导致了收敛速度慢、计算量大，且最终解的准确性与稳定性被减弱。

有一种初步的结构化稀疏词典的方法来获得稀疏词典。具体来说是从0到π的方向均匀统一抽取出T个角度，每个角度计算出一个PCA基，随后将有T个PCA基外加一个DCT基一起构成了这个结构化的稀疏词典，如图1所示。求解过程中，将每个PCA基看作一个独立的词典进行稀疏信号恢复，选择其中精度误差项与稀疏约束项之和最小的基为本次信号恢复计算的变换域词典。然而这种结构化稀疏词典的构造方法其缺陷在于，首先要从综合出来的T个黑白线角度边缘的图像上计算初始化的有向PCA基，随后使用EM(期望最大化)算法迭代更新PCA基里的内容。

结构化的稀疏词典其优点是明显的，解空间大小(自由度)在 $\left(\begin{array}{c}N\\ M\end{array}\right)$ 的基础上大为减少。设若每个PCA基的元素个数相同，那么在该结构化词典上求解的自由度降至 $\left(\begin{array}{c}N\\ M/(T+1)\end{array}\right)*(T+1).$

其次，会根据不同低清图像I_LR选择不同的PCA基，也就是子词典，这样提高了低清图像I_LR与结构化的稀疏词典之间的匹配适应性，从而获得更为准确的稀疏性约束。

稀疏词典进行结构化约束有两方面的价值，一方面可得到更为健壮的稀疏表达，另一方面在信号解释上，活跃的词典原子项集表明了一定的信号物理属性。

然而，用从综合的图像计算的PCA基来表达自然图像的局部片，有其自身固有的缺陷。因为各种自然图像片与规则的图像偏离只能一概由高斯模型里的方差参数进行建模，这样就大大的损失了稀疏系数向量

表达的准确性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种用于视频图像恢复增强的稀疏系数向量的获取方法，使稀疏系数向量更为有效而准确。

为实现上述目的，本发明用于视频图像恢复增强的稀疏系数向量的获取方法，其特征在于，包括以下步骤：

(1)、构造结构化的稀疏词典

1.1)、从自然图像库以及边缘分明的拟合图像中分别选取一定数量级图像生成尺寸为全部的图像片集合S，其中n为图像片的像素点个数；

1.2)、对图像片集合S中的图像片进行DCT变换，得到的DCT系数构成DCT系数集合S_dct；

1.3)、对DCT系数集合S_dct中的图像片DCT系数进行K₁个中心的一级聚类处理，从而将图像片DCT系数分别划入相应的K₁个聚类

1.4)、对于每个聚类，对其再做结构化操作：对聚类S_dcti(1≤i≤K₁)中的图像片DCT系数提取其高频分量，得到高频分量构成的聚类

1.5)、对聚类

中的高频分量执行K_{2_i}(1≤i≤K_i)个中心的聚类处理，从而划分得到K_{2_i}个二级聚类

1.6)、对每个二级聚类

(1≤i≤K₁，1≤j≤K_{2_i})进行主成分分解，提取其前m个主成分分量，构成对应该聚类的稀疏子词典subD_{i_j}(1≤i≤K₁，1≤j≤K_{2_i})；全部的稀疏子词典subD_{i_j}构成最终的结构化稀疏词典；

(2)、稀疏系数向量

的表达：

$\tilde{a}=\underset{a}{\arg \min }\frac{1}{2}{\left|\right|s-\mathrm{UDa}\left|\right|}_2^2+{\mathrm{\λ}}_1{\mathrm{\ψ}}_{G\_1}\left(a\right)+{\mathrm{\λ}}_2{\mathrm{\ψ}}_{G\_2}\left(a\right)+{\mathrm{\λ}}_3{\left|\right|a\left|\right|}_1$

其中，s是输入的图像视频中的一个尺寸为

的图像片，为长度为n的向量；

为数据误差项，ψ_{G_1}(a)为一级聚类稀疏正则项，ψ_{G_2}(a)为二级聚类稀疏正则项，||a||₁为稀疏系数正则项，λ₁，λ₂，λ₃分别是三项所对应的权重系数；

其中，一级聚类稀疏正则项ψ_{G_1}(a)定义为：

${\mathrm{\ψ}}_{G\_1}\left(a\right)={\mathrm{\Σ}}_{a_g\∈G\_1}{\left|\right|a_g\left|\right|}_2$

G_1对应于结构化稀疏词典的一级聚类，以索引i对各个稀疏子词典进行分类构成的集合， $G\_1=a_{g_1}+a_{g_2}+\·\·\·+a_{g_i}+\·\·\·a_{g_{k-1}};$

的具体含义就是结构化稀疏词典在索引i所指示全部原子项所对应的主成分分量之集合；

二级聚类稀疏正则项ψ_{G_2}(a)定义为：

${\mathrm{\ψ}}_{G\_1}\left(a\right)={\mathrm{\Σ}}_{a_g^{\′}\∈G\_2}{\left|\right|a_g^{\′}\left|\right|}_2$

G_2对应于结构化稀疏词典的二级聚类，对各个稀疏子词典进行分类构成的集合， $G\_2=a_{g_1}^{\′}+a_{g_2}^{\′}+\·\·\·+a_N^{\′},$ $N=\underset{i=1}{\overset{K_1}{\mathrm{\Σ}}}{K}_{2\_i};$ 其各项的含义就是稀疏子词典subD_{i_j}的主成分分量之集合。

本发明的发明目的是这样实现的：

本发明用于视频图像恢复增强的稀疏系数向量的获取方法，通过对从自然图像库以及边缘分明的拟合图像中分别选取的图像片进行DCT变换，映射到频域空间，基于图像片的一般频域特征进行初步聚类处理，随后对每个聚类进一步的基于其高频信息特征进行二级聚类处理，最后，对得到的二级聚类提取前m个主成分分量，得到该聚类的稀疏子词典subD_{i_j}，全部的稀疏子词典subD_{i_j}构成最终的结构化稀疏词典，这样建立起的两级结构化稀疏词典库，区别于传统冗长低效的线性过完备词典。

本发明具有以下有益效果：

1、在本发明二级层级结构化稀疏词典的条件下，可以快速有效的求解输入图像视频信号的稀疏表达，而避免了传统的在一个过完备词典中进行稀疏表达求解的冗长计算，其原因在于本发明提供了两级层级结构，从而有效的去除了稀疏词典中各原子项之间的信息冗余。

2、在本发明二级层级结构化稀疏词典的基础上，对任意图像视频信号进行协同层级稀疏建模所得到稀疏系数向量是准确、有效的，具备相当程度的抗噪声特性。

3、在本发明二级层级结构化稀疏词典的基础上，对任意图像视频信号进行协同层级稀疏建模求解具备快速的特性，有效大幅度的降低传统的基于过完备词典进行稀疏表达求解的计算量。

附图说明

图1是现有技术初步结构化的稀疏词典组成结构图；

图2是本发明中结构化稀疏词典构造的具体流程图；

图3是层级结构化稀疏词典的示意图；

图4是稀疏子词典结构示意图；

图5是稀疏系数向量的表达示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图2是本发明用于视频图像恢复增强的结构化稀疏词典构造的具体流程图。

在本实施中，如图2所示，本发明具体实施过程如下：

(1)、在所提供的自然图像库201和所提供的边缘分明的拟合图像库202选取一定数量级的图像，二者的比例可以视情况而定，例如3∶1。在所有选取图像上提取长宽尺寸为

的图像片，其中n的取值区间一般为[25，100]。

图2中自然图像库201可从外部公开的高质量自然图像搜集，其所需图像数量级一般在100以内就足够了。图2中拟合图像库202的图像为像素值为0或255的黑白分界图形线的图像，其分界线角度为从0到π的方向18个均匀等分角度。步骤203提取的

图像片构成图像片集合S。

(2)步骤204所示意对图像片集合S进行预处理，将其投射到频域空间，从而为对这些图像片样本基于纹理、边缘等特征进行聚类提供基础。具体来说，对图像片集合S中的图像片进行DCT变换，得到的DCT系数构成DCT系数集合S_dct，即：

sX＝DCT(s)，s∈S，s_dct∈S_dct    (4)

在(4)中，s代表一个图像片，s_dct代表其DCT变换后的DCT系数。需要注意的是，DCT变换可以有多种替换方法，只需能有效将图像片集合S投射到频域空间中即可。

如图2中在步骤205，对图像片基于纹理、边缘等频域特征显著的特性进行聚类处理，具体来说就是对DCT系数集合S_dct中的图像片DCT系数进行K₁个中心的聚类处理，从而将DCT系数集合S_dct划分为K₁个聚类

值得注意的是，这里的聚类处理方法可以有多种方法，一种经典而有效的方法就是K均值聚类方法，也即：

$\{S_{\mathrm{dct}\_1},S_{\mathrm{dct}\_2},S_{\mathrm{dct}\_3}\·\·\·S_{\mathrm{dct}\_K_1}\}=\mathrm{kmean}\left(S_{\mathrm{dct}}\right)---\left(5\right)$

也就是说这里频域上表达的DCT系数集合S_dct经过kmean变换后全部被分类到K₁个一级聚类中，也就是 $S_{\mathrm{dct}}=S_{\mathrm{dct}\_1}+S_{\mathrm{dct}\_2}+S_{\mathrm{dct}\_3}+\·\·\·+S_{\mathrm{dct}\_K_1}.$

根据这个一级聚类，在空域表达上图像片集合S有着唯一对应的分类表达 $S=S_1+S_2+S_3+\·\·\·+S_{K_1}.$

如图2中，步骤205对于每个聚类对其再做结构化处理，需要对每个一级聚类中每个图像片DCT系数提取其高频分量，具体为对聚类S_{dct_i}(1≤i≤K₁)中每个DCT系数提取其高频分量并记为也即：

$S_{\mathrm{dct}\_i}^h=\mathrm{highFrequence}\left(S_{\mathrm{dct}\_i}\right),1\≤i\≤K_1---\left(6\right)$

值得注意的是，式(6)中的提取高频分量的变换可由多种方法实现，一种是直接在由DCT系数的表达上提取高频分量。另一种方法是在DCT频域投射变换之前的空域表达上使用经典的拉普拉斯算子提取其高频分量，也即：

$S_i^h=\mathrm{Laplacian}\left(S_i\right),1\≤i\≤K_1---\left(7\right)$

式(7)中

相当与聚类

如图2所示，在步骤207中，经过步骤206的高频分量提取预处理后，对聚类

执行K_2-i(1＜i＜K₁)个中心的聚类处理，执行K_{2_i}(1≤i≤K_i)个中心的聚类处理，从而划分得到K_{2_i}个二级聚类

也即：

$\{S_{\mathrm{dct}\_i\_1}^h,S_{\mathrm{dct}\_i\_2}^h,S_{\mathrm{dct}\_i\_3}^h\·\·\·S_{\mathrm{dct}\_i\_K_{2\_i}}^h\}=\mathrm{kmean}\left(S_{\mathrm{dct}\_i}^h\right)---\left(8\right)$

即 $S_{\mathrm{dct}\_i}^h=S_{\mathrm{dct}\_i\_1}^h+S_{\mathrm{dct}\_i\_2}^h+S_{\mathrm{dct}\_i\_3}^h+\·\·\·+S_{\mathrm{dct}\_i\_k_{2\_i}}^h---\left(9\right)$

如图2中，在步骤208与209中，对每个二级聚类

(1≤i≤K₁，1≤j≤K_{2_i})构造其相应的稀疏子词典subD_{i_j}，也就是说对每个二级聚类

进行主成分分解，提取其前m个主成分分量V₁～V_m从而构成对应该聚类的稀疏子词典subD_{i_j}。进行主成分分解的一种可实现方法就是经典的PCA方法，也即：

$\mathrm{sub}{D}_{i-j}=[V_1,V_2,\·\·\·,V_m]=\mathrm{PCA}\left(S_{\mathrm{dct}\_i\_j}^h\right)---\left(10\right)$

如果是使用PCA方法进行主成分分解，则即提取前m个重要的特征向量作为子词典的原子项顺序排列一起构成了稀疏子词典subD_{i_j}，如图4所示意。

在步骤210中，经过式(10)处理得到每个二级聚类所对应的稀疏子词典subD_{i_j}后，它们的全集由图3所示意即共同组成了具有二级层级的结构化稀疏词典。

也就是说，这个稀疏词典具有两级检索维度，检索索引i，j的定义空间为1≤j≤K_{2_i}，1≤i≤K₁，而每个稀疏子词典subD_{i_j}又由m个主成分分量作为原子项顺序排列组成。

值得注意的是，本发明中的用于视频图像恢复增强的结构化稀疏词典的构造方法可以离线处理完成，最终得到一个具有二级层级的结构化稀疏词典，为随后在线处理输入的图像视频做准备。

在得到结构化稀疏词典后，需要在其基础上，任意图像视频信号进行协同层级稀疏建模，从而求得其稀疏系数向量

如图5所示。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种用于视频图像恢复增强的稀疏系数向量的获取方法，其特征在于，包括以下步骤：

(1)、构造结构化的稀疏词典

1.1)、从自然图像库以及边缘分明的拟合图像中分别选取一定数量级图像生成尺寸为

全部的图像片集合S，其中n为图像片的像素点个数；

1.2)、对图像片集合S中的图像片进行DCT变换，得到的DCT系数构成DCT系数集合S_dct；

1.3)、对DCT系数集合S_dct中的图像片DCT系数进行K₁个中心的一级聚类处理，从而将图像片DCT系数分别划入相应的K₁个聚类

1.4)、对于每个聚类，对其再做结构化操作：对聚类S_{dct_i}(1≤i≤K₁)中的图像片DCT系数提取其高频分量，得到高频分量构成的聚类

1.5)、对聚类中的高频分量执行K_{2_i}(1≤i≤K_i)个中心的聚类处理，从而划分得到K_{2_i}个二级聚类

1.6)、对每个二级聚类

(1≤i≤K₁，1≤j≤K_{2_i})进行主成分分解，提取其前m个主成分分量，构成对应该聚类的稀疏子词典subD_{i_j}(1≤i≤K₁，1≤j≤K_{2_i})；全部的稀疏子词典subD_{i_j}构成最终的结构化稀疏词典；

(2)、稀疏系数向量

的表达：

$\tilde{a}=\underset{a}{\arg \min }\frac{1}{2}{\left|\right|s-\mathrm{UDa}\left|\right|}_2^2+{\mathrm{\λ}}_1{\mathrm{\ψ}}_{G\_1}\left(a\right)+{\mathrm{\λ}}_2{\mathrm{\ψ}}_{G\_2}\left(a\right)+{\mathrm{\λ}}_3{\left|\right|a\left|\right|}_1$

其中，s是输入的图像视频中的一个尺寸为

的图像片，为长度为n的向量；

为数据误差项，ψ_{G_1}(a)为一级聚类稀疏正则项，ψ_{G_2}(a)为二级聚类稀疏正则项，||a||₁为稀疏系数正则项，λ₁，λ₂，λ₃分别是三项所对应的权重系数；

其中，一级聚类稀疏正则项ψ_{G_1}(a)定义为：

${\mathrm{\ψ}}_{G\_1}\left(a\right)={\mathrm{\Σ}}_{a_g\∈G\_1}{\left|\right|a_g\left|\right|}_2$

G_1对应于结构化稀疏词典的一级聚类，以索引i对各个稀疏子词典进行分类构成的集合， $G\_1=a_{g_1}+a_{g_2}+\·\·\·+a_{g_i}+\·\·\·+a_{g_{k-1}};$

的具体含义就是结构化稀疏词典在索引i所指示全部原子项所对应的主成分分量之集合；

二级聚类稀疏正则项ψ_{G_2}(a)定义为：

${\mathrm{\ψ}}_{G\_1}\left(a\right)={\mathrm{\Σ}}_{a_g^{\′}\∈G\_2}{\left|\right|a_g^{\′}\left|\right|}_2$

G_2对应于结构化稀疏词典的二级聚类，对各个稀疏子词典进行分类构成的集合， $G\_2=a_{g_1}^{\′}+a_{g_2}^{\′}+\·\·\·+a_N^{\′},$ $N=\underset{i=1}{\overset{K_1}{\mathrm{\Σ}}}{K}_{2\_i};$ 其各项的含义就是稀疏子词典subD_{i_j}的主成分分量之集合。

2.根据权利要求1所述的用于视频图像恢复增强的稀疏系数向量的获取方法，其特征在于，所述的一级聚类是基于纹理、边缘等频域特征显著的特性进行聚类处理。

Images