CN104867116A - 一种基于mca和字典学习的车牌超分辨率重构方法 - Google Patents

Abstract

该发明提供了一种基于MCA和字典学习的车牌超分辨率重构方法，把车牌图像视为结构部分和纹理部分的线性组合，利用高、低分辨率字典对低分辨率的车牌图像进行超分辨率重构。具体步骤如下：步骤一：将低分辨率测试车牌图像插值到与目标高分辨率图像相同尺寸，采用MCA算法把插值图像分解成纹理部分和结构部分；步骤二：低分辨率图像通过KSVD方法得到低分辨率字典和稀疏系数，利用系数和高分辨率图像计算高分辨率字典。步骤三：利用高、低分辨率字典对分块后的低分辨率图像进行超分辨率重建，合并重建后的图像块得到高分辨率图像的纹理部分，与插值图像结构部分相加，即得到高分辨率图像。本发明重构得到的车牌图像能够较好地保持图像的边缘、纹理信息。

Description

一种基于MCA和字典学习的车牌超分辨率重构方法

技术领域

本发明属于图像处理技术领域，涉及一种基于MCA和字典学习的车牌超分辨率重构方法，可用于低分辨率车牌的超分辨率重构。

背景技术

近年来，我国经济高速发展，汽车数量不断增加，随之而来的即是违章车辆增多，交通事故频发、车辆通行费大量流失，乃至汽车爆炸事件等安全问题。随着车辆的普及以及交通压力的增加，在城市中越來越多的监控系统用来监控交通状况和记录异常事故。车牌是汽车的重要身份标识，车牌识别能准确实时高效地实现对交通车辆的管理、交通流引导以及控制。车牌识别的准确性在很大程度上取决于车牌图像的分辨率。然而，由于季节的变化更替、光照强度的强弱变化、车辆与监控设备间的相对运动、图像采集设备自身参数或年久退化等因素，摄像机捕获的图像存在着分辨率较低的现象。为了提高由于上述因素引起的退化车牌图像的清晰度和质量，必须对低分辨率车牌图像进行重构处理，然后再进行识别。因此，研究针对车牌图像的超分辨率重构技术具有很大的应用价值和现实意义。

现有的车牌超分辨率重构方法包括MAP(maximuma-posteriori)方法，极大似然估计法，凸集投影法等方法。这些基于模型的方法在进行车牌重构时会产生过平滑现象以及锯齿效应，并且在高放大因子条件下重构图像的质量下降比较严重。Freeman等提出的基于学习的重构方法，通过马尔科夫随机模型和先验知识来学习低分辨率图像和高分辨率图像之间的关系，然后重构出高分辨图像，但这种方法不能很好地保持高分辨图像的高频细节，并且计算复杂度较大，效率偏低。Yang等提出了一种基于稀疏表示的图像超分辨率重构算法，该方法通过学习得到的高、低分辨率字典对来表示先验信息进行图像超分辨率重构，然而该方法得到的重构图像边缘较为的平滑，纹理未能较好地恢复，图像质量有待提高。

车牌图像本身含有丰富的纹理信息，而低分辨率车牌图像中的各种不良因素主要集中在其纹理部分，则车牌图像超分辨率重建的主要任务即对图像纹理部分的重建。因此，特别需要一种改进的车牌图像超分辨率重构方法，以解决现有技术存在的不足。

发明内容

本发明的目的在于提供一种基于MCA和字典学习的车牌超分辨率重构方法，针对现有技术的不足，可以获得较好的边缘和纹理效果。该方法在图像重构过程中引入MCA图像分解理论，把图像看成是结构部分(Structure)和纹理部分(Texture)的线性组合，针对图像结构部分和纹理部分的不同属性，运用不同的图像超分辨率重建方法分别对其进行重建，最后合成期望的目标高分辨率图像，以更好地重建出图像的高频纹理信息。

本发明所解决的技术问题可以采用以下技术方案来实现：

一种基于MCA和字典学习的车牌超分辨率重构方法，其特征在于，它包括如下步骤：步骤一：将低分辨率测试图像y插值到与目标高分辨率图像相同的尺寸，得到插值图像Y，并采用MCA算法把插值图像Y分解成纹理部分Y_t和结构部分Y_s；步骤二：低分辨率图像特征块通过K-SVD方法得到低分辨率字典和稀疏表示系数，利用系数和高分辨率图像特征块计算得到高分辨率字典。步骤三：对低分辨率图像y分块并提取低频特征，利用该高、低分辨率字典对对低分辨率图像块进行超分辨率重建，得到高频特征图像块。合并所有高频图像块，在图像块之间的重叠部分取均值，得到目标高分辨率图像的纹理部分X_t。与插值图像结构部分Y_s相加，得到目标高分辨率图像X。

进一步，所述步骤一中使用MCA算法进行图像分解的步骤具体是指：21：采用Bicubic插值算法，将低分辨率图像插值放大到与高分辨图像相同的尺寸；22：对于同时包含纹理层和结构层的图像X，则通过MCA算法进行纹理层和结构层的分解。

进一步，所述步骤二中低分辨率图像特征块通过K-SVD方法得到低分辨率字典和稀疏表示系数，利用系数和高分辨率图像特征块计算得到高分辨率字典，包括以下具体步骤：31：将高分辨率训练图像集经过下采样操作，得到相应的低分辨率图像集；32：将低分辨率图像集中的图像划分成大小为N×N的图像块，并提取特征；33：利用K-SVD算法将低分辨率图像特征训练成低分辨率字典D_l；34：将低分辨率训练图像插值到与高分辨率训练图像相同的尺寸，并进行MCA分解，得到插值图像的结构部分；35：将高分辨率训练图像减去低分辨率插值图像结构部分后的剩余部分作为高分辨率图像的纹理部分，将纹理部分划分成大小为(RN)×(RN)的图像块并连成向量，作为高分辨率图像块的特征向量；36：在假设高、低分辨率图像块在高、低分辨率字典对下具有相同的稀疏表示系数Γ的前提下，通过最小化以下逼近误差来计算高分辨率字典D_h。

进一步，在所述步骤三的具体步骤是指：41：将低分辨率测试图像y划分成大小为N×N的图像块，并提取特征；42：计算低分辨率图像块在低分辨率字典下的稀疏系数和高分辨率图像块的特征向量；43：合并所有高频图像块，在图像块之间的重叠部分取均值，得到目标高分辨率图像的纹理部分X_t。与插值图像结构部分Y_s相加，得到目标高分辨率图像X。

本发明的有益效果在于：将低分辨率图像插值到与所要求的高分辨率图像相同的尺寸形成插值图像。对插值图像进行MCA图像分解，形成插值图像的结构部分和纹理部分，由于纹理部分往往会含有较多低分辨率图像本身所带有的模糊、噪声等不良因子，因而可直接将其舍弃。对低分辨率图像分块并提取低频特征，利用训练得到的高、低分辨率字典对对其进行基于稀疏表示的超分辨率重建，得到高频特征图像块，合并后形成高分辨率图像纹理部分，与插值图像的结构部分相加，得到最终所期望的高分辨率图像。该方法得到的重构车牌图像能够很好地保持图像的边缘、纹理等信息。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为基于MCA和字典学习的车牌图像超分辨率重构算法框架图。

图2为高、低分辨率字典构建示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为基于MCA和字典学习的车牌图像超分辨率重构算法框架图，本方法包括以下步骤：

S1：将低分辨率测试图像y插值到与目标高分辨率图像相同的尺寸，得到插值图像Y，并采用MCA算法把插值图像Y分解成纹理部分Y_t和结构部分Y_s；具体包括以下步骤：

S11：采用Bicubic插值算法，将低分辨率图像插值放大到与高分辨图像相同的尺寸；

S12：对于同时包含纹理层和结构层的图像X，采用基于MCA的分解方法通过字典T_t，T_s寻找一个最优的稀疏表示，进行纹理层和结构层的分解。基于MCA的分解方法，求解公式为：

$\{{\mathrm{\α}}_t^{\mathrm{opt}},{\mathrm{\α}}_s^{\mathrm{opt}}\}=\mathrm{Arg}\underset{\{{\mathrm{\α}}_t,{\mathrm{\α}}_n\}}{\min }{\left|\right|{\mathrm{\α}}_t\left|\right|}_0+\min {\left|\right|{\mathrm{\α}}_s\left|\right|}_0,s.t.X=T_t{\mathrm{\α}}_t+T_s{\mathrm{\α}}_s$

其中α_t和α_s分别表示纹理部分和结构部分的稀疏系数。对于上述求解公式是一个NP求解问题，为获得此问题的稳定、唯一的解，采用l₁范数来代替l₀范数，从而将这个问题转化为一个可以处理的凸优化问题，从而得到下述求解公式：

$\{{\mathrm{\α}}_t^{\mathrm{opt}},{\mathrm{\α}}_s^{\mathrm{opt}}\}=\mathrm{Arg}\underset{\{{\mathrm{\α}}_t,{\mathrm{\α}}_s\}}{\min }{\left|\right|{\mathrm{\α}}_t\left|\right|}_1+\min {\left|\right|{\mathrm{\α}}_s\left|\right|}_1,s.t.X=T_t{\mathrm{\α}}_t+T_s{\mathrm{\α}}_s$

采用基追踪算法求解上述公式，将低分辨率车牌图像分解为纹理部分和卡通部分。舍弃低分辨率图像中含有较多模糊、噪声等不良因子的纹理部分。

S2：低分辨率图像特征块通过KSVD方法得到低分辨率字典和稀疏表示系数，利用系数和高分辨率图像特征块计算得到高分辨率字典。具体包括以下步骤：

S21：将高分辨率训练图像集经过下采样操作，得到相应的低分辨率图像集。

S22：提取低分辨率图像特征。将低分辨率图像集中的图像划分为N×N大小的图像块，并提取特征。具体方法是采用4个一维滤波器：

f₁＝[-1,1],f₂＝f₁ ^T

f₃＝[1,-2,1]/2,f₄＝f₃ ^T

对低辨率图像应用这4个一维滤波器，因而每一个图像块将得到4个特征向量，将串连起来作为该图像块的特征表示。每个低分辨率图像块所对应的特征向量长度为4N²。记为Y_l＝{y₁,y₂,…,y_n}。

S23：利用K-SVD算法将低分辨率图像特征训练成低分辨率字典D_l。具体训练方法包括以下步骤：

S231：输入待训练样本集

S232：随机选取k个训练样本初始化并归一化字典D；

S233：根据预设迭代次数训练字典，具体包括以下阶段：

a.稀疏表示阶段：稀疏分解样本集，通过正交追踪算法OMP求解；

b.字典更新阶段：由样本集和稀疏表示矩阵，提取Γ中的第k行稀疏表示的非零项，记为：J为在Γ中的索引值，构成Γ_J，X_J；利用.SVD分解得到 $[{\hat{d}}_k,s,{\widehat{\mathrm{\α}}}_k]=\mathrm{svds}(X_J-D{\mathrm{\Γ}}_J+d_k{w}_k,1),$ 从而 $d_k={\hat{d}}_k,{\mathrm{\α}}_k=s{\widehat{\mathrm{\α}}}_k,$ 更新字典D中所有原子。

c.若迭代未结束，执行a，否则退出迭代。

S234：输出参数超完备字典和稀疏表示矩阵

S24：取插值图像集结构部分。将低分辨率训练图像插值到与高分辨率训练图像相同的尺寸，并进行MCA分解，得到插值图像的结构部分。

S25：提取高分辨率图像特征。将高分辨率训练图像减去低分辨率插值图像结构部分后的剩余部分作为高分辨率图像的纹理部分，将纹理部分划分为(RN)×(RN)大小的图像块并连成向量，作为高分辨率图像块的特征向量，因此，每个高分辨率图像块所对应的特征向量长度为(RN)²。记为X_h＝{x₁,x₂,…,x_n}。其中R表示图像超分辨率重建的放大倍数

S26：计算高分辨率字典。假设高、低分辨率图像块在高、低分辨率字典对下具有相同的稀疏表示系数Γ，则可以通过最小化以下逼近误差来计算高分辨率字典D_h。计算公式为 $D_h=\arg \min {\left|\right|X_h-D_h\mathrm{\Γ}\left|\right|}_F^2.$

S3：对低分辨率车牌图像y进行超分辨率重建，得到高分辨率图像。具体包括以下步骤：

S31：将低分辨率测试图像y划分为N×N大小的图像块，并提取特征。对每个特征向量y_t计算表示向量α_t：和高分辨率块的特征向量x_t＝D_hα_t。

S32：合并所有高频图像块，在图像块之间的重叠部分取均值，得到目标高分辨率图像的纹理部分X_t，与插值图像结构部分Y_s相加，得到目标高分辨率图像X。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.一种基于MCA和字典学习的车牌超分辨率重构方法，其特征在于包括下述步骤：

步骤一：将低分辨率测试图像y插值到与目标高分辨率图像相同的尺寸，得到插值图像Y，并采用MCA算法把插值图像Y分解成纹理部分Y_t和结构部分Y_s。

步骤二：低分辨率图像特征块通过KSVD方法得到低分辨率字典和稀疏表示系数，利用系数和高分辨率图像特征块计算得到高分辨率字典。

步骤三：对低分辨率图像y分块并提取低频特征，利用该高、低分辨率字典对对低分辨率图像块进行超分辨率重建，得到高频特征图像块；合并所有高频图像块，在图像块之间的重叠部分取均值，得到目标高分辨率图像的纹理部分X_t，X_t与插值图像结构部分Y_s相加，得到目标高分辨率图像X。

2.根据权利要求1所述的一种基于MCA和字典学习的车牌超分辨率重构方法，其特征在于：在步骤一中，具体包括以下步骤：21：采用Bicubic插值算法，将低分辨率图像插值放大到与高分辨图像相同的尺寸；22：对于同时包含纹理层和结构层的图像X，则通过MCA算法进行纹理层和结构层的分解。

3.根据权利要求1所述的一种基于MCA和字典学习的车牌超分辨率重构方法，其特征在于：在步骤二中，具体包括以下步骤：31：将高分辨率训练图像集经过下采样操作，得到相应的低分辨率图像集；32：将低分辨率图像集中的图像划分为N×N大小的图像块，并提取特征；33：利用KSVD算法将低分辨率图像特征训练成低分辨率字典D_l；34：将低分辨率训练图像插值到与高分辨率训练图像相同的尺寸，并进行MCA分解，得到插值图像的结构部分；35：将高分辨率训练图像减去低分辨率插值图像结构部分后的剩余部分作为高分辨率图像的纹理部分，将纹理部分划分为(RN)×(RN)大小的图像块并连成向量，作为高分辨率图像块的特征向量；36：在假设高、低分辨率图像块在高、低分辨率字典对下具有相同的稀疏表示系数Γ的前提下，通过最小化以下逼近误差来计算高分辨率字典D_h。

4.根据权利要求1所述的一种基于MCA和字典学习的车牌超分辨率重构方法，其特征在于：在步骤三中具体包括以下步骤：41：将低分辨率测试图像y划分为N×N大小的图像块，并提取特征；42：计算低分辨率图像块在低分辨率字典下的稀疏系数和高分辨率图像块的特征向量；43：合并所有高频图像块，在图像块之间的重叠部分取均值，得到目标高分辨率图像的纹理部分X_t，与插值图像结构部分Y_s相加，得到目标高分辨率图像X。