CN109685738A - 一种提升图像清晰度的方法及装置 - Google Patents

Abstract

本发明公开了一种提升图像清晰度的方法及装置，涉及图像处理技术领域，通过读取模糊图像将图像平均分为5X5像素的为单位的图像块作为图像训练库；通过提取图像训练库中的图像块信息，并利用K‑SVD算法对获得的图像块进行训练得到稀疏表示的清晰字典对，清晰字典对为对应的高低分辨率的图像块的组合，并通过清晰字典对将图像清晰化，使清晰化后的图像能够保真，保留原图的细节信息，算法简单复杂度低，无需额外增加硬件设备，且稳定性和鲁棒性比较高。

Description

一种提升图像清晰度的方法及装置

技术领域

本公开涉及图像处理技术领域，具体涉及一种提升图像清晰度的方法及装置。

背景技术

造成图像清晰度低的原因有很多，其中包括光学因素、大气因素、人工因素、技术因素等等，由于图像拍摄、放大、图像储藏介质的质量、图像掉色、物理损坏、陈旧图片扫描导致的图像看不清楚问题、分辨率低，甚至有些图像部分内容丢失，修复这些问题的现有的方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构，这些算法处理的技术过于复杂，且显示设备需要性能比较高才能满足增强、重构和复原的需求，需要耗费很多的系统资源以进行处理，并且重建出来的图像过于平滑，缺少细节信息。

发明内容

本公开提供一种提升图像清晰度的方法及装置，通过读取模糊图像将图像平均分为5X5像素的为单位的图像块作为图像训练库；通过提取图像训练库中的图像块信息，并利用K-SVD算法对获得的图像块进行训练得到稀疏表示的清晰字典对，清晰字典对为对应的高低分辨率的图像块的组合，并通过清晰字典对将图像清晰化。

为了实现上述目的，根据本公开的一方面，提供一种提升图像清晰度的方法，所述方法包括以下步骤：

步骤1，读取图像并将图像分块作为图像训练库；

步骤2，提取低分辨率图像的特征；

步骤3，通过特征块构建清晰字典；

步骤4，通过K-SVD算法训练清晰字典得到清晰字典对；

步骤5，通过清晰字典对将图像清晰化。

进一步地，在步骤1中，将图像分块作为图像训练库的方法为，读取图像并将图像平均分为5X5像素的图像块作为图像训练库；

进一步地，在步骤2中，提取低分辨率图像的特征的方法为，在具体的清晰字典对的训练过程中，低分辨率图像根据高分辨图像退化而来，以图像块的一阶、二阶梯度表达图像的特征，图像的一阶、二阶梯度的滤波器算子分别表示为，f₁＝[-1,0,1]，f₂＝f₁ ^T，f₃＝[1,0,-2,0,1]，其中，T表示转置，将低分辨图像与这四个滤波器算子的卷积结果得到四个特征块，并将四个特征块作为低分辨图像的特征，并将其特征进行分块与对应的高分辨图像块组成一个向量进行清晰字典对的训练，高分辨图像块即为原始的图像块。

进一步地，在步骤3中，通过特征块构建清晰字典的方法为，

将分块得到的四个特征块与其对应的高分辨率图像块联合起来作为清晰字典对训练算法的输入，将第i类的n_i个图像块作为列向量，排列成矩阵具体的就是将四个特征块的w×h的灰度图像作为列向量ν∈R^m，m＝wh，由列向量构成清晰字典D，给定图像信号y和清晰字典D，以D中的基线性组合来表示y，

其中α是稀疏表示系数，||·||₁表示1范数，||·||₂表示2范数，其中，λ是正则化参数。

进一步地，在步骤4中，通过K-SVD算法训练清晰字典得到清晰字典对的方法为，

将图像训练库中的5X5像素单位的图像块在清晰字典中的稀疏表示以及字典更新这两个过程的不断交替，根据稀疏表示结果对清晰字典的每一列进行更新。

假设有N个图像块输入，用D∈R^n×k表示清晰字典，Y＝{y_i∈Rⁿ,i＝1,2,...,N}表示图像块集合，A＝{y_i∈Rⁿ,i＝1,2,...,N}表示图像块的稀疏表示系数集合则K-SVD字典训练算法可以等价为求解式，求得输入样本集Y的稀疏表示系数矩阵A，其中，T₀为稀疏表示系数中非零的上限值，首先随机设定字典D的初始值，然后在每次迭代过程中先假定字典D是固定的，然后利用系数矩阵A更新字典的每一列。

具体的实现方法如下：

如果当前需要更新字典D中的第k列d_k，在字典D和系数矩阵A中，除字典的第k列d_k和其对应的表示系数之外，将其余的行和列都假定为固定的，为系数矩阵A的第k行，则其中，E_k表示去除第k个原子时，N个样本的表示误差。

为了使得d_k满足稀疏限制条件，定义一个矩阵Ω_k，大小为它在值不为零时为1，其它的情况为0，并用和分别表示Y和E_k去掉零后的结果，将其代入得到表示式:通过做SVD分解得到将U的第一列作为字典D的第k列d_k的估计值d_k，即将U的第一列作为低分辨率字典Dl，然后利用V的第一列乘以对角矩阵Δ(1,1)来更新的值，将V的第一列乘以对角矩阵作为高分辨率字典Dh，在逐列更新完字典之后，进行下一次迭代过程，直到满足终止条件，到清晰字典对，清晰字典对包括和高分辨率字典Dh。

进一步地，在步骤5中，通过清晰字典对将图像清晰化的方法为，

首先将待重建的低分辨图像进行双三次插值，获得超分辨率算法的初始值，接着提取图像的一阶、二阶梯度特征，对特征进行重叠分块，将每一个图像块对应的特征组合成一个向量，设为y，在低分辨率字典Dl中获得y得稀疏表示系数α*，

其中，p为重叠区域，w为重叠区域中己重建出来的像素值，β是一个常数，用来调整清晰化后的图像块的清晰程度；

计算出相应的高分辨率图像块 即获得高分辨率图像。

本发明还提供了一种提升图像清晰度的装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

图像分块单元，用于读取图像并将图像分块作为图像训练库；

特征提取单元，用于提取低分辨率图像的特征；

清晰字典构建单元，用于通过特征块构建清晰字典；

字典训练单元，用于通过K-SVD算法训练清晰字典得到清晰字典对；

图像清晰化单元，用于通过清晰字典对将图像清晰化。

本公开的有益效果为：本发明提供一种提升图像清晰度的方法及装置，使清晰化后的图像能够保真，保留原图的细节信息，算法简单复杂度低，无需额外增加硬件设备，且稳定性和鲁棒性比较高。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为一种提升图像清晰度的方法的流程图；

图2所示为一种提升图像清晰度的装置图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为根据本公开的一种提升图像清晰度的方法的流程图，下面结合图1来阐述根据本公开的实施方式的一种提升图像清晰度的方法。

本公开提出一种提升图像清晰度的方法，具体包括以下步骤：

步骤1，读取图像并将图像分块作为图像训练库；

步骤2，提取低分辨率图像的特征；

步骤3，通过特征块构建清晰字典；

步骤4，通过K-SVD算法训练清晰字典得到清晰字典对；

步骤5，通过清晰字典对将图像清晰化。

进一步地，在步骤1中，将图像分块作为图像训练库的方法为，读取图像并将图像平均分为5X5像素的图像块作为图像训练库；

进一步地，在步骤2中，提取低分辨率图像的特征的方法为，在具体的清晰字典对的训练过程中，低分辨率图像根据高分辨图像退化而来，以图像块的一阶、二阶梯度表达图像的特征，图像的一阶、二阶梯度的滤波器算子分别表示为，f₁＝[-1,0,1]，f₂＝f₁ ^T，f₃＝[1,0,-2,0,1]，其中，T表示转置，将低分辨图像与这四个滤波器算子的卷积结果得到四个特征块，并将四个特征块作为低分辨图像的特征，并将其特征进行分块与对应的高分辨图像块组成一个向量进行清晰字典对的训练，高分辨图像块即为原始的图像块。

进一步地，在步骤3中，通过特征块构建清晰字典的方法为，

将分块得到的四个特征块与其对应的高分辨率图像块联合起来作为清晰字典对训练算法的输入，将第i类的n_i个图像块作为列向量，排列成矩阵具体的就是将四个特征块的w×h的灰度图像作为列向量ν∈R^m，m＝wh，由列向量构成清晰字典D，给定图像信号y和清晰字典D，以D中的基线性组合来表示y，

其中α是稀疏表示系数，||·||₁表示1范数，||·||₂表示2范数，其中，λ是正则化参数。

进一步地，在步骤4中，通过K-SVD算法训练清晰字典得到清晰字典对的方法为，

将图像训练库中的5X5像素单位的图像块在清晰字典中的稀疏表示以及字典更新这两个过程的不断交替，根据稀疏表示结果对清晰字典的每一列进行更新。

假设有N个图像块输入，用D∈R^n×k表示清晰字典，Y＝{y_i∈Rⁿ,i＝1,2,...,N}表示图像块集合，A＝{y_i∈Rⁿ,i＝1,2,...,N}表示图像块的稀疏表示系数集合则K-SVD字典训练算法可以等价为求解式，求得输入样本集Y的稀疏表示系数矩阵A，其中，T₀为稀疏表示系数中非零的上限值，首先随机设定字典D的初始值，然后在每次迭代过程中先假定字典D是固定的，然后利用系数矩阵A更新字典的每一列。

具体的实现方法如下：

如果当前需要更新字典D中的第k列d_k，在字典D和系数矩阵A中，除字典的第k列d_k和其对应的表示系数之外，将其余的行和列都假定为固定的，为系数矩阵A的第k行，则

其中，E_k表示去除第k个原子时，N个样本的表示误差。

为了使得d_k满足稀疏限制条件，定义一个矩阵Ω_k，大小为它在值不为零时为1，其它的情况为0，并用和分别表示Y和E_k去掉零后的结果，将其代入得到表示式:通过做SVD分解得到将U的第一列作为字典D的第k列d_k的估计值d_k，即将U的第一列作为低分辨率字典Dl，然后利用V的第一列乘以对角矩阵Δ(1,1)来更新的值，将V的第一列乘以对角矩阵作为高分辨率字典Dh，在逐列更新完字典之后，进行下一次迭代过程，直到满足终止条件，到清晰字典对，清晰字典对包括和高分辨率字典Dh。

进一步地，在步骤5中，通过清晰字典对将图像清晰化的方法为，

首先将待重建的低分辨图像进行双三次插值，获得超分辨率算法的初始值，接着提取图像的一阶、二阶梯度特征，对特征进行重叠分块，将每一个图像块对应的特征组合成一个向量，设为y，在低分辨率字典Dl中获得y得稀疏表示系数α*，

其中，p为重叠区域，w为重叠区域中己重建出来的像素值，β是一个常数，用来调整清晰化后的图像块的清晰程度；

计算出相应的高分辨率图像块 即获得高分辨率图像。

本公开的一种仿真结果为：将本发明方法、图像复原法和超分辨率重构法分别进行对比，其中，清晰精度为和原始模板图对比的像素比值，原始丢失率为和原始模板图对比丢失的像素比例。

模板图为30×30像素的清晰化性能比较

本公开的实施例提供的一种提升图像清晰度的装置，如图2所示为本公开的一种提升图像清晰度的装置图，该实施例的一种提升图像清晰度的装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种提升图像清晰度的装置实施例中的步骤。

所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

图像分块单元，用于读取图像并将图像分块作为图像训练库；

特征提取单元，用于提取低分辨率图像的特征；

清晰字典构建单元，用于通过特征块构建清晰字典；

字典训练单元，用于通过K-SVD算法训练清晰字典得到清晰字典对；

图像清晰化单元，用于通过清晰字典对将图像清晰化。

所述一种提升图像清晰度的装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种提升图像清晰度的装置，可运行的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种提升图像清晰度的装置的示例，并不构成对一种提升图像清晰度的装置的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种提升图像清晰度的装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种提升图像清晰度的装置运行装置的控制中心，利用各种接口和线路连接整个一种提升图像清晰度的装置可运行装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种提升图像清晰度的装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (7)

1.一种提升图像清晰度的方法，其特征在于，所述方法包括以下步骤：

步骤1，读取图像并将图像分块作为图像训练库；

步骤2，提取低分辨率图像的特征；

步骤3，通过特征块构建清晰字典；

步骤4，通过K-SVD算法训练清晰字典得到清晰字典对；

步骤5，通过清晰字典对将图像清晰化。

2.根据权利要求1所述的一种提升图像清晰度的方法，其特征在于，在步骤1中，将图像分块作为图像训练库的方法为，读取图像并将图像平均分为5X5像素的图像块作为图像训练库。

3.根据权利要求1所述的一种提升图像清晰度的方法，其特征在于，在步骤2中，提取低分辨率图像的特征的方法为，在具体的清晰字典对的训练过程中，低分辨率图像根据高分辨图像退化而来，以图像块的一阶、二阶梯度表达图像的特征，图像的一阶、二阶梯度的滤波器算子分别表示为，f₁＝[-1,0,1]，f₂＝f₁ ^T，f₃＝[1,0,-2,0,1]，其中，T表示转置，将低分辨图像与这四个滤波器算子的卷积结果得到四个特征块，并将四个特征块作为低分辨图像的特征，并将其特征进行分块与对应的高分辨图像块组成一个向量进行清晰字典对的训练，高分辨图像块即为原始的图像块。

4.根据权利要求1所述的一种提升图像清晰度的方法，其特征在于，在步骤3中，通过特征块构建清晰字典的方法为，

将分块得到的四个特征块与其对应的高分辨率图像块联合起来作为清晰字典对训练算法的输入，将第i类的n_i个图像块作为列向量，排列成矩阵具体的就是将四个特征块的w×h的灰度图像作为列向量ν∈R^m，m＝wh，由列向量构成清晰字典D，给定图像信号y和清晰字典D，以D中的基线性组合来表示y，

其中α是稀疏表示系数，||·||₁表示1范数，||·||₂表示2范数，其中，λ是正则化参数。

5.根据权利要求1所述的一种提升图像清晰度的方法，其特征在于，在步骤4中，通过K-SVD算法训练清晰字典得到清晰字典对的方法为，

将图像训练库中的5X5像素单位的图像块在清晰字典中的稀疏表示以及字典更新这两个过程的不断交替，根据稀疏表示结果对清晰字典的每一列进行更新；

假设有N个图像块输入，用D∈R^n×k表示清晰字典，Y＝{y_i∈Rⁿ,i＝1,2,...,N}表示图像块集合，A＝{y_i∈Rⁿ,i＝1,2,...,N}表示图像块的稀疏表示系数集合则K-SVD字典训练算法可以等价为求解式，求得输入样本集Y的稀疏表示系数矩阵A，其中，T₀为稀疏表示系数中非零的上限值，首先随机设定字典D的初始值，然后在每次迭代过程中先假定字典D是固定的，然后利用系数矩阵A更新字典的每一列；

具体的实现方法如下：

如果当前需要更新字典D中的第k列d_k，在字典D和系数矩阵A中，除字典的第k列d_k和其对应的表示系数之外，将其余的行和列都假定为固定的，为系数矩阵A的第k行，则

其中，E_k表示去除第k个原子时，N个样本的表示误差；

为了使得d_k满足稀疏限制条件，定义一个矩阵Ω_k，大小为它在值不为零时为1，其它的情况为0，并用和分别表示Y和E_k去掉零后的结果，将其代入得到表示式:通过做SVD分解得到将U的第一列作为字典D的第k列d_k的估计值d_k，即将U的第一列作为低分辨率字典Dl，然后利用V的第一列乘以对角矩阵Δ(1,1)来更新的值，将V的第一列乘以对角矩阵作为高分辨率字典Dh，在逐列更新完字典之后，进行下一次迭代过程，直到满足终止条件，到清晰字典对，清晰字典对包括和高分辨率字典Dh。

6.根据权利要求1所述的一种提升图像清晰度的方法，其特征在于，在步骤5中，通过清晰字典对将图像清晰化的方法为，

首先将待重建的低分辨图像进行双三次插值，获得超分辨率算法的初始值，接着提取图像的一阶、二阶梯度特征，对特征进行重叠分块，将每一个图像块对应的特征组合成一个向量，设为y，在低分辨率字典Dl中获得y得稀疏表示系数α*，

其中，p为重叠区域，w为重叠区域中己重建出来的像素值，β是一个常数，用来调整清晰化后的图像块的清晰程度；

计算出相应的高分辨率图像块 即获得高分辨率图像。

7.一种提升图像清晰度的装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

图像分块单元，用于读取图像并将图像分块作为图像训练库；

特征提取单元，用于提取低分辨率图像的特征；

清晰字典构建单元，用于通过特征块构建清晰字典；

字典训练单元，用于通过K-SVD算法训练清晰字典得到清晰字典对；

图像清晰化单元，用于通过清晰字典对将图像清晰化。