CN103839242A - 一种基于高维索引的图像快速超分辨率增强方法 - Google Patents

Abstract

本发明公开了一种基于高维索引的图像快速超分辨率增强方法，步骤包括有：图像降质处理、提取特征向量、建立先验知识库和高维索引库、图像优化和检索、图像叠加融合。本发明能够改进现有技术的不足，提高了超分辨率图像增强的重建效率。

Description

一种基于高维索引的图像快速超分辨率增强方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于高维索引的图像快速超分辨率增强方法。

背景技术

随着互联网和信息处理技术的快速发展，人们对图像分辨率的要求越来越高。但是由于受到物理成像条件和采集环境的限制，采集到的图像分辨率有时会很低，图像的视觉效果难以满足人们的需要。

超分辨率图像增强技术利用图像本身的性质和相邻图像块的关联信息，通过一定的算法处理，在不增加硬件投入的情况下从低分辨率低质量输入图像中估计出高分辨率高质量图像，使图像分辨率超过光学硬件设备的分辨率，获得图像潜在的细节信息，增强图像的可用性。这种技术一经提出，便引起了许多学者的广泛重视和关注。Harris从理论上证明，两个不同的物体不会产生同样的图像，因此，在无噪声条件下获取的任何图像只与一个物体相对应。这样，根据一个物体的低分辨率图像对该物体的细节增强存在可能。经过科研人员的后续研究，超分辨率图像增强技术已经取得较多结果，其可行性已经不容质疑。

超分辨率图像增强技术在视觉监控、公共安全、遥感、医学成像和高清晰度电视等多个领域有着广泛的应用前景。在卫星遥感方面，由于成像条件与成像设备的分辨率都有一定限制，一般来说很难获得高清晰度的图像，从已获取的低分辨率图像来生成高分辨率图像具有十分重要的意义；在视频传输系统中，通过扩大图像和增加细节，可以从视频序列中得到超分辨率静态图像，把普通视频信号转化成高清晰度电视信号；在公共安全领域，处理由于运动、散焦、环境等引起来的低质量图像，获取高质量图像；在生物特征识别领域，可以用超分辨率图像复原方法来得到高分辨率的人脸图像，这种高分辨率人脸图像用于人脸识别，可大大提高识别精度。

但是，现有的超分辨率图像增强技术计算量很大，极其依赖大量的计算资源，限制了该技术的拓展应用。

发明内容

本发明要解决的技术问题是提供一种基于高维索引的图像快速超分辨率增强方法，能够解决现有技术的不足，提高了超分辨率图像增强的重建效率。

为解决上述技术问题，本发明所采取的技术方案如下。

一种基于高维索引的图像快速超分辨率增强方法，包括以下步骤：

A、将高分辨率图像进行降质处理，得到低分辨率图像；

B、将高分辨率图像与低分辨率图像进行求差处理，得到高频信息图像；

C、使用相同的图像分割策略对高频信息图像I_H和低分辨率图像I_D进行处理，建立若干个高频信息图像-低分辨率图像块对(BD_i，BH_i)，第i个高频信息图像-低分辨率图像块(BD_i，BH_i)对中包含第i个高频信息图像分块BH_i和第i个低分辨率图像分块BD_i；

D、对每一个高频信息图像-低分辨率图像块对(BD_i，BH_i)中的低分辨率图像分块BD_i进行特征提取，形成特征向量FD_i，将特征向量FD_i与高频信息图像分块BH_i建立一一对应联系；

E、重复步骤A～步骤D，将高分辨率图像库中的高分辨率图像进行一一处理，形成先验知识库；

F、使用先验知识库中存储的低分辨率图像分块特征向量FD_i与高频信息图像分块BH_i的对应关系建立高维索引库；

G、将待处理的低分辨率图像进行放大，得到与期望尺寸一致的放大图像；

H、将放大图像进行分块，并提取特征向量，利用特征向量在高维索引库中进行检索，得到若干个相似检索结果，进而通过检索结果从先验知识库中提取对应的高分辨率图像分块；

I、从步骤H中得到的若干个相似的高频图像分块中进行筛选，将筛选出的高频图像分块进行拼接，得到高频信息图像；

J、将高频信息图像和低分辨率图像进行叠加融合，得到超分辨率增强图像。

作为优选，步骤A中对高分辨率图像进行降质处理的具体计算方法为

I_D＝I_o·G

其中I_o为高分辨率图像，I_D为降质后的低分辨率图像，“·”为卷积运算，G为w*w的高斯卷积矩阵，G的矩阵元素由二维高斯函数确定，计算方法如下，

$g(i,j)=e^{-(i^2-j^2)/2{\mathrm{\σ}}^2}.$

作为优选，步骤B中得到高频信息图像的具体计算方法为，

I_H＝I_o-I_D。

作为优选，步骤D中，低分辨率图像分块BD_i的特征为灰度特征、梯度特征或统计特征。

作为优选，步骤F中，建立高维索引库包括以下步骤，

F1、将FD_i转化为海明空间中的二进制串，每个元素的位数相同，位数不足的用0补齐；转化后形成d维的向量F_i；

F2、针对d维二进制向量p，构建一组包括k个哈希函数的函数组G＝{g₁，…，g_k}，其中 $g_i\left(p\right)=(h_{i_1}\left(p\right),h_{i_2}\left(p\right),...h_{i_l}\left(p\right),),$ 即g_i(p)为从d维二进制串p中随机选取1个不重复位所形成的新的二进制串，构成一个哈希表；

F3、将d维向量p通过g_i(p)映射后存储在哈希表h_i中，其中i＝0，1，…，k；F_j经过转换存储到哈希表中。

作为优选，步骤G中，对低分辨率图像进行放大的具体计算方法为，

I_D＝S(I_L，c)

其中I_L为待增强的图像，I_D为放大c倍后的低分辨率图像，S为放大操作。

作为优选，步骤H中，具体处理步骤为，

H1、针对低分辨率图像I_D进行分块，形成多个有重叠区域的低分辨率图像块BD_i，BD_i为低分辨率图像I_D的第i个分块；

H2、处理第i个分块BD_i，提取特征，构成低分辨率特征向量FD_i，进一步转化为d维二进制向量F_i；

H3、利用待查询的特征向量F_i，搜索高维检索库的所有哈希表得到t个相似的特征向量

H4、从先验知识库中提取对应的高频图像块

作为优选，步骤I中，从提取的高分辨率图像分块获取最优高频信息的具体计算方法为，

$F(m,n)=T({\mathrm{BH}}_{i_m}-{\mathrm{BH}}_{j_n})$

式中，

表示第i块的第m个候选项，表示第j块的第n个候选项，T表示相邻分块公共区域的差值的绝对值操作，通过计算最小的F(m，n)得到最优的m和n，获得每个分块的最优高频信息

作为优选，步骤J中，将高频信息图像和低分辨率图像进行叠加融合的方法采用均值方法或加权求和方法。

采用上述技术方案所带来的有益效果在于：提高了超分辨率图像增强的计算速度，生成的高频图像过渡自然、纹理平滑，可视化效果更好。

附图说明

图1是本发明一个具体实施方式中形成先验知识库和检索库的流程图。

图2是本发明一个具体实施方式中使用先验知识库和检索库进行图像增强的流程图。

图3是本发明一个具体实施方式中第一幅待处理图像的原图。

图4是将第一幅待处理图像直接进行放大处理后的图像。

图5是将第一幅待处理图像使用传统方法处理后的图像。

图6是将第一幅待处理图像使用本发明一个具体实施方式处理后的图像。

图7是本发明一个具体实施方式中第二幅待处理图像的原图。

图8是将第二幅待处理图像直接进行放大处理后的图像。

图9是将第二幅待处理图像使用传统方法处理后的图像。

图10是将第二幅待处理图像使用本发明一个具体实施方式处理后的图像。

具体实施方式

参照图1-2，一种基于高维索引的图像快速超分辨率增强方法，包括以下步骤：

A、将高分辨率图像进行降质处理，得到低分辨率图像；

B、将高分辨率图像与低分辨率图像进行求差处理，得到高频信息图像；

C、使用相同的图像分割策略对高频信息图像I_H和低分辨率图像I_D进行处理，建立若干个高频信息图像-低分辨率图像块对(BD_i，BH_i)，第i个高频信息图像-低分辨率图像块(BD_i，BH_i)对中包含第i个高频信息图像分块BH_i和第i个低分辨率图像分块BD_i；

D、对每一个高频信息图像-低分辨率图像块对(BD_i，BH_i)中的低分辨率图像分块BD_i进行特征提取，形成特征向量FD_i，将特征向量FD_i与高频信息图像分块BH_i建立一一对应联系；

E、重复步骤A～步骤D，将高分辨率图像库中的高分辨率图像进行一一处理，形成先验知识库；

F、使用先验知识库中存储的低分辨率图像分块特征向量FD_i与高频信息图像分块BH_i的对应关系建立高维索引库；

G、将待处理的低分辨率图像进行放大，得到与期望尺寸一致的放大图像；

H、将放大图像进行分块，并提取特征向量，利用特征向量在高维索引库中进行检索，得到若干个相似检索结果，进而通过检索结果从先验知识库中提取对应的高分辨率图像分块；

I、从步骤H中得到的若干个相似的高频图像分块中进行筛选，将筛选出的高频图像分块进行拼接，得到高频信息图像；

J、将高频信息图像和低分辨率图像进行叠加融合，得到超分辨率增强图像。

值得注意的是，步骤A中对高分辨率图像进行降质处理的具体计算方法为，

I_D＝I_o·G

其中I_o为高分辨率图像，I_D为降质后的低分辨率图像，“·”为卷积运算，G为w*w的高斯卷积矩阵，G的矩阵元素由二维高斯函数确定，计算方法如下，

$g(i,j)=e^{-(i^2-j^2)/2{\mathrm{\σ}}^2}.$

值得注意的是，步骤B中得到高频信息图像的具体计算方法为，

I_H＝I_o-I_D。

值得注意的是，步骤D中，低分辨率图像分块BD_i的特征为灰度特征。

值得注意的是，步骤F中，建立高维索引库包括以下步骤，

F1、将FD_i转化为海明空间中的二进制串，每个元素的位数相同，位数不足的用0补齐；转化后形成d维的向量F_i；

F2、针对d维二进制向量p，构建一组包括k个哈希函数的函数组G＝{g₁，…，g_k}，其中 $g_i\left(p\right)=(h_{i_1}\left(p\right),h_{i_2}\left(p\right),...h_{i_l}\left(p\right),),$ 即g_i(p)为从d维二进制串p中随机选取1个不重复位所形成的新的二进制串，构成一个哈希表；

F3、将d维向量p通过g_i(p)映射后存储在哈希表h_i中，其中i＝0，1，…，k；F_j经过转换存储到哈希表中。

值得注意的是，步骤G中，对低分辨率图像进行放大的具体计算方法为，

I_D＝S(I_L，c)

其中I_L为待增强的图像，I_D为放大c倍后的低分辨率图像，S为放大操作。

值得注意的是，步骤H中，具体处理步骤为，

H1、针对低分辨率图像I_D进行分块，形成多个有重叠区域的低分辨率图像块BD_i，BD_i为低分辨率图像I_D的第i个分块；

H2、处理第i个分块BD_i，提取灰度特征，构成低分辨率特征向量FD_i，进一步转化为d维二进制向量F_i；

H3、利用待查询的特征向量F_i，搜索高维检索库的所有哈希表得到t个相似的特征向量

H4、从先验知识库中提取对应的高频图像块

值得注意的是，步骤I中，从提取的高分辨率图像分块获取最优高频信息的具体计算方法为，

$F(m,n)=T({\mathrm{BH}}_{i_m}-{\mathrm{BH}}_{j_n})$

式中，

表示第i块的第m个候选项，

表示第j块的第n个候选项，T表示相邻分块公共区域的差值的绝对值操作，通过计算最小的F(m，n)得到最优的m和n，获得每个分块的最优高频信息

此外，步骤J中，将高频信息图像和低分辨率图像进行叠加融合的方法采用加权求和方法。

本具体实施方式中的计算机硬件配置为：CPU：Intel Core(TM)22.83GHz；内存：8G；操作系统：Window7(64位)。

将传统方法和本发明的方法使用相同的目标图像进行5次运行对比，结果详见下表：

与传统方法取得相近可视化效果的情况下，本发明的计算效率大幅度提升约11倍。

参照图3-10，可以看出，使用本发明提供的方法处理的图像比传统方法的可视化效果更好。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于高维索引的图像快速超分辨率增强方法，其特征在于包括以下步骤：

A、将高分辨率图像进行降质处理，得到低分辨率图像I_D；

B、将高分辨率图像与低分辨率图像I_D进行求差处理，得到高频信息图像I_H；

C、使用相同的图像分割策略对高频信息图像I_H和低分辨率图像I_D进行处理，建立若干个高频信息图像-低分辨率图像块对(BD_i，BH_i)，第i个高频信息图像-低分辨率图像块(BD_i，BH_i)对中包含第i个高频信息图像分块BH_i和第i个低分辨率图像分块BD_i；

D、对每一个高频信息图像-低分辨率图像块对(BD_i，BH_i)中的低分辨率图像分块BD_i进行特征提取，形成特征向量FD_i，将特征向量FD_i与高频信息图像分块BH_i建立一一对应联系；

E、重复步骤A～步骤D，将高分辨率图像库中的高分辨率图像进行一一处理，形成先验知识库；

F、使用先验知识库中存储的低分辨率图像分块特征向量FD_i与高频信息图像分块BH_i的对应关系建立高维索引库；

G、将待处理的低分辨率图像进行放大，得到与期望尺寸一致的放大图像；

H、将放大图像进行分块，并提取特征向量，利用特征向量在高维索引库中进行检索，得到若干个相似检索结果，进而通过检索结果从先验知识库中提取对应的高分辨率图像分块；

I、从步骤H中得到的若干个相似的高频图像分块中进行筛选，将筛选出的高频图像分块进行拼接，得到高频信息图像；

J、将高频信息图像和低分辨率图像进行叠加融合，得到超分辨率增强图像。

2.根据权利要求1所述的基于高维索引的图像快速超分辨率增强方法，其特征在于：步骤A中对高分辨率图像进行降质处理的具体计算方法为，

I_D＝I_o·G

其中I_o为高分辨率图像，I_D为降质后的低分辨率图像，“·”为卷积运算，G为w*w的高斯卷积矩阵，G的矩阵元素由二维高斯函数确定，计算方法如下，

$g(i,j)=e^{-(i^2-j^2)/2{\mathrm{\σ}}^2}.$

3.根据权利要求1所述的基于高维索引的图像快速超分辨率增强方法，其特征在于：步骤B中得到高频信息图像的具体计算方法为，

I_H＝I_o-I_D。

4.根据权利要求1所述的基于高维索引的图像快速超分辨率增强方法，其特征在于：步骤D中，低分辨率图像分块BD_i的特征为灰度特征、梯度特征或统计特征。

5.根据权利要求1所述的基于高维索引的图像快速超分辨率增强方法，其特征在于：步骤F中，建立高维索引库包括以下步骤，

F1、将FD_i转化为海明空间中的二进制串，每个元素的位数相同，位数不足的用0补齐；转化后形成d维的向量F_i；

F2、针对d维二进制向量p，构建一组包括k个哈希函数的函数组G＝{g₁，…，g_k}，其中 $g_i\left(p\right)=(h_{i_1}\left(p\right),h_{i_2}\left(p\right),...h_{i_l}\left(p\right),),$ 即g_i(p)为从d维二进制串p中随机选取1个不重复位所形成的新的二进制串，构成一个哈希表；

F3、将d维向量p通过g_i(p)映射后存储在哈希表h_i中，其中i＝0，1，…，k；F_j经过转换存储到哈希表中。

6.根据权利要求1所述的基于高维索引的图像快速超分辨率增强方法，其特征在于：步骤G中，对低分辨率图像进行放大的具体计算方法为，

I_D＝S(I_L，c)

其中I_L为待增强的图像，I_D为放大c倍后的低分辨率图像，S为放大操作。

7.根据权利要求5所述的基于高维索引的图像快速超分辨率增强方法，其特征在于：步骤H中，具体处理步骤为，

H1、针对低分辨率图像I_D进行分块，形成多个有重叠区域的低分辨率图像块BD_i，BD_i为低分辨率图像I_D的第i个分块；

H2、处理第i个分块BD_i，提取特征，构成低分辨率特征向量FD_i，进一步转化为d维二进制向量F_i；

H3、利用待查询的特征向量F_i，搜索高维检索库的所有哈希表得到t个相似的特征向量

H4、从先验知识库中提取对应的高频图像块

8.根据权利要求1所述的基于高维索引的图像快速超分辨率增强方法，其特征在于：步骤I中，从提取的高分辨率图像分块获取最优高频信息的具体计算方法为，

$F(m,n)=T({\mathrm{BH}}_{i_m}-{\mathrm{BH}}_{j_n})$

式中，

表示第i块的第m个候选项，

表示第j块的第n个候选项，T表示相邻分块公共区域的差值的绝对值操作，通过计算最小的F(m，n)得到最优的m和n，获得每个分块的最优高频信息

9.根据权利要求1所述的基于高维索引的图像快速超分辨率增强方法，其特征在于：步骤J中，将高频信息图像和低分辨率图像进行叠加融合的方法采用均值方法或加权求和方法。

Images