CN105913399A - 一种光场图像的超分辨方法及装置 - Google Patents

Abstract

本发明公开了一种光场图像的超分辨方法及装置，该方法包括：对高分辨率图像进行傅里叶变换得到幅度谱D_m和相位谱D_p；对高分辨率视点图进行傅里叶变换获得幅度谱H_i,m和相位谱H_i,p；在D_m和H_i,m中分别得到幅度谱D′_m和H′_i,m；在D′_m中将与H′_i,m对应的部分置零得到幅度谱D″_m，将H′_1,m与D″_m线性叠加得到最终的幅度谱H″_1,m；在D_p和H_1,p中分别得到相位谱D′_p和H′_1,p；在D′_p中将与H′_1,p同频率的值置零得到相位谱D″_p，将D′_p中将与H′_1,p同频率的值相减得到相位谱D″′_p，将D″_p与D″′_p相加得到相位谱D″″_p，将D″″_p和H′_1,p线性叠加得到最终的相位谱H″_1,p；将H″_1,m和H″_1,p傅里叶反变换得到超分辨的光场图像。

Description

一种光场图像的超分辨方法及装置

【技术领域】

本发明涉及一种光场图像的超分辨方法及装置。

【背景技术】

自从Ren.NG等人2005年提出光场相机的手持式模型之后，光场相机得到了巨大发展，逐渐走出实验室成为民用产品。然而在现在这个追求高分辨率的时代，手持式光场相机空间分辨率不高这个缺点不断被放大，甚至成为光场相机进一步发展的障碍。

光场超分辨技术可以解决手持式光场相机空间分辨率低这个缺点。通过对光场图像进行超分辨，我们可以获得较高分辨率的视点图像，这不仅改善我们的视觉感受，而且对图像的后期处理工作提供了极大的帮助。

目前的光场超分辨技术主要有三类。第一种方法是利用先验知识超分辨。关于光场的先验知识有：光场图像采集的主要是低频信息，levin提出的高斯混合模型(GMM)等，利用贝叶斯概率理论，对低分辨的光场图像进行超分辨。用先验知识超分辨的好处是，第一从数学上可给出严格的推导，第二先验知识找的准确，超分辨的效果也会显著改善；但是这种方法缺点也是明显的，太依赖于先验知识的准确性，而且先验知识的获取通常比较困难。第二种方法是利用字典学习的方法超分辨。字典学习的方法主要步骤是：首先用一组已知的训练集训练出一对字典，然后利用这个字典和已知的低分辨的光场图像重构出高分辨的光场图像。字典学习的好处是，不需要知道待超分辨的光场图像有何种自然规律，而是通过学习的方式去记录这些规律，省去了工作人员对自然规律的抽象总结；其缺点是，训练集对最后超分辨的结果影响甚大，所以训练集希望越大越好，最好包括所有的情况，这样的训练出的字典最为完整，超分辨的结果也会得到提升，但是随着训练集的增大，其计算量非常巨大，因此从计算量的角度去看，要求训练集尽可能的小。

【发明内容】

由于对于光场相机来说，角度分辨率和空间分辨率一直以来是一个不可调和的矛盾，提升角度分辨率必然要牺牲空间分辨率，提升空间分辨率就要降低角度分辨率。所以可以采用混合成像系统解决这个问题，一方面可用光场相机采集低分辨的多视角的光场图像，另一方面用单反相机等采集高分辨的场景图像，将这两者通过某种方式结合起来就可以获得多个视角下的高分辨的光场图像。

为了克服现有技术的不足，本发明提供了一种光场图像的超分辨方法，使获得超分辨图像更加简单。

一种光场图像的超分辨方法，包括如下步骤：

S1，对高分辨率图像D进行傅里叶变换得到幅度谱D_m和相位谱D_p；

S2，对原低分辨率光场图像F_i进行上采样得到与所述高分辨率图像D大小相同的高分辨率视点图H_i，对高分辨率视点图H_i进行傅里叶变换获得幅度谱H_i,m和相位谱H_i,p；

S3，在所述幅度谱D_m中去除第一设定频率阈值以上频率对应的幅度，得到幅度谱D′_m，在所述幅度谱H_i,m中去除第二设定频率阈值以上频率对应的幅度，得到幅度谱H′_i,m；

S4，在所述幅度谱D′_m中将与所述幅度谱H′_i,m对应的部分置零得到幅度谱D″_m，将所述幅度谱H′_1,m与所述幅度谱D″_m线性叠加得到最终的幅度谱H″_1,m；

S5，在所述相位谱D_p中去除第一设定频率阈值以上的频率对应的相位，得到相位谱D′_p，在所述相位谱H_1,p中去除第二设定频率阈值以上频率对应的相位，得到相位谱H′_1,p；

S6，在所述相位谱D′_p中将与所述相位谱H′_1,p同频率的值置零，得到相位谱D″_p，将所述相位谱D′_p中将与所述相位谱H′_1,p同频率的值相减，得到相位谱D″′_p，将所述相位谱D″_p与所述相位谱D″′_p相加得到相位谱D″″_p，将所述相位谱D″″_p和所述相位谱H′_1,p线性叠加得到最终的相位谱H″_1,p；

S7，将所述最终的幅度谱H″_1,m和最终的相位谱H″_1,p傅里叶反变换得到第i个视点的超分辨的光场图像。

在一个实施例中，

在所述步骤S4中，通过如下算法对所述幅度谱H′_1,m与所述幅度谱D″_m线性叠加：

H″_1,m＝H′_1,m+αD″_m；

其中，α为大于0的系数。

在一个实施例中，

M_f和N_f分别表示原低分辨率光场图像F_i的横向分辨率和纵向分辨率，y_fi,j表示原低分辨率光场图像F_i的某个像素j的亮度值，M_d和N_d分别表示高分辨率图像D的横向分辨率和纵向分辨率，y_di,j表示高分辨率图像D中某个像素j的亮度值。

在一个实施例中，

在所述步骤S6中，通过如下算法对所述相位谱D″″_p和所述相位谱H′_1,p线性叠加：

H″_1,p＝D″″_p+H′_1,p。

在一个实施例中，

所述原低分辨率光场图像F_i为光场相机获得的图像。

本发明还提供了一种光场图像的超分辨装置，包括如下单元：

第一处理单元，用于对高分辨率图像D进行傅里叶变换得到幅度谱D_m和相位谱D_p；

第二处理单元，用于对原低分辨率光场图像F_i进行上采样得到与所述高分辨率图像D大小相同的高分辨率视点图H_i，对高分辨率视点图H_i进行傅里叶变换获得幅度谱H_i,m和相位谱H_i,p；

第三处理单元，用于在所述幅度谱D_m中去除第一设定频率阈值以上频率对应的幅度，得到幅度谱D′_m，在所述幅度谱H_i,m中去除第二设定频率阈值以上频率对应的幅度，得到幅度谱H′_i,m；

第四处理单元，用于在所述幅度谱D′_m中将与所述幅度谱H′_i,m对应的部分置零得到幅度谱D″_m，将所述幅度谱H′_1,m与所述幅度谱D″_m线性叠加得到最终的幅度谱H″_1,m；

第五处理单元，用于在所述相位谱D_p中去除第一设定频率阈值以上的频率对应的相位，得到相位谱D′_p，在所述相位谱H_1,p中去除第二设定频率阈值以上频率对应的相位，得到相位谱H′_1,p；

第六处理单元，用于在所述相位谱D′_p中将与所述相位谱H′_1,p同频率的值置零，得到相位谱D″_p，将所述相位谱D′_p中将与所述相位谱H′_1,p同频率的值相减，得到相位谱D″′_p，将所述相位谱D″_p与所述相位谱D″′_p相加得到相位谱D″″_p，将所述相位谱D″″_p和所述相位谱H′_1,p线性叠加得到最终的相位谱H″_1,p；

第七处理单元，用于将所述最终的幅度谱H″_1,m和最终的相位谱H″_1,p傅里叶反变换得到第i个视点的超分辨的光场图像。

在一个实施例中，

在所述第四单元中，通过如下算法对所述幅度谱H′_1,m与所述幅度谱D″_m线性叠加：

H″_1,m＝H′_1,m+αD″_m；

其中，α为大于0的系数。

在一个实施例中，

M_f和N_f分别表示原低分辨率光场图像F_i的横向分辨率和纵向分辨率，y_fi,j表示原低分辨率光场图像F_i的某个像素j的亮度值，M_d和N_d分别表示高分辨率图像D的横向分辨率和纵向分辨率，y_di,j表示高分辨率图像D中某个像素j的亮度值。

在一个实施例中，

在所述第六单元中，通过如下算法对所述相位谱D″″_p和所述相位谱H′_1,p线性叠加：

H″_1,p＝D″″_p+H′_1,p。

在一个实施例中，

所述原低分辨率光场图像F_i为光场相机获得的图像。

本光场图像的超分辨方法获得超分辨图像更加简单。

【附图说明】

图1是本发明一种实施例的光场图像的超分辨方法中低分辨率光场图像F_i的幅度谱示意图；

图2本发明一种实施例的光场图像的超分辨方法中高分辨率图像D的幅度谱示意图；图3是本发明一种实施例的光场图像的超分辨方法中将D′_m中与H′_1,m频率对应的部分置零得到D″_m的示意图。

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1至3所示，一种实施例的光场图像的超分辨方法，包括如下步骤：

S1，单反相机拍出的高分辨率图像用D表示，光场相机拍出的每一个视角下的原低分辨率图像用F_i表示，其中i表示第i个视角。由于独立分开处理每一个视角下的低分辨率光场图像F_i，所以在此先以i＝1为例解释如何实现该视点的超分辨。

D的分辨率是3560x3470，F₁的分辨率是380x380，这里对高分辨率图像D进行剪切，使它的分辨率为3420x3420，恰好为F₁的9倍。

S2，对F₁使用双线性插值的方法上采样9倍，获得纹理非常粗糙的高分辨视点图H₁，对H₁进行傅里叶变换之后获得幅度谱H_1,m和相位谱H_1,p。因为光场相机的主镜头对光线的一次采样和微透镜对光线的二次采样都具有低通效果，所以光场图像只对场景的低频信息做了较为准确的记录，丢失了场景的高频信息。基于此，可以从幅度谱H_1,m的中心选取一个圆形区域H′_1,m，这相当于低通滤波效果，圆形的半径大小取决于光场相机的截止频率，即是说，在幅度谱H_1,m中将截止频率以上的频率对应的幅度去除。

S3，对高分辨率图像D进行傅里叶变换之后获得其幅度谱D_m和相位谱D_p，由于单反相机的主镜头仅仅对场景图像进行了一次采样，所以相比光场相机而言，它的截止频率更大，也就是保留的高频信息更多。因此，可以从幅度谱D_m的中心选取一个较大的圆形区域D′_m，圆形区域之外的高频部分可以认为是噪声，将其舍去。D′_m的半径大于H′_1,m的半径，其大小取决于单反相机的截止频率，也即是说，在幅度谱D_m中将频率大于单反相机截止频率对应的幅度去除。

S4，如图3所示，将D′_m中与H′_1,m频率对应的部分置零得到D″_m，将H′_1,m与D″_m线性叠加：H′_1,m+αD″_m，得到最终的幅度谱H″_1,m，其中α取值两个相机的参数比值，其估计值可以用光场相机一个视点下的光场图像的亮度平均值与高分辨率图像的亮度平均值之比表示，即此处M_f＝380，N_f＝380，M_d＝3420，N_d＝3420，y_fi,j表示第一个视点下光场图像的某个像素的亮度值，y_di,j表示高分辨率图像中某个像素的亮度值。

S5，对H_1,p和D_p进行处理。与对幅度谱处理类似，分别从H_1,p和D_p选取相应的圆形区域H′_1,p和D′_p。在所述相位谱D_p中去除第一设定频率阈值以上的频率对应的相位，得到相位谱D′_p，在所述相位谱H_1,p中去除第二设定频率阈值以上频率对应的相位，得到相位谱H′_1,p。由于高分辨率图像和每一个视点下的光场图像分别记录的场景位置有所偏移，所以需要在相位谱进行校正。由ω_xΔx+ω_yΔy可知各个方向的相位差随着频率线性增加；把D′_p中与H′_1,p同频率的值置零得到相位谱D″_p，将H′_1,p和D′_p同频率值相减得到相位谱D″′_p，将所述相位谱D″_p与所述相位谱D″′_p相加得到相位谱D″″_p，将D″″_p与H′_1,p线性叠加D″_p+H′_1,p得到最终的相位谱H″_1,p。

S6，将最终幅度谱H″_1,m和最终相位谱H″_1,p傅里叶反变换得到第一个视角下超分辨的光场图像。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (10)

1.一种光场图像的超分辨方法，其特征是，包括如下步骤：

S1，对高分辨率图像D进行傅里叶变换得到幅度谱D_m和相位谱D_p；

S2，对原低分辨率光场图像F_i进行上采样得到与所述高分辨率图像D大小相同的高分辨率视点图H_i，对高分辨率视点图H_i进行傅里叶变换获得幅度谱H_i,m和相位谱H_i,p；

S3，在所述幅度谱D_m中去除第一设定频率阈值以上频率对应的幅度，得到幅度谱D′_m，在所述幅度谱H_i,m中去除第二设定频率阈值以上频率对应的幅度，得到幅度谱H′_i,m；

S4，在所述幅度谱D′_m中将与所述幅度谱H′_i,m对应的部分置零得到幅度谱D″_m，将所述幅度谱H′_1,m与所述幅度谱D″_m线性叠加得到最终的幅度谱H″_1,m；

S5，在所述相位谱D_p中去除第一设定频率阈值以上的频率对应的相位，得到相位谱D′_p，在所述相位谱H_1,p中去除第二设定频率阈值以上频率对应的相位，得到相位谱H′_1,p；

S6，在所述相位谱D′_p中将与所述相位谱H′_1,p同频率的值置零，得到相位谱D″_p，将所述相位谱D′_p中将与所述相位谱H′_1,p同频率的值相减，得到相位谱D″′_p，将所述相位谱D″_p与所述相位谱D″′_p相加得到相位谱D″″_p，将所述相位谱D″″_p和所述相位谱H′_1,p线性叠加得到最终的相位谱H″_1,p；

S7，将所述最终的幅度谱H″_1,m和最终的相位谱H″_1,p傅里叶反变换得到第i个视点的超分辨的光场图像。

2.如权利要求1所述的光场图像的超分辨方法，其特征是，在所述步骤S4中，通过如下算法对所述幅度谱H′_1,m与所述幅度谱D″_m线性叠加：

H″_1,m＝H′_1,m+αD″_m；

其中，α为大于0的系数。

3.如权利要求2所述的光场图像的超分辨方法，其特征是，

M_f和N_f分别表示原低分辨率光场图像F_i的横向分辨率和纵向分辨率，y_fi,j表示原低分辨率光场图像F_i的某个像素j的亮度值，M_d和N_d分别表示高分辨率图像D的横向分辨率和纵向分辨率，y_di,j表示高分辨率图像D中某个像素j的亮度值。

4.如权利要求1所述的光场图像的超分辨方法，其特征是，在所述步骤S6中，通过如下算法对所述相位谱D″″_p和所述相位谱H′_1,p线性叠加：

H″_1,p＝D″″_p+H′_1,p。

5.如权利要求1所述的光场图像的超分辨方法，其特征是，所述原低分辨率光场图像F_i为光场相机获得的图像。

6.一种光场图像的超分辨装置，其特征是，包括如下单元：

第一处理单元，用于对高分辨率图像D进行傅里叶变换得到幅度谱D_m和相位谱D_p；

第二处理单元，用于对原低分辨率光场图像F_i进行上采样得到与所述高分辨率图像D大小相同的高分辨率视点图H_i，对高分辨率视点图H_i进行傅里叶变换获得幅度谱H_i,m和相位谱H_i,p；

第三处理单元，用于在所述幅度谱D_m中去除第一设定频率阈值以上频率对应的幅度，得到幅度谱D′_m，在所述幅度谱H_i,m中去除第二设定频率阈值以上频率对应的幅度，得到幅度谱H′_i,m；

第四处理单元，用于在所述幅度谱D′_m中将与所述幅度谱H′_i,m对应的部分置零得到幅度谱D″_m，将所述幅度谱H′_1,m与所述幅度谱D″_m线性叠加得到最终的幅度谱H″_1，m；

第五处理单元，用于在所述相位谱D_p中去除第一设定频率阈值以上的频率对应的相位，得到相位谱D′_p，在所述相位谱H_1,p中去除第二设定频率阈值以上频率对应的相位，得到相位谱H′_1,p；

第六处理单元，用于在所述相位谱D′_p中将与所述相位谱H′_1,p同频率的值置零，得到相位谱D″_p，将所述相位谱D′_p中将与所述相位谱H′_1,p同频率的值相减，得到相位谱D″′_p，将所述相位谱D″_p与所述相位谱D″′_p相加得到相位谱D″″_p，将所述相位谱D″″_p和所述相位谱H′_1,p线性叠加得到最终的相位谱H″_1,p；

第七处理单元，用于将所述最终的幅度谱H″_1,m和最终的相位谱H″_1,p傅里叶反变换得到第i个视点的超分辨的光场图像。

7.如权利要求6所述的光场图像的超分辨装置，其特征是，在所述第四单元中，通过如下算法对所述幅度谱H′_1,m与所述幅度谱D″_m线性叠加：

H″_1,m＝H′_1,m+αD″_m；

其中，α为大于0的系数。

8.如权利要求7所述的光场图像的超分辨装置，其特征是，

M_f和N_f分别表示原低分辨率光场图像F_i的横向分辨率和纵向分辨率，y_fi,j表示原低分辨率光场图像F_i的某个像素j的亮度值，M_d和N_d分别表示高分辨率图像D的横向分辨率和纵向分辨率，y_di,j表示高分辨率图像D中某个像素j的亮度值。

9.如权利要求6所述的光场图像的超分辨装置，其特征是，在所述第六单元中，通过如下算法对所述相位谱D″″_p和所述相位谱H′_1,p线性叠加：

H″_1,p＝D″″_p+H′_1,p。

10.如权利要求6所述的光场图像的超分辨装置，其特征是，所述原低分辨率光场图像F_i为光场相机获得的图像。