CN105844589A - 一种基于混合成像系统的实现光场图像超分辨的方法 - Google Patents

Abstract

本发明涉及一种基于混合成像系统的实现光场图像超分辨的方法，属于光场成像领域。该方法通过引入一张额外的高分辨普通图像解决了手持式光场相机空间分辨率低下的问题。它首先将场景中的点进行分成两类，第一类点对应的像素出现在光场相机所有的视点中，剩下的点归为另一类。对于第一类点，采用改善的块匹配超分辨，第二类点用字典学习超分辨。最后将两种超分辨的结果整合起来，可以得到一张清晰的高分辨图像。

Description

一种基于混合成像系统的实现光场图像超分辨的方法

技术领域

本发明涉及光场成像领域，特别涉及一种基于混合成像系统的实现光场图像超分辨的方法。

背景技术

光场成像一直就是计算摄像学研究的热点，它不仅能够应用于三维重建，而且在识别等人工智能领域也有诸多应用。特别是自从Ng提出了一种手持式光场相机之后，更是把光场成像推上了热浪的漩涡之中。但是光场采集在实际当中仍然存在诸多问题，其中最基本的问题是在传感器单元数目有限的情况下，如何折衷光场的空间分辨率和角度分辨率。

如何权衡空间分辨率和角度分辨率，之前有很多工作者从硬件基础入手对此进行研究，但是始终没有找到合适的解决办法。因此，在目前的工艺水平下，只能求助于算法，来解决手持式光场相机空间分辨率低下的问题。

目前已知的实现光场图像超分辨的方法主要分为三大类。第一类是基于先验知识或者模型通过数学分析推导，实现超分辨。Levin等人首先将基于贝叶斯的框架应用到光场上。与此同时，Bishop也在贝叶斯框架下，利用Lambertian和纹理先验信息建立了一个精确的图像公式。随后Kaushik Mitra使用高斯混合模型对光场图像的patches建模，通过贝叶斯推断获得一个高分辨率的光场。虽然说先验知识在超分辨率至关重要，但是它只能给出定性的概念，无法给出定量的描述。所以在使用过程中可以得到一定的效果，但是如果仅仅靠先验知识是无法得到显著的效果。第二种方法是目前较为流行的字典学习超分辨。字典学习方法的主要步骤分为两步：一是训练，二是重构。先用一组训练集按照某个约束训练出一对字典，然后求出已知低分辨光场图像的低分辨率字典的稀疏表示，利用这个稀疏系数和高分辨率字典重构出高分辨率光场图像。字典学习超分辨虽然可以实现较好的效果，但是它的超分辨倍数有限，对于光场中需要超分辨到较大的倍数效果一般。第三种方法是基于混合成像系统的超分辨方法。对于目前民用的手持式光场相机而言，由于相机本身空间有限，不能容纳太多的传感器单元，所以要获得角度分辨率就必然以牺牲空间分辨率为代价。

发明内容

本发明的目的在于提供一种基于混合成像系统的实现光场图像超分辨的方法，解决分辨率低的问题。

为此，本发明提出的1、一种基于混合成像系统的实现光场图像超分辨的方法，其特征在于包括如下步骤：S1、分析场景中的点，对场景中的点进行分类：对于那些没有高光没有遮挡能够出现在光场相机所有视点中的点，将其分到第一类中，对于那些出现遮挡或者是存在高光的情况的点，将其分到第二类中；S2、对于第一类中的点，利用改善过的块匹配方法将其超分辨到指定的分辨率；S3、对于第二类中的点，利用字典学习的方法超分辨到与步骤S2同样的分辨率；S4、结合步骤S2和步骤S3拼接出一张完整的高分辨的光场图像。

本发明的优点在于，本方法通过引入一张高分辨率的普通图像，结合块匹配和字典学习两种不同的手段，实现了光场图像空间分辨率显著提高。

附图说明

图1是本发明实施例在分类过程中计算L₂示意图。

图2是本发明实施例改善的块匹配操作示意图。

具体实施方式

本实施例提供了一种基于混合成像系统的提高光场空间分辨率的方法。本方法通过引入一张高分辨率的普通图像，结合块匹配和字典学习两种不同的手段，实现了光场图像空间分辨率显著提高。包括以下几个步骤：1)分析场景中的点，对场景中的点进行分类。对于那些没有高光没有遮挡能够出现在光场相机所有视点中的点，将其分到第一类中，对于那些出现遮挡或者是存在高光的情况的点，将其分到第二类中。2)对于第一类中的点，利用改善过的块匹配方法将其超分辨到指定的分辨率。3)对于第二类中的点，利用字典学习的方法超分辨到与步骤2)同样的分辨率。4)结合步骤2)和步骤3)拼接出一张完整的高分辨的光场图像。

下面进行具体说明：

1、空间点的分类：

光场图像用大写的F表示，F_j表示光场中第j个视点的图像(j为正整数)，高分辨率图像用H表示。H的空间分辨率是F_j的N倍。如附图1所示，图中，“光场图像”，在本文指的是用lytro光场相机拍摄的数据，可以分解出不同视点的图像，“高分辨图像”是指用单反相机拍摄的与lytro相机相同场景的图像，左边的小黑方框是从光场相机获得的数据中某一个视点下取得小patch，然后计算它的特征值(可以计算它的一阶和二阶梯度，此处我们计算它的傅里叶变换)；右边大黑方框是从高分辨图像对应位置取得的patch，然后下采样(此处用bi‐cubic下采样)，计算它的特征；boominthan提出了这个算法，所以此处文中使用这个人名指代这个算法，利用此算法，我们先得到一个初步的结果，也就是左边第二个小黑方框，和右边匹配上的小黑方框，然后把小黑方框中的矩阵数据拉成向量处理，计算他们的欧式距离(即2范数)。

先从F_j提取n个patches(块)，记为{p_i,j}_{i＝1,2,...，n}。接着对于每一个p_i,j，从高分辨率图像H中搜索最佳的匹配块，其中，具体步骤如下：

1)计算搜索半径dist。以光场中第j个视点的图像的第i个patch p_i,j为例，先计算它水平上的一阶梯度、二阶梯度和垂直上的一阶梯度、二阶梯度，然后求这个梯度的平均值grad，按照先验公式：

dist(|grad|)＝β₁+β₂·exp(|grad|/10)

其中，

${\mathrm{\β}}_1\left(NN\right)=5\·{10}^{-3}NN+0.09\sqrt{NN}-0.044$

${\mathrm{\β}}_2\left(NN\right)=7.3\·{10}^{-4}NN+0.3235\sqrt{NN}-0.35$

此处NN为要搜索最近邻的个数，是自己设定的一个参数，本例中设为9。可以计算出与patch p_i,j对应的搜索半径。

2)先把高分辨率图像H分块，记为{p_h,i}，其中p_h,i的空间分辨率是p_i,j的N倍。然后将其下采样N倍得到对应的低分辨率的patches，记为{p_l,i}。

3)对于p_i,j，按照搜索半径dist从{p_l,i}中搜索到最佳的匹配块，记为

根据上述三个步骤可计算出最佳匹配块。按照之前对于第一类的定义可知，第一类的patches所包含的信息必然可以在高分辨率图像H中可以直接找到，所以p_i,j与之间的二范数L₂非常小；而第二类的patches恰恰相反，其二范数相比较而言，比较大。所以，按照如下公式将{p_i,j}_{i＝1,2,…，n}分为两类：

$A_1=\left\{p_{i,j}\right|{||p_{i,j}-{\hat{p}}_{i,j}||}_2<{\mathrm{\&alpha;}}_j{\mathrm{\&sigma;}}_j\}$

$A_2=\left\{p_{i,j}\right|{||p_{i,j}-{\hat{p}}_{i,j}||}_2\&GreaterEqual;{\mathrm{\&alpha;}}_j{\mathrm{\&sigma;}}_j\}$

其中，α_j是一个系数，反映了一个场景中的遮挡高光等特征。σ_j是所有patches对的二范数的标准差。

2、改善之后的块匹配(对第一类的点)：

由于所有patches进行傅里叶变换之后，主要包含的是直流信息，其他频率的信息所占的比例太少，为了突出其他频率的信息，首先对它们去均值，去均值就是对一个patch求均值，然后再用这个patch的每个像素值减去这个均值。在第2步中，对第一类点去均值，且对{p_l,i}去均值。这一部分主要是对第一类的patches进行超分辨，为了区分，记这些patches为将这些patches与在第一部分求得的对应的最佳匹配块组成patches对。首先对计算其傅里叶变换，记为接着对它的最佳匹配块进行傅里叶变换，记为尽管是的最佳匹配块，但是它们之间匹配的仍然不是特别好。它们的幅度谱近似相等，但是相位谱有点差异。如附图2所示，图2中，左图“光场中的某一个视点”，同图1，使我们从lytro拍摄的数据中提取的某一个视点的图像，其中的小白方框是一个patch，右图“高分辨图像”也同图1，其中白边的大方框是搜索范围，它右边的自适应搜索半径这个方框是给出的注释，中间的较大的黑方框是采用boominthan方法正在搜索的patch；左边标记具有斜纹的方框就是上面的小黑方框单独拿出来，右边标记方框是采用boominthan方法搜索到的匹配块；所谓的纹理相似是指它们的内容一样，只是存在平移变换和旋转变换(这两者合称反射变换)，纹理是图像处理这一领域的术语。

在时域内，需要旋转和平移才能与更好地匹配。因为在这里使用的相机是lytro相机，它的视角非常小，所以可以忽略掉旋转角。Δx和Δy分别表示水平和垂直上的像素偏移，可知和满足如下公式：

$p_{i,j}^1(x,y)={\hat{p}}_{i,j}^1(x+\mathrm{\&Delta;}x,y+\mathrm{\&Delta;}y)$

根据相位平移理论可得：

$p_{i,j}^1(x,y)=F^{-1}\left\{F\right\{{\hat{p}}_{i,j}^1(x,y)\left\}{e}^{2\mathrm{\&pi;}i(\mathrm{\&Delta;}x+\mathrm{\&Delta;}y)}\right\}$

因此可求得相应的像素偏移Δx和Δy。对于需要重构的高分辨patches和对应的高分辨率patch它们之间的像素偏移为N×Δx和N×Δy。由此可计算出

$P_{i,j}^{1h}(x,y)=F^{-1}\left\{F\right\{{\hat{P}}_{i,j}^{1h}(x,y)\left\}{e}^{2\mathrm{\&pi;}i(N\mathrm{\&Delta;}x+N\mathrm{\&Delta;}y)}\right\}$

至此已经获得高分辨率的patch(在最后一步利用这些patch，就能实现了超分辨到指定的分辨率了)

3、基于字典学习的方法：

对于第二类的patches，采用字典学习的方法将其超分辨。首先对高分辨率图像H下采样N倍，然后上采样N倍，得到一张相对比较模糊的图像，记为H′。然后把H和H′图像对作为训练数据集训练出一个字典，训练的方法如下：通过解下面这个稀疏编码等式：

$D=\arg \underset{D\mathrm{\&alpha;}}{min}{||T-D\mathrm{\&alpha;}||}_2^2+\mathrm{\&lambda;}{||\mathrm{\&alpha;}||}_1$

其中D＝{D_h,D_l}是训练完的字典(D＝{D_h,D_l}(这种写法表示字典中的低分辨率patches和高分辨率patches是一一对应的)，它是由高分辨率和低分辨率字典组成，T是训练数据集，α是稀疏系数。先记第二类patches为在重构阶段，对于每一个patches找到它低分辨字典D_l的稀疏表示，然后再结合高分辨率字典D_h求出它对应的高分辨率patch具体操作就是优化下面这个等式：

$\mathrm{\&beta;}=\arg \underset{\mathrm{\&beta;}}{min}{||p_{i,j}^2-D_l\mathrm{\&beta;}||}_2^2+\mathrm{\&lambda;}{||\mathrm{\&beta;}||}_1$

求出β之后，再用β乘以高分辨率字典D_h，即可得(这就是高分辨patch)。

综合步骤2和步骤3可对所有patches超分辨，然后再进行整合(就是把之前的高分辨patches拼接)即可得一张完整的某个视点的图像。

本实施例利用混合成像系统解决分辨率低下的问题，一方面用手持式光场相机采集低分辨率的光场图像，另一方面用单反相机采集高分辨率的普通图像，并且通过相应的算法把这两者结合起来，就可以获得高分辨率的光场图像。

本实施例至少具有如下实质性特点：

1、在光场超分辨领域，我们对场景中的点进行了分类，并且给出了分类的标准。

2、在块匹配的基础上，我们首先加入了搜索半径自适应的方法。

3、其次，在傅里叶域对最佳匹配块做了仿射变换，使其效果进一步得到提高。

4、提出了将块匹配和字典学习结合的框架。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效装置或等效方法变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于混合成像系统的实现光场图像超分辨的方法，其特征在于包括如下步骤：

S1、分析场景中的点，对场景中的点进行分类：对于那些没有高光没有遮挡能够出现在光场相机所有视点中的点，将其分到第一类中；对于那些出现遮挡或者是存在高光的情况的点，将其分到第二类中；

S2、对于第一类中的点，利用块匹配方法将其超分辨到指定的分辨率；

S3、对于第二类中的点，利用字典学习的方法超分辨到与步骤S2同样的分辨率；

S4、结合步骤S2和步骤S3拼接出一张完整的高分辨的光场图像。

2.如权利要求1所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于步骤S1中对场景中的点进行分类的方法包括如下步骤：

S11、计算搜索半径dist；

S12、先把高分辨率图像H分块，记为{p_h,i}，其中p_h,i的空间分辨率是p_i,j的N倍；然后将其下采样N倍得到对应的低分辨率的patches，记为{p_l,i}；

S13、对于p_i,j，按照搜索半径dist从{p_l,i}中搜索到最佳的匹配块，记为

S14、按照如下公式将{p_i,j}_{i＝1,2,…，n}分为两类：

$A_1=\left\{p_{i,j}\right|\left|\right|p_{i,j}-{\hat{p}}_{i,j}|{|}_2<{\mathrm{\&alpha;}}_j{\mathrm{\&sigma;}}_j\}$

$A_1=\left\{p_{i,j}\right|\left|\right|p_{i,j}-{\hat{p}}_{i,j}|{|}_2\&GreaterEqual;{\mathrm{\&alpha;}}_j{\mathrm{\&sigma;}}_j\}.$

3.如权利要求1所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于步骤S2中，对于第一类中的点，利用块匹配方法将其超分辨到指定的分辨率的方法包括如下步骤：

针对第一类的点，将其patches记为将这些patches与在第一部分求得的对应的最佳匹配块组成patches对；首先对计算其傅里叶变换，记为接着对它的最佳匹配块进行傅里叶变换，记为 和满足如下公式：

$p_{i,j}^1(x,y)={\hat{p}}_{i,j}^1(x+\mathrm{\&Delta;}x,y+\mathrm{\&Delta;}y)$

根据相位平移理论可得：

$p_{i,j}^1(x,y)=F^{-1}\left\{F\right\{{\hat{p}}_{i,j}^1(x,y)\left\}{e}^{2\mathrm{\&pi;}i(\mathrm{\&Delta;}x+\mathrm{\&Delta;}y)}\right\}$

因此可求得相应的像素偏移Δx和Δy，Δx和Δy分别表示水平和垂直上的像素偏移，对于需要重构的高分辨patches和对应的高分辨率patch它们之间的像素偏移为N×Δx和N×Δy；由此可计算出

$P_{i,j}^{1h}(x,y)=F^{-1}\left\{F\right|{\hat{P}}_{i,j}^{1h}(x,y)\}{e}^{2\mathrm{\&pi;}i(N\mathrm{\&Delta;}x+N\mathrm{\&Delta;}y)}\}.$

4.如权利要求1所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于步骤S3中，对于第二类中的点，利用字典学习的方法超分辨到与步骤S2同样的分辨率的方法包括如下步骤：首先对高分辨率图像H下采样N倍，然后上采样N倍，得到一张相对比较模糊的图像，记为H′；然后把H和H′图像对作为训练数据集训练出一个字典；记第二类patches为在重构阶段，对于每一个patches找到它低分辨字典D_l的稀疏表示，然后再结合高分辨率字典D_h求出它对应的高分辨率patch

5.如权利要求4所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于：对于每一个patches求出它对应的高分辨率patch具体操作就是优化下面这个等式：

$\mathrm{\&beta;}=\arg \underset{\mathrm{\&beta;}}{min}\left|\right|p_{i,j}^2-D_l\mathrm{\&beta;}|{|}_2^2+\mathrm{\&lambda;}|\left|\mathrm{\&beta;}\right|{|}_1$

求出β之后，再用β乘以高分辨率字典D_h，即可得

6.如权利要求4所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于，训练出一个词典的训练的方法如下：通过解下面这个稀疏编码等式：

$D=\arg \underset{D\mathrm{\&alpha;}}{min}\left|\right|T-D\mathrm{\&alpha;}|{|}_2^2+\mathrm{\&lambda;}|\left|\mathrm{\&alpha;}\right|{|}_1$

其中D＝{D_h,D_l}是训练完的字典，它是由高分辨率和低分辨率字典组成，T是训练数据集，α是稀疏系数。

7.如权利要求1所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于步骤S4中，结合步骤S2和步骤S3拼接出一张完整的高分辨的光场图像的方法包括如下步骤：把步骤S2和步骤S3所得到的高分辨patches拼接。