CN112070675B - 一种基于图的正则化光场超分辨率方法和光场显微装置 - Google Patents

Abstract

本发明提供了一种基于图的正则化光场超分辨率方法和光场显微装置，通过将光场的超分辨率问题转化为求解目标函数最小化的问题：建立光场图像的降质模型作为数据保真项；计算微透镜阵列的偏移量，标定微透镜阵列的中心位置；根据偏移量计算当前视图的像素点在其它视图上的投影，计算视图的像素点和对应的投影点的相似度评分；提取光场视图之间的互补信息，进行正则化平滑处理；最后利用正则化平滑，求解目标函数最小化时的高分辨率视图。实现了对所有视图进行超分辨率重构的功能，大幅度提升了所有视图的分辨率，并有效保留了光场结构。

Description

一种基于图的正则化光场超分辨率方法和光场显微装置

技术领域

本发明属于光场成像和图像处理技术领域，具体涉及一种基于图的正则化光场超分辨率方法和光场显微装置。

背景技术

光场显微镜(LFM，Light Field Microscopy)是一种采用计算成像技术的新型立体成像设备，无需扫描便能获得目标物体的3D信息。该设备的核心关键在于其可通过记录光经过样品时的二维空间和角度信息，快速获得目标物体的3D信息。因此，该设备在光学生物成像中具有极佳的应用潜力。当前主流光场显微镜结构及成像算法由Levoy提出，即在传统光学显微镜的中间像面处插入一个微透镜阵列，通过单次曝光便可获得目标物体的四维光场信息。但是，由Levoy所提出的光场显微镜成像算法，是以牺牲空间分辨率为代价增加角度分辨率，这会严重影响最终的成像分辨率，甚至低于原始CCD的分辨率。这个问题大大限制了光场显微镜的应用范围，亟待解决。

通常，光场显微中的空间分辨率，取决于微透镜阵列中单个微透镜的像素个数；在不改变角度分辨率的前提条件下，减小传感器的像素尺寸，可使得单个微透镜对应的像素个数增多，这是增强空间分辨率的最为直接的方法。但传感器像素尺寸减少，带来的是传感器处通光量的减少，非常容易产生尖锐噪声，会使图像质量大幅度下降。因此，在不改变当前光场显微镜头光学结构的前提下，充分利用光场相互间的冗余信息和先验信息，也是增强空间分辨率的一条有效途径。Wanner等人利用结构张量算符，直接从极线斜率上提取每个视差图，在贝叶斯框架下完成了超分辨率重建；这种方法虽然无需知晓精准的相机内部几何关系，但在一定程度上损失了图像的边缘信息，并且每个视图都是单独进行超分辨重构，并没有充分利用视图之间的依赖关系。此外，Yoon等人利用两级卷积神经网络进行超分重建，首先借鉴单帧超分辨率方法对给定的光场视图进行超分重构，然后在超分基础上合成新的高分辨率视图；该方法虽然对于每个视图进行了独立超分重建，但仍旧没有考虑光场结构的影响。

发明内容

本发明要解决的技术问题是：提供一种基于图的正则化光场超分辨率方法和光场显微装置，用于提升所有视图的分辨率，并保留光场结构。

本发明为解决上述技术问题所采取的技术方案为：一种基于图的正则化光场超分辨率方法，包括以下步骤：

S1：搭建光场显微装置，按光的传播路径依次设置聚光镜、显微标本、显微镜、微透镜阵列、相机；

S2：计算微透镜阵列成像的偏移量；

S3：校准微透镜阵列的中心；

S4：根据偏移量计算当前视图的像素点在其它视图上的投影；

S5：计算视图的像素点和对应的投影点的相似度评分；根据相似度评分函数，在相邻两个视图中衡量像素点和它所有的投影点的相似性，定义构造矩阵；

S6：提取光场视图之间的互补信息，进行正则化平滑处理；根据构造矩阵从一个视图中提取其他视图的相应冗余信息用于增强分辨率；

S7：计算目标函数，用最近点迭代算法求目标函数的最小值；判断目标函数是否最小化，若是则结束流程，重构高分辨率视图；若否则执行步骤S4。

按上述方案，所述的步骤S2中，具体步骤为：当视点在主透镜平面时，设主透镜焦距为f₁，微透镜阵列焦距为f₂，单个微透镜孔径直径为D，主透镜面到微透镜阵列间距离为L₁，微透镜阵列到像平面间距离为L₂，视点的高度为H，第k个微透镜中心的位置为h_k，h_k＝(k-1)D，视点对应第k个微透镜的偏移量为Δ_k，视点对应的像素元位置为P_k；根据相似三角形原理得到(1)式：

进一步推出视点对应第k个微透镜的偏移量为：

进一步的，所述的步骤S3中，具体步骤为：

S31：多角度采集光场的白图像；

S32：对白图像进行均值处理；

S33：通过峰值检测计算白图像的中心坐标。

进一步的，所述的步骤S4中，具体步骤为：

S41：根据步骤S2得到的偏移量进行视差估计；

S42：计算视图中像素点在相邻视图中的投影。

进一步的，所述的步骤S41中，具体步骤为：在相邻的两个视图中，视差的变化体现为像素点的平移，则视差确定时，视图u_i中点P在相隔两个视图中的投影确定一个正方形。

进一步的，所述的步骤S42中，具体步骤为：计算视图中像素点在相邻视图中的投影：设矩阵算子S_x ^l表示投影图像在x方向上平移了l个像素，S_y ^m表示投影图像在y方向上平移了m个像素，0＜α＜1为加权系数，则在投影中引入BTV(BilatemlTotal Variation，双边全变差)正则化项为：

根据步骤S2计算的偏移量，确定视图中每个像素相对于其他视图的投影正方形。

进一步的，所述的步骤S5中，具体步骤为：在确定投影以后，设

是一个可调常数，p_s,t(x,y)表示视图u_i中像素点(x,y)的投影正方形，定义以下函数进行像素的相似度评分：

根据相似度评分函数，在相邻两个视图中衡量像素点和它所有的投影点的相似性，定义F_i ^i′矩阵如下：

进一步的，所述的步骤S6中，具体步骤为：

S61：建立光场图像的降质模型作为数据保真项，用于描述图像的退化过程；设第i个视图的低分辨率图像为v_i，光场视图的数量为k，则低分辨率图像为：

设v_i对应的第i个视图的高分辨率图像为u_i；设模糊矩阵为s，用于表示图像采集过程中经历的模糊；设采样矩阵为b，用于表示图像在采集过程中经历的下采样；设附加噪声为n_i，用于表示图像成像过程中的噪声；则光场视图的降质模型为：

v_i＝sbu_i+n_i (3)；

S62：设v_i'为光场中不同于v_i的低分辩率图像；F_i ^i′为构造矩阵，用于提取当前视图在其他视图中冗余信息；则从一个视图中提取其他视图的相应冗余信息即互补信息用于增强其分辨率，对v_i'与u_i的关系建模为：

进一步的，所述的步骤S7中，设δ为视差值，用于表示其可在其他相邻视图中进行同样的操作；则将目标函数表示为：

一种光场显微装置，包括按光的传播路径依次设置的聚光镜、显微标本、显微镜、微透镜阵列、相机。

本发明的有益效果为：

1.本发明的一种基于图的正则化光场超分辨率方法和光场显微装置，通过将光场的超分辨率问题转化为求解目标函数最小化的问题，通过沿定义光场几何结构的光场极线，强制平滑来生成高分辨率视图，实现了对所有视图进行超分辨率重构的功能，大幅度提升了所有视图的分辨率，并有效保留了光场结构。

2.本发明提出了一种利用光场中冗余信息和先验信息的光场超分辨率重构算法，不需要进行大量样本训练，无需使用深度学习方法，也不需要预先知晓相机内部精确的几何关系，减少了消耗的资源。

3.本发明相较于传统方法，用最近点迭代算法对目标函数求最小化，重构出高分辨率视图，具有视差估计计算量较小，图像质量更高的优点。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例的视点和投影关系图。

图3是本发明实施例的光场显微原理图。

图4是本发明实施例的光场显微装置实物图。

图5是本发明实施例的微透镜阵列中心标定图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，本发明的实施例的一种基于图的正则化光场超分辨率方法，包括以下步骤：

S1：参见图2、图3、图4，搭建光场显微装置，按光的传播路径依次设置聚光镜、显微标本、显微镜、微透镜阵列、相机；

S2：计算微透镜阵列成像的偏移量：

当视点在主透镜平面时，设主透镜焦距为f₁，微透镜阵列焦距为f₂，单个微透镜孔径直径为D，主透镜面到微透镜阵列间距离为L₁，微透镜阵列到像平面间距离为L₂，视点的高度为H，第k个微透镜中心的位置为h_k，h_k＝(k-1)D，视点对应第k个微透镜的偏移量为Δ_k，视点对应的像素元位置为P_k；根据相似三角形原理得到(1)式：

进一步推出视点对应第k个微透镜的偏移量为：

S3：参见图5，校准微透镜阵列的中心：

S31：多角度采集光场的白图像；

S32：对白图像进行均值处理；

S33：通过峰值检测计算白图像的中心坐标；

S4：计算视图投影：

S41：根据步骤S2得到的偏移量进行视差估计：在相邻的两个视图中，视差的变化体现为像素点的平移，则视差确定时，视图u_i中点P在相隔两个视图中的投影确定一个正方形；

S42：计算视图中像素点在相邻视图中的投影：设矩阵算子S_x ^l表示投影图像在x方向上平移了l个像素，S_y ^m表示投影图像在y方向上平移了m个像素，0＜α＜1为加权系数，则在投影中引入BTV(BilatemlTotal Variation，双边全变差)正则化项为：

根据步骤S2计算的偏移量，确定视图中每个像素相对于其他视图的投影正方形；

S5：计算相似度评分：

在确定投影以后，设

是一个可调常数，p_s,t(x,y)表示视图u_i中像素点(x,y)的投影正方形，定义以下函数进行像素的相似度评分：

根据相似度评分函数，在相邻两个视图中衡量像素点和它所有的投影点的相似性，定义F_i ^i′矩阵如下：

S6：提取光场视图的互补信息：

S61：图像在成像过程中因为噪声、采样等因素使图像质量下降、导致图像退化称为图像的降质；当进行光场的重构时，建立光场图像的降质模型作为数据保真项，用于描述图像的退化过程；设第i个视图的低分辨率图像为v_i，光场视图的数量为k，则低分辨率图像为：

设v_i对应的第i个视图的高分辨率图像为u_i；设模糊矩阵为s，用于表示图像采集过程中经历的模糊；设采样矩阵为b，用于表示图像在采集过程中经历的下采样；设附加噪声为n_i，用于表示图像成像过程中的噪声；则光场视图的降质模型为：

v_i＝sbu_i+n_i (3)；

S62：光场从不同的视差角度获取场景信息，因此采样时在一个视图中丢失的细节可能保留在另一个视图中；设v_i'为光场中不同于v_i的低分辩率图像；F_i ^i′为构造矩阵，用于提取当前视图在其他视图中冗余信息；则从一个视图中提取其他视图的相应冗余信息即互补信息用于增强其分辨率，对v_i'与u_i的关系建模为：

S7：计算目标函数：设δ为视差值，用于表示其可在其他相邻视图中进行同样的操作；则将目标函数表示为：

用最近点迭代算法求目标函数的最小值；判断目标函数是否最小化，若是则结束流程，重构高分辨率视图；若否则执行步骤S4。

本发明将光场空间超分辨率问题转化为一个求解目标函数最小化问题；参见式(8)，选取的目标函数由三项组成：第一项为数据保真项，第二项为每个视图在其他视图中的补充信息，第三项是基于图的先验知识，通过沿定义光场几何结构的光场极线，强制平滑来生成高分辨率视图。这三项共同组成一个二次型目标函数，进行最小化迭代后，便可得到所有视图的超分辨率重构结果。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种基于图的正则化光场超分辨率方法，其特征在于：包括以下步骤：

S1：搭建光场显微装置，按光的传播路径依次设置聚光镜、显微标本、显微镜、微透镜阵列、相机；

S2：计算微透镜阵列成像的偏移量；

S3：校准微透镜阵列的中心；

S4：根据偏移量计算当前视图的像素点在其它视图上的投影；

S5：计算视图的像素点和对应的投影点的相似度评分；根据相似度评分函数，在相邻两个视图中衡量像素点和它所有的投影点的相似性，定义构造矩阵；

S6：提取光场视图之间的互补信息，进行正则化平滑处理；根据构造矩阵从一个视图中提取其他视图的相应冗余信息用于增强分辨率；

S7：计算目标函数，用最近点迭代算法求目标函数的最小值；判断目标函数是否最小化，若是则结束流程，重构高分辨率视图；若否则执行步骤S4。

2.根据权利要求1所述的超分辨率方法，其特征在于：所述的步骤S2中，具体步骤为：当视点在主透镜平面时，设主透镜焦距为f₁，微透镜阵列焦距为f₂，单个微透镜孔径直径为D，主透镜面到微透镜阵列间距离为L₁，微透镜阵列到像平面间距离为L₂，视点的高度为H，第k个微透镜中心的位置为h_k，h_k＝(k-1)D，视点对应第k个微透镜的偏移量为Δ_k，视点对应的像素元位置为P_k；根据相似三角形原理得到(1)式：

进一步推出视点对应第k个微透镜的偏移量为：

3.根据权利要求2所述的超分辨率方法，其特征在于：所述的步骤S3中，具体步骤为：

S31：多角度采集光场的白图像；

S32：对白图像进行均值处理；

S33：通过峰值检测计算白图像的中心坐标。

4.根据权利要求3所述的超分辨率方法，其特征在于：所述的步骤S4中，具体步骤为：

S41：根据步骤S2得到的偏移量进行视差估计；

S42：计算视图中像素点在相邻视图中的投影。

5.根据权利要求4所述的超分辨率方法，其特征在于：所述的步骤S41中，具体步骤为：在相邻的两个视图中，视差的变化体现为像素点的平移，则视差确定时，视图u_i中点P在相隔两个视图中的投影确定一个正方形。

6.根据权利要求5所述的超分辨率方法，其特征在于：所述的步骤S42中，具体步骤为：计算视图中像素点在相邻视图中的投影：设矩阵算子S_x ^l表示投影图像在x方向上平移了l个像素，S_y ^m表示投影图像在y方向上平移了m个像素，0＜α＜1为加权系数，则在投影中引入BTV正则化项为：

根据步骤S2计算的偏移量，确定视图中每个像素相对于其他视图的投影正方形。

7.根据权利要求6所述的超分辨率方法，其特征在于：所述的步骤S5中，具体步骤为：在确定投影以后，设

是一个可调常数，p_s,t(x,y)表示视图u_i中像素点(x,y)的投影正方形，定义以下函数进行像素的相似度评分：

根据相似度评分函数，在相邻两个视图中衡量像素点和它所有的投影点的相似性，定义F_i ^i′矩阵如下：

8.根据权利要求7所述的超分辨率方法，其特征在于：所述的步骤S6中，具体步骤为：

S61：建立光场图像的降质模型作为数据保真项，用于描述图像的退化过程；设第i个视图的低分辨率图像为v_i，光场视图的数量为k，则低分辨率图像为：

设v_i对应的第i个视图的高分辨率图像为u_i；设模糊矩阵为s，用于表示图像采集过程中经历的模糊；设采样矩阵为b，用于表示图像在采集过程中经历的下采样；设附加噪声为n_i，用于表示图像成像过程中的噪声；则光场视图的降质模型为：

v_i＝sbu_i+n_i (3)；

S62：设v_i'为光场中不同于v_i的低分辩率图像；F_i ^i′为构造矩阵，用于提取当前视图在其他视图中冗余信息；则从一个视图中提取其他视图的相应冗余信息即互补信息用于增强其分辨率，对v_i'与u_i的关系建模为：

9.根据权利要求8所述的超分辨率方法，其特征在于：所述的步骤S7中，设δ为视差值，用于表示其可在其他相邻视图中进行同样的操作；则将目标函数表示为：

10.一种用于执行权利要求1至9中任意一项所述的一种基于图的正则化光场超分辨率方法的光场显微装置，其特征在于：包括按光的传播路径依次设置的聚光镜、显微标本、显微镜、微透镜阵列、相机。

Images