CN105807550B - 反演超高速成像方法 - Google Patents

Abstract

本发明实施例公开了一种反演超高速成像方法。所述方法包括：根据微透镜阵列中的微透镜与子像素之间的对应关系，将探测器采集到的二维图像转换为四维光场数据；通过所述四维光场数据中每个像素点的时间信息反演，得到分别具有不同时间信息的子图像；对各个子图像分别进行数字重聚焦，以得到最为清晰的子图像；按照各自的时间信息的先后顺序将所述最为清晰的子图像进行排列，得到时间顺序的子图像序列。本发明实施例提供的反演超高速成像方法实现了具有较高空间分辨率的超高速成像。

Description

反演超高速成像方法

技术领域

本发明实施例涉及超高速摄影技术领域，尤其涉及一种反演超高速成像方法。

背景技术

高速成像技术在国防，航空和制造等领域的应用及其广泛。随着应用对摄影频率的要求越来越高，高速成像技术难度也越来越大。目前在新型的超高速成像领域上采用的技术主要有全光式高速成像和扫描高速成像等。

如日本一位教授研制的全光式高速设备，先利用空间光调制器把啁啾脉冲调制成系列子脉冲，再用啁啾脉冲的啁啾特性对时间进行编码，然后利用台阶式潜望镜解码，把不同时刻的图像成像在探测器的不同位置，从而实现高速摄影。再如华盛顿大学研发的压缩超快摄影技术，根据压缩传感原理，用数字微镜(DMD)对瞬态事件的时空信息进行编码，通过狭缝一次扫描成像后再用TwIST法对记录的信息进行解码得到不同时刻的图像，实现高速成像。

日本的全光式高速摄影技术在瞬态信息编码和解编码的过程中用到不同的光学元件，光学结构复杂，操作困难，抗干扰能力比较低，只能在实验室实现。华盛顿大学的压缩传感高速摄影技术得到的图像的空间分辨很低，信噪比低，得到的图像信息误差大。

发明内容

针对上述技术问题，本发明实施例提供了一种反演超高速成像方法，以实现高空间分辨率的超高速成像。

本发明实施例提供了一种反演超高速成像方法，所述方法包括：

根据微透镜阵列中的微透镜与子像素之间的对应关系，将探测器采集到的二维图像转换为四维光场数据，其中，所述微透镜阵列位于所述探测器及主透镜之间；

通过所述四维光场数据中每个像素点的时间信息反演，得到分别具有不同时间信息的子图像；

对各个子图像分别进行数字重聚焦，以得到最为清晰的子图像；

按照各自的时间信息的先后顺序将所述最为清晰的子图像进行排列，得到时间顺序的子图像序列。

进一步的，根据微透镜阵列中的微透镜与子像素之间的对应关系，将探测器采集到的二维图像转换为四维光场数据包括：

通过两平面参数化，将所述探测器采集到的二维图像转换为四维光场数据。

进一步的，通过所述四维光场数据中每个像素点的时间信息反演，得到分别具有不同时间信息的子图像包括：

通过对所述四维光场数据的切片，获取一组外极面图像EPI；

通过检测所述EPI中直线的斜率，获取所述四维光场数据中不同瞬态的分布信息；

根据所述四维光场数据中不同瞬态的分布信息，划分具有不同时间信息的子图像。

进一步的，通过检测所述EPI中直线的斜率，获取所述四维光场数据中不同瞬态的分布信息包括：

利用多尺度高斯卷积检测法检测所述直线的斜率，以获取所述四维光场数据中不同瞬态的分布信息。

进一步的，利用多尺度高斯卷积检测法检测所述直线的斜率，以获取所述四维光场数据中不同瞬态的分布信息包括：

利用改进型的高斯内核的二阶导对所述EPI进行一维卷积处理，得到光场尺度和深度空间数据；

从所述光场尺度和所述深度空间数据的极值点中得到所述EPI中每条直线的斜率；

根据直线的斜率，计算出所述EPI中对应点的时间信息；

重复执行上述步骤，直至所有EPI中的数据点均具有了自身的时间信息。

进一步的，所述改进型的高斯内核为：

其中，σ为所述光场尺度数据，为所述深度空间数据，为所述改进型的高斯内核，x为所述高斯内核的横坐标，u为所述高斯内核的纵坐标。

进一步的，所述一维卷积处理为：

(I*N)(x,u)|_u＝0＝∫∫I(x-x',-u')·N(x',u')dx' du'

其中，I为所述EPI，x为所述EPI中的像素横坐标，u为所述EPI中的像素纵坐标，N为所述改进型的高斯内核的二阶导。

进一步的，所述一维卷积处理的目标函数为：

其中，σ为所述光场尺度数据，为所述深度空间数据，x为所述高斯内核的横坐标，u为所述高斯内核的纵坐标，为所述改进型的高斯内核。

进一步的，所述时间信息根据如下公式计算得到：

其中，F为主镜头焦距，f为探测器与主镜头之间的距离，为所述EPI中直线的斜率，n为子像素的个数，d为所述微透镜的直径，D为所述主透镜的孔径，c为光速。

本发明实施例提供的反演超高速成像方法，通过根据微透镜阵列中的微透镜与子像素之间的对应关系，将探测器采集到的二维图像转换为四维光场数据，通过所述四维光场数据中每个像素点的时间信息反演，得到分别具有不同时间信息的子图像，对各个子图像分别进行数字重聚焦，以得到最为清晰的子图像，按照各自的时间信息的先后顺序将所述最为清晰的子图像进行排列，得到时间顺序的子图像序列，实现了高空间分辨率的超高速成像。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施例提供的光场记录系统的光路图；

图2是本发明第一实施例提供的反演超高速成像方法的流程图；

图3是本发明第一实施例提供的数字重聚焦的原理示意图；

图4是本发明第二实施例提供的反演超高速成像方法中时间信息反演的流程图；

图5是本发明第二实施例提供的反演过程的原理示意图；

图6是本发明第三实施例提供的时间信息反演中瞬态检测的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

第一实施例

本实施例提供了反演超高速成像方法的一种技术方案。所述反演超高速成像方法由具有特定结构的光场记录系统执行。图1示出了所述光场记录系统。参见图1，所述光场记录系统包括主透镜11、微透镜阵列12以及探测器13。所述探测器13是图像探测器。具体的，所述探测器13可以是CCD型图像探测器，也可以是CMOS型图像探测器。所述微透镜阵列12设置与所述主透镜11及所述探测器13之间的位置上。

参见图2，所述反演超高速成像方法包括：

S21，根据微透镜阵列中的微透镜与子像素之间的对应关系，将探测器采集到的二维图像转换为四维光场数据。

可以理解的是，在所述探测器的探测表面上，每个子像素都与所述微透镜阵列中的一个微透镜之间存在着对应关系。基于上述的对应关系，可以将由所述探测器采集到的二维图像I(x′,y′)转化为四维光场数据L(x,y,u,v)。其中x′是所述探测器的图像探测面上的横坐标，y′是所述探测器的图像探测面上的纵坐标，x是主透镜平面的横坐标，y是主透镜平面的纵坐标，u是微透镜阵列平面的横坐标，而v是微透镜阵列平面的纵坐标。

具体的，可以通过两平面参数化实现由二维图像到四维光场数据之间的转换。

S22，通过所述四维光场数据中每个像素点的时间信息反演，得到分别具有不同时间信息的子图像。

在所述四维光场中，不同的数据对应于不同的拍摄时刻。因此，可以通过时间信息反演，求得不同数据所对应的拍摄时刻，进而将具有相同拍摄时刻，也就是时间信息的数据组织起来，形成一组子图像。这组子图像就是分别具有不同时间信息的子图像。

具体的，通过从所述四维光场数据中提取外极面图像(Epipolar plane image，EPI)，再检测不同EPI中的直线斜率的方式，进行上述的时间信息反演的操作。

S23，对各个子图像分别进行数字重聚焦，以得到最为清晰的子图像。

经过操作S22获取到的子图像的清晰度通常不高，为了获得更高的空间分辨率，需要对各个子图像进行数字重聚焦。

光场成像技术中，利用添加微透镜阵列的方式额外记录了物体发出光线的方向信息，为后期的图像处理带来了更多的可能。通过光线追踪、反演，可以计算出聚焦在不同深度的图像，这种方式被称为数字重聚焦。图3是数字重聚焦原理的二维切面图像。参见图3，光线在探测器上的几何位置α、光线在重聚焦面上的几何位置β、探测器与主透镜之间的距离x，及重聚焦面与主透镜之间的距离y之间满足如下关系式：

S24，按照各自的时间信息的先后顺序将所述最为清晰的子图像进行排列，得到时间顺序的子图像序列。

经过数字重聚焦，已经形成了在各个瞬态下最为清晰的，也就是空间分辨率最高的子图像。将这些子图像按照各自的时间信息进行时间的顺序排列，就得到了按照时间顺序的，具有极高空间分辨率的子图像序列，从而完成了本实施例提供的反演超高速成像方法的全过程。

本实施例通过四维光场数据转换、时间信息反演、数字重聚焦及子图像序列形成几个步骤，有效的利用了微透镜阵列提供的冗余图像信息，提高了超高速成像所获得的子图像的空间分别率。

第二实施例

本实施例以本发明上述实施例为基础，进一步的提供了反演超高速成像方法中时间信息反演的一种技术方案。具体的，在该技术方案中，通过所述四维光场数据中每个像素点的时间信息反演，得到分别具有不同时间信息的子图像包括：通过对所述四维光场数据的切片，获取一组EPI；通过检测所述EPI中直线的斜率，获取所述四维光场数据中不同瞬态的分布信息；根据所述四维光场数据中不同瞬态的分布信息，划分具有不同时间信息的子图像。

参见图4，通过所述四维光场数据中每个像素点的时间信息反演，得到分别具有不同时间信息的子图像包括：

S41，通过对所述四维光场数据的切片，获取一组EPI。

具体的，是将所述四维光场数据L(x,y,u,v)通过切片，转换为EPI E(x,u)及E(y,v)。需要说明的是，在所述EPI中，不同的直线斜率对应在所述四维光场数据中不同的瞬态。

S42，通过检测所述EPI中直线的斜率，获取所述四维光场数据中不同瞬态的分布信息。

由于在所述EPI中不同的直线斜率对应着所述四维光场数据中不同的瞬态，因此，可以通过检测所述EPI中直线的斜率，获取所述四维光场数据中不同瞬态的分布信息。

图5示出了这种反演过程的原理。参见图5，自由空间中不同瞬态的场景51，在通过主透镜52及微透镜阵列53的映射之后，在探测器平面54上对应于具有不同斜率的直线55。经过对光场数据的反演之后，能够从所述具有不同斜率的直线55中恢复出原始自由空间中不同瞬态的场景56。而且，这些场景分别对应于不同的时间信息。

S43，根据所述四维光场数据中不同瞬态的分布信息，划分具有不同时间信息的子图像。

有了所述四维光场数据中不同瞬态的分部信息，可以根据所述分部信息，从所述四维光场数据中划分出具有不同时间信息的子图像。

本实施例通过对所述四维光场数据的切片，获取一组EPI，通过检测所述EPI中直线的斜率，获取所述四维光场数据中不同瞬态的分布信息，根据所述四维光场数据中不同瞬态的分布信息，划分具有不同时间信息的子图像，从而实现了对具有不同时间信息的子图像的划分。

第三实施例

本实施例以本发明上述实施例为基础，进一步的提供了所述时间信息反演中瞬态检测的一种技术方案。具体的，利用多尺度高斯卷积检测法检测所述直线的斜率，以获取所述四维光场数据中不同瞬态的分布信息包括：利用改进型的高斯内核的二阶导对所述EPI进行一维卷积处理，得到光场尺度和深度空间数据；从所述光场尺度和所述深度空间数据的极值点中得到所述EPI中每条直线的斜率；根据直线的斜率，计算出所述EPI中对应点的时间信息；重复执行上述步骤，直至所有EPI中的数据点均具有了自身的时间信息。

参见图6，利用多尺度高斯卷积检测法检测所述直线的斜率，以获取所述四维光场数据中不同瞬态的分布信息包括：

S61，利用改进型的高斯内核的二阶导对所述EPI进行一维卷积处理，得到光场尺度和深度空间数据。

通过改进型的高斯内核的二阶导数对所述EPI进行一维卷积处理，能够得到光场尺度和深度空间数据。

其中，所述改进型的高斯内核函数由如下公式给出：

在上式中，σ表示所述光场尺度数据，表示所述深度空间数据，表示所述改进型的高斯内核，x表示所述高斯内核的横坐标，u表示所述高斯内核的纵坐标。

与传统的高斯内核函数的不同之处在于，经典的二维高斯函数中指数的分母是x²+u²，图像是一个中心值最高的圆斑，改进型的是(x+u)²，图像是一条中心值最高的直线，相当于把经典的高斯图像朝一个方向无限平移划过而得到的图像，就是这个方向。

所述一维卷积处理的过程可以有如下公式给出：

(I*N)(x,u)|_u＝0＝∫∫I(x-x',-u')·N(x',u')dx' du'

上式中，I为所述EPI，x为所述EPI中的像素横坐标，u为所述EPI中的像素纵坐标，N为所述改进型的高斯内核的二阶导。一维卷积处理是计算成像中用来检测直线斜率的方法，这里引用来实现时间反演。

所述目标函数为：

其中，σ为所述光场尺度数据，为所述深度空间数据，x为所述高斯内核的横坐标，u为所述高斯内核的纵坐标，为所述改进型的高斯内核。

S62，从所述光场尺度和所述深度空间数据的极值点中得到所述EPI中每条直线的斜率。

从所述光场尺度和所述深度空间数据中的极值点，可以计算出所述EPI中每条直线的斜率。

S63，根据直线的斜率，计算出所述EPI中对应点的时间信息。

所述EPI中不同的直线斜率对应于所述四维光场数据中不同的瞬态，因此，根据所述直线斜率，能够计算出所述EPI中对应点的时间信息。

具体的，所述对应点的时间信息可以根据如下公式计算：

其中，F为主镜头焦距，f为探测器与主镜头之间的距离，为所述EPI中直线的斜率，n为所述微透镜对应的子像素个数，d为所述微透镜的直径，D为所述主透镜的孔径，c为光速。

S64、重复执行S61至S63，直至所有EPI中的数据点均具有了自身的时间信息。

对不同的EPI，重复执行S61至S63的步骤，直至所有的EPI中蕴含的时间信息均被计算得到。

本实施例通过计算光场尺度和深度空间信息，计算直线斜率，以及计算不同直线斜率对应的时间信息，从所述四维光场中反演除了不同瞬态的分布信息，为不同子图像的划分提供了基础。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种反演超高速成像方法，其特征在于，包括：

根据微透镜阵列中的微透镜与子像素之间的对应关系，将探测器采集到的二维图像转换为四维光场数据，其中，所述微透镜阵列位于所述探测器及主透镜之间；

通过所述四维光场数据中每个像素点的时间信息反演，得到分别具有不同时间信息的子图像；

对各个子图像分别进行数字重聚焦，以得到最为清晰的子图像；

按照各自的时间信息的先后顺序将所述最为清晰的子图像进行排列，得到时间顺序的子图像序列；

其中，通过所述四维光场数据中每个像素点的时间信息反演，得到分别具有不同时间信息的子图像包括：

通过对所述四维光场数据的切片，获取一组外极面图像EPI；

通过检测所述EPI中直线的斜率，获取所述四维光场数据中不同瞬态的分布信息；

根据所述四维光场数据中不同瞬态的分布信息，划分具有不同时间信息的子图像。

2.根据权利要求1所述的方法，其特征在于，根据微透镜阵列中的微透镜与子像素之间的对应关系，将探测器采集到的二维图像转换为四维光场数据包括：

通过两平面参数化，将所述探测器采集到的二维图像转换为四维光场数据。

3.根据权利要求1所述的方法，其特征在于，通过检测所述EPI中直线的斜率，获取所述四维光场数据中不同瞬态的分布信息包括：

利用多尺度高斯卷积检测法检测所述直线的斜率，以获取所述四维光场数据中不同瞬态的分布信息。

4.根据权利要求3所述的方法，其特征在于，利用多尺度高斯卷积检测法检测所述直线的斜率，以获取所述四维光场数据中不同瞬态的分布信息包括：

利用改进型的高斯内核的二阶导对所述EPI进行一维卷积处理，得到光场尺度和深度空间数据；

从所述光场尺度和所述深度空间数据的极值点中得到所述EPI中每条直线的斜率；

根据直线的斜率，计算出所述EPI中对应点的时间信息；

重复执行上述步骤，直至所有EPI中的数据点均具有了自身的时间信息。

5.根据权利要求4所述的方法，其特征在于，所述改进型的高斯内核为：

其中，σ为所述高斯内核标准差，为所述深度空间数据，为所述改进型的高斯内核，x为所述高斯内核的横坐标，u为所述高斯内核的纵坐标。

6.根据权利要求4所述的方法，其特征在于，所述一维卷积处理为：

(I*N)(x,u)|_u＝0＝∫∫I(x-x',-u')·N(x',u')dx'du'

其中，I为所述EPI，x为所述EPI中的像素横坐标，u为所述EPI中的像素纵坐标，N为所述改进型的高斯内核的二阶导。

7.根据权利要求4所述的方法，其特征在于，所述一维卷积处理的目标函数为：

其中，σ为所述高斯内核标准差，为所述深度空间数据，x为所述高斯内核的横坐标，u为所述高斯内核的纵坐标，为所述改进型的高斯内核，s为所述光场尺度参数。

8.根据权利要求4所述的方法，其特征在于，所述时间信息根据如下公式计算得到：

其中，F为主镜头焦距，f为探测器与主镜头之间的距离，为所述EPI中直线的斜率，n为子像素的个数，d为所述微透镜的直径，D为所述主透镜的孔径，c为光速。