CN115375586B

CN115375586B - 一种强湍流图像清晰化方法、装置、计算机设备和介质

Info

Publication number: CN115375586B
Application number: CN202211302012.0A
Authority: CN
Inventors: 王彦; 韩凯; 来文昌; 梦琪; 崔文达; 雷国忠
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2022-10-24
Filing date: 2022-10-24
Publication date: 2022-12-20
Anticipated expiration: 2042-10-24
Also published as: CN115375586A

Abstract

本申请涉及一种强湍流图像清晰化方法、装置、计算机设备和存储介质。所述方法包括：通过检测光场图像中的可用特征点得到梯度特征点图；遍历光场图像，找到对同一物点成像的所有子孔径，并根据这些子孔径建立虚拟哈特曼圆域，并重构波前相位和聚焦像素坐标；将波前相位作为聚焦型光场相机聚焦成像的依据，由插值法计算全视场相位场图谱；根据相位场图谱逐像素计算每个聚焦像素对应的子孔径及子孔径像点位置，将子孔径像点像素值相加填到聚焦图像中对应的像素位置。本发明方法不依赖先验知识，具有很强的自适应特性，为解决大口径望远镜远距离目标观测时的清晰成像问题提供了一种新的高效手段。

Description

一种强湍流图像清晰化方法、装置、计算机设备和介质

技术领域

本申请涉及自适应光学领域，特别是涉及一种强湍流图像清晰化方法、装置、计算机设备和介质。

背景技术

受大气湍流影响，大口径望远镜无法清晰对焦至远距离目标，进而也无法做到全视场清晰成像。从波动光学角度上讲，这是由于大气扰动引入了多种波像差，使得波前的波面变的支离破碎。在实际使用大口径望远镜观测远距离目标时，多采用幸运成像方式得到大视场的清晰成像。但是幸运成像技术所需的图像数量很多，并且对于动态物体成像困难，在应用中受到诸多不确定因素的限制。随着自适应光学技术的发展，MCAO(Multi-Conjugate Adaptive Optics, 适应光学)技术开始应用到大口径望远镜成像观测过程中。MCAO技术采用哈特曼系统对视场内的多个导星同时进行的相位探测，然后采用变形镜补偿由光线传输路径上的波前畸变，从而实现清晰化成像。但是使用MCAO技术得到的清晰图像视场仍然比较小，而且系统复杂度高，成本高昂，不利于大规模应用和普及。

光场成像技术的发展提供了解决这一问题的机会。光场成像技术基于相空间光学模型，通过微透镜阵列多路复用方法，实现目标光场信息探测。光场成像以其多视点目标重建能力，在遥感领域的大视场、高景深目标探测及三维场景重建中具有极大的潜力。在复杂像差校正方面，光场成像技术基于相空间光学模型，可实现几何与波动光学的统一，实现复杂场景、复杂像差的解耦，是大气湍流检测与重建中最具应用价值的方向之一。

聚焦型光场相机光场相机与普通相机的区别在于其在靶面前特定位置加入了微透镜阵列。从光线追迹角度分析，将微透镜视为小孔模型，光线从空间物点出发经主透镜汇聚后通过微透镜中心与靶面相交，得到物点的最终像点。在光学结构上可以理解为微透镜阵列对主透镜的一次成像点进行二次成像。根据这些二次成像点在微透镜子孔径下成像位置差异所代表的视差，就可以估计出物点的深度。通常在聚焦成像前，光场相机需要首先计算物点的虚深度值，虚深度值给出了一次成像点与靶面的距离。基于虚深度值，根据光线追迹原理即可预测二次成像点在靶面上成像坐标。将这些二次成像点像素值加起来并填在一次成像点对应的图像坐标上就可以得到聚焦图像上的一个像素。因此，聚焦型光场相机需要计算全视场的稠密深度图作为聚焦成像过程的依据。但是在强湍流条件下，与普通相机无法清晰成像的原因一样，光场相机主透镜同样是难以聚焦的，即物点发出的光线经过主透镜汇聚的光线难以聚焦在一个点上。此时光场相机传统的深度估计和聚焦成像算法将会失效，从而也无法得到清晰成像。

因此，现有技术存在适应性不佳的问题，有必要研究一种利用聚焦型光场相机在强湍流条件下实现清晰化成像的方法。

发明内容

基于此，有必要针对上述技术问题，提供一种能够在强湍流条件下实现清晰化成像的基于聚焦型光场相机结构的强湍流图像清晰化方法、装置、计算机设备和介质。

一种强湍流图像清晰化方法，所述方法包括：

获取聚焦型光场相机在强湍流条件下得到的光场图像，根据所述光场图像得到梯度特征点图；

根据所述梯度特征点图确定对同一物点成像的子孔径集合，根据所述子孔径集合建立虚拟哈特曼圆域，并得到所述虚拟哈特曼圆域的最佳近似中心点坐标，作为所述物点在聚焦图像上的聚焦像素坐标；

根据模式法波前重构原理，由预先获取的子孔径对应的子波前斜率和预知的zernike多项式得到所述物点的zernike系数，根据所述zernike系数对所述物点进行波前相位重构；

根据所述梯度特征点图遍历所述光场图像，重构视场内所有有效物点的波前相位，并构建包含对应不同阶zernike系数相位场矩阵的稀疏矩阵序列；所述有效物点为在所述光场图像上有清晰成像点的物点；

对所述稀疏矩阵序列中的每个矩阵进行二维插值，得到包含对应不同阶zernike系数相位场矩阵的稠密矩阵序列，作为聚焦型光场相机全视场的相位场图谱；

根据所述相位场图谱和所述聚焦像素坐标，逐像素计算每个聚焦像素对应的子孔径及子孔径像点的位置，将所述子孔径像点的像素值相加填到所述聚焦像素坐标，得到清晰化的强湍流图像。

在其中一个实施例中，还包括：获取聚焦型光场相机在强湍流条件下得到的光场图像；

计算所述光场图像的梯度图；所述梯度图中的像素一一对应所述光场图像中像素的梯度；

对所述梯度图进行滤波，保留梯度大于预设阈值的像素点，得到梯度特征点图。

在其中一个实施例中，还包括：获取所述梯度特征点图中的梯度特征点；所述梯度特征点对应所述光场图像中的一个清晰成像点；

根据所述清晰成像点通过图像配准算法在其所述子孔径周围找到与其所属同一物点投影的所有清晰成像点和子孔径，得到对应的子孔径集合。

在其中一个实施例中，还包括：根据所述子孔径集合建立虚拟哈特曼圆域；

确定所述虚拟哈特曼圆域中所有清晰成像点与所属子孔径图像中心组成的极线；

通过最小二乘法对所述极线的所有交点进行拟合，得到所述虚拟哈特曼圆域的最佳近似中心点坐标。

在其中一个实施例中，还包括：根据模式法波前重构原理，由预先获取的子孔径对应的子波前斜率和预知的zernike多项式得到所述物点的zernike系数矩阵为：

其中，

，

为zernike系数，

为所述预知的zernike多项式矩阵，

为所述子孔径对应的子波前斜率；上标+表示矩阵Z的广义逆矩阵；

根据所述zernike系数对所述物点进行波前相位重构：

其中，

为所述物点在聚焦图像上的聚焦像素坐标，

表示波前相位，

为预知的平均波前相位，

为第k项zernike多项式。

在其中一个实施例中，还包括：构建一个空白矩阵序列；所述空白矩阵序列中每个矩阵的尺寸与所述聚焦图像相同；所述空白矩阵序列中每个矩阵保存所有物点同阶zernike系数；

将所有物点对应的zernike系数矩阵中同一阶系数分别提取出来，按照圆域中心坐标填入所述空白矩阵序列中，得到包含对应不同阶zernike系数的稀疏矩阵序列。

在其中一个实施例中，还包括：建立一张空白图像；所述空白图像尺寸与所述相位场图谱对应的矩阵尺寸相同；

根据所述相位场图谱确定每个聚焦像素坐标对应的各阶zernike系数；

根据所述各阶zernike系数和所述zernike多项式矩阵，得到不同子孔径下清晰成像点距离所属子孔径图像中心的偏移量，根据所述偏移量和子孔径中心坐标，得到不同子孔径下清晰成像点的图像坐标；

将所述不同子孔径下清晰成像点的图像坐标所对应的像素值相加，作为对应物点的聚焦像素值，填到所述空白图像上所述聚焦像素坐标位置处；

逐像素处理得到所有物点的聚焦像素值，输出清晰化的强湍流图像。

一种强湍流图像清晰化装置，所述装置包括：

梯度特征点图确定模块，用于获取聚焦型光场相机在强湍流条件下得到的光场图像，根据所述光场图像得到梯度特征点图；

聚焦像素坐标确定模块，用于根据所述梯度特征点图确定对同一物点成像的子孔径集合，根据所述子孔径集合建立虚拟哈特曼圆域，并得到所述虚拟哈特曼圆域的最佳近似中心点坐标，作为所述物点在聚焦图像上的聚焦像素坐标；

波前相位重构模块，用于根据模式法波前重构原理，由预先获取的子孔径对应的子波前斜率和预知的zernike多项式得到所述物点的zernike系数，根据所述zernike系数对所述物点进行波前相位重构；根据所述梯度特征点图遍历所述光场图像，重构视场内所有有效物点的波前相位，并构建包含对应不同阶zernike系数相位场矩阵的稀疏矩阵序列；所述有效物点为在所述光场图像上有清晰成像点的物点；

相位场图谱确定模块，用于对所述稀疏矩阵序列中的每个矩阵进行二维插值，得到包含对应不同阶zernike系数相位场矩阵的稠密矩阵序列，作为聚焦型光场相机全视场的相位场图谱；

强湍流图像输出模块，用于根据所述相位场图谱和所述聚焦像素坐标，逐像素计算每个聚焦像素对应的子孔径及子孔径像点的位置，将所述子孔径像点的像素值相加填到所述聚焦像素坐标，得到清晰化的强湍流图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

上述一种强湍流图像清晰化方法、装置、计算机设备和介质，通过检测光场图像中的可用特征点得到梯度特征点图；遍历光场图像，找到对同一物点成像的所有子孔径，并根据这些子孔径建立虚拟哈特曼圆域，并重构波前相位和聚焦像素坐标；将波前相位作为聚焦型光场相机聚焦成像的依据，由插值法计算全视场相位场图谱；根据相位场图谱逐像素计算每个聚焦像素对应的子孔径及子孔径像点位置，将子孔径像点像素值相加填到聚焦图像中对应的像素位置。本发明方法实现了强湍流条件下清晰化成像的方法，该方法不依赖先验知识，具有很强的自适应特性，且实现成本较低，系统构造简单，为解决大口径望远镜远距离目标观测时的清晰成像问题提供了一种新的高效手段。

附图说明

图1为一个实施例中强湍流图像清晰化方法的流程示意图；

图2为一个实施例中光场相机聚焦成像原理示意图；

图3为一个实施例中强湍流条件下点波前探测原理验证图；

图4为一个具体实施例中强湍流图像清晰化方法的流程示意图；

图5为一个实施例中全视场图像清晰化的实施效果图；其中，(a)为光场相机传统算法得到的聚焦成像，(b)为采用本发明方法得到的焦清晰成像；

图6为一个实施例中强湍流图像清晰化装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

聚焦型光场相机需要计算全视场的稠密深度图作为聚焦成像过程的依据。但是在强湍流条件下，与普通相机无法清晰成像的原因一样，光场相机主透镜同样是难以聚焦的，即物点发出的光线经过主透镜汇聚的光线难以聚焦在一个点上。此时光场相机传统的深度估计和聚焦成像算法将会失效，从而也无法得到清晰成像。从波动光学角度分析，这是由于在强湍流条件下波前的波面发生了较强的畸变，这导致实际靶面像点的位置与光线追迹的预测位置是偏差的。与哈特曼传感器一样，波前在经过光场相机的微透镜阵列时，微透镜子孔径会起到切割波面的效果，进入每个子孔径光线方向与由微透镜切割波面形成的子波面是垂直的。实际上，物点的出射光线在经过微透镜阵列后仍然会在相机的靶面上形成清晰的像点，只是这些像点与它们所属微透镜子孔径中心的连线无法在空间上交汇而已。将这些像素相加理论上可以得到聚焦图像的清晰像素。由波前重构原理可知，同一物点对应的像点相对于所属子孔径中心的偏移量实际上代表了子波前的斜率，根据所有子波前的斜率就可以重构物点的波前。相反，如果已知波前相位和子孔径排布，则可以反解所有子波前的斜率，进而得到所有子孔径下成像点的位置。

鉴于以上分析，可以将波前相位作为聚焦型光场相机聚焦成像的依据，进而得到清晰成像。

在一个实施例中，如图1所示，提供了一种强湍流图像清晰化方法，包括以下步骤：

步骤102，获取聚焦型光场相机在强湍流条件下得到的光场图像，根据光场图像得到梯度特征点图。

光场图像就是相机的靶面图像，是上是由上万个子孔径图像组成的，子孔径（微透镜）按六边形排布。一个物点的主透镜像点需要在2个以上的多个子孔径中成像，因此靶面图像不是清晰聚焦图像，需要计算才能得到全聚焦像。湍流情况下，物点子孔径下成像的位置与没有湍流情况下有较大的变化，原因是物点波前遭到破坏使主透镜无法聚焦，但是子孔径下还是可以成像的。也就是说尽管主透镜不能聚焦，传统光场相机聚焦成像算法也不能用，但靶面像中的物点的光场信息很多还是有效的。本专利利用的是子孔径下可以成像的有点物点像。

在光场图像中，成像点是否有效是根据其像素的清晰程度确定的。光场图像中一个清晰的像点对应了处于光场相机物方有效景深范围内的一个物点。同理处于光场相机物方有效景深范围内的一个物点对应了光场图像中多个子孔径下的清晰像点。图像处理中一般用像素梯度衡量图像块或像素的清晰度。为提高运算效率，可直接计算整张光场图像的梯度图，梯度图中的像素值一一对应了光场图像中像素的梯度。然后对梯度图进行滤波，只保留梯度大于某个阈值的像素。保留下来的像素点定义为梯度特征点。梯度特征点的坐标与光场图像中的清晰成像点坐标一一对应。通过这些与梯度特征点坐标，结合光场相机的白光标定数据，可以方便得到其所属的子孔径中心坐标。

步骤104，根据梯度特征点图确定对同一物点成像的子孔径集合，根据子孔径集合建立虚拟哈特曼圆域，并得到虚拟哈特曼圆域的最佳近似中心点坐标，作为物点在聚焦图像上的聚焦像素坐标。

根据聚焦型光场相机的光学结构，同一物点对应的二次成像点分布在一个投影圆域内的不同子孔径图像中。因此根据一个子孔径清晰成像点，很容易通过图像配准算法，在其所属子孔径周围找到与其所属同一物点投影的所有清晰像点和子孔径。这些子孔径组成的圆域可以看作是一个虚拟的哈特曼传感器，圆域中心就是哈特曼圆域的中心。对于光场相机，哈特曼圆域中心的图像坐标理论上是物点的一次成像点在聚焦图像上的投影坐标。在无湍流条件下，虚拟哈特曼圆域中心很容易确定，它就是圆域内所有清晰成像点与所属子孔径图像中心组成的极线交点。但在强湍流条件下，物点的一次成像点实际上并不是聚焦的，哈特曼圆域中心坐标只能是物点一次成像点的近似等效坐标。本发明方法采用最小二乘法将这些极线的所有交点进行拟合，得到最佳近似中心点坐标。

步骤106，根据模式法波前重构原理，由预先获取的子孔径对应的子波前斜率和预知的zernike(泽尼克)多项式得到物点的zernike系数，根据zernike系数对物点进行波前相位重构。

根据模式法波前重构原理，物点面波经过投影域内的所有微透镜达到靶面，则子波前斜率与像素偏移量具有以下关系

（公式一）

上式中，

与

是到达靶面子波前的斜率，

为波长，

为微透镜阵列与靶面的距离，

与

分别为子孔径中的二次成像点相对于子孔径中心的偏移量。对于入射波前，可采用一组zernike系数来表示，

（公式二）

上式中，

为平均波前相位，

为zernike系数,

为第k项zernike多项式。子孔径对应的子波前斜率与zernike系数的关系可以表示为，

（公式三）

对于m个子孔径，n个zernike系数，则有，

（公式四）

写成矩阵形式为，

（公式五）

为zernike多项式矩阵，

为zernike系数矩阵。最后借助广义逆矩阵，求解矩阵

的值，为

（公式六）

根据公式二，物点波前可由一组已知的zernike多项式线性表示，因此得到了各阶zernike系数即可以重构该物点的波前相位。

步骤108，根据梯度特征点图遍历光场图像，重构视场内所有有效物点的波前相位，并构建包含对应不同阶zernike系数的稀疏矩阵序列。

有效物点为在光场图像上有清晰成像点的物点；

根据梯度特征点图遍历光场图像并重复步骤106，即可重构视场内所有有效物点的波前相位。为便于保存这些物点的zernike系数，可首先构建一个空白矩阵序列，序列中每个矩阵的尺寸与聚焦图像尺寸相同，同一物点的zernike系数序列保存在矩阵序列中矩阵的同一个坐标上，坐标由哈特曼圆域中心坐标确定。该矩阵序列保存了视场中所有有效物点对应的的所有zernike系数。将所有物点对应的zernike系数矩阵中同一阶系数分别提取出来，按照圆域中心坐标填入空白矩阵序列中，一个矩阵只保存同阶段zernike系数，就得到了包含对应不同阶zernike系数的稀疏矩阵序列。

步骤110，对稀疏矩阵序列中的每个矩阵进行二维插值，得到包含对应不同阶zernike系数相位场矩阵的稠密矩阵序列，作为聚焦型光场相机全视场的相位场图谱。

考虑到自然界物体的相位变化是连续的，对得到的稀疏矩阵序列中的每一个矩阵进行二维插值，就得到了包含对应不同阶zernike系数相位场矩阵的稠密矩阵序列。这个稠密矩阵序列构成了光场相机全视场的相位场图谱，它们给出了相机全视场的相位场信息。对于每一个聚焦像素，可以方便根据其坐标从相位场图谱中取出对应的各阶zernike系数，从而为聚焦像素值计算提供依据。

步骤112，根据相位场图谱和聚焦像素坐标，逐像素计算每个聚焦像素对应的子孔径及子孔径像点的位置，将子孔径像点的像素值相加填到聚焦像素坐标，得到清晰化的强湍流图像。

类似于传统光场相机聚焦成像过程将深度图作为寻找子孔径像素点的依据，本发明方法将第三步得到的全视场相位场图谱作为聚焦成像的依据。计算清晰成像前，首先建立一幅空白图像用于保存生成的聚焦图像像素，尺寸与全视场相位场图谱中的矩阵尺寸相同。在计算清晰成像过程中，按像素坐标遍历该空白图像，逐像素计算清晰像素值。下面介绍清晰像素值的计算方法。

根据公式五，在知道聚焦图像上某个像素点对应的各阶zernike系数时，根据zernike多项式矩阵，可以推算出不同子孔径下清晰像点距离所属子孔径图像中心的偏移量

。结合子孔径图像中心坐标，很容易计算出清晰成像点的图像坐标值，如公式七所示。

（公式七）

上式中，

为微透镜子孔径图像中心坐标，

是子孔径图像中清晰像点相对于所属子孔径中心的偏移量。将这些子孔径下的清晰成像点像素值相加，即可得到全聚焦图像上对应坐标的像素值。

上述一种强湍流图像清晰化方法中，通过检测光场图像中的可用特征点得到梯度特征点图；遍历光场图像，找到对同一物点成像的所有子孔径，并根据这些子孔径建立虚拟哈特曼圆域，并重构波前相位和聚焦像素坐标；将波前相位作为聚焦型光场相机聚焦成像的依据，由插值法计算全视场相位场图谱；根据相位场图谱逐像素计算每个聚焦像素对应的子孔径及子孔径像点位置，将子孔径像点像素值相加填到聚焦图像中对应的像素位置。本发明方法实现了强湍流条件下清晰化成像的方法，该方法不依赖先验知识，具有很强的自适应特性，且实现成本较低，系统构造简单，为解决大口径望远镜远距离目标观测时的清晰成像问题提供了一种新的高效手段。

在其中一个实施例中，还包括：获取聚焦型光场相机在强湍流条件下得到的光场图像；计算光场图像的梯度图；梯度图中的像素一一对应光场图像中像素的梯度；对梯度图进行滤波，保留梯度大于预设阈值的像素点，得到梯度特征点图。

在其中一个实施例中，还包括：获取梯度特征点图中的梯度特征点；梯度特征点对应光场图像中的一个清晰成像点；根据清晰成像点通过图像配准算法在其子孔径周围找到与其所属同一物点投影的所有清晰成像点和子孔径，得到对应的子孔径集合。

在其中一个实施例中，还包括：根据子孔径集合建立虚拟哈特曼圆域；确定虚拟哈特曼圆域中所有清晰成像点与所属子孔径图像中心组成的极线；通过最小二乘法对极线的所有交点进行拟合，得到虚拟哈特曼圆域的最佳近似中心点坐标。

在其中一个实施例中，还包括：根据模式法波前重构原理，由预先获取的子孔径对应的子波前斜率和预知的zernike多项式得到物点的zernike系数矩阵为：

其中，

，

为zernike系数，

为预知的zernike多项式矩阵，

为子孔径对应的子波前斜率；上标+表示矩阵Z的广义逆矩阵；

根据zernike系数对物点进行波前相位重构：

其中，

为物点在聚焦图像上的聚焦像素坐标，

表示波前相位，

为预知的平均波前相位，

为第k项zernike多项式。

在其中一个实施例中，还包括：构建一个空白矩阵序列；空白矩阵序列中每个矩阵的尺寸与聚焦图像相同；空白矩阵序列中每个矩阵保存所有物点同阶zernike系数；将所有物点对应的zernike系数矩阵中同一阶系数分别提取出来，按照圆域中心坐标填入空白矩阵序列中，得到包含对应不同阶zernike系数的稀疏矩阵序列。

在其中一个实施例中，还包括：建立一张空白图像；空白图像尺寸与相位场图谱对应的矩阵尺寸相同；根据相位场图谱确定每个聚焦像素坐标对应的各阶zernike系数；根据各阶zernike系数和zernike多项式矩阵，得到不同子孔径下清晰成像点距离所属子孔径图像中心的偏移量，根据偏移量和子孔径中心坐标，得到不同子孔径下清晰成像点的图像坐标；将不同子孔径下清晰成像点的图像坐标所对应的像素值相加，作为对应物点的聚焦像素值，填到空白图像上聚焦像素坐标位置处；逐像素处理得到所有物点的聚焦像素值，输出清晰化的强湍流图像。

在一个具体实施例中，如图2为光场相机聚焦成像原理示意图。在无湍流情况下，光场相机主透镜一次成像点的投影域是一个半径为R的圆域，R的大小与虚深度V有关，且有

，

为子孔径或微透镜的直径。V定义为

,

为透镜阵列到物点的主透镜成像点距离，

为微透镜阵列与靶面的距离，它本质上表示了主透镜一次成像点与靶面的相的规范化距离。图2中很容易由光线追迹找到

点坐标，如公式八所示。

（公式八）

上式中，

是微透镜下的二成像点相对于其所属微透镜中心

的偏移量。因此，

点的像素值为

。当存在湍流时，虽然一次成像点并不是一个真实的聚焦像点，即相机靶面物像点与微透镜中心的连线不会在一个空间点上交汇，但投影圆域的中心可以看作等效的一次成像点在微透镜面或相机靶面的投影点。

图3说明了强湍流条件下点波前探测原理验证图。图3最上方是一张拍摄于强湍流条件下的聚焦图像，最上方图中白色方框区域为可解算波前相位的物像点位置，选择该点是因为该点对应的所有子孔径像点是清晰的。由于存在强烈的空气扰动，使得聚焦型光场相机传统算法无法实现清晰成像，这与普通相机在强湍流条件下无法清晰成像的原因和效果是一样的。图3中间图为最上方图白色方块区域的放大图，中间图中白色方框圈出区域的特征点虚拟哈特曼就是左下图。图3左下方图像为建立的虚拟哈特曼圆域，十字表示子孔径中心坐标，白色点表示子孔径下的清晰成像点坐标。图3右下方图像为对该点的波前重构结果。

图4给出了本发明具体实施流程图。首先对光场相机进行白光标定并拍摄强湍流条件下的目标光场图像；检测光场图像中的可用梯度特征点，生成梯度特征点图；根据梯度特征点图遍历光场图像，采用模式法重构视场中物点的波前相位；采用插值法计算得到全视场相位场图谱；遍历全视场相位场图谱，逐像素计算每个像素对应的子孔径和成像点坐标，像素值相加得到清晰的聚焦图像像素值。

图5为采用本发明的全视场图像清晰化的实施效果图。具体实施例子中的实验场景为：目标为贴在一块纸板上的报纸，在目标与相机之间放置湍流池；池底温度为600摄氏度；采用1台光场相机采集数据，相机参数：

，

。实施过程中采用前5项zernike系数重构波前并生成相位场图谱。图5(a)为光场相机传统算法得到的聚焦成像，图5(b)为采用本发明方法得到的焦清晰成像。显然，在湍流条件下，与普通相机一样，光场相机传统算法无法得到清晰成像。形成鲜明对比的是，采用本发明方法得到的强湍流图像清晰度有明显改善，图中字母已经可以清晰识别，这也说明了本发明方法的有效性。

应该理解的是，虽然图1、4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种强湍流图像清晰化装置，包括：梯度特征点图确定模块602、聚焦像素坐标确定模块604、波前相位重构模块606、相位场图谱确定模块608和强湍流图像输出模块610，其中：

梯度特征点图确定模块602，用于获取聚焦型光场相机在强湍流条件下得到的光场图像，根据光场图像得到梯度特征点图；

聚焦像素坐标确定模块604，用于根据梯度特征点图确定对同一物点成像的子孔径集合，根据子孔径集合建立虚拟哈特曼圆域，并得到虚拟哈特曼圆域的最佳近似中心点坐标，作为物点在聚焦图像上的聚焦像素坐标；

波前相位重构模块606，用于根据模式法波前重构原理，由预先获取的子孔径对应的子波前斜率和预知的zernike多项式得到物点的zernike系数，根据zernike系数对物点进行波前相位重构；根据梯度特征点图遍历光场图像，重构视场内所有有效物点的波前相位，并构建包含对应不同阶zernike系数相位场矩阵的稀疏矩阵序列；有效物点为在光场图像上有清晰成像点的物点；

相位场图谱确定模块608，用于对稀疏矩阵序列中的每个矩阵进行二维插值，得到包含对应不同阶zernike系数相位场矩阵的稠密矩阵序列，作为聚焦型光场相机全视场的相位场图谱；

强湍流图像输出模块610，用于根据相位场图谱和聚焦像素坐标，逐像素计算每个聚焦像素对应的子孔径及子孔径像点的位置，将子孔径像点的像素值相加填到聚焦像素坐标，得到清晰化的强湍流图像。

梯度特征点图确定模块602还用于获取聚焦型光场相机在强湍流条件下得到的光场图像；计算光场图像的梯度图；梯度图中的像素一一对应光场图像中像素的梯度；对梯度图进行滤波，保留梯度大于预设阈值的像素点，得到梯度特征点图。

聚焦像素坐标确定模块604还用于获取梯度特征点图中的梯度特征点；梯度特征点对应光场图像中的一个清晰成像点；根据清晰成像点通过图像配准算法在其子孔径周围找到与其所属同一物点投影的所有清晰成像点和子孔径，得到对应的子孔径集合。

聚焦像素坐标确定模块604还用于根据子孔径集合建立虚拟哈特曼圆域；确定虚拟哈特曼圆域中所有清晰成像点与所属子孔径图像中心组成的极线；通过最小二乘法对极线的所有交点进行拟合，得到虚拟哈特曼圆域的最佳近似中心点坐标。

波前相位重构模块606还用于根据模式法波前重构原理，由预先获取的子孔径对应的子波前斜率和预知的zernike多项式得到物点的zernike系数矩阵为：

其中，

，

为zernike系数，

为预知的zernike多项式矩阵，

根据zernike系数对物点进行波前相位重构：

其中，

为物点在聚焦图像上的聚焦像素坐标，

表示波前相位，

为预知的平均波前相位，

为第k项zernike多项式。

波前相位重构模块606还用于构建一个空白矩阵序列；空白矩阵序列中每个矩阵的尺寸与聚焦图像相同；空白矩阵序列中每个矩阵保存所有物点同阶zernike系数；将所有物点对应的zernike系数矩阵中同一阶系数分别提取出来，按照圆域中心坐标填入空白矩阵序列中，得到包含对应不同阶zernike系数的稀疏矩阵序列。

强湍流图像输出模块610还用于建立一张空白图像；空白图像尺寸与相位场图谱对应的矩阵尺寸相同；根据相位场图谱确定每个聚焦像素坐标对应的各阶zernike系数；根据各阶zernike系数和zernike多项式矩阵，得到不同子孔径下清晰成像点距离所属子孔径图像中心的偏移量，根据偏移量和子孔径中心坐标，得到不同子孔径下清晰成像点的图像坐标；将不同子孔径下清晰成像点的图像坐标所对应的像素值相加，作为对应物点的聚焦像素值，填到空白图像上聚焦像素坐标位置处；逐像素处理得到所有物点的聚焦像素值，输出清晰化的强湍流图像。

关于强湍流图像清晰化装置的具体限定可以参见上文中对于强湍流图像清晰化方法的限定，在此不再赘述。上述强湍流图像清晰化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种强湍流图像清晰化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。