CN104794727B - 一种基于对称性的单透镜计算成像psf快速标定方法 - Google Patents

Abstract

本发明公开了一种基于对称性的单透镜计算成像PSF快速标定方法。在计算单透镜空间变化的PSF时，需要将图像分成若干相同大小的图像块，并依次估计每个图像块对应的PSF。现有的方法在估计每个图像块对应的PSF时，都要从初始的简单模糊核逐步迭代得到最终理想的模糊核，整个过程耗费时间长，不便投入实际应用。本方法充分利用单透镜PSF的空间对称性特点，将已估计出的图像块PSF作为与其对称的图像块PSF估计的初始值，以此减少估计PSF所需的迭代过程，从而减少PSF估计的整体时间。本方法操作简单，能有效提高单透镜PSF的估计速度，在图像处理和相机设计领域都具有非常重要的意义。

Description

一种基于对称性的单透镜计算成像PSF快速标定方法

技术领域

本发明涉及数字图像处理领域，特指一种基于对称性的单透镜计算成像PSF快速标定方法。

背景技术

目前，单反相机以其高清的成像质量、丰富的镜头选择、迅捷的响应速度、卓越的手控能力等优势在人们的日常生活中发挥着越来越重要的作用。然而，为弥补单反镜头中镜片的几何畸变和像差，进一步提高成像质量，单反镜头的设计日益复杂，甚至包含数十个独立的光学器件。复杂的镜头在提高成像质量的同时，无疑也会增加镜头的体积和重量，也导致镜头的成本大大提高。镜头体积和重量的增加给用户的日常使用带来了不便，成本的提高也不便单反向大面积用户推广使用。因此，在尽量消除镜片像差，增加成像质量的同时，如何降低镜头成本，使其更为轻便，也成为目前单反相机设计的重要需求之一。近年来，随着图像复原技术的快速发展，图像去模糊等方法越来越成熟，镜头中某些消除像差和修正几何畸变的镜片可由去模糊等计算摄影技术代替，因此，单透镜成像(如图2所示)与图像复原技术的结合也逐渐成为单反相机设计的一个新的研究方向。

单透镜成像的关键在于必须首先对单透镜的模糊核进行标定，然后基于所得到的模糊核，采用一定的图像复原算法得到清晰图像。单透镜的模糊核标定通常是在尺度空间中进行的，如图3所示，在尺度空间中，一般取3×3的高斯函数或者delta函数作为模糊核的初始值，通过依次在不同层次尺度空间中的迭代逐步求得最终的理想模糊核。而且在每一层尺度空间，首先将上一层次尺度空间中所求得的模糊核作为初始值，结合模糊图像求得潜在的清晰图像，然后把潜在清晰图像和模糊核作为已知项，再求出清晰图像。这个过程也需要经过多次迭代才能得到本层次尺度空间中较为理想的模糊核，如图4所示。

目前单透镜成像中模糊核标定所存在的问题是模糊核的初始值与最终理想的模糊核相差太远，从而导致模糊核标定的过程耗时太长，不便在实际中应用。因此，根据单透镜计算成像的特性提出一个更加合理并且容易实现的单透镜模糊核的初始值是单透镜计算成像急需解决的问题。

发明内容

针对现有单透镜成像方法中模糊核初始值与最终理想值差别较大，迭代估计过程耗时太长，不便于实际操作等问题，本发明提出一种基于对称性的单透镜计算成像PSF标定方法。充分利用单透镜模糊核的空间对称性特点，首先估计出部分区域内的图像块的模糊核，然后将这些模糊核经过适当的旋转调整，作为其他区域内图像块模糊核估计的初始值。相比于高斯函数和delta函数，利用对称性所得到的模糊核更加接近最终的理想模糊核，所需的迭代次数会大大减少，从而在整体上加快模糊核的估计速度。

为实现上述目的，本发明的技术方案是：

一种基于对称性的单透镜计算成像PSF快速标定方法，其特征在于包括以下步骤：

S1：利用单透镜相机获取模糊图像；

S2：将单透镜计算成像中的PSF标定问题转换为盲卷积图像复原问题，即通过盲卷积图像复原算法求出单透镜的模糊核，具体步骤如下：

S21：为估计出模糊图像空间变化的模糊核，将模糊图像分成若干个小块图像；估计出左上角区域内每个小块图像对应的模糊核，估计每个小块图像的模糊核所用的算法为基于最大后验概率MAP的盲卷积图像复原算法，在最大后验概率模型下，盲卷积图像复原问题的统计学模型可以表述为：

argmaxP(K,I|B)＝argmaxP(B|I,K)P(I)P(K)(1)

其中，K表示单透镜的模糊核，又称点扩散函数PSF；I表示清晰图像；B表示由单透镜成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊核的先验概率；

基于最大后验概率MAP的盲卷积图像复原算法，模糊核估计通常都是在尺度空间中进行的，如图3所示，在尺度空间中，一般取3×3的高斯函数或者delta函数作为模糊核的初始值，通过依次在不同层次尺度空间中的迭代逐步求得最终的理想模糊核。而且在每一层尺度空间，首先将上一层次尺度空间中所求得的模糊核作为初始值，结合模糊图像求得潜在的清晰图像，然后把潜在清晰图像和模糊核作为已知项，再求出清晰图像。这个过程也需要经过多次迭代才能得到本层次尺度空间中较为理想的模糊核，如图4所示。

S22：充分利用单透镜模糊核的空间对称性，将步骤S21中已经估计出的模糊核经过适当角度的旋转，作为剩余三个区域中各个小图像块的模糊核初始值。因为估计剩余三个区域的模糊核时，模糊核初始值与最终值比较接近，所需的估计时间会大大缩小。单透镜模糊核的空间对称性如图1所示，图1为已经计算出的单透镜不同区域部分的模糊核，从图1可以看出，如果以图1中间一列模糊核为中心，则不同的模糊核图像块是左右对称的；如果以图1中间一行模糊核为中心，则不同的模糊核图像是上下对称的。而且，左上角区域内的模糊核与右下角区域内的模糊核以图1中心图像块为中心，呈180°旋转对称。

充分利用单透镜模糊核的空间对称性，利用步骤S21中的盲卷积图像复原算法，首先求出左上角区域内每个图像块对应的模糊核，求右上角区域内与之对称的图像块的模糊核时，将已求出的左上角模糊核左右翻转180°作为待求图像块的模糊核迭代优化初始值；求左下角区域内与之对称的图像块的模糊核时，将已求出的左上角模糊核上下翻转180°，作为待求图像块的模糊核迭代优化初始值；求右下角区域内与之对称的图像块的模糊核时，将已求出的左上角模糊核先左右翻转180°，再上下翻转180°，作为待求图像块的模糊核迭代优化初始值。

本发明中：

在步骤S1中的模糊图像是在正常光圈大小下，由单透镜相机得到的模糊图像。

在步骤S22中所用到的迭代优化方法为EM优化算法，EM优化算法分为两个步骤，在E-step中，根据给定的当前模糊核求解非盲卷积图像复原，求出潜在的平均图像，并估计该平均图像周围的方差；在M-step中，根据E-step中求出的潜在平均图像求出最佳的模糊核；

EM算法的具体步骤如下：

(1)E-step：令Q(I)＝P(I|B,K)，并计算出Q(I)的均值u和方差C，其中P(I|B,K)表示在已知模糊图像B和模糊核K的条件下，对应的清晰图像为I的概率；均值u就代表给定当前模糊核时潜在的清晰图像，C代表清晰图像周围的方差；

(2)M-step：找到使K*I-B达到最小值的K值，即式(2)达到最小值；

E_Q||K*I-B||²(2)

在M-step中使用的是求导函数的方法，即找到式(2)的极值点，因为式(2)包含一个二次项，而在E-step中所求出的均值和方差足以满足式(2)的求解条件，此时所求出的是局部最优解，然后多次交替迭代E-step和M-step，直到得到最终的全局最优解，即最佳的模糊核。

本发明的有益技术效果是：

本发明基于单透镜计算成像系统，将单透镜PSF的估计转化为盲卷积图像复原算法，针对PSF估计过程中模糊核初始值与最终理想值相差较远，从而导致PSF标定耗时过长的问题，提出基于单透镜模糊核空间对称性的PSF快速标定方法，根据已求出的部分区域内图像块的模糊核，将其经过适当旋转变换，作为其他区域内图像块PSF估计的模糊核初始值，PSF估计过程所需的时间将会大大减少。这种方法在图像处理和相机设计领域都具有非常重要的意义。

附图说明

图1为平凸透镜对应的空间变化的模糊核；

图2为单透镜成像示意图；

图3为尺度空间中估计PSF的迭代过程示意图；

图4为盲卷积图像复原算法的迭代过程；

图5为基于对称性的单透镜计算成像PSF快速标定方法流程图；

图6为本实验中的单透镜相机以及由相机得到的模糊图像；

图7为图像块模糊核旋转调整示意图；

图8为最终求得的PSF。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图5所示，本实施例提供的一种基于对称性的单透镜计算成像PSF快速标定方法，包括如下步骤：

步骤S1：利用单透镜相机获取模糊图像，本实验所做的单透镜相机以及得到的模糊图像如图6所示；

步骤S2：将单透镜计算成像中的PSF标定问题转换为盲卷积图像复原问题，即通过盲卷积图像复原算法求出单透镜的模糊核。盲卷积图像复原算法为基于最大后验概率MAP的盲卷积图像复原算法，在最大后验概率模型下，盲卷积图像复原问题的统计学模型可以表述为：

argmaxP(K,I|B)＝argmaxP(B|I,K)P(I)P(K)(1)

其中，K表示单透镜的模糊核，又称点扩散函数PSF；I表示清晰图像；B表示由单透镜成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊核的先验概率。

S21、将模糊图像分成7×11个图像块，并利用上述盲卷积图像复原算法估计出模糊图像左上角四分之一区域内每个图像块的PSF，如图7中1区域所示。

S22、步骤S21已经估计出左上角区域内的模糊核，为估计出图7中2区域内图像块对应的模糊核，将1区域内的模糊核左右翻转180°，作为待求图像块的模糊核迭代优化初始值，所用到的具体迭代优化方法为EM优化算法，EM优化算法主要分为两个步骤，在E-step中，根据给定的当前模糊核求解非盲卷积图像复原，求出潜在的平均图像，并估计该平均图像周围的方差；在M-step中，根据E-step中求出的潜在平均图像求出最佳的模糊核。

EM算法的具体步骤可定义如下：

(1)E-step：令Q(I)＝P(I|B,K)，并计算出Q(I)的均值u和方差C，其中P(I|B,K)表示在已知模糊图像B和模糊核K的条件下，对应的清晰图像为I的概率；均值u就代表给定当前模糊核时潜在的清晰图像，C代表清晰图像周围的方差；

(2)M-step：找到使K*I-B达到最小值的K值，即式(8)达到最小值；

E_Q||K*I-B||²(2)

在M-step中使用的是求导函数的方法，即找到式(2)的极值点，因为式(2)包含一个二次项，而在E-step中所求出的均值和方差足以满足式(2)的求解条件，此时所求出的是局部最优解，然后多次交替迭代E-step和M-step，直到得到最终的全局最优解，即最佳的模糊核。

求3区域内图像块的模糊核时，将左上角区域内相应的模糊核上下翻转180°；求4区域内图像块的模糊核时，将左上角区域内相应的模糊核先左右翻转180°，再上下翻转180°，以作为待求图像块的模糊核迭代优化初始值。因为模糊核迭代优化过程的初始值与最终所求的理想模糊核非常接近，所以迭代次数会大大减少，最终所需的计算时间也会减少。基与对称性所求得的最终模糊核如图8所示。

综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰，因此本发明的保护范围当视权利要求书界定的范围为准。

Claims (3)

1.一种基于对称性的单透镜计算成像PSF快速标定方法，其特征在于包括以下步骤：

S1：利用单透镜相机获取模糊图像；

S2：将单透镜计算成像中的PSF标定问题转换为盲卷积图像复原问题，即通过盲卷积图像复原算法求出单透镜的模糊核，具体步骤如下：

S21：为估计出模糊图像空间变化的模糊核，将模糊图像分成若干个小块图像；估计出左上角区域内每个小块图像对应的模糊核，估计每个小块图像的模糊核所用的算法为基于最大后验概率MAP的盲卷积图像复原算法，在最大后验概率模型下，盲卷积图像复原问题的统计学模型可以表述为：

argmaxP(K,I|B)＝argmaxP(B|I,K)P(I)P(K)(1)

其中，K表示单透镜的模糊核，又称点扩散函数PSF；I表示清晰图像；B表示由单透镜成像系统直接得到的模糊图像；P(K,I|B)表示在模糊图像B已知条件下，与模糊图像B对应的模糊核和清晰图像分别为K和I的概率；P(B|I,K)表示如果已知模糊核K和清晰图像I，对应的模糊图像为B的概率；P(I)表示对原始清晰图像已知的先验概率；P(K)表示模糊核的先验概率；

S22：充分利用单透镜模糊核的空间对称性，利用步骤S21中的盲卷积图像复原算法，首先求出左上角区域内每个图像块对应的模糊核，求右上角区域内与之对称的图像块的模糊核时，将已求出的左上角模糊核左右翻转180°作为待求图像块的模糊核迭代优化初始值；求左下角区域内与之对称的图像块的模糊核时，将已求出的左上角模糊核上下翻转180°，作为待求图像块的模糊核迭代优化初始值；求右下角区域内与之对称的图像块的模糊核时，将已求出的左上角模糊核先左右翻转180°，再上下翻转180°，作为待求图像块的模糊核迭代优化初始值。

2.根据权利要求1所述的基于对称性的单透镜计算成像PSF快速标定方法，其特征在于：所述S1中的模糊图像是在正常光圈大小下，由单透镜相机得到的模糊图像。

3.根据权利要求1所述的基于对称性的单透镜计算成像PSF快速标定方法，其特征在于：在步骤S22中还包括利用迭代优化方法求出最佳的模糊核，所用到的迭代优化方法为EM优化算法，EM优化算法分为两个步骤，在E-step中，根据给定的当前模糊核求解非盲卷积图像复原，求出潜在的平均图像，并估计该平均图像周围的方差；在M-step中，根据E-step中求出的潜在平均图像求出最佳的模糊核；

EM算法的具体步骤如下：

(1)E-step：令Q(I)＝P(I|B,K)，并计算出Q(I)的均值u和方差C，其中P(I|B,K)表示在已知模糊图像B和模糊核K的条件下，对应的清晰图像为I的概率；均值u就代表给定当前模糊核时潜在的清晰图像，C代表清晰图像周围的方差；

(2)M-step：找到使K*I-B达到最小值的K值，即式(2)达到最小值；

E_Q||K*I-B||²(2)

在M-step中使用的是求导函数的方法，即找到式(2)的极值点，因为式(2)包含一个二次项，而在E-step中所求出的均值和方差足以满足式(2)的求解条件，此时所求出的是局部最优解，然后多次交替迭代E-step和M-step，直到得到最终的全局最优解，即最佳的模糊核。