CN105931196A - 基于傅里叶光学建模的编码光圈相机图像恢复方法 - Google Patents

Abstract

本发明属于数字图像处理技术领域，为解决对实际拍摄的依赖，减少人工拍摄引入的噪声也误差，定量分析编码掩模光学成像系统成像方式，最终得到编码光圈相机点扩散函数，以此为先验数据还原图像。本发明采用的技术方案是，基于傅里叶光学建模的编码光圈相机图像恢复方法，包括以下步骤：(1)定量分析编码掩模成像系统，编码掩模成像系统生成任意深度下的编码光圈相机仿真点扩散函数；(2)将步骤(1)中各深度下点扩散函数作为模糊核，对同一编码光圈相机拍摄的场景成像进行反卷积，依据最大后验概率MAP原则，最优化仿真结果，获得对原始场景的成像。本发明主要应用于数字图像处理。

Description

基于傅里叶光学建模的编码光圈相机图像恢复方法

技术领域

本发明属于数字图像处理，具体涉及一种通过傅里叶光学建模获取编码光圈衍射点扩散函数以及基于点扩散函数获取清晰成像的方法。

背景技术

编码掩模成像技术最早起源于X射线等重粒子射线的探测和成像过程中，用具有一定码型结构的编码掩模对到达探测系统的重粒子射线进行调制，并需要对探测到结果配合相应的图像解码技术来对原始重粒子的辐射源场景进行还原和成像(E.E.Fenimore,and T.M.Cannon,"Coded aperture imaging with uniformly redundant arrays,"Appl Optics 17,337-347(1978))。

如今，编码掩模成像技术已被广泛应用于可见光成像、红外成像等领域。编码掩模成像系统的根本目的是通过设计编码掩模码型，控制光学系统点扩散函数，利用前期获得的先验信息(该种码型结构理想条件下对应深度的点扩散数)，最终还原出清晰图像，提高原有成像系统的图像分辨率，例如，QinetiQ公司在光路中加入可调制编码掩模，通过对同一场景使用不同码型的编码掩模，得到不同点扩散函数下的光学探测结果，进而通过多帧处理的方法，实现对原始场景的高分辨率成像(C.Slinger,M.Eismann,N.Gordon,K.Lewis,G.McDonald,M.McNie,D.Payne,K.Ridley,M.Strens,G.De Villiers,and R.Wilson,"An investigation of the potential for the use of a high resolution adaptive coded aperture system in the mid-wave infrared,"in Adaptive Coded Aperture Imaging and Non-Imaging Sensors(San Diego,CA,2007),p.671408)。编码掩模成像系统不仅可以对原始场景进行高分辨成像，同时可以获得丰富景深信息，比如，MIT在可见光相机的光阑处放置编码掩模挡光板，来调整成像系统点扩散函数对场景景深的敏感程度，从而以单幅图像成功还原出原始场景的景深信息(A.Levin,R.Fergus,Fr,D.Durand,and W.T.Freeman,"Image and depth from a conventional camera with a coded aperture,"in ACM SIGGRAPH 2007papers(ACM,San Diego,California,2007),p.70)。

编码掩模成像系统中，先验信息的获取及其准确性对图像还原效果至关重要，不正确或低信噪比的点扩散函数将引起还原图像明显的振铃效应，影响成像。目前，对于编码掩模成像系统的点扩散函数基本上是以实际测量为主要的获取方式，如QinetiQ公司及MIT的方法。该方法直观易得，但是实际测量中引入了噪声降低点扩散函数信噪比，同时该方法受困于测量器材的实际条件，不能获得连续景深域内的点扩散函数。天津大学基于一定数量的拍摄点扩散函数，利用Bicubic插值方法获得连续景深域内的点扩散函数(Yang Jingyu,Jiang Bin,and Ma Jinlong,“Accurate Point Spread Function(PSF)Estimation for Coded Aperture Cameras,”in Conference on Optoelectronic Imaging and Multimedia Technology(Beijing,PEOPLES R CHINA,2014)。

可见，现今获得点扩散函数可通过实际拍摄测量以及插值等方法获得，这些方法或多或少的基于真实拍摄结果，都会引入环境噪声，将会对先验点扩散函数的准确性以及还原图像的分辨率产生影响。

发明内容

为克服现有技术的不足，本发明旨在解决对实际拍摄的依赖，减少人工拍摄引入的噪声也误差，定量分析编码掩模光学成像系统成像方式，最终得到编码光圈相机点扩散函数，以此为先验数据还原图像。本发明采用的技术方案是，基于傅里叶光学建模的编码光圈相机图像恢复方法，包括以下步骤：

(1)定量分析编码掩模成像系统，编码掩模成像系统生成任意深度下的编码光圈相机仿真点扩散函数；

(2)将步骤(1)中各深度下点扩散函数作为模糊核，对同一编码光圈相机拍摄的场景成像进行反卷积，依据最大后验概率MAP原则，最优化仿真结果，获得对原始场景的成像。

步骤(1)是根据编码掩模的结构和透镜组的传输函数，按照傅立叶光学的成像方式，来描述整个系统的成像过程，并给出最终成像结果的表达，具体步骤是：

1)根据编码掩模成像系统的结构，按照编码掩模成像系统的成像原理得到整个编码掩模成像系统基本模型：

g(x,y)＝h(x,y)*g_o(x,y)+n(x,y)，式中，

h(x,y)为整个编码掩模成像系统的系统函数空域表达或点扩散函数，

g_o(x,y)为原始场景，即待还原的原始场景清晰图像，

n(x,y)为背景噪声，

g(x,y)为成像结果，即编码光圈相机拍摄景深为d_o处的模糊成像图像，

*为卷积运算，

x、y是位于探测器平面上的、原点位于探测器平面中心的平面直角坐标系的横坐标和纵坐标；

2)编码掩模成像系统的点扩散函数分为编码掩模结构对点光源发出光的衍射作用h₁(x,y)以及实际相机透镜组对入射光的调制作用h₂(x,y)，根据波动光学成像原理，将整个编码掩模成像系统基本模型中的点扩散函数h(x,y)表示为：

h(x,y)＝h₁(x,y)*h₂(x,y)；

编码掩模结构对点光源的作用h₁(x,y)于编码掩模结构码型相关，是光线在掩模结构中衍射的结果，所以有：

h₁(x,y)＝PSF(t(x₀,y₀))，式中，

(x,y)是接收平面的空间坐标；

(x₀,y₀)是掩模孔径在掩模平面的空间坐标；

t(x₀,y₀)是掩模结构的码型；

由于从点光源发出的光通过空间经行传播，依据菲涅尔衍射规律，到达编码光圈前的复振幅分布为：

式中，

U₀(x₀,y₀)到达编码掩模结构时的入射光复振幅分布，

j是虚数单位，

a₀是入射光单位距离处振幅，

k是入射光波数，

L是光源即入射平面到掩模平面距离；

而在其经过编码掩模结构后，其复振幅分布就变化为：

U_∑(x₀,y₀)＝U₀(x₀,y₀)^t(x₀,y₀)，式中，

由菲涅耳衍射规律，得到像平面的复振幅分布公式：

其中，Z是掩模平面到成像平面的距离，λ是光波长，由于exp(jkL)和exp(jkZ)是常位相因子，在考虑衍射效应的情况下推导点扩散函数的表达式：

实际透镜组的非理想聚焦成像可以用其点扩散函数f_l(x,y)来表示，通过实际测量或是产品手册来得到，所述的实际透镜组的非理想聚焦成像部分h₂(x,y)是根据实际测量或是产品手册得到：

h₂(x,y)＝f_l(x,y)，式中，

f_l(x,y)是实际透镜组的非理想聚焦成像的点扩散函数；

3)将h₁(x,y)和h₂(x,y)代入整个编码掩模成像系统模型，最终得到整个编码掩模成像系统模型：

g(x,y)＝PSF(t(x₀,y₀))*f_l(x,y)*g_o(x,y)+n(x,y)。

步骤(2)具体是，编码相机拍摄一张景深为d_o的原始场景图片，根据数字图像处理规律，恢复图像优化目标为：

是景深为d_o处对应编码掩模成像系统点扩散函数，

其中i是像素索引，

N为图像像素个数，

M是滤波器个数，

表示二维卷积运算，

|·|^α是一个补偿函数，

k₁...k_M是一个作用于f₀的滤波集合，

k是k₁...k_M集合的向量表达，

p是一个正则化强度约束；

根据半二补偿法，目标函数可以为：

其中和为每个像素引入的最优化变量，

β是一个权重，

F_i ^m是每个滤波器的卷积矩阵简化表示，

进行逐像素优化，最优化解为：

其中表示傅立叶变换，

表示傅立叶反变换，

I是像素集合，

*表示复共轭，

ο表示点乘，除同样也是点除，

K是全部滤波集合卷积矩阵的简化表示，

本发明的特点及有益效果是：

本发明结合编码掩模成像系统的理论分析与编码光圈相机的拍摄参数，在保证点扩散函数准确、高信噪比的基础上，最大限度的减少实际拍摄拍摄中由与调整深度重复调试仪器的繁琐过程以及实际测量中可能出现的操作误差。本系统不需储存任何实际拍摄的编码光圈相机拍摄的点扩散函数，就可以实时仿真出不同深度下的点扩散函数，减少了数据储存，提升了相机的实用性。此外，本发明基于严格的理论推导，其结论具有数学和物理意义，能够为编码掩模成像系统的结构设计、尤其是散焦模糊图像还原提供重要的指导性作用，也便于以此模型为基础进行进一步的理论研究和推广。

附图说明：

图1是编码光圈相机图像恢复方法的流程；

图2是编码掩模成像系统的结构；

图3是编码掩模光学成像系统的实际结构示意图；

图4是编码掩模光学成像系统的坐标系示意图；

图5是编码掩模结构对点光源发射入射光衍射示意图；

图6是编码光圈相机对真实视场成像示意图；

图7是基于编码掩模理论点扩散函数还原编码光圈成像算法示意图。

图中：

a：入射平面 b：成像平面

c：掩模平面 d：点光源

1：编码掩模 2：透镜组

3：探测器 4：自然场景。

具体实施方式

本发明所要解决的问题是：克服现有技术对实际拍摄的依赖，减少人工拍摄引入的噪声也误差，定量分析编码掩模光学成像系统成像方式，借助计算机仿真出任意深度下理想编码光圈相机的点扩散函数，最终得到编码光圈相机点扩散函数，以此为先验数据还原图像。

本发明所采用的技术方案是：一种基于傅里叶光学建模的编码光圈相机图像恢复方法包括以下步骤：

1)定量分析编码掩模成像系统，系统生成任意深度下的编码光圈相机仿真点扩散函数；

2)将步骤(1)中各深度下点扩散函数作为模糊核，对同一编码光圈相机拍摄的场景成像进行反卷积，依据最大后验概率MAP原则，最优化仿真结果，获得对原始场景的成像。

下面结合实施例和附图对本发明的一种基于傅里叶光学建模的编码光圈相机图像恢复方法做出详细说明。本发明的一种基于傅里叶光学建模的编码光圈相机图像恢复方法，包括如下步骤：

根据图1所示的系统总流程，系统可分为如下的两个模块流程：

1掩模成像系统任意深度视场点扩散函数理论估计

编码掩模成像系统是在传统光学成像系统的透镜组前的紧邻位置处放置对入射光线具有阻挡作用的挡光板得到，整个系统结构如图2所示。其挡光板具有一定的码型结构，从而能对入射光具有调制作用，故也称之为编码掩模。探测器最终得到的成像结果，是原始场景经过编码掩模的调制和透镜组对光的实际会聚共同作用之后的结果。

本发明的关于编码掩模光学成像系统的建模方法，是根据编码掩模的结构和透镜组的传输函数，按照傅立叶光学的成像方式，来描述整个系统的成像过程，并给出最终成像结果的表达。

1)根据图2所示的编码掩模成像系统的结构，按照编码掩模成像系统的成像原理得到整 个编码掩模成像系统基本模型：

g(x,y)＝h(x,y)*g_o(x,y)+n(x,y)，式中，

h(x,y)为整个编码掩模成像系统的系统函数又叫作点扩散函数，

g_o(x,y)为原始场景，

n(x,y)为背景噪声，

g(x,y)为成像结果，

*为卷积运算，

x、y是位于探测器平面上的、原点位于探测器平面中心的平面直角坐标系的横坐标和纵坐标；

2)如图3和4所示，编码掩模成像系统的点扩散函数可分为编码掩模结构对点光源发出光的衍射作用h₁(x,y)以及实际相机透镜组对入射光的调制作用h₂(x,y)。根据波动光学成像原理，将整个编码掩模成像系统基本模型中的点扩散函数h(x,y)表示为：

h(x,y)＝h₁(x,y)*h₂(x,y)；

编码掩模结构对点光源的作用h₁(x,y)于编码掩模结构码型相关，是光线在掩模结构中衍射的结果，所以有：

h₁(x,y)＝PSF(t(x₀,y₀))，式中，

(x₀,y₀)是掩模孔径在掩模平面的空间坐标；

t(x₀,y₀)是掩模结构的码型矩阵；

如图5所示，由于从点光源发出的光通过空间经行传播，依据菲涅尔衍射规律可知，其到达编码光圈前的复振幅分布为：

式中，

U₀(x₀,y₀)到达编码掩模结构时的入射光复振幅分布，

j是虚数单位，

a₀是入射光单位距离处振幅，

k是入射光波数，

L是光源(入射平面)到掩模平面距离；

而在其经过编码掩模结构后，其复振幅分布就变化为：

U_∑(x₀,y₀)＝U₀(x₀,y₀)t(x₀,y₀)，式中，

有菲涅耳衍射规律，可以得到像平面的复振幅分布公式：

其中，Z是掩模平面到成像平面的距离。由于exp(jkL)和exp(jkZ)是常位相因子，在考虑衍射效应的情况下推导点扩散函数的表达式：

实际透镜组的非理想聚焦成像可以用其点扩散函数f_l(x,y)来表示，其往往可以通过实际测量或是产品手册来得到。所以，所述的实际透镜组的非理想聚焦成像部分h₂(x,y)是根据实际测量或是产品手册得到：

h₂(x,y)＝f_l(x,y)，式中，

f_l(x,y)是实际透镜组的非理想聚焦成像的点扩散函数；

3)将h₁(x,y)和h₂(x,y)代入整个编码掩模成像系统模型，最终得到整个编码掩模成像系统模型：

g(x,y)＝PSF(t(x₀,y₀))*f_l(x,y)*g_o(x,y)+n(x,y)。

2编码光圈相机拍摄模糊图像还原

如图6所示，编码相机拍摄一张景深为d_o的原始场景图片，根据数字图像处理规律，恢复图像优化目标为：

g₀待还原的原始场景清晰图像，

g编码光圈相机拍摄景深为d_o处的模糊成像图像，

该景深对应编码掩模成像系统点扩散函数，

其中i是像素索引，

m是滤波器索引，

N为图像像素个数，

M是滤波器个数，

表示二维卷积运算，

|·|^α是一个补偿函数，

k₁...k_M是一个作用于f₀的滤波集合，

k是k₁...k_M集合的向量表达，

p是一个正则化强度约束；

根据半二补偿法，目标函数可以为：

其中和为每个像素引入辅助变量，

β是一个权重，

F_i ^j是每个滤波器的卷积矩阵简化表示，

进行逐像素优化，算法过程如图6所示，最优化解为：

其中表示傅立叶变换，

表示傅立叶反变换，

I是像素集合，

*表示复共轭，

ο表示点乘，除同样也是点除，

K是全部滤波集合卷积矩阵的简化表示，

Claims (3)

1.一种基于傅里叶光学建模的编码光圈相机图像恢复方法，其特征是，步骤如下：

(1)定量分析编码掩模成像系统，编码掩模成像系统生成任意深度下的编码光圈相机仿真点扩散函数；

(2)将步骤(1)中各深度下点扩散函数作为模糊核，对同一编码光圈相机拍摄的场景成像进行反卷积，依据最大后验概率MAP原则，最优化仿真结果，获得对原始场景的成像。

2.如权利要求1所述的基于傅里叶光学建模的编码光圈相机图像恢复方法，其特征是，步骤(1)是根据编码掩模的结构和透镜组的传输函数，按照傅立叶光学的成像方式，来描述整个系统的成像过程，并给出最终成像结果的表达，具体步骤是：

1)根据编码掩模成像系统的结构，按照编码掩模成像系统的成像原理得到整个编码掩模成像系统基本模型：

g(x,y)＝h(x,y)*g_o(x,y)+n(x,y)，式中，

h(x,y)为整个编码掩模成像系统的系统函数空域表达或点扩散函数，

g_o(x,y)为原始场景，即待还原的原始场景清晰图像，

n(x,y)为背景噪声，

g(x,y)为成像结果，即编码光圈相机拍摄景深为d_o处的模糊成像图像，

*为卷积运算，

x、y是位于探测器平面上的、原点位于探测器平面中心的平面直角坐标系的横坐标和纵坐标；

2)编码掩模成像系统的点扩散函数分为编码掩模结构对点光源发出光的衍射作用h₁(x,y)以及实际相机透镜组对入射光的调制作用h₂(x,y)，根据波动光学成像原理，将整个编码掩模成像系统基本模型中的点扩散函数h(x,y)表示为：

h(x,y)＝h₁(x,y)*h₂(x,y)；

编码掩模结构对点光源的作用h₁(x,y)于编码掩模结构码型相关，是光线在掩模结构中衍射的结果，所以有：

h₁(x,y)＝PSF(t(x₀,y₀))，式中，

(x,y)是接收平面的空间坐标；

(x₀,y₀)是掩模孔径在掩模平面的空间坐标；

t(x₀,y₀)是掩模结构的码型；

由于从点光源发出的光通过空间经行传播，依据菲涅尔衍射规律，到达编码光圈前的复振幅分布为：

式中，

U₀(x₀,y₀)到达编码掩模结构时的入射光复振幅分布，

j是虚数单位，

a₀是入射光单位距离处振幅，

k是入射光波数，

L是光源即入射平面到掩模平面距离；

而在其经过编码掩模结构后，其复振幅分布就变化为：

U_∑(x₀,y₀)＝U₀(x₀,y₀)^t(x₀,y₀)，式中，

由菲涅耳衍射规律，得到像平面的复振幅分布公式：

$\begin{array}{c}U\left(x,y\right)=\frac{\exp \left(jkZ\right)}{j\mathrm{\λ}Z}\∫{\∫}_{-\mathrm{\∞}}^{\mathrm{\∞}}{U}_{\mathrm{\Σ}}\left(x_0,y_0\right)\exp \left\{\frac{jk\[{\left(x-x_0\right)}^2+{\left(y-y_0\right)}^2\]}{2Z}\right\}{\mathrm{dx}}_0{\mathrm{dy}}_0\\ =\frac{a_0}{j\mathrm{\λ}LZ}\exp \[jk\left(L+Z\right)\]\∫{\∫}_{-\mathrm{\∞}}^{\mathrm{\∞}}\exp \[\frac{jk\left({x_0}^2+{y_0}^2\right)}{2L}\]t\left(x_0,y_0\right)\\ \×\exp \left\{\frac{jk\[{\left(x-x_0\right)}^2+{\left(y-y_0\right)}^2\]}{2Z}\right\}{\mathrm{dx}}_0{\mathrm{dy}}_0,\end{array}$

其中，Z是掩模平面到成像平面的距离，λ是光波长，由于exp(jkL)和exp(jkZ)是常位相因子，在考虑衍射效应的情况下推导点扩散函数的表达式：

$PSF\left(t\right(x_0,y_0\left)\right)={\left(\frac{a_0}{j\mathrm{\λ}LZ}\right)}^2|\∫{\∫}_{-\mathrm{\∞}}^{\mathrm{\∞}}\exp \[\frac{jk({x_0}^2+{y_0}^2)}{2L}\]t(x_0,y_0)\·\exp \{\frac{jk\[{(x-x_0)}^2+{(y-y_0)}^2\]}{2Z}\}{\mathrm{dx}}_0{\mathrm{dy}}_0{|}^2;$

实际透镜组的非理想聚焦成像可以用其点扩散函数f_l(x,y)来表示，通过实际测量或是产品手册来得到，所述的实际透镜组的非理想聚焦成像部分h₂(x,y)是根据实际测量或是产品手册得到：

h₂(x,y)＝f_l(x,y)，式中，

f_l(x,y)是实际透镜组的非理想聚焦成像的点扩散函数；

3)将h₁(x,y)和h₂(x,y)代入整个编码掩模成像系统模型，最终得到整个编码掩模成像系统模型：

g(x,y)＝PSF(t(x₀,y₀))*f_l(x,y)*g_o(x,y)+n(x,y)。

3.如权利要求1所述的基于傅里叶光学建模的编码光圈相机图像恢复方法，其特征是，步骤(2)具体是，编码相机拍摄一张景深为d_o的原始场景图片，根据数字图像处理规律，恢复图像优化目标为：

$\underset{f_0}{min}\underset{i=1}{\overset{N}{\Σ}}(\frac{p}{2}{\left(g_0\⊕h_{d_o}-g\right)}_i^2+\underset{m=1}{\overset{M}{\Σ}}|{(g_0\⊕k_m)}_i{|}^{\mathrm{\α}}),$

是景深为d_o处对应编码掩模成像系统点扩散函数，

其中i是像素索引，

N为图像像素个数，

M是滤波器个数，

表示二维卷积运算，

|·|^α是一个补偿函数，

k₁...k_M是一个作用于f₀的滤波集合，

k是k₁...k_M集合的向量表达，

p是一个正则化强度约束；

根据半二补偿法，目标函数可以为：

$\underset{x,w}{min}\underset{i}{\Σ}(\frac{p}{2}{\left(g_0\⊕h_{d_o}-g\right)}_i^2+\frac{\mathrm{\β}}{2}(\left|\right|F_i^1{g}_0-w_i^1|{|}_2^2+||F_i^2{g}_0-w_i^2|{|}_2^2)+|w_i^1{|}^{\mathrm{\α}}+\left|w_i^2{|}^{\mathrm{\α}}\right),$

其中和为每个像素引入的最优化变量，

β是一个权重，

是每个滤波器的卷积矩阵简化表示，

进行逐像素优化，最优化解为：

其中表示傅立叶变换，

表示傅立叶反变换，

I是像素集合，

*表示复共轭，

ο表示点乘，除同样也是点除，

K是全部滤波集合卷积矩阵的简化表示，