CN102932583A - 折反射全聚焦成像装置与方法 - Google Patents

Abstract

本发明涉及全向视觉领域，公开了一种折反射全聚焦成像装置与方法。首先根据折反射全向成像散焦分析，计算得到实景空间物点经曲面镜反射在像平面上成模糊区域的大小；然后在相机一次成像曝光时间内，通过匀速移动像平面，计算对应于模糊全向图像的基于时间累加的点扩散函数具有空间不变性；最后采用反卷积算法复原得到一幅内外环均清晰的全向图像。本发明所述方法避免了以往基于模糊条带的点扩散函数估计方法和基于分块思想进行散焦去模糊等方法导致的图像中局部块或条带边缘效果差，点扩散函数估计不精确，计算量大等问题，较好地解决了折反射成像的散焦问题。

Description

折反射全聚焦成像装置与方法

技术领域：

本发明涉及全向视觉领域，特指一种折反射全聚焦成像装置与方法。

背景技术：

由于能够一次性获得360度的视场范围，折反射全向成像在很多领域都已经得到了广泛地应用，如机器人导航、视频监控、视频会议等领域，甚至在天文学方面也有较高的应用价值，如巨型天文望远镜的制造就应用了曲面反射镜。但是，以往大部分研究工作主要集中在折反射全向成像系统中的反射镜面型设计和系统应用方面，相比之下，很少有研究系统的成像质量。但是，随着高分辨率图像传感器和大光圈成像系统的应用，一个普遍存在的问题是，折反射全向成像系统中，由于反射镜曲率和镜头光圈的大小，会导致散焦模糊，因此在图像传感器上成的像总是不能同时全部聚焦的。目前解决折反射成像散焦问题的方法主要有以下一些方法：

根据折反射成像特点，将全向图像分为若干模糊条带，采用基于边界扩散函数的PSF（点扩散函数，Point Spread Function）建模方法辨识出各模糊条带的PSF模型。该方法无需大量的图像分割运算，在有限的径向边缘区域建立了全局的PSF模型，该类方法可以参考张帆的“全景视觉图像质量优化方法研究”（哈尔滨工程大学博士论文，2010）。

由于散焦的折反射全向图像中的PSF是空间变化的，即物空间各点的退化随位置的改变而改变。针对这种特点，冯华君等人提出了结合GRM（Gradient Ringing Metric）评价算法的总变分最小化图像分块复原方法，具体参考“空间变化PSF图像复原技术的研究现状与展望”（《光电工程》，2009，Vol.36，No.1）。

Sujit Kuthirummal提出的方法是将全向图像分为很多小块，在每个小块里认为PSF是空间不变的，再用迭代的Richardson Lucy算法进行反卷积去模糊，相关文献可以参考“A deconvolution method forconfocal microscopy with total variation regularization”（IEEE International Symposium onBiomedical Imaging，2004）和“Flexible Imaging for Capturing Depth and Controlling Field of Viewand Depth of Field”（Columbia University thesis，2009）。

通过设计特殊的镜头来补偿散焦带来的影响，可以参考“Remote Reality”（http://www.remotereality.com），但是这种方法要针对具体的每一种反射镜面型去设计。此外还可以通过减小光圈大小，增大景深的方法，但是这样会减少系统通光量，增加了噪声，在低光条件下效果较差。

针对以上折反射成像散焦去模糊方法中的一些不足，如在图像分块的边缘会增加人工效应，需要确定各个块的PSF，计算量大，普适性不强等，不能从根本上解决折反射成像散焦的问题。

发明内容：

本发明要解决的技术问题在于：针对折反射全向成像散焦的特定问题，提出一种折反射全聚焦成像装置与方法，在成像曝光时间内，匀速移动像平面，得到一幅全局模糊的全向图像，通过数学推导和实际数据验证，此时基于时间累加的点扩散函数在数值上具有空间不变性，即实景空间各点在像平面上成像的模糊程度是相同的，最后运用反卷积算法就可以复原得到一幅内环外环都清晰的全向图像。

为解决上述技术问题，本发明采取的技术方案包括如下步骤：

1、根据折反射全向成像散焦原理，计算实景空间物点w经曲面镜反射在像平面上成模糊区域的大小。已知实景空间的物点w，折反射成像系统中反射镜面型采用双曲面面型，这样可以保证成像系统的单视点约束，根据几何光学中的镜面反射定律和薄透镜成像原理，得到点w在双曲面上的反射点m₁和m₂，以及虚像的位置w_f1=(w_{f1_x},w_{f1_y},w_{f1_z})和w_f2=(w_{f2_x},w_{f2_y},w_{f2_z})，像平面上像点的坐标w_i1=(w_{i1_x},w_{i1_y},w_{i1_z})和w_i2=(w_{i2_x},w_{i2_y},w_{i2_z})，最后计算得到像平面上的模糊圆直径d_blur=‖w_i1-w_i2‖（见附图1）。

2、在一次成像曝光时间内，通过匀速移动像平面，得到具有空间不变性的基于时间累加的点扩散函数（Accumulated PSF）。已知像平面的运动方式v_t=v₀+st，点扩散函数模型采用均匀分布的圆盘函数其中， $\mathrm{\Δ}\left(\frac{r}{d}\right)=\left\{\begin{array}{c}1,r\≤d/2\\ 0,\mathrm{else}\end{array}\right.,$ r是模糊圆中的点到模糊中心的距离。在相机一次曝光时间T内，推导得出基于时间累加的点扩散函数的表达形式

然后计算得到不同实景空间物点的APSF在数值上具有空间不变性（见附图3）。

3、采用反卷积算法复原得到一幅内环外环都清晰的全向图像。由于整幅图像的模糊程度是相同的，采用反卷积算法（本发明采用文献“Image restoration by sparse 3D transform-domain collaborative filtering”，SPIE Electronic Imaging，2008中的反卷积算法）和实景空间中某一个物点的APSF对模糊图像做复原，就可以得到一幅全聚焦清晰的全向图像（见附图4）。

附图说明：

图1是折反射全向成像系统散焦示意图；

图2是折反射全聚焦成像装置与方法示意图；

图3是实景空间不同物点计算得到的基于时间累加的点扩散函数曲线图；

图4是实际系统实现的全聚焦效果图。

具体实施方式：

实施例1：以折反射全聚焦成像装置与方法为例，结合附图对本发明做进一步详细说明。

第一步：

建立如附图1所示的二维笛卡尔坐标系ROZ，其中

已知m₀(x₀,y₀,z₀)为双曲面反射镜面H上的一点，w为物空间中的一点，o为双曲面的一个焦点，即虚拟视点，并位于坐标系原点位置。根据单视点约束，若光线wm₀的延长线经过虚拟视点o，则光线wm₀经镜面上的点m₀反射后的光线穿过镜头光心p₀(0,0,2c)。其中p₀恰好位于双曲面的另一个焦点处，c为双曲面参数，则双曲面方程H可以表示为式（1），其中常数k＞2，光心平面则位于z=2c处。反射光线m₀p₀称为主光线，在像平面z=2c+v上成的像为w_i0，其中v为像距。镜面上的点m₁处的法线为m₁n₁。镜头光圈为圆形光圈，若p₁(D cosα/2,D sinα/2,2c)和p₂(D cos(α+π)/2,D sin(α+π)/2,2c)分别位于光圈的边缘，其中D为光圈的直径，则线段|w_i1w_i2|的长度可以近似为模糊圆的直径。

$\frac{{(z-c)}^2}{c^2\left(\frac{k-2}{k}\right)}-\frac{(x^2+y^2)}{c^2\left(\frac{2}{k}\right)}=1---\left(1\right)$

根据薄透镜成像原理，有式（2），其中f为镜头焦距，u为物距，即可求出焦平面的位置为z=2c-u。由于点o，m₀，w共线，则w的坐标可以表示为式（3），其中

为点m₀到点o的距离，q为正常数，且

$\frac{1}{f}=\frac{1}{v}+\frac{1}{u}---\left(2\right)$

$w=\frac{q}{\left|\right|\stackrel{\→}{{\mathrm{om}}_0}\left|\right|}(x_0,y_0,z_0)---\left(3\right)$

根据反射定律，m₁满足三个约束：（1）直线wm₁，m₁n₁和m₁p₁共面；（2）直线wm₁和m₁n₁的夹角等于直线m₁p₁和m₁n₁的夹角；（3）点m₁在双曲面镜面H上。

设反射光线m₁p₁的反向延长线与焦平面交于点w_f1，由于焦平面上的点在像平面上都是精确聚焦的，因此连接w_f1与光心p₀的直线与像平面的交点w_i1，即为点w经反射镜面上的点m₁反射在像平面成的像。联立直线m₁p₁方程和焦平面方程z=2c-u，求得w_f1的坐标；再联立直线w_f1p₀方程和像平面z=2c+v，便可求得w_i1的坐标。

$\left\{\begin{array}{c}\frac{\left({x-x}_1\right)}{D\cos \mathrm{\α}/2-x_1}=\frac{(y-y_1)}{D\sin \mathrm{\α}/2-y_1}=\frac{(z-z_1)}{2c-z_1}\\ z=2c-u\end{array}\right.---\left(4\right)$

根据式（4），求得w_f1=(w_{f1_x},w_{f1_y},w_{f1_z})。

$\left\{\begin{array}{c}\frac{x}{w_{f1\_x}}=\frac{y}{w_{f1\_y}}=\frac{(z-2c)}{w_{f1\_z}-2c}\\ z=2c+v\end{array}\right.---\left(5\right)$

根据式（5），求得w_i1=(w_{i1_x},w_{i1_y},w_{i1_z})。

同样地，可以求出由物空间的点w发出的光线经反射镜面上的点m₂反射，穿过光圈的另一个边缘上的点p₂(D cos(α+π)/2,D sin(α+π)/2,2c)，在像平面上成的像w_i2=(w_{i2_x},w_{i2_y},w_{i2_z})。易知，w_{i1_z}=w_{i2_z}，则物空间的点w，经折反射成像，在像平面上成像的模糊圆的直径表示为式（6）：

$d\_\mathrm{blur}=\sqrt{{(w_{i1\_x}-w_{i2\_x})}^2+{(w_{i1\_y}-w_{i2\_y})}^2}---\left(6\right)$

第二步：

由于散焦模糊，折反射成像的退化模型可以用式（7）表示，其中g(x,y)为实际得到的图像，f(x,y)是需要反卷积求得的清晰图像，h(x,y,s,t)是点扩散函数，n(x,y)为加性噪声。

$g(x,,y)=f(x,y)\⊗h(x,y,s,t)+n(x,y)---\left(7\right)$

如附图2所示，调整镜头焦距f，使得虚像w_f0在像平面上成像于一点w_i0。若像平面移动到距离镜头光圈v_t处，此时w_f0在像平面上成像为模糊圆，模糊圆的中心为w_i0’，模糊圆的直径d可以用式（8）表示。

$d=\frac{D}{v}|v_t-v|---\left(8\right)$

本文中采用PSF圆盘模型来说明如何设计累加的PSF（Accumulated PSF）。PSF圆盘模型认为模糊区域是一个均匀分布的圆形光斑，其函数形式表示为式（9）。

$h(r,v,v_t)=\frac{1}{\mathrm{\π}{d}^2}\mathrm{\Δ}\left(\frac{r}{d}\right)---\left(9\right)$

其中， $\mathrm{\Δ}\left(\frac{r}{d}\right)=\left\{\begin{array}{c}1,r\≤d/2\\ 0,\mathrm{else}\end{array}\right.,$ r是模糊圆中的点到模糊中心的距离。

当像平面沿着光轴的方向移动时，v_t是时间t的函数，表示像平面到镜头光圈的距离，定义累加的点扩散函数（APSF），由式（10）表示，其中T为曝光时间。

$\mathrm{AP}(r,v)={\∫}_0^{T}h(r,v,v_t)\mathrm{dt}---\left(10\right)$

考虑像平面沿光轴方向匀速运动，即v_t可以表示为式（11）的形式，s为常数，表示运动速度。

v_t=v₀+st                       （11）

结合式（9，10，11），得到APSF，用式（12）表示。

$\mathrm{AP}(r,v)=\frac{v}{\mathrm{\πsDT}}(\frac{{\mathrm{\δ}}_0+{\mathrm{\δ}}_T}{r}-\frac{{2\mathrm{\δ}}_0}{d_0}-\frac{2{\mathrm{\δ}}_T}{d_T})---\left(12\right)$

其中d_t表示在t时刻模糊圆的直径， ${\mathrm{\δ}}_t=\left\{\begin{array}{c}1,r\≤d_t/2\\ 0,\mathrm{else}\end{array}\right..$ 附图3是实景空间不同物点得到的基于时间累加的点扩散函数曲线图，由图可以看出，APSF在数值上具有空间不变性。

第三步：

由于整幅图像的模糊程度是相同的，采用反卷积算法（本发明采用文献“Image restoration by sparse 3Dtransform-domain collaborative filtering”，SPIE Electronic Imaging，2008中的反卷积算法）和实景空间中某一个物点的APSF对模糊图像做复原，就可以得到一幅全聚焦清晰的全向图像。如图4所示为实际系统实现的全聚焦效果图。

以上实施例仅仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现方法和具体实施步骤。因此，仅对上述实施例中具体的成像模型、公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (3)

1.一种折反射全聚焦成像方法，其特征包括如下步骤：

1）根据折反射全向成像散焦原理，计算实景空间的物点w经曲面镜反射在像平面上成模糊区域的大小；

2）在相机一次成像曝光时间内，通过匀速移动像平面，得到具有空间不变性的基于时间累加的点扩散函数；

3）运用反卷积算法复原得到一幅图像内环外环都清晰的全向图像。

2.根据权利要求1所述折反射全聚焦成像方法，其特征是，所述步骤1）中的根据实景空间的物点w，折反射成像采用双曲面反射镜和透视相机组成满足单视点约束的成像系统，再依据几何光学中的镜面反射定律和薄透镜成像原理，得到像平面上模糊圆直径的计算方法。

3.根据权利要求1所述折反射全聚焦成像方法，其特征是，所述步骤2）中的通过匀速移动像平面，点扩散函数模型采用均匀分布的圆盘函数，在相机一次成像曝光时间内，推导得到的基于时间累加的点扩散函数在数值上具有空间不变性的计算方法。

Images