CN101707670A - 基于运动随机曝光的超分辨率成像系统及方法 - Google Patents

Abstract

本发明公开了一种基于运动随机曝光的超分辨率成像系统和方法，它属于图像获取技术领域。本发明的成像系统，包括黑箱、运动路线控制索道、低分辨相机、外加快门、二值随机数生成器和图像重构处理器。低分辨相机固定在运动路线控制索道支架上按照一条给定路线和既定速度在黑箱中运动，同时镜头前的外加快门在二值随机数生成器产生的脉冲信号序列控制下高速闪动，进行运动随机曝光，并将曝光得到的低分辨率图像传输到图像重构处理器，依据高分辨率图像的稀疏性，建立高分辨率图像重构模型，使用非线性优化方法重构出高分辨率图像。本发明具有结构简单、容易实现且成本低的优点，用于超分辨图像的获取和重建。

Description

基于运动随机曝光的超分辨率成像系统及方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种超分辨图像成像系统与方法，主要应用于超分辨图像的获取和重建。

背景技术

超分辨率图像在移动通信、图像和视频压缩技术、社会安全、视频监控、图形渲染、图像修复、生物认证、卫星和天文图像、高清电视的领域有着广泛的应用。获得超分辨率图像的途径主要有两大类，第一类方法是直接提高传感器的精度来获得高分辨率图像，由于受到加工工艺和制造材料的限制，这类方法实现难度大、成本高，且容易带来散粒噪声使图像质量受到严重影响。为克服这些缺点，另一类方法是利用一幅或者多幅低分辨率图像，通过相应的算法来获得一幅清晰的超分辨率图像，这就是所谓的超分辨图像重建。超分辨图像重建技术近年来吸引了国内外学者的广泛关注。

尽管超分辨图像重建具有非常巨大的应用价值和市场前景，也已经有一些信号处理的方法被用于超分辨率图像重建，但这种从低分辨率图像恢复超分辨图像的过程仍然是一件非常困难的事情，尤其是对于超高分辨率图像的重建，更加难以实现。目前，国内外在这一领域的理论和应用研究仍处在探索阶段。

近年来，一种新的信号处理理论——Compressive Sensing(CS)理论的出现为超分辨图像重建技术带来了新的思路，有望获得更好的重建效果。CS理论的主要思想是：假设一长度为N的信号x在某个正交基或紧框架Ψ上的系数是稀疏的，即只有少数的非零系数，如果将这些系数投影到另一个与变换基Ψ不相关的观测基Ф：M×N，M＜＜N上，得到观测集合y：M×1。那么信号x可以凭借这些观测值通过求解下面的优化问题而精确恢复。

min||Ψ^Tx||₁  s.t. ФΨ^Tx＝y

对于自然信号来说，其分解系数一般不具备严格稀疏特性。不过如果我们将系数

按照绝对值大小排序使得|θ₁|≥|θ₂|≥…|θ_N|，那么这些系数往往满足|θ_n|≤C·n^-a，C和α是常数。于是通过解上述优化问题得到的恢复值依然可以很好的逼近原信号x。

作为一种新生的理论，CS理论最初主要侧重理论上的证明和描述，在被提出后，Donoho等人在研究了大量的实验数据，给出了在实际应用中上式参数的取值。事实上，对于一个K项-稀疏(K＜＜N)长度为N的信号仅仅需要投影到另一个不相关基上的K+1个系数就可以以高概率被重构。然而，这么做需要进行组合搜索，计算复杂度相当高。Candès和Donoho近来提出一种可行的基于线性规划的重构方法，论证了只使用对信号的cK个观测值，c＝3或者4利用线性规划的方法就可以得到和组合搜索相同的解。另一类基于贪婪思想的迭代算法也已被提出，它以更多的观测数量作为代价达到了更加快速重构的目的。CS理论的引人之处在于它对于应用科学和工程的许多领域具有重要的影响和实践意义，如统计学、信息论、编码理论、计算机科学理论及其它理论。

据CS理论，在一定条件下，可以从低采样率获得的很少观测值来重建超高分辨率图像.利用这一特点，已经有人开发出了几种基于CS理论的成像仪，例如单像素相机、CMOS压缩成像系统、Coded-Aperture成像系统等.然而这些系统都存在共同的缺点：结构复杂，实现困难.这些缺陷限制了它们的应用.能否设计一种简单易实现且成本较低的方法来进行超分辨图像的获取和重建成为亟待解决的问题.

发明内容

本发明目的在于克服传统技术的不足，提供一种实现复杂度低、成本低的基于运动随机曝光的超分辨率成像系统及方法，以实现超分辨图像的获取和重建。

实现本发明目的的技术原理是：借鉴Ramesh Raskar等人在2006年设计的、被用于图像去模糊的带有高速闪动快门的相机成像原理，结合CS理论和快门闪动的随机性，对曝光过程进行改造，将快门等效于一个宽带滤波器，以保留高频的细节。实现超分辨成像。

本发明中的基于运动随机曝光的超分辨率成像系统包括：黑箱、低分辨相机和图像重构处理器，其中：黑箱内设有一个运动路线控制索道；低分辨相机的镜头前安装有高速闪动外加快门和二值随机数生成器，该相机固定在运动路线控制索道上，进行运动随机曝光，并输出低分辨率模糊图像，传送到图像重构处理器进行重构，输出超分辨图像。

所述的高速闪动外加快门与二值随机数生成器相连，二值随机数生成器生成0、1二值随机序列并输出相应的脉冲信号序列控制快门高速闪动，当随机数为1时快门开，当随机数为0时快门闭。

本发明的成像方法，包括如下步骤：

(1)在一架普通的低分辨相机上安装一个能够随机高速闪动的快门；

(2)使相机按照一条给定的路线和既定的速度进行运动；

(3)在运动过程中，设定二值随机序列控制相机的快门高速闪动，进行运动随机曝光，最终得到一幅模糊的低分辨率图像；

(4)使用非线性优化算法对所得低分辨模糊图像进行重构，得到高分辨率图像；

上述步骤3所述的设定二值随机序列控制相机快门高速闪动，按如下步骤进行设定：

(a)假设低分辨率照相机共有m个像素，相机以速度s水平移动，重构的超分辨图像X有n个像素，相机运动速度s只需满足1≤s≤n/m，即可进行充分的曝光，获得低分辨率图像Y；

(b)快门闪动曝光的次数为k＝n/s，设二进制随机序列R＝{r₁，r₂，...，r_k}，当r_i＝1时快门开，当r_i＝0时快门闭；

(c)随机序列R只需服从二值均匀分布，即可观测到充分的高频信息。

上述步骤4所述的使用非线性优化算法对所得低分辨模糊图像进行超分辨重构，按如下步骤进行：

(a)根据曝光原理，得到低分辨率相机第i个像素第j次高速曝光的曝光向量

写出第i个像素的曝光矩阵

(b)由曝光矩阵A_i和随机序列R求得随机观测矩阵Ф＝[RA₁，RA₂，...，RA_M]^T；

(c)设Ψ为一标准正交基，超分辨率图像X在该Ψ下稀疏，通过非线性优化方法得到超分辨率图像X＝arg min||Ψ^TX||₀，s.t.ФΨX＝Y。

本发明的成像系统由于采用一个普通相机和闪动的快门，具有结构简单、容易实现且成本低的优点；同时由于本发明将相机运动与快门随机闪动结合在一起，通过设定相机运动速度和快门随机闪动序列，使得观测结果中既保留了足够的结构信息，又保留了大量的高频细节信息；此外由于本发明充分利用了图像的稀疏性，通过求解非线性优化问题进行超分辨率重建，得到的超分辨率图像具有很好的重建效果。

附图说明

图1为本发明中基于运动随机曝光的高分辨率成像系统的结构示意图；

图2为本发明中低分辨相机运动示意图；

图3为传统曝光方式和随机曝光方式的示意图；

图4为本发明中单个像素随机运动曝光过程示意图；

图5为本发明中的一个观测矩阵实例的示意图；

图6为本发明重建超分辨率图像与双线性插值重建超分辨率图像的仿真结果对比图。

具体实施方式

参照图1，本发明的成像系统，包括黑箱1、运动路线控制索道2、低分辨相机3、外加快门4、二值随机数生成器5和图像重构处理器6。运动路线控制索道2的两端固定在黑箱1的底部两侧，低分辨相机3固定在运动路线控制索道2的支架上，可在运动路线控制索道2上自由运动。外加快门4固定在低分辨相机3的镜头的前方，该外加快门4与二值随机数生成器5相连，二值随机数生成器5生成0、1二值随机序列并输出相应的脉冲信号序列，控制快门4高速闪动，当随机数为1时快门开，当随机数为0时快门闭。

成像时，将黑箱1开口处对准待成像场景7，低分辨相机3在运动路线控制索道2的控制下运动，同时快门4在二值随机数生成器5的控制下高速闪动，运动停止时快门停止闪动，曝光过程完成，相机输出低分辨率模糊图像，该低分辨率模糊图像传送到图像重构处理器6通过重构，输出超分辨图像。

本发明基于运动随机曝光的高分辨率成像方法，包括如下步骤：

步骤1：在一架普通的低分辨相机上安装一个能够随机高速闪动的外加快门。

步骤2，相机按照一条给定的路线和既定的速度进行运动。

参照图2，低分辨相机运动的目的是为了使每一个像素都能充分获得待拍摄场景的信息，需要对其运动的路线和速度进行设定。假设低分辨率照相机共有M个像素，相机以速度s水平移动，超分辨图像X有N个像素，相机运动速度s只需满足1≤s≤N/M，即可进行充分的曝光，获得低分辨率图像Y。尽管相机运动得越慢，每个像素获取的场景信息越充分，但实际上，曝光时间不宜过长，因此相机移动的速度不宜过慢，此时可以选择s＝N/M。

步骤3：设定二值随机序列控制相机的快门高速闪动。

参照图3，在运动过程中，设定二值随机序列控制相机的快门高速闪动，进行运动随机曝光，最终得到一幅模糊的低分辨率图像.与传统相机曝光时快门一直开着不同，在运动随机曝光时，高速闪动的快门随机地处于‘开’或‘闭’的状态，因此相机中每一个像素并没有累积所有的曝光时间，它们累积的曝光时间不尽相同，正是这种曝光时间的差异在低分辩模糊图像中保留了足够多的高频信息，图3(a)为传统曝光过程，图3(b)为本发明中随机曝光过程，从图中可以看出两者的区别在于快门曝光方式不同.利用本发明中的随机曝光，既能保留了足够的结构信息，又保留了大量的高频细节信息，各像素的曝光强度如图3(b)所示.

所述的二值随机序列的设定步骤如下：

(a)快门闪动曝光的次数为k＝N/s，在每一个闪动中，快门随机地保持‘开’状态或‘闭’状态。这种随机开/闭的过程对应于一个长度为k的二进制随机序列。设二进制随机序列R＝{r₁，r₂，...，r_k}，当r_i＝1时快门开，当r_i＝0时快门闭。

(b)随机序列R只需具有随机性，即可观测到充分的高频信息，这里设定其服从二值均匀分布，其它随机分布也是可行的。

步骤4：使用非线性优化算法对所得低分辨模糊图像进行重构，得到高分辨率图像。

(a)为建立高分辨率图像重构模型，首先需要推导出第i个像素第j次曝光的曝光向量a_i ^j。为简化叙述，下面以一维图像为例。参照图4，针对第i个像素的第j次曝光，根据曝光原理，可以得到a_i ^j(i＝1，2，...，M，j＝1，2，...，k)，即

...

(b)根据第i个像素第j次曝光的曝光向量推导出观测矩阵Ф。如果快门一直开着，第i个像素的曝光矩阵为它将破坏高频细节信息，使图像变模糊。但是当快门在二进制随机序列R的控制下随机闪动时，高频信息被保留下来。利用第i个像素的曝光矩阵A_i和随机序列R，求出第i个观测值y_i＝RA_iX。

观测所得的低分辨率图像Y表示为：

$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_M\end{array}\right]=\left[\begin{array}{c}{\mathrm{RA}}_1\\ {\mathrm{RA}}_2\\ ...\\ {\mathrm{RA}}_M\end{array}\right]X=\mathrm{\ΦX}$

由观测值得到观测矩阵为：Ф＝[RA₁，RA₂，...，RA_M]^T。

图5给出了一个一维图像的观测矩阵Ф的实际例子，其中高分辨率图像像素N＝1024，低分辨相机像素M＝128，相机运动速度s＝8。

(c)最后建立高分辨率图像重构模型进行求解重构.设Ψ为一标准正交基，超分辨率图像X在该Ψ下稀疏.由成像系统获得的模糊的低分辨率图像重建高分辨率图像等价于求解0-范数意义下的优化问题min||Ψ^TX||₀ s.t. ΦX＝Y，可以通过基追踪、匹配追踪及其改进等算法求解，从而获得高分辨率图像。

上述重构过程仅是本发明的一个实例，不构成对本发明的任何限制，实际中，可以根据超分辨率图像的特性，构造不同的非线性优化问题，选用合适的求解方法，即可得到超分辨率图像。

本发明的效果可以通过仿真实例看出：

为验证这种新的基于运动随机曝光的高分辨率成像方法的可行性和有效性，本发明通过MATLAB仿真软件模拟了一个实施实例，仿真条件如下：

a)实验用的高分辨率图像为512×512的lena图像，如图6(a)；

b)使用一个128×128的低分辨率相机对其进行成像，在运动随机曝光后，得到一幅128×128的低分辨率图像；

c)由于大多数自然图像在DCT基下都是可压缩的，因此在实验中，相应的稀疏变换基为DCT基；

d)利用所得低分辩率图像使用优化算法重建512×512的高分辨率图像，优化算法选用基追踪算法；

e)相机的运动方式分别为竖直运动和水平运动。

为了验证算法的优点，将仿真结果与双线性插值重建方法做了比较，对比结果见图6。其中：

图6(b)是传统的双线性插值重建结果，具体做法是将高分辨率图像下采样得到低分辨率图像，然后利用双线性插值重建高分辨率图像，重建图像PSNR＝27.3dB。

图6(c)是利用本发明成像方法，相机竖直运动时得到的低分辨率图像Y和重构的高分辨率图像X，重建图像PSNR＝29.1dB；

图6(d)是利用本发明成像方法，相机水平运动时得到的低分辨率图像Y和重构的高分辨率图像X，重建图像PSNR＝29.1dB；

从实验结果来看，利用本发明的基于运动随机曝光的高分辨率成像方法重建的高分辨率图像比双线性插值方法的PSNR高近2dB。并且通过大量实验得出，本发明的成像方法在进行超高分辨率图像重建时有更好的性能。

本仿真实例显示了本发明的可行性和有效性。

Claims (6)

1.一种基于运动随机曝光的超分辨率成像系统，包括黑箱、低分辨相机和图像重构处理器，其特征在于：黑箱(1)内设有一个运动路线控制索道(2)；低分辨相机(3)固定在运动路线控制索道(2)的支架上自由运动，输出低分辨率模糊图像，传送到图象重构处理器(6)进行重构，通过该图象重构处理器输出超分辨图像。

2.如权利要求1所述的超分辨率成像系统，其特征在于：低分辨相机的镜头前安装有高速闪动外加快门(4)，完成高速曝光。

3.如权利要求2所述的超分辨率成像系统，其特征在于：高速闪动外加快门(4)连接有二值随机数生成器(5)，该二值随机数生成器生成0、1二值随机序列并输出相应的脉冲信号序列，控制快门高速闪动，当随机数为1时快门开，当随机数为0时快门闭。

4.一种基于运动随机曝光的超分辨率成像方法，包括如下步骤：

(1)在一架普通的低分辨相机上安装一个能够随机高速闪动的外加快门；

(2)使相机按照一条给定的路线和既定的速度进行运动；

(3)在运动过程中，设定二值随机序列控制相机的快门高速闪动，进行运动随机曝光，最终得到一幅模糊的低分辨率图像；

(4)使用非线性优化算法对所得低分辨模糊图像进行重构，得到高分辨率图像；

5.如权利要求4所述的运动随机曝光成像方法，其中步骤3所述的设定二值随机序列控制相机的快门高速闪动，按如下步骤进行设定：

(5a)假设低分辨率照相机共有M个像素，相机以速度s水平移动，重构的超分辨图像X有N个像素，相机运动速度s只需满足1≤s≤N/M，即可进行充分的曝光，获得低分辨率图像Y；

(5b)快门闪动曝光的次数为k＝N/s，设二进制随机序列R＝{r₁，r₂，...，r_k}，当r_i＝1时快门开，当r_i＝0时快门闭；

(5c)随机序列R只需服从二值均匀分布，即可观测到充分的高频信息。

6.如权利要求4所述的重构过程，其中步骤4所述的使用非线性优化算法对所得低分辨模糊图像进行超分辨重构，按如下步骤进行：

(6a)根据曝光原理，得到低分辨率相机第i个像素第j次高速曝光的曝光向量

写出第i个像素的曝光矩阵 $A_i={[a_i^1,a_i^2,...,a_i^k]}^T;$

(6b)由曝光矩阵A_i和随机序列R求得随机观测矩阵Φ＝[RA₁，RA₂，...，RA_M]^T；

(6c)设Ψ为一标准正交基，超分辨率图像X在该Ψ下稀疏，通过非线性优化方法得到超分辨率图像X＝argmin||Ψ^TX||₀，s.t.ΦΨX＝Y。

Images