CN105282402A - 一种基于多相机提高图像帧频和分辨率的方法 - Google Patents

Abstract

本发明涉及一种基于多相机提高图像帧频和分辨率的方法，包括步骤a)成像系统光学结构设计，将每个成像器装配一个光学镜头组成相互独立的相机，相机间构成紧密排列的阵列，每个相机的视场角覆盖同一场景，且每个相机的成像图像间相互还存在亚像元位移；b)成像电路与时序设计，成像系统在接受到外部信号触发进行时成像时，通过成像电路与时序设计，使得时序控制电路依次控制启动各个相机成像得到低分辨率数字图像序列；c)高分辨率图像帧重构及视频输出，数据处理单元在接受到步骤b)中各个相机采集的低分辨率数字图像序列后，从中提取特征点并根据相似原则进行特征点匹配，估计视频间的时空配准参数，重构高分辨率图像帧并进行视频输出。

Description

一种基于多相机提高图像帧频和分辨率的方法

技术领域

本发明属于图像的增强或复原处理领域，具体涉及一种通过使用多幅图像提高视频图像分辨的方法。

背景技术

随着数字成像设备的广泛使用和技术的发展,大量的图像应用要求处理数字成像设备的数字图片，而图像在各个领域的应用又促使人们对图像质量提出了更高的要求。

图像分辨率是图像质量的一项重要指标，高分辨率图像在遥感监测、军事侦察、交通及安全监控、医学诊断处理、模式识别等专业领域起着非常重要的作用，在日常应用中，高分辨率图像能带来也良好的视觉感受。

但是，任何摄像设备的所成图像均受成像系统物理条件限制。现有的通过提高工艺水平，减小探测元尺寸,增加探测元集成数量,虽然可以达到提高图像分辨率的目的,但这些手段受到现有技术水平和设备本身特性的限制，进一步减小探测元尺寸,增加探测元集成数量，会导致设备的价格不成比例的急剧提高，使其无法得到普及使用。同样为了提高视频的帧频，需要采用高速摄影设备，而随着帧频的提高，设备的成本也会不成比例的大幅度提高。

中国专利CN201310138393.8公开了一种多线阵CCD亚像元错位成像超分辨率重构方法，能够线阵数大于2的多线阵CCD成像进行超分辨率重构，但该方法只适用于对采用多线阵CCD集成在一个芯片的情况下，而这种情况时虽然能够一定程度的突破现有探测元集成数量上限，但还是受技术水平限制不能大幅度提高，若采用现有摄像设备组成类似复眼结构的多相机阵列，虽然可以突破现有技术中对探测元集成数量的数量，但该申请中公开的方法并不适用。

中国专利CN201310157445.6公开了一种用于焦平面探测器的微扫描图像重构方法，但该方法仅适用于对焦平面探测器成像数据的处理，并不适用于采用现有摄像设备组成类似复眼结构的多相机阵列，且该方法仅能提高图像分辨率，并不能提高视频图像的帧频。

因此为了降低设备成本，充分利用现有的摄像设备组成类似复眼的多相机阵列时，现有的数据处理方法存在着无法实现对多相机阵列采集到的图像数据进行重构以得到高分辨率图像或提高视频图像帧频问题，因此需要提供一种基于多相机阵列的，能够同时解决提高视频图像分辨率和图像帧频问题的方法

发明内容

本发明的目的是,提供一种基于多相机提高图像帧频和分辨率的方法，充分利用了多相机构造类复眼成像系统和同场景低分辨率视频图像重建高分辨率图像和提高视频图像帧频的方法。

为了实现本发明的目的，本发明提供了一种基于多相机提高图像帧频和分辨率的方法，包括步骤：

a)成像系统光学结构设计

将每个成像器装配一个光学镜头组成相互独立的相机，所述相互独立的相机之间构成紧密排列的阵列，相机数量n≥3。每个相机的视场角覆盖同一场景，且每个相机的成像图像间相互还存在亚像元位移；

b)成像电路与时序设计

成像系统在接受到外部信号触发进行时成像时，通过成像电路与时序设计，使得时序控制电路依次控制启动各个相机成像得到低分辨率数字图像序列；

c)高分辨率图像帧重构及视频输出

数据处理单元在接受到步骤b)中各个相机采集的低分辨率数字图像序列后，从中提取特征点并根据相似原则进行特征点匹配，匹配完成后运用RANSAC鲁棒估计方法估计视频间的时空配准参数，最后使用超分辨率重建方法重构高分辨率图像帧并进行视频输出。

所述的基于多相机提高图像帧频和分辨率的方法，其特征是

所述步骤a)，相机数量n≥7

所述步骤c)中超分辨率重建方法具体如下：

1)将步骤b)得到的低分辨率数字图像序列即k幅低分辨率数字图像g_k中的第一幅g₀图像作为参考图像，通过配准，估计出低分辨率图像g_k与参考图像g₀的子像素位移量，得到第k张图像的几何变换算子T_k。首先对参考图像通过插值法求出高分辨率图像的估计值作为初始值f⁽⁰⁾用它来获取一组和观察图像相对应的低分辨率图像

$g_k^{\left(n\right)}=(T_k\left(f^{\left(n\right)}\right)*h)\↓s---\left(1\right)$

其中，h为系统的点扩散函数，↓s为降采样算子；

2)把插值图像中的每一个值，利用反投影核反投影到的f⁽⁰⁾的对应部分，用来进一步改正初始假设值。以获得一幅较优的高分辨率图像f⁽¹⁾。这个过程将一直被重复，直到误差函数满足(2)式条件：

$f^{(n+1)}=f^{\left(n\right)}+\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{T}_k^{-1}(((g_k-g_k^{\left(n\right)})\↑s)*p)---\left(2\right)$

其中，↑s为上采样算子，k为参与重建的影像数量；

如果反投影核p满足下(3)式，则(2)式将按指数收敛；

${\left|\right|\mathrm{\&delta;}-h*p\left|\right|}_2<\frac{1}{\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|T_k\left|\right|}_2}---\left(3\right)$

其中，δ为(0，0)处的单位脉冲函数；

3)根据图像信息对2)步得到的高分辨率图像f⁽¹⁾进行唯一化处理，即获得高分辨率图像帧。

本发明提供的基于多相机提高图像帧频和分辨率的方法分为步骤a)～c)，首先是进行成像系统光学结构设计，将所述相互独立的相机之间构成紧密排列的阵列，构成了类仿生复眼结构。复眼是由许多小眼面组合而成,每个小眼面在光学上相当于一个小透镜,每个小眼面代表一个小眼,每只小眼紧密排列,并自成一体,是一个独立的视觉功能单元。把多个相机按照一定的规则组成一个类似复眼结构的光学成像系统，每个相机对同一场景成像，且每个相机的成像图像间相互还存在亚像元位移；将得到的一系列相互间具有亚像元位移的图像作为进行超分辨率图像重构的基础。其次是成像电路与时序设计，充分利用了外部信号触发和电路时序控制，成像系统在接受到外部信号触发时，由时序控制电路依次控制启动各个相机成像，也就是说相机间成像触发均存在微小的时间偏差，非同步触发成像。最后，进行高分辨率图像帧重构及视频输出，利用超分辨率重建法对多个相机依次触发成像得到的多组低分辨率图像序列，进行时空配准重建出图像高频细节信息，提高输出图像的帧率和分辨率，在图像序列中提取特征点并根据相似性原则进行特征点匹配，并运用RANSAC鲁棒估计方法估计视频间的时空配准参数。通过特征点匹配后，可以建立图像帧间映射关系，最后再用超分辨率重建方法重构出高分辨率图像帧，采用本方法，可以同时提高视频图像的分辨率和帧频，也可以根据实际情况需要，通过简单的参数设定在使输出图像在侧重提高图像分辨率和侧重提高图像帧频之间变化，适用范围更加广泛。

本发明提供的基于多相机提高图像帧频和分辨率的方法具有以下优点：

(1)充分利用了类复眼光学成像系统结构，克服了高分辨率成像器制作工艺困难问题，降低了成本；

(2)充分利用了多相机获取同场景的时空信息，增加了所获场景图像的细节信息；

(3)充分利用了不同视频图像间亚像素级互补信息和超分辨率重建算法，提高了视频图像的分辨率和图像质量；

(4)充分利用了时序控制电路控制多相机独立成像，提高了重建视频帧图像的采样帧率。

附图说明

图1是实施例1方法流程图。

图2是实施例1中相机阵列结构示意图.

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

实施例1一种基于多相机提高图像帧频和分辨率的方法，

所述方法包括首先是成像系统的光学结构，即把多个相机构成类似复眼的系统，并使各个相机视场角满足覆盖同一场景；然后是成像电路与时序设计，使各个相机在时序电路的控制下能相互独立的完成图像采集和输出，最后高分辨率图像帧重构及视频输出，由数据处理单元从图像序列中提取特征点并根据相似原则进行特征点匹配，匹配完成后运用RANSAC鲁棒估计方法估计视频间的时空配准参数，最后使用超分辨率重建方法重建高分辨率图像帧。

具体的，所述方法(流程图如图1所示)包括

步骤a)成像系统光学结构设计

将每个成像器装配一个光学镜头组成相互独立的相机，所述相互独立的相机之间构成紧密排列的阵列，相机数量n＝7。每个相机的视场角覆盖同一场景，且每个相机的成像图像间相互存在亚像元位移；相机阵列采用围绕中心相机紧密均布6个周围相机的方式构成，其结构示意图如图2所示。

步骤b)成像电路与时序设计

成像系统在接受到外部信号触发时，时序控制电路依次控制启动各个相机成像，也就是说每个相机成像触发存在微小的时间偏差，非同步触发成像。相机在接收到触发信号时成像器就会启动光电信号转换，把光信号转换成电信号并通过电荷转移电路和和预处理电路等处理输出成为低分辨数字图像序列。

步骤c)高分辨率图像帧重构及视频输出

数据处理单元在接受到步骤b)各个相机采集的低分辨数字图像序列后，从中提取特征点并根据相似原则进行特征点匹配，匹配完成后运用RANSAC鲁棒估计方法估计视频间的时空配准参数，最后使用超分辨率重建方法重构高分辨率图像帧；

所述的超分辨率重建方法具体为：

1)将步骤b)输入的低分辨率数字图像序列即k幅(本实施例中k＝3)低分辨率数字图像g_k中的第一幅g₀图像作为参考图像，通过配准，估计出低分辨率图像g_k与参考图像g₀的子像素位移量，得到第k张图像的几何变换算子T_k。首先对参考图像通过插值法求出高分辨率图像的估计值作为初始值f⁽⁰⁾用它来获取一组和观察图像相对应的低分辨率图像

$g_k^{\left(n\right)}=(T_k\left(f^{\left(n\right)}\right)*h)\&DownArrow;s---\left(1\right)$

其中，h为系统的点扩散函数，↓s为降采样算子；

2)把插值图像中的每一个值，利用反投影核反投影到的f⁽⁰⁾的对应部分，用来进一步改正初始假设值。以获得一幅较优的高分辨率图像f⁽¹⁾，这个过程将一直被重复，直到误差函数满足(2)式条件：

$f^{(n+1)}=f^{\left(n\right)}+\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{T}_k^{-1}(((g_k-g_k^{\left(n\right)})\&UpArrow;s)*p)---\left(2\right);$

其中，↑s为上采样算子，k为参与重建的影像数量，

如果反投影核p满足下(3)式，则(2)式将按指数收敛，

${\left|\right|\mathrm{\&delta;}-h*p\left|\right|}_2<\frac{1}{\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|T_k\left|\right|}_2}---\left(3\right)$

其中，δ为(0，0)处的单位脉冲函数。

3)根据图像视频的信息根据图像信息对2)得到的高分辨率图像f⁽¹⁾进行唯一化处理，即获得高分辨率图像帧。

Claims (3)

1.一种基于多相机提高图像帧频和分辨率的方法，其特征是包括步骤：

a)成像系统光学结构设计

将每个成像器装配一个光学镜头组成相互独立的相机，所述相互独立的相机之间构成紧密排列的阵列，相机数量n≥3，每个相机的视场角覆盖同一场景，且每个相机的成像图像间相互还存在亚像元位移；

b)成像电路与时序设计

成像系统在接受到外部信号触发进行时成像时，通过成像电路与时序设计，使得时序控制电路依次控制启动各个相机成像得到低分辨率数字图像序列；

c)高分辨率图像帧重构及视频输出

数据处理单元在接受到步骤b)各个相机采集的低分辨率数字图像序列后，从中提取特征点并根据相似原则进行特征点匹配，匹配完成后运用RANSAC鲁棒估计方法估计视频间的时空配准参数，最后使用超分辨率重建方法重构高分辨率图像帧,并进行视频输出。

2.如权利要求1所述的基于多相机提高图像帧频和分辨率的方法，其特征是：所述步骤a)中，相机数量n≥7。

3.如权利要求1所述的基于多相机提高图像帧频和分辨率的方法，其特征是所述步骤c)中，超分辨率重建方法具体如下：

1)将步骤b)得到的低分辨率数字图像序列即k幅低分辨率数字图像g_k中的第一幅g₀图像作为参考图像，通过配准，估计出低分辨率图像g_k与参考图像g₀的子像素位移量，得到第k张图像的几何变换算子T_k，首先对参考图像通过插值法求出高分辨率图像的估计值作为初始值f⁽⁰⁾，用它来获取一组和观察图像相对应的低分辨率图像

$g_k^{\left(n\right)}=(T_k\left(f^{\left(n\right)}\right)*h)\&DownArrow;s---\left(1\right)$

其中，h为系统的点扩散函数，↓s为降采样算子；

2)把插值图像中的每一个值，利用反投影核反投影到的f⁽⁰⁾的对应部分，用来进一步改正初始假设值，以获得一幅较优的高分辨率图像f⁽¹⁾，这个过程将一直被重复，直到误差函数满足(2)式的条件：

$f^{(n+1)}=f^{\left(n\right)}+\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{T}_k^{-1}(((g_k-g_k^{\left(n\right)})\&UpArrow;s)*p)---\left(2\right)$

其中，↑s为上采样算子，k为参与重建的影像数量；

如果反投影核p满足(3)式，则(2)式将按指数收敛；

${\left|\right|\mathrm{\&delta;}-h*p\left|\right|}_2<\frac{1}{\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|T_k\left|\right|}_2}---\left(3\right)$

其中，δ为(0，0)处的单位脉冲函数；

3)根据图像信息对2)步得到的高分辨率图像f⁽¹⁾进行唯一化处理，即获得高分辨率图像帧。