CN105225211A - 一种基于振动提高视频分辨率的方法 - Google Patents

Abstract

本发明涉及一种基于振动提高视频分辨率的方法，包括步骤a)光学结构振动控制设计，通过振动控制设计将光学结构的角振动消除或转化为线振动，并控制线振动的振幅在亚像元范围内；b)临近帧图像特征点检测，利用场景或目标灰度变化明显的特征信息，检测出步骤a)采集到的低分辨率图像中的特征点,并对检测出的特征点进行初步筛选；c)临近帧图像特征点匹配，依据相邻两帧图像灰度相关性建立特征点匹配准则，对经过步骤b)初步筛选得到的特征点进行初步匹配形成匹配对，最后再利用特征点在图像分布的区域位置关系剔除粗匹配中的误匹配点；d)通过灰度映射重建高分辨率图像帧，采用迭代反投影法通过灰度映射重建高分辨率图像帧。

Description

一种基于振动提高视频分辨率的方法

技术领域

本发明属于图像的增强或复原处理领域，具体涉及一种通过使用多幅图像提高视频图像分辨的方法。

背景技术

电子信息技术的发展使得数字视频成像和处理技术被广泛运用到数字电视、网络播放、视频监控、医学诊断、交通管理等与人们生活息息相关的领域，也成为了天文探测、宇航、遥感、制导、预警等军事和科研领域中不可缺少的技术。为了能从图像视频中获取更多场景或目标的细节信息和动态信息，就迫切需要提高图像视频的空间分辨率和时间分辨率。

图像分辨率是图像质量的一个主要标志，图像的分辨率越高，表明其越接近真实场景。提高图像分辨率主要通过改进硬件设备和改进图像处理软件的两种方式，其中改进硬件设备的方式主要是对图像成像元件及光学系统的改进，但受到设备本身特性以及制作工艺、加工成本的影响，高分辨率的硬件设备难于制造，且体积较大、成本高昂，难于推广普及。

改进图像处理软件的方式，一种是利用利用插值技术来增加图像的像元数，该方法可以提高图形的分辨率，但实际上信息量并没有增加。另一种是采用序列图像重构的方法获得高分辨率图像，具体是指利用多帧相互之间具有子像素位移的低分辨率图像序列，通过相应的算法来重建得到高分辨率图像。相比于插值方法，序列图像重构能够从本质上提高图像分辨率，也避免了升级硬件设备带来的设备体积、成本的提高。

中国专利申请CN201010350915.0公开了一种一种基于运动估计的肺4D-CT图像的超分辨率冠矢状面图像重建方法，采用了迭代反投影方法，对肺4D-CT图像进行了图像重构，但是该方法是针对由10-20个不同相位的3D图像所组成，其每一相位对应不同的肺运动时刻。其针对3D图像的重建算法较为复杂，只适用于重建静态图片，当用于视频监控等用途时，复杂的算法会造成硬件成本高昂及且难于得到帧速较高的实时视频信息。且该算法也只适用于与拍摄目标相对于摄像设备小范围运动的情况。

CN201010530837.9公开了一种基于随机微位移的超分辨率图像重建方法，但该方法只适用于图像在二维平面上发生微位移的情况，不适用于输出高分辨率的实时监控视频信息的场合

现有的图像重构方法，均是针对被摄录物体的平面或三维微位移情况而设计的，而在视频监控场合，摄像设备本身的振动也会对图像质量产生影响，而这种振动与拍摄对象移动而引起图像微位移模式并不相同，而现有的图像重建方法，并不适用于处理对于摄像设备本身振动引起的微位移，而对于很多视频监控场合来说，摄像设备本身就处于振动较高的场合，此时获得高分辨率图像。因此提供一种能够基于振动提高视频分辨率的方法。

发明内容

本发明的目的是提供一种基于振动提高视频分辨率的方法，充分利用了临近帧图像间亚像素级互补信息和系统结构的微小振动干扰实现了提高视频分辨率的效果。

本发明提供了一种基于振动提高视频分辨率的方法，包括步骤：

a)光学结构振动控制设计，通过振动控制设计将光学结构的角振动消除或转化为线振动，并控制线振动的振幅在亚像元范围内，在一个采样周期内，可以获得k幅低分辨率图像，构成图像序列，k为大于等于2的整数；

b)临近帧图像特征点检测，利用场景或目标灰度变化明显的特征信息，检测出步骤a)采集到的低分辨率图像中的特征点,并对检测出的特征点进行初步筛选；

c)临近帧图像特征点匹配，依据相邻两帧图像灰度相关性建立特征点匹配准则，对经过步骤b)初步筛选得到的特征点进行初步匹配形成匹配对，最后再利用特征点在图像分布的区域位置关系剔除粗匹配中的误匹配点；

d)通过灰度映射重建高分辨率图像帧，采用迭代反投影法(IBP，IterativeBackProjection)通过灰度映射重建高分辨率图像帧。

所述的基于振动提高视频分辨率的方法，其特征在于优选步骤b)采用Harris角点检测法，检测出步骤a)采集到的低分辨率图像中的特征点，初步筛选出的特征点灰度变化明显，且在图像中分布均匀。

所述基于振动提高视频分辨率的方法，其特征在于采用迭代反投影法通过灰度映射重建高分辨率图像帧具体为：

1)将输入的步骤a)获得的k幅低分辨率图g_k中的第一幅g₀图像作为参考图像，通过配准，估计出低分辨率图像g_k与参考图像g₀的子像素位移量，得到第k张图像的几何变换算子T_k，对参考图像通过插值法求出高分辨率图像的估计值作为初始值f⁽⁰⁾，用它来获取一组和观察图像相对应的低分辨率图像

$g_k^{\left(n\right)}=(T_k\left(f^{\left(n\right)}\right)*h)\↓s---\left(1\right)$

其中，h为系统的点扩散函数，↓s为降采样算子；

2)把插值图像中的每一个值，利用反投影核p反投影到的f⁽⁰⁾的对应部分，用来进一步改正初始假设值。这样就可以获得一幅较优的高分辨率图像f⁽¹⁾。这个过程将一直被重复，直到误差函数满足(2)式条件：

$f^{(n+1)}=f^{\left(n\right)}+\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{T}_k^{-1}(((g_k-g_k^{\left(n\right)})\↑s)*p)---\left(2\right)$

其中，↑s为上采样算子，k为参与重建的影像数量；

如果反投影核p满足下(3)式，则(2)式将按指数收敛；

${\left|\right|\mathrm{\&delta;}-h*p\left|\right|}_2<\frac{1}{\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|T_k\left|\right|}_2}---\left(3\right)$

其中，δ为(0，0)处的单位脉冲函数；

3)根据图像视频的信息对2)步得到的高分辨率图像f⁽¹⁾进行唯一化处理。

如上所述，本发明提供的一种基于振动提高视频分辨率的方法中系统光学结构设计充分利用了系统结构的微小振动。振动对于成像质量有着重要的影响，振动过强会造成图像模糊，图像分辨率下降。但通常成像平台又是各种机械和传动结构的集成，这就造成了系统固有的存在一定振幅和频率的振动。常理上为了减少振动对成像质量的影响，一般都是对系统进行减振设计，避免出现影响成像质量严重下降的振动。但本文则通过振动控制设计将振动的振幅与频率控制在一定范围内，使光学结构的系统振动能够转化为成像器在一段时间内对同一场景多次成低分辨率图像的外在动力源，从而使其能够在一个与振动频率相关的采样周期内获得多幅用于进行图像重建的低分辨图像。

所述方法中，步骤b)临近帧图像特征点检测充分利用了场景或目标灰度变化明显的特征信息。对采集的低分辨率图像进Harris角点检测，检测出图像中的特征点，并且对检测的出的特征点进行了均匀化的初步筛选处理，使其在图像中基本呈均匀分布，从而使得图像在经过后续处理步骤后，各区域分辨率均能得到提高。

所述方法中，步骤(c)充分利用了图像帧间特征点的灰度相关性，根据相邻图像灰度相关性原则建立一个特征点匹配准则，对所检测的特征点进行粗匹配，形成匹配对，最后再利用特征点在图像分布的区域位置关系剔除粗匹配中的误匹配点进行精确匹配。

所述方法中，步骤(d)帧重建及灰度映射充分利用了微小像移的同一场景的多幅图像。通过特征点匹配，建立图像帧之间灰度映射关系。再使用迭代反投影(IBP，IterativeBackProjection)超分辨率重建方法重建高分辨率图像帧。由于低分辨率图像经过步骤(a)～(c)的处理，与其他的采用迭代反投影进行超分辨率重建的方法相比，算法简单，收敛速度较快，能够适用于需要进行高分辨率监控视频实时输出的工作场合。

附图说明

图1是本发明实施例1中基于振动提高视频分辨率的方法的流程图；

图2是参考图像与经过图像重建获得的高分辨率图像对比图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

实施例1基于振动提高视频分辨率的方法

本实施例提供的方法包括以下步骤(流程图如图1所示)：

a)光学结构振动控制设计，

通过振动控制设计将光学结构的角振动消除或转化为线振动，并控制线振动的振幅在亚像元范围内，振动频率范围，在一个采样周期内，可以获得k幅低分辨率图像，构成图像序列，k为大于等于2的整数，在本实施例中k＝3；

b)临近帧图像特征点检测，

利用场景或目标灰度变化明显的特征信息，检测出步骤a)采集到的低分辨率图像中的特征点,并对检测出的特征点进行初步筛选；

c)临近帧图像特征点匹配，

依据相邻两帧图像灰度相关性建立特征点匹配准则，对经过步骤b)初步筛选得到的特征点进行初步匹配形成匹配对，最后再利用特征点在图像分布的区域位置关系剔除粗匹配中的误匹配点；

d)通过灰度映射重建高分辨率图像帧，采用迭代反投影法(IBP，IterativeBackProjection)通过灰度映射重建高分辨率图像帧。

本实施例中，具体为

步骤a)中在经过振动控制后设计后的光学结构每个采样周期内获得的k幅低分辨率图像(k＝3)，构成图像序列，按照在采样周期内获得的先后顺序分别为图像a、图像b、图像c。以图像a为参考图像，图像c与图像a相比x轴像移0.6个像元，Y轴像移0.4个像元，图像c与图像a相比x轴像移0.3个像元，

步骤b)中对采集的低分辨率图像进Harris角点检测，检测出图像中的特征点。检测的特征点要进行初步筛选，选择特征比较明显的特征点，并使其分布均匀。

步骤c)中，因经过步骤a)，光学系统成像器获得的图像只是发生亚像元的像移，相邻两帧图像灰度有极大的相关性，因此依据相邻两帧图像灰度相关性建立特征点匹配准则，对步骤b)初步筛选确定的的特征点进行初步匹配形成匹配对，最后再利用特征点在图像分布的区域位置关系剔除粗匹配中的误匹配点；

步骤d)中，采用迭代反投影法(IBP，IterativeBackProjection)通过灰度映射重建高分辨率图像帧具体为：

1)将输入的步骤a)获得的k幅低分辨率图g_k中的第一幅g₀图像作为参考图像，通过配准，估计出低分辨率图像g_k与参考图像g₀的子像素位移量，得到第k张图像的几何变换算子T_k，对参考图像通过插值法求出高分辨率图像的估计值作为初始值f⁽⁰⁾，用它来获取一组和观察图像相对应的低分辨率图像

$g_k^{\left(n\right)}=(T_k\left(f^{\left(n\right)}\right)*h)\&DownArrow;s---\left(1\right)$

其中，h为系统的点扩散函数，↓s为降采样算子；

2)把插值图像中的每一个值，利用反投影核p反投影到的f⁽⁰⁾的对应部分，用来进一步改正初始假设值。这样就可以获得一幅较优的高分辨率图像f⁽¹⁾。这个过程将一直被重复，直到误差函数满足(2)式条件：

$f^{(n+1)}=f^{\left(n\right)}+\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{T}_k^{-1}(((g_k-g_k^{\left(n\right)})\&UpArrow;s)*p)---\left(2\right)$

其中，↑s为上采样算子，k为参与重建的影像数量；

如果反投影核p满足下(3)式，则(2)式将按指数收敛；

${\left|\right|\mathrm{\&delta;}-h*p\left|\right|}_2<\frac{1}{\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|T_k\left|\right|}_2}---\left(3\right)$

其中，δ为(0，0)处的单位脉冲函数；

3)根据图像视频的信息对2)步得到的高分辨率图像f⁽¹⁾进行唯一化处理。

经过以上步骤a)～d)的处理将以图像a为参考图像的序列图像进行图像重建，得到了高分辨率图像，参考图像与经过图像重建得到的高分辨率图像对比如图2所示，其中(a)为参考图像，(b)为经过图像重建得到的高分辨率图像。

Claims (3)

1.一种基于振动提高视频分辨率的方法，包括步骤：

a)光学结构振动控制设计，通过振动控制设计将光学结构的角振动消除或转化为线振动，并控制线振动的振幅在亚像元范围内，在一个采样周期内，可以获得k幅低分辨率图像，构成图像序列，k为大于等于2的整数；

b)临近帧图像特征点检测，利用场景或目标灰度变化明显的特征信息，检测出步骤a)采集到的低分辨率图像中的特征点,并对检测出的特征点进行初步筛选；

c)临近帧图像特征点匹配，依据相邻两帧图像灰度相关性建立特征点匹配准则，对经过步骤b)初步筛选得到的特征点进行初步匹配形成匹配对，最后再利用特征点在图像分布的区域位置关系剔除粗匹配中的误匹配点；

d)通过灰度映射重建高分辨率图像帧，采用迭代反投影法(IBP，IterativeBackProjection)通过灰度映射重建高分辨率图像帧。

2.如权利要求1所述的基于振动提高视频分辨率的方法，其特征在于步骤b)采用Harris角点检测法，检测出步骤a)采集到的低分辨率图像中的特征点，初步筛选出的特征点灰度变化明显，且在图像中分布均匀。

3.如权利要求1或2任一所述基于振动提高视频分辨率的方法，其特征在于采用迭代反投影法通过灰度映射重建高分辨率图像帧具体为：

1)将输入的步骤a)获得的k幅低分辨率图g_k中的第一幅g₀图像作为参考图像，通过配准，估计出低分辨率图像g_k与参考图像g₀的子像素位移量，得到第k张图像的几何变换算子T_k，对参考图像通过插值法求出高分辨率图像的估计值作为初始值f⁽⁰⁾，用它来获取一组和观察图像相对应的低分辨率图像

$g_k^{\left(n\right)}=(T_k\left(f^{\left(n\right)}\right)*h)\&DownArrow;s---\left(1\right)$

其中，h为系统的点扩散函数，↓s为降采样算子；

2)把插值图像中的每一个值，利用反投影核p反投影到的f⁽⁰⁾的对应部分，用来进一步改正初始假设值，这样就可以获得一幅较优的高分辨率图像f⁽¹⁾，这个过程将一直被重复，直到误差函数满足(2)式条件：

$f^{(n+1)}=f^{\left(n\right)}+\frac{1}{k}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{T}_k^{-1}(((g_k-g_k^{\left(n\right)})\&UpArrow;s)*p)---\left(2\right)$

其中，↑s为上采样算子，k为参与重建的影像数量；

如果反投影核p满足下(3)式，则(2)式将按指数收敛；

${\left|\right|\mathrm{\&delta;}-h*p\left|\right|}_2<\frac{1}{\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|T_k\left|\right|}_2}---\left(3\right)$

其中，δ为(0，0)处的单位脉冲函数；

3)根据图像视频的信息对2)步得到的高分辨率图像f⁽¹⁾进行唯一化处理。