CN105931210A - 一种高分辨率图像重建方法 - Google Patents

Abstract

本发明涉及一种高分辨率图像重建方法，在同一场景采集两帧以上的低分辨率图像，从采集的图像中选取一帧图像作为基准帧图像；计算其余帧的低分辨率图像的各像素点相对于基准帧图像的偏移量，根据该偏移量将其余帧的低分辨率图像以基准帧图像为基准进行配准；设定分辨率放大倍数，将低分辨率图像映射到待复原的高分辨率图像栅格上；对映射到各个栅格上的像素点的像素值通过融合计算得到各个栅格顶点的像素值，从而得到该场景的高分辨率图像。本发明在保证高分辨率图像细节丰富的同时，算法简单、速度快，容易实现。

Description

一种高分辨率图像重建方法

技术领域

本发明涉及一种高分辨率图像重建方法，属于数字图像处理的技术领域。

背景技术

高分辨率图像在图像处理的技术领域中具有十分重要的作用，广泛应用于在卫星影像，交通监控或者目标识中。但是，由于受到各种拍摄条件的限制，如：拍摄设备工艺、周边环境气候等，往往获取的图像分辨率并不理想，这就需要对其进行后期处理，使其转换成满足要求的高分辨率图像。对于图像超分辨率重建领域中，通常要将多帧同一场景的低分辨率图像通过配准方法映射到高分辨率图像栅格中，实现将低分辨率图像转换成高分辨率图像。但是现有技术方法虽然可以获取高分辨率图像，但是，普遍方法都比较复杂，计算效率低。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种高分辨率图像重建方法，该方法可以快速获取细节丰富的高分辨率图像。

本发明是通过如下方案予以实现的：

一种高分辨率图像重建方法，步骤如下：

步骤1，在同一场景采集两帧以上的低分辨率图像，从采集的图像中选取一帧图像作为基准帧图像；计算其余帧的低分辨率图像的各像素点相对于基准帧图像的偏移量，根据该偏移量将余帧的低分辨率图像以基准帧图像为基准进行配准；

步骤2，设定分辨率放大倍数，以基准帧图像各像素点乘以所述分辨率放大倍数为目标位置，将基准帧图像的像素点映射到待复原的高分辨率图像栅格上；将根据偏移量配准后的其余帧的低分辨率图像的像素点乘以所述分辨率放大倍数为目标位置，将配准后的其余帧的低分辨率图像的像素点映射到待复原的高分辨率图像栅格上；

步骤3，对步骤2中映射到各个栅格上的像素点的像素值通过融合计算得到各个栅格顶点的像素值，从而得到该场景的高分辨率图像。

进一步的，步骤1中，其余帧的低分辨率图像的各像素点相对于基准帧图像的偏移量包括：位置偏移量和角度偏移量；位置偏移量又包括：水平偏移值和垂直偏移值。

进一步的，采集的低分辨率图像数量的为分辨率放大倍数的2倍到4倍。

进一步的，步骤2中用(x_b,y_b)表示基准帧图像的像素点；f表示设定的分辨率放大倍数；则基准帧图像的像素点映射到待复原的高分辨率图像栅格上后得到的像素点为(f·x_b,f·y_b)；

用(x_a,y_a)表示其余的低分辨率图像的像素点；用x_d和y_d分别表示该其余低分辨率图像相对于基准帧图像在X轴和Y轴的位置偏移量；其余帧的低分辨率图像的像素点映射到待复原的高分辨率图像栅格上后得到的像素点为(f·x_a+f·x_d,f·y_a+f·y_d)。

进一步的，步骤3中利用双边滤波器对映射到各个栅格上的像素点的像素值进行融合，表达式如下：

$g(i,j)=\frac{\underset{k,l}{\mathrm{\Σ}}f(k,l)w(i,j,k,l)}{\underset{k,l}{\mathrm{\Σ}}w(i,j,k,l)}$

其中，g(i,j)表示通过融合后得到的高分辨率图像的像素值；f(k,l)表示映射到各个栅格上的像素点的像素值；w(i,j,k,l)表示对应f(k,l)的权重系数。

本发明和现有技术相比的有益效果是：

本发明提出了一种高分辨率图像重建方法，对同一场景采集多帧低分辨率图像，选取其中一帧图像作为基准帧图像，其余图像以基准帧图像为基准进行配准。然后，对所有低分辨率图像进行放大并映射到高分辨率图像栅格上，再通过数据融合的方法得到高分辨率图像。通过采集多幅图像，获取丰富的图像信息，利用本发明方法实现对高分辨率图像的重建；本发明在保证高分辨率图像细节丰富的同时，算法简单、速度快，容易实现。

附图说明

图1是本发明实施例中基准图像映射到高分辨率图像栅格示意图；

图2是本发明实施例中所有低分辨率图像映射到高分辨率图像栅格示意图；

图3是本发明实施例中一种高分辨率图像重建方法的流程示意图；

图4是本发明实施例中典型应用场景示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细的说明。

一种高分辨率图像重建方法，该方法的主要思路为采集多帧同一场景的低分辨率图像，将所述的低分辨率图像通过配准方法映射到高分辨图像栅格中，之后再通过信息融合的方式将采集的低分辨率图像像素转换为高分辨率图像像素，进而得到高分辨率图像。下面分别就采集低分辨率图像、低分辨率图像配准、低分辨率图像映射到高分辨率图像栅格和图像融合进行依次说明，具体步骤如下：

1.采集低分辨率图像：通过摄像头采集同一场景多帧的低分辨率图像，在采集的过程中使摄像头具有微位移，这样获取得到的图像之间信息可互补，所提供的互补信息越多，获得的高分辨率图像的有效信息就越多。采集图像越多，提供的信息就越丰富，但由于受到分辨率放大倍数的限制，当图像帧数达到一定数量后，信息冗余度就会升高。因此，本实施例中设置图像帧数是分辨率放大倍数的2倍或者4倍。本实施例中采集的低分辨率图像帧数仅为优选的实施方式，作为其他实施方式，也可以根据实际情况选取其他数量的低分辨率图像。

2.低分辨率图像配准：从采集的低分辨率图像中选取一幅图像作为基准图像，本实施例中选取的为采集的第一帧图像；然后，对其余帧图像采用基于光流的方法，计算每一帧图像相对于基准图像的偏移量，本发明的偏移量包括位置偏移量和角度偏移量，位置偏移量又包括水平偏移值和垂直偏移值，实现对其余每副低分辨率图像的配准，所述的配准方法需要达到亚像素级的配准精度。

用(x_b,y_b)表示基准图像的像素点，用(x_a,y_a)表示其余帧的低分辨率图像的像素点。本实施例中利用位置偏移量对其余帧的低分辨率图像的像素点进行配准，则其余帧的低分辨率图像的像素点配准后得到的像素点为(x_a+x_d,y_a+y_d)。x_d和y_d分别表示该其余低分辨率图像帧相对于基准帧图像在X轴和Y轴的偏移量。

3.低分辨率图像映射到高分辨率图像栅格：

设置分辨率的放大倍数f(本实施例中设置放大倍数为2)，将低分辨率图像中的像素映射到高分辨率图像栅格中，具体方法如下：

如图1所示，以基准帧图像为基础，将基准帧图像中的像素点(x_b,y_b)乘以f倍，即而得到图像点为(f·x_b,f·y_b)；然后，将得到的图像点(f·x_b,f·y_b)赋到该栅格上，从而该基准帧图像转换成一幅高分辨率栅格图像。

如图2所示，将配准后的其余低分辨率图像进行上述同样转换并映射到对应高分辨率栅格上，得到映射后的图像点为(f·x_a+f·x_d,f·y_a+f·y_d)。

4.图像数据融合：采用保边滤波器的方法对上述映射到高分辨率栅格顶点像素值进行融合，从而实现将上述低分辨率图像像素转换成高分辨率图像。本实施例中采用的保边滤波器为双边滤波器，即在高分辨率图像栅格上的每个像素点上使用双边滤波器计算其像素值，表达式如下：

$g(i,j)=\frac{\underset{k,l}{\mathrm{\Σ}}f(k,l)w(i,j,k,l)}{\underset{k,l}{\mathrm{\Σ}}w(i,j,k,l)}---\left(1\right)$

其中，g(i,j)表示通过融合后得到的高分辨率图像的像素值；f(k,l)表示映射到各个栅格上的像素点的像素值；w(i,j,k,l)表示对应f(k,l)的权重系数。

其中，w(i,j,k,l)值的大小取决于定义域核d(i,j,k,l)和值域核r(i,j,k,l)的乘积，定义域核d(i,j,k,l)和值域核r(i,j,k,l)的表达式分别如下；

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2})---\left(2\right)$

$r(i,j,k,l)=\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}_r^2})---\left(3\right)$

则计算w(i,j,k,l)的表达式为：

$\mathrm{\ω}(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}_r^2})---\left(4\right)$

其中，上式(4)中邻域大小可根据实际情况取值，通常选取的典型值为3、5和7。

本实施例中还可以对低分辨率图像配准方法上选用基于光流的方法，在对低分辨率图像点进行融合时利用双边滤波器；上述方法仅为优选的实施方式而已，并不是对本发明的限制，作为其他实施方式还可以选择基于直方图投影或基于特征的方法进行配准，对低分辨率图像的融合方式也可以利用非局部均值滤波器(NLM)等方法。

Claims (5)

1.一种高分辨率图像重建方法，其特征在于，步骤如下：

步骤1，在同一场景采集两帧以上的低分辨率图像，从采集的图像中选取一帧图像作为基准帧图像；计算其余帧的低分辨率图像的各像素点相对于基准帧图像的偏移量，根据该偏移量将余帧的低分辨率图像以基准帧图像为基准进行配准；

步骤2，设定分辨率放大倍数，以基准帧图像各像素点乘以所述分辨率放大倍数为目标位置，将基准帧图像的像素点映射到待复原的高分辨率图像栅格上；将根据偏移量配准后的其余帧的低分辨率图像的像素点乘以所述分辨率放大倍数为目标位置，将配准后的其余帧的低分辨率图像的像素点映射到待复原的高分辨率图像栅格上；

步骤3，对步骤2中映射到各个栅格上的像素点的像素值通过融合计算得到各个栅格顶点的像素值，从而得到该场景的高分辨率图像。

2.根据权利要求1所述的一种高分辨率图像重建方法，其特征在于，步骤1中，其余帧的低分辨率图像的各像素点相对于基准帧图像的偏移量包括：位置偏移量和角度偏移量；位置偏移量又包括：水平偏移值和垂直偏移值。

3.根据权利要求1所述的一种高分辨率图像重建方法，其特征在于，采集的低分辨率图像数量的为分辨率放大倍数的2倍到4倍。

4.根据权利要求2所述的一种高分辨率图像重建方法，其特征在于，步骤2中用(x_b,y_b)表示基准帧图像的像素点；f表示设定的分辨率放大倍数；则基准帧图像的像素点映射到待复原的高分辨率图像栅格上后得到的像素点为(f·x_b,f·y_b)；

用(x_a,y_a)表示其余的低分辨率图像的像素点；用x_d和y_d分别表示该其余低分辨率图像相对于基准帧图像在X轴和Y轴的位置偏移量；其余帧的低分辨率图像的像素点映射到待复原的高分辨率图像栅格上后得到的像素点为(f·x_a+f·x_d,f·y_a+f·y_d)。

5.根据权利要求4所述的一种高分辨率图像重建方法，其特征在于，步骤3中利用双边滤波器对映射到各个栅格上的像素点的像素值进行融合，表达式如下：

$g(i,j)=\frac{\underset{k,l}{\Σ}f(k,l)w(i,j,k,l)}{\underset{k,l}{\Σ}w(i,j,k,l)}$

其中，g(i,j)表示通过融合后得到的高分辨率图像的像素值；f(k,l)表示映射到各个栅格上的像素点的像素值；w(i,j,k,l)表示对应f(k,l)的权重系数。