CN104700359A - 像平面不同极轴方向图像序列进行超分辨率重建的方法 - Google Patents

Abstract

本发明公开了像平面不同极轴方向图像序列进行超分辨率重建的方法，包括以下步骤：步骤一，拍摄一组焦距相同极轴方向不同的低分辨率图像序列，从中选定一副图像作为参考图像，并对图像序列进行预处理；步骤二，利用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法获得参考图像与其余图像之间的匹配点对；步骤三，使用随机抽样一致性算法消除错误匹配点，并利用最小二乘法计算参考图像与其余未选定图像之间的映射关系；步骤四，使用最大后验概率方法(Maximum a Posteriori，MAP)进行超分辨率重建。本发明利用亚像素精度图像配准法，对低分辨率的像平面不同极轴方向图像序列进行重建，能够提高目标图像的分辨率，具有一定的创新性。

Description

像平面不同极轴方向图像序列进行超分辨率重建的方法

技术领域

本发明涉及图像配准和超分辨率重建领域，特别是像平面不同极轴方向的图像序列进行超分辨率重建的方法。

背景技术

在随着通信技术、高清电视等的发展，人们对图像的分辨率要求越来越高。而在航拍等远距离成像过程中，由于成像系统传感器尺寸、光照等各方面的限制，得到的图像分辨率较低，图像质量较差，不能满足人们的需要。

增加图像分辨率最直接的方法就是提高采集设备传感器密度，但这会显著的增加成本。在计算机视觉技术日益普及的今天，采集设备传感器的极点是固定的，因而可以采用旋转采集设备等方法，拍摄一组图像序列，使得该图像序列的极轴间互有夹角，利用软件方法进行超分辨率重建，提高图像分辨率，为图像的后续使用提供便利。

发明内容

发明目的：本发明所要解决的技术问题是针对航拍等远距离成像不能满足高分辨率要求，提供像平面不同极轴方向图像序列进行超分辨率重建的方法，从而使得图像分辨率得到提高。

为了解决上述技术问题，本发明公开了像平面不同极轴方向图像序列进行超分辨率重建的方法，包括以下步骤：

步骤一，拍摄一组焦距相同极轴方向不同的低分辨率图像序列，从中任意选择一副图像作为参考图像，对图像序列进行预处理；

步骤二，利用尺度不变特征变换算法计算参考图像与其余图像的匹配点对；

步骤三，使用随机抽样一致性算法消除错误匹配点对，并计算参考图像与其余未选定图像之间的映射关系；

步骤四，使用最大后验概率方法进行超分辨率重建。

本发明中，优选地，所述步骤一中的图像可以通过采集设备在与像平面平行的平面内绕着光轴旋转获得，从图像序列中任取一幅作为参考图像：

步骤(11)，对图像序列进行降噪等预处理。

本发明中，优选地，所述步骤二包括以下步骤：

步骤(21)，图像金字塔是一系列以金字塔形状排列的分辨率逐渐降低的图像集合。计算图像金字塔中相邻尺度图像的差分，得到高斯差分尺度空间。每一幅高斯差分图像的一个像素点，将其与它所在图像以及它所在图像上下层邻近的像素点比较，判断其是否为候选特征点。

步骤(22)，通过拟合三维二次函数以精确确定特征点的位置和尺度，同时去除低对比度的特征点和不稳定的边缘响应点；

步骤(23)，为每个特征点计算一个方向，利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性；

步骤(24)，将坐标轴旋转为特征点方向，对特征点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量；

步骤(25)，计算参考图像和其余图像序列中各特征点的特征向量间的欧式距离，根据欧式距离判定两幅图像中的特征点是否匹配。

本发明中，优选地，所述步骤三包括以下步骤：

步骤(31)，随机抽取部分匹配点对，估计参数模型，使用随机抽样一致性算法，消除错误的匹配点对；

步骤(32)，利用最小二乘法计算参考图像与其余图像之间的映射关系；

本发明中，优选地，所述步骤四包括以下步骤：

步骤(41)，确定观测模型，假定像平面不同极轴方向图像序列的像素是由对应的一组高分辨率图像像素加权得到的；

步骤(42)，以参考图像的插值结果作为初值，结合梯度法求解MAP算子目标函数，进行迭代计算获得高分辨图像。

本发明的原理是根据采集的像平面不同极轴方向的图像序列，首先任意选择一副图像作为参考图像，对图像序列进行预处理。其次，检测尺度空间极值点、确定特征点的位置和尺度、为每个特征点分配方向、用一个特征向量描述特征点。然后根据参考图像和其余图像之间特征点的特征向量之间的欧式距离判断是否匹配。使用随机抽样一致性算法，除去误匹配的点，并计算参考图像与其余图像的映射关系。最后，使用最大后验概率方法进行超分辨率重建。

有益效果：本发明通过软件方法进行图像处理，在对像平面不同极轴方向图像序列进行采集后，即可快速准确重建出分辨率较高的目标图像。本发明在航拍等远距离成像中有广泛的应用前景。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明产生的DOG空间示意图。

图2是本发明尺度空间下极值点所需要比较的点的示意图。

图3是本发明邻域梯度方向图。

图4是本发明特征点特征向量示意图。

图5是本发明方法简化流程图。

具体实施方式：

本发明，核心思路是利用尺度不变特征变换计算参考图像和其余图像的匹配点对，使用随机抽样一致性算法消除错误匹配点对，并计算参考图像与其余未选定图像之间的映射关系，最后使用最大后验概率方法进行超分辨率重建。

如图5所示，本发明公开了像平面不同极轴方向图像序列进行超分辨率重建的方法，包括以下步骤：

步骤一，通过改变采集设备在与像平面平行的平面内旋转获得极轴方向不同的图像序列，并从中任意选择一副图像作为参考图像。在进行分辨率重建之前，对所有图像进行去噪等预处理。

步骤二，利用尺度不变特征变换算法计算参考图像与其余图像的匹配点对：尺度空间极值检测，进行特征点定位，为每个特征点分配方向、用一个特征向量描述特征点，根据参考图像和其余图像之间特征点的特征向量之间的欧式距离判断是否匹配；

所述步骤二包括以下步骤：步骤21，一副二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，y，σ)*I(x，y)，    (1)

其中，为尺度可变高斯函数，(x，y)是空间坐标，σ是尺度坐标，*表示图像卷积。

利用不同尺度的高斯差分核与图像卷积，可生成高斯尺度差分空间：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，    (2)其中，k表示第k-1个尺度空间。DOG空间产生如图1所示，设图像金字塔共o组，每组s层，第k组图像由k-1组图像2倍降采样得到，每组图像相邻两幅相减便得到DOG算子。

为了寻找尺度空间的极值点，每一个采样点都要和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点，共26个点进行比较，如图2所示。如果这个点在相邻尺度空间和相同尺度下的二维图像空间都检测为极大值点或极小值点，便认为此点是图像尺度下的一个特征点。

步骤22，通过拟合三维二次函数以精确确定达到亚像素精度的特征点的位置和尺度，同时去除低对比度和不稳定的边缘响应点，达到增强匹配稳定性，提高抗噪声能力的目的。

空间尺度函数DOG在x方向上的泰勒展开式为：

$D(x,y,\mathrm{\σ})=D+\frac{{\∂D}^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^{2}D}{{\∂x}^2}x.---\left(3\right)$

对上式求导，令其导数等于0，便得到精确的位置，为：

$\hat{x}=\frac{{\∂}^2{D}^{-1}}{{\∂x}^2}\frac{\∂D}{\∂x}.---\left(4\right)$

将公式(4)带入公式(3)并只取前两项，得：

$D\left(\hat{x}\right)=D+\frac{1}{2}\frac{{\∂D}^T}{\∂x}\hat{x},---\left(5\right)$

若则该特征点就保留下来，否则为低对比度特征点被丢弃。

利用主曲率进行边缘响应点的去除，因为边缘响应点的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率利用一个2×2的Hessian矩阵求出：

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right],---\left(6\right)$

其中D的导数由采样点相邻差估计得到，D_xx为D对x的二阶偏导，D_yy为D对y的二阶偏导，D_xy为D对xy的二阶混合偏导。因为D的主曲率和H的特征值成正比，设α为较大特征值，β为较小特征值，且令α＝rβ，则矩阵H的迹Tr(H)与H的行列式Det(H)有如下关系：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{r\β}+\mathrm{\β})}^2}{r{\mathrm{\β}}^2}=\frac{{(r+1)}^2}{r}.---\left(7\right)$

取r＝10，为了检测主曲率是否在r下，只需是否满足检测：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}.---\left(8\right)$

步骤23，利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性。特征点(x，y)处梯度的模值m(x，y)和方向θ(x，y)的公式为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x+1,y)-L(x-1,y))}^2},---\left(9\right)$

θ(x，y)＝tan^-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))，    (10)

其中，L所用的尺度为每个特征点各自所在的尺度。这样，每个特征点就有三个信息：位置，所处尺度，方向。

步骤24，首先将坐标轴旋转为特征点方向，以确保旋转不变性。以特征点为中心选取8×8的窗口，图3为邻域梯度方向图，图中最中间的点为特征点所在位置。图中每个小格代表特征点所在尺度空间的一个像素，箭头长短代表梯度模值，箭头方向代表梯度方向，然后用高斯窗口进行加权，越靠近特征点的像素梯度方向所占权重越大，图3中的圈代表高斯加权的范围。在每个4×4的小块上，计算8个梯度方向直方图，绘制每个梯度方向梯度的累加图，如图4所示，即可形成一个种子点。图中一个特征点由2×2共4个种子点组成，每个种子点有8个方向向量信息。

步骤25，图像SIFT特征向量生成后，采用特征点特征向量的欧式距离作为两幅图像中特征点的相似性判定度量。取参考图像中的某个特征点，并找出另一幅图像中与其欧式距离最近的两个特征点。在这两个特征点中，若最近的距离除以次近的距离小于某个比例阈值，则接受这对匹配点。比例阈值通常选择在0.4至0.6之间。

步骤三，使用随机抽样一致性算法消除错误匹配点对，并计算参考图像与其余未选定图像之间的映射关系。步骤31，任取3对匹配点并测试其不再同一直线，计算出当前变换矩阵H。然后计算其余匹配点对X，X′之间的距离：

l_i＝d(X′，HX)+d(X，H^-1X′)，    (11)其中，d(x，x′)表示x，x′的绝对差。统计l小于阈值l_dist(取l_dist＝0.1)，即局内点，的总数，若局内点数目m大于或等于阈值max_inlier(取max_inlier＝0.95n，其中n为输入点对个数)且所有局内点均方差小于阈值min_std(取min_std＝100000)，则记录所有局内点。否则计算参数：

$N=\frac{\log (1-p)}{\log (1-{(1-\mathrm{\&epsiv;})}^4)},---\left(12\right)$

其中，ε＝1-m/n，p＝0.99。若N小于最大迭代次数500，则继续迭代。最终，获得所有局内点，去除所有误匹配的点对。

步骤32，根据匹配点对，利用最小二乘法计算出参考图像和其余图像之间的映射关系。

步骤四，利用最大后验概率方法进行超分辨率重建。步骤41，确定观测模型，可以认为低分辨率的像平面图像上的像素点是由高分辨率的图像中若干像素点加权得到。因此，该观测模型可以简化为：

$y_{k,m}=\underset{r=1}{\overset{N}{\mathrm{\&Sigma;}}}{h}_{k,m,r}{x}_r+n_{k,m},k=\mathrm{1,2},...,p,m=\mathrm{1,2},...,M,---\left(13\right)$

其中，y_k，m为第k幅低分辨率图像，第m个像素的像素值，h_k，m，r表示第r个高分辨率像素对第k幅低分辨率图像第m个像素的影响，x_r为高分辨率图像第r个像素的像素值，n_k，m为添加的噪声，通常假定为高斯白噪声，p为低分辨率图像的个数，M为低分辨率图像像素总数，N为高分辨率图像像素总数。

步骤42，利用梯度法求解MAP算子目标函数。MAP目标函数可表示为：

$L=\frac{1}{2{\mathrm{\&sigma;}}^2}\underset{m=1}{\overset{\mathrm{pM}}{\mathrm{\&Sigma;}}}{(y_{k,m}-\underset{r=1}{\overset{N}{\mathrm{\&Sigma;}}}{h}_{k,m,r}{x}_r)}^2+\frac{2}{2\mathrm{\&lambda;}}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{d}_{i,j}{x}_j\right)}^2,---\left(14\right)$

其中，σ表示邻域系统的标准差，λ为常数，d_i，j为只考虑一阶邻域的拉普拉斯算子：

对公式(14)求导，可得到梯度值的表达式：

$g_k=\frac{\&PartialD;L}{\&PartialD;x}=\frac{1}{{\mathrm{\&sigma;}}^2}\underset{m=1}{\overset{\mathrm{pM}}{\mathrm{\&Sigma;}}}{h}_{m,k}(\underset{r=1}{\overset{N}{\mathrm{\&Sigma;}}}{h}_{m,r}{x}_m-y_m)+\frac{1}{\mathrm{\&lambda;}}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{d}_{i,k}\left(\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{d}_{i,j}{x}_j\right).---\left(16\right)$

迭代过程为：

x_k ⁿ⁺¹＝x_k ⁿ-εⁿg_k，    (17)其中，εⁿ表示第n次迭代的步长，合理的步长选择可以按照下式：

${\mathrm{\&epsiv;}}^n=\frac{\frac{1}{{\mathrm{\&sigma;}}^2}\underset{m=1}{\overset{\mathrm{pM}}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_m(\underset{r=1}{\overset{N}{\mathrm{\&Sigma;}}}{h}_{m,r}{\hat{x}}_r^n-y_m)+\frac{1}{\mathrm{\&lambda;}}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{g}}_i\left(\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{d}_{i,j}{\stackrel{\&OverBar;}{x}}_j^n\right)}{\frac{1}{{\mathrm{\&sigma;}}^2}\underset{m=1}{\overset{\mathrm{pM}}{\mathrm{\&Sigma;}}}{{\mathrm{\&gamma;}}_m}^2+\frac{1}{\mathrm{\&lambda;}}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{g}}_i^2},---\left(18\right)$

理想图像的估计，从而完成超分辨率重建。

本发明提供了像平面不同极轴方向图像序列进行超分辨率重建的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.像平面不同极轴方向图像序列进行超分辨率重建的方法，其特征在于，包括以下步骤：

步骤一，拍摄像平面相同但极轴方向不同的图像序列，从中选出一幅作为参考图像，对图像序列进行预处理；

步骤二，利用尺度不变特征变换算法计算参考图像与其余图像的匹配点对；

步骤三，使用随机抽样一致性算法消除错误匹配点对，并利用最小二乘法计算参考图像与其余未选定图像之间的映射关系；

步骤四，使用最大后验概率方法进行超分辨率重建；

所述步骤一包括以下步骤：

步骤(11)，拍摄像平面相同但极轴方向不同的图像序列，任选一副图像作为参考图像；

步骤(12)，对图像序列进行降噪等图像预处理；

所述步骤二包括以下步骤：

步骤(21)，尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数检测潜在的尺度、旋转不变的特征点；

步骤(22)，特征点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度，依据稳定程度选择特征点；

步骤(23)，方向确定：基于图像局部的梯度方向，为每个特征点分配方向；

步骤(24)，特征点描述：对特征点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量；

步骤(25)特征点匹配：计算参考图像和其余图像序列中个特征点的特征向量间的欧式距离，根据欧式距离判定两幅图像之间的特征点是否匹配；

所述步骤三包括以下步骤：

步骤(31)，随机抽取部分匹配点对，估计参数模型，使用随机抽样一致性算法，消除错误的匹配点对；

步骤(32)，利用最小二乘法计算参考图像与其余图像之间的映射关系；

所述步骤四包括以下步骤：

步骤(41)，确定观测模型，假定像平面不同极轴方向图像序列的像素是由一组对应的高分辨率图像像素加权得到的；

步骤(42)，以参考图像的插值结果作为初值，结合梯度法求解MAP算子目标函数，确定最优步长，进行迭代计算，获得高分辨图像。