CN1863272A - 一种视频图像超分辨率重构方法 - Google Patents

Abstract

一种视频图像超分辨率重构方法，其使用至少一个观察帧对超分辨率图像进行修复，包括以下步骤：步骤1，构造参考帧，作为超分辨率图像的预估计值；步骤2，通过运动估计方法，将观察帧中至少一个像素点投影到参考帧；步骤3，根据投影像素点在参考帧中的位置选择适当的修复函数计算投影像素点的灰度估计值；步骤4，当投影像素点的灰度估计值与观察帧中对应像素点的实际灰度值的差异大于对当前观察帧所确定的阈值时，对参考帧进行图像修复。通过该方法，可以减少边缘振荡效应，提高重构图像的精度。

Description

一种视频图像超分辨率重构方法

技术领域

本发明涉及通信领域中的视频处理技术，特别是涉及一种基于凸集投影算法的改进的视频图像超分辨率重构方法。

背景技术

由于人们对信息传输速度的需求是无止境的，所谓的“宽带”也只是一个相对概念，而“窄带”是绝对的，带宽和人的需求相比总是窄的。因此，如何有效传输大量的信息是目前宽带通信这一通信技术研究的热点，对于多媒体通信，希望传输的信息越少越好，而对人的视听需求而言，则希望获取的信息越多越好。

提高空间分辨率的最直接的方法是通过传感器制造技术减小像素的尺寸(比如，增加单位面积的像素数)。然而，随着像素尺寸减小，可利用的光能也会减少，由此产生的颗粒噪声会使得图像质量严重退化。另外一个提高空间分辨率的途径是增大芯片尺寸，然而，它会导致电容量的增加。这两种通过硬件加工的方法成本太高。

超分辨率重构是解决该问题的关键技术。其利用信号处理技术从观测到的多幅低分辨率图像得到一幅高分辨率的图像(或序列)。从而在提高空间分辨率的同时不占用过多的带宽，或者花费过高的硬件成本。

超分辨率重构一般由插值、运动估计和图像修复三个环节构成，其中运动估计关系到相邻帧的子象素信息是否能准确地用于参考图像的重构。子象素的运动估计不准导致的重构图像失真，可以看成是运动估计误差噪声引起的，在已有的很多重构方法中，这种运动估计误差通常都被忽略，或简单假设在所有低分辨率图像之间运动估计误差都是相同的，因而影响了重构图像的精度。

另外，在当前使用的凸集投影(POCS)算法中，通常采用基于点扩散函数(PSF)的图像修正过程。使用该方法进行修复时，在图像边棱处会出现明显的亮纹，这就是边缘振荡现象。如图8(a)所示，在边缘处深色的一侧像素点的颜色变深，而浅色的一侧像素点变得更浅，它是由于对图像中所有点都采用了各向同性的修复函数而造成的。

发明内容

本发明的目的在于提出一种视频图像超分辨率重构方法，该方法可以提高重构图像的精度。

根据本发明的视频图像超分辨率重构方法，其使用至少一个观察帧对超分辨率图像进行修复，包括以下步骤：

步骤1，构造参考帧，作为超分辨率图像的预估计值；

步骤2，通过运动估计方法，将观察帧中至少一个像素点投影到参考帧；

步骤3，根据投影像素点在参考帧中的位置选择适当的修复函数计算投影像素点的灰度估计值；

步骤4，当投影像素点的灰度估计值与观察帧中对应像素点的实际灰度值的差异大于规定的阈值时，对参考帧进行图像修复。

上述步骤3可以包括以下步骤：

步骤31，判断投影像素点在参考帧中是否处于边缘位置；

步骤32，当投影像素点在参考帧中处于边缘位置时，进一步判断投影像素点所处的边缘方向；

步骤33，并根据所判断的方向选择各向异性的点扩散函数计算投影像素点的灰度估计值。

其中，步骤31中使用Sobel算子方法来判断像素点在参考帧中是否处于边缘位置。

其中，步骤32中使用基于聚类的边缘方向判断方法来判断投影像素点所处的边缘方向。

在本发明的方法中，步骤3也可以包括以下步骤：

步骤31，判断投影像素点在参考帧中是否处于边缘位置；

步骤32，当投影像素点在参考帧中不处于边缘位置时，使用各向同性的点扩散函数计算投影像素点的灰度估计值。

其中，步骤31中使用Sobel算子方法来判断像素点在参考帧中是否处于边缘位置。

另外，在上述方法中，可以对于不同的观察帧使用不同的阈值。其中，可以利用运动估计误差的统计方差，确定所述阈值；或者，根据运动估计误差统计方差与帧间距的关系，直接计算所述阈值。

与现有技术相比，本发明通过对于不同位置的投影像素点采用适当的修复函数进行修复，可以提高重构图像的精度。进一步，在本发明中，由于使用了边缘约束和基于运动估计误差的约束条件，使得边缘振荡效应明显减少。

附图说明

图1是现有的POCS算法具体算法流程的流程图。

图2是根据现有POCS算法，使用观察帧对参考帧进行修复的流程的流程图。

图3是以MobileAndCalendar为例统计出来的帧距与运动估计误差分布方差的关系的曲线图。

图4是利用拟合公式计算得到的运动估计误差方差与图3中统计出来的误差和帧间距关系曲线的比较。

图5是根据阈值调整的POCS算法，使用观察帧对参考帧进行修复的流程的流程图。

图6是基于边缘自适应的投影重构方法，使用观察帧对参考帧进行修复的流程的流程图。

图7是详细描述根据本发明的基于边缘自适应的投影重构方法，判断边缘方向的过程的流程图。

图8(a)是现有POCS算法得到的修正图像，而图8(b)是根据本发明的POCS算法得到的修正图像。

具体实施方式

为了更清楚的理解本发明，在说明本发明之前，首先结合附图说明现有凸集投影(POCS)算法。POCS算法实现的基本流程是建立参考帧，然后根据观测图像序列对参考帧进行修正，直到得到可以接受的重构结果。

图1示出现有的POCS算法的具体的算法流程。在步骤S1，构造参考帧Frame-R，作为超分辨率图像重构的预估计图像。一般的做法是在视频序列中取出一帧进行灰度级插值，以达到要求的分辨率。

在建立参考帧后，要把观测序列里其余的帧投影到参考帧中。首先，在步骤S2读入观察序列中的一个观察帧，例如Frame-O#1，作为当前观察帧Frame-O。接着，在步骤S3，使用当前的观察帧Frame-O对参考帧Frame-R进行图像修复，图像修复的过程将在下面参考图2具体说明。接着，在步骤S4中，当完成当前观察帧Frame-O之后，判断是否完成了观测序列中所有的帧，如果观测序列中还存在有未执行过修复工作的帧，则读入该帧，例如Frame-O#2，3，4...等等，重复执行步骤S2-S4，继续对参考帧Frame-R进行修复，直到完成观测序列中所有的帧。

图2示出根据现有POCS算法，使用观察帧(例如观察帧Frame-O#N)对参考帧Frame-R进行修复的流程。

在步骤S31，读入观察帧Frame-O#N中的一个像素点，例如P1，接着，在步骤S32将该像素点投影到参考帧Frame-R中，作为投影像素点，例如PP1。通常为保证图像中所有点被投影到参考帧中的正确的位置，必须进行运动估计，即求同一对象在两帧图像中的位置差(运动矢量)，本发明中所采用的方法为通常的运动估计方法，详细过程这里不再描述。

接着，在步骤S33，使用点扩散函数(PSF)计算出投影像素点PP1的灰度估计值GE(PP1)。在步骤S34中，计算投影像素点PP1的灰度估计值GE(PP1)与实际像素点P1的实际灰度值GR(P1)之间的差异的绝对值。在步骤S35，判断该差值绝对值是否大于规定的阈值δ₀。如果绝对值大于规定阈值δ₀，而且迭代次数未达到规定的次数，则对参考帧中的对应像素点进行修正(步骤S36，具体的修正方法将在后面详细描述)。否则，完成该点的工作，并判断是否完成了当前观察帧Frame-O中所有的像素点，如果当前观察帧Frame-O中还存在有未执行过修复工作的像素点，则读入该像素点，例如P2，3，4...等等，继续进行参考帧Frame-R的修复，直到完成当前观察帧Frame-O中所有的像素点。

现有技术的POCS算法中，阈值δ₀对于观测序列中每一个观察帧都是相同的。然而，通常，随着帧间距的增大，尽管各帧中的背景变化不大，但是物体的位置和形状会有明显的差异，这种差异会使运动估计误差分布的拖尾变长。因此简单地假设在所有观察图像之间运动估计误差相同，会影响重构图像的精度。

通常，帧间距与运动估计误差分布参数之间的关系为，随着帧间距的增加，误差的方差会增加。这种分布可以看成是广义的高斯型分布，其标准差和运动估计的误差成比例，其均值近似为0。因此，通过在阈值δ₀中引入运动估计误差分布随帧间距的变化，可以改进图像重构质量。

                   δ₀(k)＝λσ(k)                     (1)

σ(k)表示参考帧与第k个低分辨率帧之间的运动估计误差噪声的标准差，λ表示置信区间。通过统计误差的方差可以实现σ(k)的自适应取值。

图3是以MobileAndCalendar为例统计出来的帧间距与运动估计误差分布方差的关系。其中一共统计了6个观察帧，其对应的数据如表格1所示：

                                    表格1

帧间距	1	2	3	4	5	6
							方差	27.6866	35.1121	39.6863	43.2536	45.9148	47.8995

从表格1中可以看到，随着帧间距的增大，方差逐渐增大。由于对于每个观察帧统计运动估计误差方差的计算量较大，因此，近似的做法是根据数据拟合得到的某个计算公式来直接计算观察帧的运动估计误差方差。下面给出一个通过数据拟合得到多项式计算公式的例子。

因为不同的视频序列的特性是不一样的，因此其适用的计算公式和拟合参数都会不同。这里对于场景变化缓慢的序列(例如MobileAndCalendar序列)作了统计研究。

首先，利用适当度选定拟合多项式的阶次，由计算得到当阶次为4的时候，拟合良好度最接近0.5，因此选择阶数为4的多项式拟合图3中统计出来的误差和帧间距关系曲线，得到最后拟合的多项式如下：

      d(n)＝-0.2×n⁴+3.1×n³-16.5×n²+40.5×n+0.2        (2)

其中n表示参考帧与相邻帧之间的距离，且0≤|n|≤5。

图4显示了利用该拟合公式计算得到的运动估计误差方差与图3中统计出来的误差和帧间距关系曲线的比较，可以看到两者吻合度很好。因此，对于使用其它的观察帧来修复参考帧的时候，可以根据该观察帧与参考帧的距离，利用上述的公式(2)来直接计算出运动估计误差的方差。

对于一般的图像序列，通过统计帧间距和方差之间的关系，可以发现其呈现如下关系：

               d(n)＝a(1-e^-bn)                          (3)

其中a，b为待估计的参数，分别称为幅度因子和尺度因子，可以由具体统计样本值来确定。之后，在参考帧的修复中，可以根据观察帧与参考帧的距离，利用上述的公式(3)来直接计算出运动估计误差的方差。

因此，本发明在上述POCS算法进行图像修复中所使用的阈值中引入运动估计误差的方差与帧间距的这一关系，对于不同的观察帧，通过其与参考帧之间的帧间距，确定在使用该观察帧对参考帧进行图像修复的过程中使用的阈值，从而可以提高完成修复之后的重构图像的精度并改善修复过程的收敛性。图5示出根据本发明的阈值调整的POCS算法，使用观察帧，例如观察帧Frame-O#N，对参考帧Frame-R进行修复的流程。对照图2，可以看到，在读入观察帧的像素点之前，增加了根据帧间距计算阈值δ₀的步骤，其计算的方法可以根据如上所述，通过确定拟合公式形式，拟合统计样本得到拟合公式参数，然后计算运动估计误差的阈值，之后的步骤与图2中完全相同。

图像的修复方法如图2中步骤S32到S36所示，即，根据运动估计所得的运动矢量把一帧观测图像的像素点投影到参考帧上(步骤S32)，找出参考帧中投影像素的PSF范围内的像素，由PSF计算出投影像素的灰度估计值(步骤S33)，然后与实际灰度值相比较(步骤S34)，如果误差超出允许范围，则对参考帧中的像素进行修正直到误差减小到允许的范围内(步骤S36)。

下面具体说明图2的步骤S33以及步骤S36中，由PSF计算投影像素点的灰度估计值和对参考帧中像素点进行修正的方法。通常，观测图像的PSF是由具体的成像系统决定的，一般采用如下常见的PSF模型：

$\mathrm{\σ}(x,y)=e^{\frac{{(x-X_0)}^2+{(y+Y_0)}^2}{2}}---\left(4\right)$

式中，X₀和Y₀为点扩散函数的中心点坐标值。假设点扩散函数PSF是线性移不变的，令σ′(x，y)为σ(x，y)的归一化函数值，即

${\mathrm{\σ}}^{\′}(x,y)=\frac{\mathrm{\σ}(x,y)}{\underset{m=X_0-R}{\overset{X_0+R}{\mathrm{\Σ}}}\underset{n=Y_0-R}{\overset{Y_0+R}{\mathrm{\Σ}}}\mathrm{\σ}(m,n)}---\left(5\right)$

其中R表示PSF的有效范围，用f_ref(x，y)表示参考帧中的像素点，则该投影像素点的灰度估计值为：

$\hat{f}(X_0,Y_0)=\underset{m=X_0-R}{\overset{X_0+R}{\mathrm{\Σ}}}\underset{n=Y_0-R}{\overset{Y_0+R}{\mathrm{\Σ}}}{f}_{\mathrm{ref}}(x,y){\mathrm{\σ}}^{\′}(x,y)---\left(6\right)$

用y(m，n)表示观测图像灰度值，则灰度估计值与观测图像灰度值之间的误差为：

$r=y(m,n)-\hat{f}(X_0,Y_0)---\left(7\right)$

如果r的绝对值大于指定的阈值δ₀，就按照下面的公式(8)对参考帧中PSF范围内的像素灰度值进行修正：

       f_ref(x，y)＝f_ref(x，y)+pδ₀σ′(x，y)             (8)

式中，0≤p≤1，X₀-R≤x≤X₀+R，Y₀-R≤y≤Y₀+R。

考虑到在修复过程中还会受到其他约束条件的修正，一般取p＜1，采用如下的方式：

$f_{\mathrm{ref}}(x,y)=\left\{\begin{array}{cc}{f}_{\mathrm{ref}}(x,y)+(r+{\mathrm{\&delta;}}_0){\mathrm{\&sigma;}}^{\&prime;}(x,y)& r<-{\mathrm{\&delta;}}_0\\ f_{\mathrm{ref}}(x,y)& -{\mathrm{\&delta;}}_0\&le;r\&le;{\mathrm{\&delta;}}_0\\ f_{\mathrm{ref}}(x,y)+(r-{\mathrm{\&delta;}}_0){\mathrm{\&sigma;}}^{\&prime;}(x,y)& r>{\mathrm{\&delta;}}_0\end{array}\right.---\left(9\right)$

将f_ref(x，y)的值修正到误差范围内。

各向同性的修复函数对重构不尽合理，因为图像是一种非平稳过程，尤其是对于边缘点，它与周围的点差异非常明显，各向同性的修复函数对所有点都进行了相同的处理，不能很好的保持边缘点沿边缘方向平滑、跨边缘尖锐的特性。而目前POCS算法通常采用基于各向同性PSF的图像修正过程，使用该方法进行修复时，在图像边棱处会出现明显的亮纹，这就是边缘振荡现象。如图8(a)所示，在边缘处深色的一侧像素点的颜色变深，而浅色的一侧像素点变得更浅，它是由于对图像中所有点都采用了各向同性的修复函数而造成的，其中采用投影点边缘两侧的点对其进行灰度估计计算会引入不必要的灰度误差。因此在修复时应该考虑图像中各点的性质，进而对不同的点采用不同的修复函数。

由于传统的方法中使用各向同性的点扩散函数进行投影修复，造成了图像边缘振荡；为了保护边缘信息，本发明提出了基于边缘自适应的投影重构方法，即对于非平滑区和边缘的像素采用各向异性的修复函数。实现各向异性的修复处理，具体流程如图6所示。

图6中在处理当前观察帧的时候，前面的步骤S30到S32与图5中相同，在步骤S331，判断读入像素点P1的投影像素点PP1是否边缘像素点，具体的判断方法可以使用现有技术中的Sobel算子方法来进行。当步骤S331的判断结果说明投影像素点PP1是边缘像素点的时候，在步骤S332接着判断该边缘点所属的方向。本发明中，采用一种基于聚类的边缘方向判断方法来判断中心点的边缘方向，然后在步骤S333选择合适的修复函数(下面将详细说明判断边缘方向和选择修复函数的过程)。如果S331的判断说明投影像素点PP1并非边缘像素点，则使用各向同性的PSF对其进行修正。

下面参考图7详细描述判断边缘方向和选择修复函数的过程。假设点扩散函数的影响范围为半径为3×3的区域，如图7所示的以E为中心的9点，要判断E所属的边缘方向，要实现精确的判断，可以根据聚类的思想，将3×3区域中的点进行不同方向的分类，希望类内距离足够小，内间距离足够大。利用内类统计方差可以衡量内类距离，此处以4个方向为例，即水平方向(DEF)，斜45°方向(CEG)，垂直方向(BEH)，斜135°方向(AEI)(此处仅以4个方向举例，为提高精度还可以考虑其它方向如CEH、BEH、AEH、DEI等)。首先按以下公式计算中心点周围四个分类方向内类方差，

var₁＝{[C-mean(D，E，F)]²+[E-mean(D，E，F)]²+[F-mean(D，E，F)]²}/3，

var₂＝{[C-mean(C，E，G)]²+[E-mean(C，E，G)]²+[G-mean(C，E，G)]²}/3，

var₃＝{[B-mean(B，E，H)]²+[E-mean(B，E，H)]²+[H-mean(B，E，H)]²}/3，

var₄＝{[A-mean(A，E，I)]²+[E-mean(A，E，I)]²+[I-mean(A，E，I)]²}/3；

然后找出其中的最小者var_min＝min{var₁，var₂，var₃，var₄)，最小的含义是三个象素点灰度值之间的偏差最小，它们应该归属为同一类边缘方向，方差下标对应的方向即为中心点所属的方向；最后根据判断得到的方向来选择修复函数进行灰度修正：

可以看到，对于边缘方向为水平方向的边缘点，仅选择其水平方向的相邻像素点对其进行灰度估计计算，即y＝Y0的像素点；类似的，对于垂直的，斜45°的和斜135°的边缘方向的像素点，都仅采用其边缘方向的像素点对其进行灰度估计计算，即x＝X₀，x-X₀＝y-Y₀，x-X₀＝-(y-Y₀)。这样，由于同一边缘上的像素点与投影像素点灰度值接近，从而可以减少引入的灰度误差，并消除不必要边缘振荡。

图8是根据本发明的改进POCS算法得到的修复图像图8(b)与通常POCS算法得到的相同修复图像图8(a)的比较。从图8中可以看出，采用本发明的方法，能够恢复出一定的细节。由于使用了边缘约束和基于运动估计误差的约束条件，在进行3次迭代后，本发明的方法所得的结果与未使用这些约束条件相比，边缘振荡效应明显减少，所得结果中的数字26和31较图8(a)中的清晰。

Claims (12)

1.一种视频图像超分辨率重构方法，其使用至少一个观察帧对超分辨率图像进行修复，包括以下步骤：

步骤1，构造参考帧，作为超分辨率图像的预估计值；

步骤2，通过运动估计方法，将观察帧中至少一个像素点投影到参考帧；

步骤3，根据投影像素点在参考帧中的位置选择适当的修复函数计算投影像素点的灰度估计值；

步骤4，当投影像素点的灰度估计值与观察帧中对应像素点的实际灰度值的差异大于规定的阈值时，对参考帧进行图像修复。

2.如权利要求1所述的视频图像超分辨率重构方法，其中，步骤3包括以下步骤：

步骤31，判断投影像素点在参考帧中是否处于边缘位置；

步骤32，当投影像素点在参考帧中处于边缘位置时，进一步判断投影像素点所处的边缘方向；

步骤33，并根据所判断的方向选择各向异性的点扩散函数计算投影像素点的灰度估计值。

3.如权利要求2所述的视频图像超分辨率重构方法，其中，步骤31中使用Sobel算子方法来判断像素点在参考帧中是否处于边缘位置。

4.如权利要求2或3所述的视频图像超分辨率重构方法，其中，步骤32中使用基于聚类的边缘方向判断方法来判断投影像素点所处的边缘方向。

5.如权利要求1所述的视频图像超分辨率重构方法，其中，步骤3包括以下步骤：

步骤31，判断投影像素点在参考帧中是否处于边缘位置；

步骤32，当投影像素点在参考帧中不处于边缘位置时，使用各向同性的点扩散函数计算投影像素点的灰度估计值。

6.如权利要求5所述的视频图像超分辨率重构方法，其中，步骤31中使用Sobel算子方法来判断像素点在参考帧中是否处于边缘位置。

7.如权利要求1到6任一项所述的视频图像超分辨率重构方法，其中，所述规定的阈值是对于当前使用的观察帧来确定的。

8.如权利要求7所述的视频图像超分辨率重构方法，其中，利用运动估计误差的统计方差，确定所述阈值。

9.如权利要求7所述的视频图像超分辨率重构方法，其中，根据运动估计统计方差与帧间距的关系，直接计算所述阈值。

10.一种视频图像超分辨率重构方法，其使用至少一个观察帧对超分辨率图像进行修复，包括以下步骤：

步骤1，构造参考帧，作为超分辨率图像的预估计值；

步骤2，通过运动估计方法，将观察帧中至少一个像素点投影到参考帧；

步骤3，使用修复函数计算投影像素点的灰度估计值；

步骤4，当投影像素点的灰度估计值与观察帧中对应像素点的实际灰度值的差异大于对当前观察帧所确定的阈值时，对参考帧进行图像修复。

11.如权利要求10所述的视频图像超分辨率重构方法，其中，利用运动估计误差的统计方差，确定所述阈值。

12.如权利要求10所述的视频图像超分辨率重构方法，其中，根据运动估计统计方差与帧间距的关系，直接计算所述阈值。

Images