CN104159119A - 一种视频图像实时共享播放的超分辨率重构方法和系统 - Google Patents

Abstract

本发明提供一种视频图像实时共享播放的超分辨率重构方法和系统，方法包括构造参考帧图像、运动估计以及参考帧修正，所述参考帧图像构造时，对于非边缘像素点采用双线性插值或双三次插值，对于边缘像素点采用小波插值，由于双线性插值和双三次插值相当于低通滤波器，会使高频信息丢失，使边缘和纹理等细节变得模糊，而小波插值可以很好的保持边缘信息，采用这种方式获得的参考帧图像改善了边缘模糊的现象，提高了超分辨率图像重建结果图像的峰值信噪比，明显改善了图像的边缘效果，从而改善了最终重构的高分辨率图像的质量，解决了现有技术中参考帧图像边缘模糊的技术问题。

Description

一种视频图像实时共享播放的超分辨率重构方法和系统

技术领域

本发明涉及一种视频图像重构方法，具体地说是一种视频图像实时共享播放的超分辨率重构方法和系统。

背景技术

在视频显示技术中，随着分辨率和显示尺寸的不断快速膨胀，1080P显示早已进入人们的日常生活。对于高清视频信号或更高分辨率的视频信号的需求也已经成为一种必不可少的基本指标。然而，在像素级高清或更高分辨率的实时视频传输信号处理过程中，最大的难题就在于如何获得高分辨率且细节丰富的视频信息。对于目前常用的网络带宽而言，通用的10/100兆有线网络和150兆无线网络都无法胜任此项工作。

通过实际研究与国内外产品对比发现，可行的解决途径一般有两种：一个途径就是改变成像系统的内在分辨率，来适应高速的实时视频传输；另一个途径就是通过计算机软件处理的方式提高图像分辨率，从而满足人们对高质量高清晰度的图像需求。对于前者而言，更换网络基础设施对原有设备的利用和其他基础设施的改造提出了巨大的挑战，其实际投资与费用均未必能满足实际工程需求；对于后者而言，需要解决如何通过软件处理实现图像的高分辨率，在不改变成像系统内在分辨率限制的情况下，实现视频图像的实时传输。

针对网络化实时视频传输与显示技术来说，涉及到的主要算法分为两类：一类是视频信号的压缩技术，另一类是视频图像的重构技术。

在视频信号的压缩技术方面，为保证视频信号能够远距离传输，国内外大多数知名产品均采用标准的视频压缩编码技术，如较常用的有H.264/AVC编码、JPEG2000编码等形式。究其原因主要是这些视频编译码技术在计算机应用中十分常见且易用，很多硬件制造商和芯片生产企业也为此做了大量的努力，其成型产品或芯片种类丰富，使用方便。在国内的视频监控领域中，H.264/AVC编码基本作为主要的手段被应用于各类相关产品中。但由于其产品的大部分核心技术由少数国外企业所掌控，很难根据自身的实际情况来制定符合实际工程需要的特定产品。另一方面，这些专用视频处理芯片和产品均属于固定配置，灵活性较差。

超分辨率重构技术是以增加译码端的计算复杂度来有效地降低编码采集端的计算量的方法。中国专利文献CN1863272A中公开了一种视频图像超分辨率重构方法，该方法包括以下步骤：步骤1，构造参考帧，作为超分辨率图像的预估计值；步骤2，通过运动估计方法，将观察帧中至少一个像素点投影到参考帧；步骤3，根据投影像素点在参考帧中的位置选择适当的修复函数计算投影像素点的灰度估计值；步骤4，当投影像素点的灰度估计值与观察帧中对应像素点的实际灰度值的差异大于对当前观察帧所确定的阈值时，对参考帧进行图像修复。通过该方法，可以减少边缘震荡效应，提高重构图像的精度。但是，在该方案中，构造参考帧采用在视频序列中取出一帧进行灰度级插值，以达到要求的分别率。但是，由于在视频序列中存在边缘图像和非边缘图像，所以，进行灰度级插值一般采用线性插值方法。由于线性插值方法相当于低通滤波器，会使边缘和纹理等细节变得模糊，导致高分别率重构后的图像质量差。此外，还由于现有的运动估计方法多数是基于误差单调分布的假设，即确立一个搜索方向，搜索步长从大到小，而对其他方向的搜索不予考虑，从而降低了搜索精度，因此运动估计的准确性较差。

发明内容

本发明的目的是针对现有技术中存在超分辨率重构过程中参考帧的边缘和纹理模糊、运动估计准确性差的问题，提供一种更高效、更准确的视频图像超分辨率重构方法和系统。

为解决上述存在的技术问题实现发明目的，本发明的目的之一是通过以下技术方案实现的：

一种视频图像实时共享播放的超分辨率重构方法，其内容包括如下步骤：

(1)将接收到的视频图像转换成低分辨率图像序列，从所述低分辨率图像序列中选择一幅图像，对该图像进行插值，对于非边缘像素点采用双线性插值或双三次插值，对于边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的参考帧图像，即高分辨率图像的初始估计图像；

(2)通过运动估计的方法将观察图像的像素点投影到所述参考帧图像上；

(3)对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素点并计算该像素点的灰度估计值，与观察图像中该像素点的实际值进行比较，超出误差则进行修正，如此循环进行修正，当达到一定的循环次数或误差值已经收敛在预设的范围内时结束修正；对选取的多幅观察图像中的每个像素点采用步骤(3)所述方法对参考帧图像进行修正处理后结束修正，最终得到的修正后的参考帧图像即为高分辨率结果图像。在步骤(1)中，所述将接收到的视频图像转换成低分辨率图像序列，其转换过程是：将从编码端得到的压缩后的视频图像，通过超分辨率图像降质模型处理，得到低分辨率图像序列。

在步骤(2)中，所述运动估计的方法是采用三步搜索法，其过程包括如下步骤：

①选取一定步长，选取原点作为中心点；

②以所述中心点为正方形的中心构建正方形，所述正方形的中心到所述正方形边的距离为所述步长，选择所述正方形的四个顶点以及四条边的中点，分别进行误差计算并比较，得到最小误差点；

③判断所述步长是否大于最小步长阈值，如果是，则以步骤②中所述最小误差点为中心点，将步骤①中所述步长减半，然后重复进行步骤②；否则以步骤②的最小误差点所在的位置为最佳运动矢量，退出搜索。

在步骤(3)中，所述找出参考帧图像中观察图像投影的像素点并计算该像素点的灰度估计值，其过程是：在参考帧图像中找出观察图像投影的像素点的点扩散函数范围内的像素，再由点扩散函数计算出这个像素点的灰度估计值。

更进一步，在所述的视频图像超分辨率重构方法步骤(1)、(2)和(3)之后，还包括时间超分辨率重构步骤，在处理后的视频图像的各帧中间插入新的过渡帧。

所述时间超分辨率重构是通过重采样滤波器来实现。

本发明的另一目的是提供一种视频图像实时共享播放的超分辨率重构系统，包括空间超分辨率重构模块和时间超分辨率重构模块；所述的空间超分辨率重构模块包括：

参考帧构建单元，将接收到的视频图像转换成低分辨率图像序列，从所述低分辨率图像序列中选择一幅图像，对该图像进行插值，对于非边缘像素点采用双线性插值或双三次插值，对于边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的参考帧图像；

运动估计单元，通过运动估计的方法将观察图像的像素点投影到所述参考帧图像上；

修正单元，对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素点并计算该像素点的灰度估计值，与观察图像中的该像素点的实际值进行比较，超出误差则进行修正；对所有观察图像中的每个像素点进行循环修正处理后结束修正；

所述的时间超分辨率重构模块是将空间超分辨率重构模块处理后的视频图像的各帧中间插入新的过渡帧进行时间超分辨率重构。

本发明的上述技术方案相比现有技术具有以下优点：

(1)本发明所述的视频图像实时共享播放的超分辨率重构方法，包括构造参考帧图像、运动估计以及参考帧修正，所述参考帧图像构造时，对于非边缘像素点采用双线性插值或双三次插值，对于边缘像素点采用小波插值，由于双线性插值和双三次插值相当于低通滤波器，会使高频信息丢失，使边缘和纹理等细节变得模糊，而小波插值可以很好的保持边缘信息，采用这种方式获得的参考帧图像改善了边缘模糊的现象，提高了超分辨率图像重建结果图像的峰值信噪比，明显改善了图像的边缘效果，从而改善了最终重构的高分辨率图像的质量，解决了现有技术中参考帧图像边缘模糊的技术问题。此外，本发明的方案可以提高实时传输中的图像分辨率，采用计算机显卡信号为主要传输的视频信号信源，提供了一种能够适应当前百兆以太网和IEEE802.11n带宽的要求和利用现有网络基础设施，在不改变网络布局布线及路由交换设备等任何现有的网络基础的条件下，同时无需复杂的编译码算法和设备，可适用于平板电脑，笔记本电脑，台式电脑，智能手机等装置的超分辨率重建技术。

(2)本发明所述的视频图像实时共享播放的超分辨率重构方法，运动估计采用三步搜索法进行估计，该方法采用由粗到细的搜索策略，进行匹配计算，跟踪最小无差点，该方法可以达到减小计算量的目的，且避免了现有技术中只确立一个搜索方向，其他方向的搜索不予考虑造成的精度低的问题，本发明的三步搜索法通过由粗到细的方式对周围的多个点进行了根据搜索，提高了搜索精度。

(3)本发明所述的视频图像实时共享播放的超分辨率重构方法，还包括时间超分辨率重构步骤，在处理后的视频图像的各帧中间插入新的过渡帧，通过平滑地在已经接收到的视频图像各帧中间插入若干新的过渡帧，达到提高视频播放效率的效果，利用视频序列中的相邻图像间具有较强的相关性，通过插入过渡帧的方法不仅能够减少达到最佳重构图像所需的时间，而且可以明显的改善了重构图像的质量。

(4)本发明所述的视频图像实时共享播放的超分辨率重构方法，通过重采样滤波器来对视频图像进行时间上的重构，可以有效的估计出视频传输中丢失的视频帧图像，有效的提高了视频图像的时间分辨率。

(5)本发明所述的视频图像实时共享播放的超分辨率重构方法，通过点扩散函数来计算投影的像素点的灰度估计值，由于绝大多数的成像系统并不是理想的光学系统，图像在经过摄像头的时候总有一定的退化，会产生一些模糊，通过点扩散函数来更好的还原投影的像素点，该方法可以作为一个视频图像实时共享与播放的系统使用，该系统得到的视频图像细节清晰，不会产生图像丢帧现象，且计算复杂度低，利于实时应用。

附图说明

图1是一种视频图像实时共享播放的超分辨率重构方法的流程图；

图2是一种视频图像实时共享播放的超分辨率重构方法中构造参考帧的插值流程图；

图3是双线性插值的原理图；

图4是三步搜索法的搜索示意图；

图5是视频图像实时共享与播放系统框图。

具体实施方式

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，下面给出本发明的具体的实施方式。

实施例1：

本实施例中提供一种视频图像实时共享播放的超分辨率重构方法，当视频图像经过网络传输后，在接收端通过超分辨率重构的方式，重新生成视频图像，通过增加译码端的计算复杂度来有效地降低编码采集端的计算量，提供视频图像的分辨率尺寸和播放速率。

本实施例中的基于视频图像实时共享与播放的超分辨率重构方法，其流程图如图1所示，该方法内容包括：

(1)首先，将接收到的视频图像转换成低分辨率图像序列。在对译码端得到的小分辨率视频图像进行重构的过程中，首先建立超分辨率复原的退化降质模型，通过软件的方法生成低分辨率图像观测序列。

然后，从所述低分辨率图像序列中选择一幅图像，来构建参考帧图像。视频图像重构采用凸集投影的方式，实现凸集投影的第一步就是根据视频图像序列构造参考帧，也就是预估的超分辨率图像，从理论上来说，整个成像空间图像集合的任一点开始，在经过向所有约束集投影的过程后，都可以找到它在交集上的投影，也就是以任意的图像作为参考帧开始重构，最后都能得出可以接受的重构结果，而实际上，初值估计对于算法是否可行的影响是比较大的，实际上通常为了加快收敛速度，减少重复修正需要的次数，降低算法的计算量和消耗的时间，构造的参考帧与最后的重构结果越相似越好。

当选定一幅最相近的图像后，需要对该图像进行插值处理，对于非边缘像素点采用双线性插值，对于边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的参考帧图像，插值流程图如图2所示。

双线性插值和小波插值是两种常用的插值算法。

双线性插值是利用了需要处理的原始图像像素点周围的四个像素点的相关性，通过双线性算法计算得出的。双线性插值的原理图如图3所示。对于一个目的坐标，通过向后映射法得到其在原始图像的对应的浮点坐标(i+u，j+v)，其中i，j均为非负整数，u，v为[0，l]区间的浮点数，则这个像素的值f(i+u，j+v)可由原图像中坐标为(i，j)、(i+l，j)、(i，j+1)、(i+1，j+1)所对应的周围四个像素的值决定，即：

f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×V×f(i，j+1)+u×(1-v)×f(i+l，j)+u×v×f(i+l，j+1)，其中f(i，j)表示源图像(i，j)处的像素值，以此类推，这就是双线性内插值法。

如图3所示，已知(0，0)、(0，1)、(1，0)、(1，1)四点的灰度，可以由相邻像素的灰度值f(0，0)和f(1，0)在X方向上线性插值求出(x，0)的灰度f(x，0)，由另外两个相邻像素f(0，1)和f(1，1)在X方向上线性插值可求出(x，1)的灰度f(x，1)，最后由f(x，0)，f(x，1)在Y方向上进行线性插值就可以得到(x，y)的灰度f(x，y)。

在同一行内根据待插值像素点与其前后的原图像像素点的位置距离进行加权线性插值，即离原图像像素点越近的待插值像素点，原图像像素的加权系数就越大；行间根据待插值行与其上下的原图像行间的距离进行加权线性插值，即离原图像行越近的待插值行，原图像行的加权系数就越大。

作为可以替换的实施方式，双线性插值算法也可以被替换为双三次插值算法。双三次插值又称立方卷积插值，该算法利用待采样点周围16个点的灰度值作三次插值，不仅考虑到4个直接相邻点的灰度影响，而且考虑到各邻点间灰度值变换率的影响，三次插值可以得到更接近高分辨率图像的放大效果。双三次插值通过下式进行计算：

a₀₀+a₁₀x+a₀₁y+a₂₀x²+a₁₁x_y+a₀₂y²+a₂₁x²y+a₁₂x_y ²+a₂₂x²y²a₃₀x³+a₀₃y³+a₃₁x³y+a₁₃xy³+a₃₂x³y²+a₂₃x²y³+a₃₃x³y³

或者用一种更加紧凑的形式，

$\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}^i{y}^j$

双三次插值算法是双线性插值算法的改进算法，它输出图像的每个像素都是原图16个像素运算的结果，由于效果好，运算速度也不慢，因而这种插值方法是一种很常见的算法，普遍用在图像编辑软件、打印机驱动和数码相机上。

小波插值是通过小波变换来进行插值的算法，小波分析，是指用有限长或快速衰减的为母小波(mother wavelet)的震荡波形来表示信号。该波被缩放和平移以匹配输入的信号。

由于双线性插值和双三次插值相当于低通滤波器，会使高频信息丢失，使边缘和纹理等细节变得模糊，而小波插值可以很好的保持边缘信息，采用这种方式获得的参考帧图像改善了边缘模糊的现象，提高了超分辨率图像重建结果图像的峰值信噪比，明显改善了图像的边缘效果，从而改善了最终重构的高分辨率图像的质量，解决了现有技术中参考帧图像边缘模糊的技术问题。

(2)通过运动估计的方法将观察图像的像素点投影到所述参考帧图像上。

在获取图像序列的过程中，由于物体的运动及相机位置的改变而导致图像内容发生变化，主要包括物体的平移、旋转、形状变化、相机的变焦、倾斜、镜头抖动等。运动估计实际上就是求同一对象在两帧图像中的位置差，也就是这个对象的两帧图像中的“运动”。假设总共拍摄到6帧分辨率为256×256、各自含有不同亚像素信息的低分辨率图像，那么我们最终目的是要从这些低分辨率图像中重构出一幅分辨率为q×256×z×256的高分辨率图像，其中q，z是放大倍数。为了能将这N帧低分辨率图像中的亚像素信息甄别出来，就需要在高分辨率网格q×256×z×256上重新将这6帧低分辨率图像进行配准，这就是运动估计的目的所在。在凸集投影方法中，要把低分辨率图像序列投影到参考帧上进行修正，为保证低分辨率图像中的点投影到参考帧图像中的正确位置上就必须进行运动估计，运动估计的好坏直接影响超分辨率复原的结果。

运动估计的方法很多，多数是基于误差单调分布的假设，确立一个搜索方向，搜索步长从大到小，对其他方向的搜索不予考虑，从而达到减少计算量的目的。本实施例中可以采用现有的运动估计方法。

(3)对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素点并计算该像素点的灰度估计值，与观察图像中的该像素点的实际值进行比较，超出误差则进行修正；对所有观察图像中的每个像素点进行修正处理后结束修正。

参考帧的修正过程其实就是成像空间的初始点在各个凸集中的投影过程。绝大多数的成像系统并不是理想的光学系统，图像在经过摄像头的时候总会有一定的退化，考虑一个光点源，透过摄像头形成图像，不可能与原先一样就是一个点，而是会产生一些模糊，这个模糊是由点扩散函数造成的。

对高分辨率图像的修正就是把一个观察图像像素投影到参考帧上，通过点扩散函数PSF来进行修正。点扩散函数是有支持域的，支持域是指点扩散函数的形状和尺寸大小，如果估计出来的支持域与实际支持域不相符，点扩散函数的求解有效性就不能得到保证，选取标准差为1，支持域为5*5的高斯函数作为点扩散函数，根据点扩散函数可以确定低分辨率图像像素点的模糊程度，计算出像素点的灰度值。在进行修正时，首先找出参考帧中在它的支持域范围内的像素，由点扩散函数PSF计算出这个像素的灰度估计值，与实际值相比较，如果误差超出允许范围，就对参考帧中的像素灰度值进行修正使得灰度估计值与实际值的误差减小到允许范围内。对所有观察图像中的每个像素都进行这样的处理。采取循环修正的方法，在达到一定的循环次数，或者确定误差值已收敛至足够小才结束修正过程。

本实施例中的视频图像实时共享播放的超分辨率重构方法，可以提高实时传输中的图像分辨率，采用计算机显卡信号为主要传输的视频信号信源，提供了一种能够适应当前百兆以太网和IEEE802.11n带宽的要求和利用现有网络基础设施，在不改变网络布局布线及路由交换设备等任何现有的网络基础的条件下，同时无需复杂的编译码算法和设备，可适用于平板电脑，笔记本电脑，台式电脑，智能手机等装置的超分辨率重建技术。所述参考帧图像构造时，对于非边缘像素点采用双线性插值或双三次插值，对于边缘像素点采用小波插值，由于双线性插值和双三次插值相当于低通滤波器，会使高频信息丢失，使边缘和纹理等细节变得模糊，而小波插值可以很好的保持边缘信息，采用这种方式获得的参考帧图像改善了边缘模糊的现象，提高了超分辨率图像重建结果图像的峰值信噪比，明显改善了图像的边缘效果，从而改善了最终重构的高分辨率图像的质量，解决了现有技术中参考帧图像边缘模糊的技术问题。通过空间超分辨率重构模块在接收到的视频图像基础上根据图像的特性进一步重新构建分辨率尺寸更大的新视频图像，以增加计算复杂度和计算量为代价获得较高质量的高分辨率图像，这种采用凸集投影的超分辨率重建技术，不需要昂贵的图像获取设备，只需要通过计算机软件的处理就能获得更高分辨率的图像，保证获得较好的视频播放质量。

实施例2：

在本实施例中，提供一种视频图像实时共享播放的超分辨率重构方法，针对译码端接收到的图像出现的画面变小或跳帧的现象，采用空间可分级和时间可分级的方式解决小画面和播放帧不连续的跳帧现象。

本实施例中的视频图像实时共享播放的超分辨率重构方法，主要包括空间超分辨率重构和时间超分辨率重构两个步骤。

首先，对接收到的图像进行空间超分辨率重构，该过程包括构造参考帧、进行运动估计、对参考帧进行修正的过程。本实施例中，除运动估计外，其余的方法与实施例1相同，本实施例中，运动估计采用块匹配算法，块匹配算法的硬件复杂度低，运算量简单，位移跟踪能力强，且容易实现，因此对于实际运动来说被认为是最普遍，最通用的方法。块匹配算法是通过像素域搜索程序找到最佳的运动矢量估算，虽然它并不能完全描述物体之间的真实运动，但简单易实现，且对物体的运动情况能做较好的近似。块匹配算法的基本思想是在当前帧考虑一个位置为(m,n)的图像块，一般选择16*16的图像块，在待搜索的图像中搜索一个相应大小的最佳匹配块，假设该匹配块的位置为(m+i,n+j)，就可以确定这个图像块的位移为(i,j)，称之为运动矢量。在待搜索的图像帧中寻找相应图像块的时候，首先要知道匹配准则。本系统采用的匹配准则是最小均方误差函数(MSE)。采用改进的三步搜索法的运动估计方法寻找最佳匹配块。

三步搜索法的基本思想是采用一种由粗到细的搜索模式，从原点开始，按照一定的步长取周围8个点构成每次搜索的点群，然后进行匹配计算，跟踪最少无差点，算法的具体步骤如下：

(1)选取一定步长，此处以最大搜索长度的一半为步长L，选取原点作为中心点。

(2)以所述中心点为正方形的中心构建正方形，所述正方形的中心到所述正方形边的距离为所述步长L，这样，根据这个正方形的中心和步长L即可以确定一个唯一的正方形。选择所述正方形的四个顶点以及四条边的中点，共8个点，分别进行误差计算。

采用最小均方误差函数(MSE)进行误差计算，最小均方误差函数定义为：

$\mathrm{MSE}(i,j)=\frac{1}{\mathrm{MN}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{\mathrm{nN}-1}{\mathrm{\Σ}}}{[f_k(m,n)-f_{k+1}(m+i,n+j)]}^2$

运动估计就是寻找满足MSE值最小的像素点。

针对上述8个点，分别计算MSE值，然后进行比较，将MSE值最小的点作为最小误差点(也成为MBD)。

(3)判断所述步长是否大于最小步长阈值，如最小步长的阈值为1，则判断上述步长L是否大于1，如果是，则以上一步中所述最小误差点为中心点，将上一步的步长L减半为L/2，然后重复进行上一步；否则即步长不大于1，则以上一步的最小误差点所在的位置为最佳运动矢量，退出搜索。

此处给出三步搜索法一个具体的应用实例，如图4所示，给出了一个三步搜索法的示意图，其中圆圈圈出的为假设找到的最小误差点。以{4,2,1}为基本步长序列，经历三步搜索完成运动估计。首先以4为步长检查9个点{(0,0),(step,0),(step,step),(step,-step),(0,step),(0,-step),(-step,0),(-step,step),(-step,-step)}的误差，在其中找到最小误差点(MBD点)，再以这个MBD点为中心，步长减半继续进行搜索。如此经过三次搜索即可找到运动矢量，参加比较的点的总数为25个，即搜索次数为25，相对全搜索的255次，节省了90％的计算量。

本实施例中，在完成上述空间超分辨率重构后，针对视频图像进行时间超分辨率重构，其目的是平滑地在已经接收到的视频图像各帧中插入若干新的过渡帧，从而达到提高视频播放效果的目的，利用视频序列中相邻帧图像具有较强的相关性质，这样不仅能够减少达到最佳重构图像所需的时间，而且明显改善了重构图像的质量。采用重采样滤波器对视频图像进行时间上的重构，可以有效地估计出视频传输中丢失的视频帧图像，有效地提高了视频图像的时间分辨率。

实施例3：

本实施例提供一种视频图像实时共享播放的超分辨率重构系统，如图5所示，该系统包括空间超分辨率重构模块和时间超分辨率模块，所述的空间超分辨率重构模块包括：

参考帧构建单元，将接收到的视频图像转换成低分辨率图像序列，从所述低分辨率图像序列中选择一幅图像，对该图像进行插值，对于非边缘像素点采用双线性插值或双三次插值，对于边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的参考帧图像；

运动估计单元，通过运动估计的方法将观察图像的像素点投影到所述参考帧图像上；

修正单元，对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素点并计算该像素点的灰度估计值，与观察图像中的该像素点的实际值进行比较，超出误差则进行修正；对所有观察图像中的每个像素点进行循环修正处理后结束修正。

时间超分辨率重构模块，将空间超分辨率重构模块处理后的视频图像的各帧中间插入新的过渡帧进行时间超分辨率重构。

上述的一种视频图像实时共享播放的超分辨率重构系统，通过空间超分辨率重构模块在接收到的视频图像基础上根据图像的特性进一步重新构建分辨率尺寸更大的新视频图像，以增加计算复杂度和计算量为代价获得较高质量的高分辨率图像，这种采用凸集投影的超分辨率重建技术，不需要昂贵的图像获取设备，只需要通过计算机软件的处理就能获得更高分辨率的图像，保证获得较好的视频播放质量。时间超分辨率重构模块中，是平滑地在已经接收到的视频图像各帧中插入若干新的过渡帧，从而达到提高视频播放效果的目的，利用视频序列中的相邻帧图像具有较强的相关性质，这样不仅能够减少达到最佳重构图像所需的时间，而且明显改善了重构图像的质量。采用重采样滤波器对视频图像进行时间上的重构，可以有效地估计出视频传输中丢失的视频帧图像，有效地提高了视频图像的时间分辨率。这样，通过空间重构和时间重构获得了更优的视频图像。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种视频图像实时共享播放的超分辨率重构方法，其特征在于：该方法内容包括如下步骤：

(1)将接收到的视频图像转换成低分辨率图像序列，从所述低分辨率图像序列中选择一幅图像，对该图像进行插值，对于非边缘像素点采用双线性插值或双三次插值，对于边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的参考帧图像；

(2)通过运动估计的方法将观察图像的像素点投影到所述参考帧图像上；

(3)对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素点并计算该像素点的灰度估计值，与观察图像中该像素点的实际值进行比较，超出误差则进行修正，如此循环进行修正，当达到一定的循环次数或误差值已经收敛在预设的范围内时结束修正；对所有观察图像中的每个像素点进行修正处理后结束修正；

(4)采用时间超分辨率重构步骤，在处理后的视频图像的各帧中间插入新的过渡帧。

2.根据权利要求1所述的一种视频图像实时共享播放的超分辨率重构方法，其特征在于：在步骤(1)中，所述将接收到的视频图像转换成低分辨率图像序列，其转换过程是：将从编码端得到的压缩后的视频图像，通过超分辨率图像降质模型处理，得到低分辨率图像序列。

3.根据权利要求1所述的一种视频图像实时共享播放的超分辨率重构方法，其特征在于：在步骤(2)中，所述运动估计的方法是采用三步搜索法，其过程包括如下步骤：

①选取一定步长，选取原点作为中心点；

②以所述中心点为正方形的中心构建正方形，所述正方形的中心到所述正方形边的距离为所述步长，选择所述正方形的四个顶点以及四条边的中点，分别进行误差计算并比较，得到最小误差点；

③判断所述步长是否大于最小步长阈值，如果是，则以步骤②中所述最小误差点为中心点，将步骤①中所述步长减半，然后重复进行步骤②；否则以步骤②的最小误差点所在的位置为最佳运动矢量，退出搜索。

4.根据权利要求1所述的一种视频图像实时共享播放的超分辨率重构方法，其特征在于：在步骤(3)中，所述找出参考帧图像中观察图像投影的像素点并计算该像素点的灰度估计值，其过程是：在参考帧图像中找出观察图像投影的像素点的点扩散函数范围内的像素值，再由点扩散函数计算出这个像素点的灰度估计值。

5.根据权利要求1或2或3所述的视频图像实时共享播放的超分辨率重构方法，其特征在于，在上述步骤之后，还包括时间超分辨率重构步骤，在处理后的视频图像的各帧中间插入新的过渡帧。

6.根据权利要求5所述的视频图像实时共享播放的超分辨率重构方法，其特征在于，所述时间超分辨率重构通过重采样滤波器来实现。

7.一种视频图像实时共享播放的超分辨率重构系统，其特征在于：它包括空间超分辨率重构模块和时间超分辨率重构模块；所述的空间超分辨率重构模块包括：

参考帧构建单元，将接收到的视频图像转换成低分辨率图像序列，从所述低分辨率图像序列中选择一幅图像，对该图像进行插值，对于非边缘像素点采用双线性插值或双三次插值，对于边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的参考帧图像；

运动估计单元，通过运动估计的方法将观察图像的像素点投影到所述参考帧图像上；

修正单元，对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素点并计算该像素点的灰度估计值，与观察图像中的该像素点的实际值进行比较，超出误差则进行修正；对所有观察图像中的每个像素点进行循环修正处理后结束修正；

所述的时间超分辨率重构模块将空间超分辨率重构模块处理后的视频图像的各帧中间插入新的过渡帧进行时间超分辨率重构。