CN104394300B - 一种视频缩放方法及其系统 - Google Patents

Abstract

本发明涉及一种视频缩放方法及其系统，与现有技术相比解决了缩放结果出现失真和效率低下的缺陷。本发明包括以下步骤：初始化视频特征分析；进行向量连分式插值缩放，通过读取视频下一帧图像，构造向量控制网格，由向量控制网格结合极坐标下的连分式有理插值构造出有理插值曲面，通过插值曲面的采样实现图像的缩放，计算出NT缩放图像R₁和TN缩放图像R₂；获取缩放结果，设α为平衡因子，计算缩放结果Y，其计算公式如下：Y＝αR₁+(1‑α)R₂，其中，R₁为NT缩放图像，R₂为TN缩放图像；检查视频是否读取完毕，若读取完毕，则完成视频缩放，若未读取完毕，则继续进行向量连分式插值缩放的操作。本发明提高了视频图像缩放的质量和效率。

Description

一种视频缩放方法及其系统

技术领域

本发明涉及视频图像处理技术领域，具体来说是一种视频缩放方法及其系统。

背景技术

图像、视频缩放是数字图像处理中必不可少的工具，其实质是对图像进行重采样，以实现图像的分辨率转换或尺度变换。目前，商业软件中所提供的缩放方法采用的是经典的线性插值方法，如PHOTOSHOP、Firework、Soft等。这些软件所使用的方法简单并且快速，但是由于是采用的线性插值技术，所以在放大的图像边缘会出现马赛克、锯齿状等各种失真的现象。现阶段很多研究人员已经提出了不同的缩放策略，取得了一定的成功，但是这些方法的实现需要一些高清图像的先验信息，并且方法的执行时间较长，故不能用于实际的应用中。针对各种缩放技术存在的局限性，在现有的硬件条件下，如何设计出一种有效、快速的缩放方法已经成为当今急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中缩放结果出现失真和效率低下的缺陷，提供一种视频缩放方法及其系统来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于极坐标下的向量连分式插值的视频缩放方法，包括以下步骤：

初始化视频特征分析，读取视频的第一帧图像，通过对第一帧图像进行分析判断该视频是灰度视频还是彩色视频，若为彩色视频，将彩色视频沿着R、G、B三个颜色通道分别按照灰度视频的方式执行；

进行向量连分式插值缩放，通过读取视频下一帧图像，构造向量控制网格，由向量控制网格结合极坐标下的连分式有理插值构造出有理插值曲面，通过插值曲面的采样实现图像的缩放，计算出NT缩放图像R₁和TN缩放图像R₂；

获取缩放结果，设α为平衡因子，计算缩放结果Y，其计算公式如下：

Y＝αR₁+(1-α)R₂，

其中，R₁为NT缩放图像，R₂为TN缩放图像；

检查视频是否读取完毕，若读取完毕，则完成视频缩放，若未读取完毕，则继续进行向量连分式插值缩放的操作。

所述的进行向量连分式插值缩放包括以下步骤：

读取视频的下一帧图像，得到输入图像X的尺寸为m×n，输入缩放倍数k，则缩放的图像长为m×k，宽为n×k；

利用映射关系找到缩放后图像中一点(i₁,j₁)对应到输入图像中的位置(i,j)，其中i＝i₁/k,j＝j₁/k；

求出该点(i,j)在极坐标下的位置(r,θ)，其计算公式如下：

θ＝arctg(j/i)；

构造向量控制网格，对极坐标下的待求像素点(r,θ)沿着其半径和角度方向分别拓展出另外8个像素点，构成3×3的向量控制网格V^m×n，用表示图像的第i行第j列像素的灰度值向量；

构造极坐标下的Newton-Thiele有理插值函数满足求出该点(r,θ)的二元向量有理函数值，即为缩放的图像某点(i₁,j₁)的像素值；将应用到向量控制网格V^m×n中，构造m×n个3×3的二元Newton-Thiele有理插值曲面，得到一个缩放的图像R₁；

构造极坐标下的Thiele-Newton有理插值函数满足求出该点(r,θ)的二元向量有理函数值，即为缩放的图像某点(i₁,j₁)的像素值；将应用到向量控制网格V^m×n中，构造m×n个3×3的二元Thiele-Newton有理插值曲面，得到一个缩放的图像R₂。

所述的获取缩放结果还包括缩放结果优化，缩放结果优化包括以下步骤：

输入原始图像R和缩放结果Y，计算SSIM值，其公式如下：

SSIM＝L(R,Y)×C(R,Y)×S(R,Y),

其中L(R,Y)为亮度比较函数，C(R,Y)为对比度比较函数，S(R,Y)为结构相似性比较函数；

其中，L(R,Y)的计算公式如下：

其中表示原始图像R的平均亮度，表示比较图像Y的平均亮度，M、N是图像的尺寸；

C(R,Y)的计算公式如下：

其中表示原始图像R的标准差，表示比较图像Y的标准差；

S(R,Y)的计算公式如下：

表示两者的协方差，其中c1,c2,c3为常数值；

设平衡因子α的初始值为0，最大值为1，以α每次增加0.1为基准循环计算缩放结果Y和SSIM的值；

提取SSIM的值为最大时的平衡因子α，其对应的缩放结果Y为最优缩放图像。

所述的构造向量控制网格包括以下步骤：

将拓展后的9个像素点排列如下所示，其中(r₁,θ₁)为点(r,θ)：

(r₀,θ₀) (r₀,θ₁) (r₀,θ₂)

(r₁,θ₀) (r₁,θ₁) (r₁,θ₂)

(r₂,θ₀) (r₂,θ₁) (r₂,θ₂)；

给定d维有限值向量每个(r_i,θ_j)排列形式如下：

所述的构造极坐标下的Newton-Thiele有理插值函数包括以下步骤:

极坐标下的二元向量Newton-Thiele有理插值格式定义为：

其中，

其中p(r₀,…,r_i；θ₀,…,θ_j)是混合差商，定义如下：

p(r_i；θ_j)＝f(r_icosθ_j,r_isinθ_j),(i＝0,1,…,m；j＝0,1…,n),

构造的二元向量有理函数满足： 其中

按照从上到下、从左到右的顺序，将图像的每一个像素点进行二元向量有理函数的计算，检查图像中所有的点是否处理完毕，若处理完毕，则完成了该阶段的缩放工作，得到NT缩放图像R₁，若未处理完，则继续进行。

所述的构造极坐标下的Thiele-Newton有理插值包括以下步骤：

极坐标下的二元向量Thiele-Newton有理插值格式定义为：

其中，

其中p(r₀,…,r_i；θ₀,…,θ_j)是混合差商，定义如下：

构造的二元向量有理函数满足： 其中

按照从上到下，从左到右的顺序，对图像的每一个像素点进行二元向量有理函数的计算，得到TN缩放图像R₂。

一种基于极坐标下的向量连分式插值的视频缩放系统，包括：

初始化视频输入模块，用于确定视频类型，启动视频缩放系统；

向量控制网格模块，用于对输入的图像进行分割，产生多个3×3的图像块；

极坐标下的Newton-Thiele有理插值模块，用于通过向量控制网格模块构建基于Newton-Thiele的有理插值曲面；

极坐标下的Thiele-Newton有理插值模块，用于通过向量控制网格模块构建基于Thiele-Newton的有理插值曲面；

SSIM计算模块，用于选择出最优的平衡因子从而得到最好的缩放结果；

所述的初始化视频输入模块与向量控制网格模块的输入端相连，所述的向量控制网格模块的输出端分别与极坐标下的Newton-Thiele有理插值模块和极坐标下的Thiele-Newton有理插值模块相连，极坐标下的Newton-Thiele有理插值模块和极坐标下的Thiele-Newton有理插值模块分别与SSIM计算模块的输入端相连。

有益效果

本发明的一种视频缩放方法及其系统，与现有技术相比提高了视频图像缩放的质量和效率。利用向量控制网格分别与两个不同的极坐标下的连分式有理插值函数的应用可以快速的插值出缩放的图像；利用SSIM数值的约束，可以选择出最优的平衡因子,从而得到最优的缩放结果。整个缩放过程仅仅利用了插值技术和一幅输入的图像，突破了现有技术缩放时需要额外的多幅图像的先验信息的缺陷，通过多个视频的处理和速度的比较，突破了其他现有技术缩放时只适用部分特殊视频并且速度慢的缺陷。

附图说明

图1为本发明的方法流程图；

图2为本发明的系统结构连接图；

图3a、图4a和图5a分别为待处理的退化图像；

图3b为图3a使用LSS方法放大2倍后的图像；

图4b和5b分别为图4a和5a使用LSS方法放大3倍后的图像；

图3c为图3a使用本发明的方法放大2倍后的图像；

图4c和5c分别为图4a和5a使用本发明的方法放大3倍后的图像。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于极坐标下的向量连分式插值的视频缩放方法，包括以下步骤：

第一步，初始化视频特征分析。读取视频的第一帧图像，通过对第一帧图像进行分析判断该视频是灰度视频还是彩色视频。若为彩色视频，将彩色视频沿着R、G、B三个颜色通道分别按照灰度视频的方式执行；若为灰度视频，则直接对图像进行处理。

第二步，进行向量连分式插值缩放，通过读取视频下一帧图像，构造向量控制网格，由向量控制网格结合极坐标下的连分式有理插值。鉴于Newton-Thiele和Thiele-Newton有理函数处理图像时可以很好的保持图像的边缘和细节信息，而两者结合处理图像又可以互补图像缩放过程中丢失的像素信息，所以此处采用极坐标下的Newton-Thiele有理插值函数和极坐标下的Thiele-Newton有理插值函数同时构造出有理插值曲面，通过插值曲面的采样实现图像的缩放，计算出NT缩放图像R₁和TN缩放图像R₂。其具体要求步骤如下：

(1)读取视频的下一帧图像，得到输入图像X的尺寸为m×n，输入缩放倍数k，其可以为缩小倍数，也可以为放大倍数，则缩放的图像长为m×k，宽为n×k。

(2)利用映射关系找到缩放后图像中一点(i₁,j₁)对应到输入图像中的位置(i,j)，其中i＝i₁/k,j＝j₁/k；

求出该点(i,j)在极坐标下的位置(r,θ)，其计算公式如下：

θ＝arctg(j/i)。

(3)构造向量控制网格，对极坐标下的每一个待求像素点(r,θ)沿着其半径和角度方向分别拓展出另外8个像素点，构成3×3的向量控制网格V^m×n，用表示图像的第i行第j列像素的灰度值向量。构成3×3的向量控制网格V^m×n的具体步骤如下：

(31)将拓展后的9个像素点排列如下所示，其中(r₁,θ₁)即为点(r,θ)：

(r₀,θ₀) (r₀,θ₁) (r₀,θ₂)

(r₁,θ₀) (r₁,θ₁) (r₁,θ₂)

(r₂,θ₀) (r₂,θ₁) (r₂,θ₂)。

(32)给定d维有限值向量每个(r_i,θ_j)排列形式如下：

(4)构造极坐标下的Newton-Thiele有理插值函数满足求出该点(r,θ)的二元向量有理函数值，即为缩放的图像某点(i₁,j₁)的像素值。采用同样的方式，将应用到向量控制网格V^m×n中，构造m×n个3×3的二元Newton-Thiele有理插值曲面，即针对图像的每一个像素点进行二元向量有理函数值的计算，得到一个缩放的图像R₁。其具体步骤如下：

(41)极坐标下的二元向量Newton-Thiele有理插值格式定义为：

这里表示沿着半径r方向进行Newton插值计算，沿着角度θ方向进行Thiele插值；

其中，

这里T_i(θ)为第i个Thiele有理展开式；

其中p(r₀,…,r_i；θ₀,…,θ_j)是混合差商，定义如下：

p(r_i；θ_j)＝f(r_icosθ_j,r_isinθ_j),(i＝0,1,…,m；j＝0,1…,n),

构造的二元向量有理函数满足： 其中

(42)按照从上到下、从左到右的顺序，将图像的每一个像素点按照如上步骤进行计算，检查图像中所有的像素点是否处理完毕，若处理完毕，则完成了该阶段的缩放工作，得到NT缩放图像R₁，若未处理完，则继续进行。

(5)构造极坐标下的Thiele-Newton有理插值函数满足求出该点(r,θ)的二元向量有理函数值，即为缩放的图像某点(i₁,j₁)的像素值。采用同样的方式，将应用到向量控制网格V^m×n中，构造m×n个3×3的二元Thiele-Newton有理插值曲面，即针对图像的每一个像素点进行二元向量有理函数值的计算，得到一个缩放的图像R₂。其具体步骤如下：

(51)极坐标下的二元向量Thiele-Newton有理插值格式定义为：

这里表示沿着角度θ方向进行Newton插值计算，沿着半径r方向进行Thiele插值；

其中，

这里N_i(θ)为第i个Newton有理展开式；

其中p(r₀,…,r_i；θ₀,…,θ_j)是混合差商，定义如下：

构造的二元向量有理函数满足： 其中

(52)按照从上到下，从左到右的顺序，对图像的每一个像素点进行二元向量有理函数的计算，得到TN缩放图像R₂。

第三步，获取缩放结果，通过NT缩放图像R₁和TN缩放图像R₂叠加得到缩放结果Y。其其计算公式如下：

Y=αR₁+(1-α)R₂

其中，α为平衡因子，R₁为NT缩放图像，R₂为TN缩放图像。

第四步，检查视频是否读取完毕，若读取完毕，则完成视频缩放，若未读取完毕，则继续进行向量连分式插值缩放的操作，继续进行NT缩放图像R₁和TN缩放图像R₂的计算和叠加工作。

在此，缩放结果Y通过NT缩放图像R₁和TN缩放图像R₂叠加所得，但这里所得到的缩放结果并不是最优结果，为了获得最优结果，还可以通过针对缩放结果Y的平衡因子α进行迭代处理的方法并结合SSIM(结构相似性)的最大化模型来获得一个最优的平衡因子α，从而得到最后的缩放结果。获取缩放结果还可以包括缩放结果优化的步骤，缩放结果优化包括以下步骤：

第一步，输入原始图像R和缩放结果Y，计算SSIM值，其公式如下：

SSIM＝L(R,Y)×C(R,Y)×S(R,Y),

其中L(R,Y)为亮度比较函数，C(R,Y)为对比度比较函数，S(R,Y)为结构相似性比较函数；

其中，L(R,Y)的计算公式如下：

其中表示原始图像R的平均亮度，表示比较图像Y的平均亮度，M、N是图像的尺寸。

C(R,Y)的计算公式如下：

其中表示原始图像R的标准差，表示比较图像Y的标准差。

S(R,Y)的计算公式如下：

表示两者的协方差，其中c1,c2,c3为常数值。

第二步，设平衡因子α的初始值为0，最大值为1。针对缩放结果Y进行迭代处理，每次迭代过程中，以α每次增加0.1为基准循环计算缩放结果Y和SSIM的值。提取SSIM的值为最大时的平衡因子α，其对应的缩放结果Y为最优缩放图像，将此缩放结果Y保存为最终缩放结果。

如图2所示，一种基于极坐标下的向量连分式插值的视频缩放系统，包括：

初始化视频输入模块，用于确定视频类型，启动视频缩放系统。

向量控制网格模块，用于对输入的图像进行分割，产生多个3×3的图像块。

极坐标下的Newton-Thiele有理插值模块，用于通过向量控制网格模块构建基于Newton-Thiele的有理插值曲面。

极坐标下的Thiele-Newton有理插值模块，用于通过向量控制网格模块构建基于Thiele-Newton的有理插值曲面。

SSIM计算模块，用于选择出最优的平衡因子从而得到最好的缩放结果。

所述的初始化视频输入模块与向量控制网格模块的输入端相连，将图像划分成图像块，以便进行有理插值曲面处理。向量控制网格模块的输出端分别与极坐标下的Newton-Thiele有理插值模块和极坐标下的Thiele-Newton有理插值模块相连，分别计算出NT缩放图像R₁和TN缩放图像R₂。极坐标下的Newton-Thiele有理插值模块和极坐标下的Thiele-Newton有理插值模块分别与SSIM计算模块的输入端相连，针对NT缩放图像R₁和TN缩放图像R₂进行叠加处理获得缩放结果Y。

如图3a、4a和5a所示，分别选取视频中的某一帧作为输入的退化图像，图3b、4b和5b分别为采用LSS方法放大后的图像(即目前流行的局部结构相似性的方法，具体详见文献[1]([1]Gilad Freedman,Raanan Fattal,Image and Video Upscaling from LocalSelf-Examples,ACM Transactions on Graphics 30(2)(2011)1-11)，其中图3b为放大2倍的结果，图4b和5b为放大3倍的结果。图3c、4c和5c分别为采用本发明的方法放大后的图像，其中图3c为放大2倍的结果，图4c和5c为放大3倍的结果。

从图3b、4b和5b可以看到使用LSS方法放大后的图像基本能保持图像的视觉效果，但是细节部分处理的很模糊，特别是小女孩脸颊上的斑点和植物边界部分没有得到很好的处理。而从图3c、4c和5c可以看到本发明的方法能更好的处理细节和边界部分，保持更好的视觉效果。

从客观角度出发进行比较可以发现，

根据公式这里m×n为矩阵的大小，max＝255，f(i，j)为原始图像，为放大后的图像，利用此公式计算出峰值信噪比PSNR的值。峰值信噪比越大，表明重建后的图像和原始图像越接近，即重建的图像视觉效果越好，分辨率越高。

表1图3a、图4a、图5a使用LSS方法和本发明方法的峰值信噪比的对比表

表1为图3a、图4a、图5a使用LSS方法和本发明方法的峰值信噪比的对比表，如表1所示，从放大后的图像的峰值信噪比的比较可以发现，本发明的方法相比现有技术的方法在处理人物和植物等不同的物体时都能保证峰值信噪比要高的多，图像的分辨率和质量更高。

表2为图3a、图4a、图5a使用LSS方法和本发明方法的运行时间对比表

时间(秒)	LSS方法	本发明的方法
			图3	14.941335	1.443095
图4	34.431569	2.468985
			图5	11.618728	1.062535

表2为图3a、图4a、图5a使用LLS方法和本发明方法的运行时间对比表，从表2的时间运行效率来看，本发明的方法相比于现有技术的方法在放大图像时处理的时间更短，即效率更高。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种视频缩放方法，其特征在于，包括以下步骤：

11)初始化视频特征分析，读取视频的第一帧图像，通过对第一帧图像进行分析判断该视频是灰度视频还是彩色视频，若为彩色视频，将彩色视频沿着R、G、B三个颜色通道分别按照灰度视频的方式执行；

12)进行向量连分式插值缩放，通过读取视频下一帧图像，构造向量控制网格，由向量控制网格结合极坐标下的连分式有理插值构造出有理插值曲面，通过插值曲面的采样实现图像的缩放，计算出NT缩放图像R₁和TN缩放图像R₂；

所述的进行向量连分式插值缩放包括以下步骤：

121)读取视频的下一帧图像，得到输入图像X的尺寸为m×n，输入缩放倍数k，则缩放的图像长为m×k，宽为n×k；

122)利用映射关系找到缩放后图像中一点(i₁,j₁)对应到输入图像中的位置(i,j)，其中i＝i₁/k,j＝j₁/k；

求出该点(i,j)在极坐标下的位置(r,θ)，其计算公式如下：

123)构造向量控制网格，对极坐标下的待求像素点(r,θ)沿着其半径和角度方向分别拓展出另外8个像素点，构成3×3的向量控制网格V^m×n，用表示图像的第i行第j列像素的灰度值向量；

124)构造极坐标下的Newton-Thiele有理插值函数满足求出该点(r,θ)的二元向量有理函数值，即为缩放的图像某点(i₁,j₁)的像素值；将应用到向量控制网格V^m×n中，构造m×n个3×3的二元Newton-Thiele有理插值曲面，得到一个缩放的图像R₁；

125)构造极坐标下的Thiele-Newton有理插值函数满足求出该点(r,θ)的二元向量有理函数值，即为缩放的图像某点(i₁,j₁)的像素值；将应用到向量控制网格V^m×n中，构造m×n个3×3的二元Thiele-Newton有理插值曲面，得到一个缩放的图像R₂；

13)获取缩放结果，设α为平衡因子，计算缩放结果Y，其计算公式如下：

Y＝αR₁+(1-α)R₂，

其中，R₁为NT缩放图像，R₂为TN缩放图像；

14)检查视频是否读取完毕，若读取完毕，则完成视频缩放，若未读取完毕，则继续进行向量连分式插值缩放的操作。

2.根据权利要求1所述的一种视频缩放方法，其特征在于，所述的获取缩放结果还包括缩放结果优化，缩放结果优化包括以下步骤：

21)输入原始图像R和缩放结果Y，计算SSIM值，其公式如下：

SSIM＝L(R,Y)×C(R,Y)×S(R,Y),

其中L(R,Y)为亮度比较函数，C(R,Y)为对比度比较函数，S(R,Y)为结构相似性比较函数；

其中，L(R,Y)的计算公式如下：

其中表示原始图像R的平均亮度，表示比较图像Y的平均亮度，M、N是图像的尺寸；

C(R,Y)的计算公式如下：

其中表示原始图像R的标准差，表示比较图像Y的标准差；

S(R,Y)的计算公式如下：

表示两者的协方差，其中c1,c2,c3为常数值；

22)设平衡因子α的初始值为0，最大值为1，以α每次增加0.1为基准循环计算缩放结果Y和SSIM的值；

提取SSIM的值为最大时的平衡因子α，其对应的缩放结果Y为最优缩放图像。

3.根据权利要求1所述的一种视频缩放方法，其特征在于，所述的构造向量控制网格包括以下步骤：

31)将拓展后的9个像素点排列如下所示，其中(r₁,θ₁)为点(r,θ)：

32)给定d维有限值向量每个(r_i,θ_j)排列形式如下：

4.根据权利要求1所述的一种视频缩放方法，其特征在于，所述的构造极坐标下的Newton-Thiele有理插值函数包括以下步骤:

41)极坐标下的二元向量Newton-Thiele有理插值格式定义为：

其中，

其中p(r₀,…,r_i；θ₀,…,θ_j)是混合差商，定义如下：

p(r_i；θ_j)＝f(r_icosθ_j,r_isinθ_j),(i＝0,1,…,m；j＝0,1…,n),

构造的二元向量有理函数满足： 其中

42)按照从上到下、从左到右的顺序，将图像的每一个像素点进行二元向量有理函数的计算，检查图像中所有的点是否处理完毕，若处理完毕，则完成了该阶段的缩放工作，得到NT缩放图像R₁，若未处理完，则继续进行。

5.根据权利要求1所述的一种视频缩放方法，其特征在于，所述的构造极坐标下的Thiele-Newton有理插值包括以下步骤：

51)极坐标下的二元向量Thiele-Newton有理插值格式定义为：

其中，

其中p(r₀,…,r_i；θ₀,…,θ_j)是混合差商，定义如下：

构造的二元向量有理函数满足： 其中

52)按照从上到下，从左到右的顺序，对图像的每一个像素点进行二元向量有理函数的计算，得到TN缩放图像R₂。

6.根据权利要求1所述的一种视频缩放方法的视频缩放系统，其特征在于，包括：

初始化视频输入模块，用于确定视频类型，启动视频缩放系统；

向量控制网格模块，用于对输入的图像进行分割，产生多个3×3的图像块；

极坐标下的Newton-Thiele有理插值模块，用于通过向量控制网格模块构建基于Newton-Thiele的有理插值曲面；

极坐标下的Thiele-Newton有理插值模块，用于通过向量控制网格模块构建基于Thiele-Newton的有理插值曲面；

SSIM计算模块，用于选择出最优的平衡因子从而得到最好的缩放结果；

所述的初始化视频输入模块与向量控制网格模块的输入端相连，所述的向量控制网格模块的输出端分别与极坐标下的Newton-Thiele有理插值模块和极坐标下的Thiele-Newton有理插值模块相连，极坐标下的Newton-Thiele有理插值模块和极坐标下的Thiele-Newton有理插值模块分别与SSIM计算模块的输入端相连。