CN101841641B - 一种基于细分方法的视频放大方法及系统 - Google Patents

Abstract

本发明公开了一种基于细分方法的视频放大方法及系统，属于视频技术领域。本发明方法步骤包括：(1)将视频分解成每帧图像；(2)获取分解得到的图像和放大倍数n；(3)根据所述放大倍数n确定所需要的细分次数k；(4)对象素进行分类标记；(5)根据象素的不同分类标记，计算该象素处的梯度和扭矢；(6)利用改进的插值细分对图像数据进行加细；(7)将加细后的数据按所要求的图像分辨率重采样，得到采样后的图像；(8)将采样后的图像合成为新的视频。本发明还提供一种视频放大系统。本发明能够使得视频放大后更加清晰。

Description

一种基于细分方法的视频放大方法及系统

技术领域

本发明涉及视频处理技术领域，具体涉及一种基于细分方法的视频放大方法及系统。 

背景技术

在当今信息时代，随着计算机技术、数码相机、网络视频和高清数字电视的发展，数字视频日益成为人们获取信息的重要渠道。特别是随着中国高清数字电视信号的普及，大量的普通电视节目源需要提升为高清数字电视节目，这更增加了对数字视频放大技术的迫切需求。 

所谓视频放大，就是对视频的每帧图像进行放大。。对于图像放大，是指通过增大图像的分辨率获取高清晰图像的一种基本操作，图像的这种处理手法在图像显示、传输(通讯)、图像分析以及动画制作、电影合成、医学图像处理等方面有着相当广的应用。 

传统的图像放大方法大多基于连续函数逼近理论，比如最邻近插值、双线性插值、双三次插值和样条插值等，这些方法在图像连续区域具有很好的效果，然而在图像边缘处却由于连续插值函数的平滑作用产生灰度值的过渡带，这个过渡带造成了高分辨率图像在边缘处的模糊现象，最终使得视频放大后也比较模糊。 

发明内容

本发明的目的在于提供一种基于细分方法的视频放大方法及系统，能够达到视频图像边缘保持的目的，使得视频更清晰。 

为实现本发明目的，本发明提供的技术方案如下： 

本发明提供一种基于细分方法的视频放大方法，包括： 

(1)将视频分解成每帧图像； 

(2)获取分解得到的图像和放大倍数n； 

(3)根据所述放大倍数n确定所需要的细分次数k； 

(4)对象素进行分类标记； 

(5)根据象素的不同分类标记，计算该象素处的梯度和扭矢； 

(6)利用改进的插值细分对图像数据进行加细； 

(7)将加细后的数据按所要求的图像分辨率重采样，得到采样后的图像； 

(8)将采样后的图像合成为新的视频。 

优选的，所述根据所述放大倍数n确定所需要的细分次数k时，所述细分次数k与放大倍数n满足如下关系： 

k＝ceil(lg₂n)， 

其中ceil(x)表示大于x的最小整数。 

优选的，所述对象素进行分类标记包括： 

针对图像的一行或一列数据，根据每个数据点向前差分、或向后差分、或中心差分的方法，判定出该数据点是否为图像数据的跳跃点。 

优选的，所述利用改进的插值细分对图像数据进行加细时，在细分过程中新加入的点由Ferguson曲面片计算得出，其中Ferguson曲面片的梯度和扭矢按步骤(5)的方式进行计算。 

优选的，记 

$\left\{\begin{array}{c}{H}_0\left(t\right)={2t}^3-{3t}^2+1,\\ H_1\left(t\right)=-{2t}^3+{3t}^2,\\ G_0\left(t\right)=t^3-2t^2+t,\\ G_1\left(t\right)=t^3-t^2,\end{array}\right.$

Ferguson曲面片S(u，v)定义为： 

S(u，v)＝F(u)^TQF(v)， 

其中F(t)＝[H₀(t) H₁(t) G₀(t) G₁(t)]^T， 

$Q=\left[\begin{array}{cccc}{p}^0& p^2& m_v^0& m_v^2\\ p^1& p^3& m_v^1& m_v^3\\ m_u^0& m_u^2& m_{\mathrm{uv}}^0& m_{\mathrm{uv}}^2\\ m_u^1& m_u^3& m_{\mathrm{uv}}^1& m_{\mathrm{uv}}^3\end{array}\right]$

优选的，所述对象素进行分类标记具体为： 

将图像数据的一行或一列记为p₁，p₂，…，p_N.，标记r定义为： 

其中，T定义为 

$T=\frac{1}{20}\left(\max \right\{p_i\}-\min \{p_i\left\}\right).$

优选的，所述计算该象素处的梯度和扭矢时， 

梯度由一维数据的切向量构成，按差分计算，扭矢由二维差商计算； 

p_i处的切向量m_i的计算公式为： 

$m_0=2(p_1-p_0)-\frac{1}{2}(p_2-p_0),$

$m_N=2(p_N-p_{N-1})-\frac{1}{2}(p_N-p_{N-2}),$

$m_i=\left\{\begin{array}{cc}\frac{1}{2}(p_{i+1}-p_{i-1}),& r\left(i\right)=0;\\ p_i-p_{i-1},& r\left(i\right)=1;\\ p_{i+1}-p_i,& r\left(i\right)=2;\\ p_{i+1}-p_{i-1}-\frac{1}{2}(p_{i+2}-p_{i-2}),& r\left(i\right)=3;\end{array}\right.$

扭矢也用差分的方式计算，在图像的边缘处的扭矢直接设置为0，在象素(i，j)处的扭矢按下公式计算： 

$m_{\mathrm{uv}}^{i0}=m_{\mathrm{uv}}^{\mathrm{in}}=m_{\mathrm{uv}}^{0j}=m_{\mathrm{uv}}^{\mathrm{mj}}=0,i=\mathrm{0,1},\·\·\·,m;j=\mathrm{0,1},\·\·\·,n;$

$m_{\mathrm{uv}}^{\mathrm{ij}}=\frac{1}{4}(p_{i+1,j+1}-p_{i-1,j+1}-p_{i+1,j-1}+p_{i-1,j-1}),i=\mathrm{1,2},\·\·\·,m;j=\mathrm{1,2},\·\·\·,n.$

本发明还提供一种视频放大系统，包括： 

分解模块，用于将视频分解成每帧图像； 

图像处理模块，用于获取分解得到的图像和放大倍数n；根据所述放大倍数n确定所需要的细分次数k；对象素进行分类标记；根据象素的不同分类标记，计算该象素处的梯度和扭矢；利用改进的插值细分对图像数据进行加细；将加细后的数据按所要求的图像分辨率重采样，得到采样后的图像； 

组合模块，将采样后的图像合成为新的视频。 

上述技术方案可以看出，由于本发明实施例在视频放大过程中，对每帧图像采用了线性细分方法，具有很高的运算效率和数值稳定性。同时细分方法借助Ferguson曲面修改而来，在图像的边缘处通过自动检测图像数据的检测点和自适应的切向量估计算法，准确地计算图像边缘处的梯度和扭矢，从而使得修改后的细分曲面更好地逼近图像数据，达到边缘保持的目的。另外，在图像平滑区域，本发明提出的细分方法同样能够生成光滑的曲面。这样，本发明给出的视频放大方法既能使视频图像平滑区域保持平滑，又能在边缘处保持锐利，使得图像更清晰，因此最终使得视频更清晰。 

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。 

图1是本发明实例实现方法的流程图； 

图2为本发明使用的混合曲线的示意图； 

图3为本发明用到的Ferguson曲面控制顶点分布图； 

图4(a)-图4(c)为本发明视频中的一帧图像实例放大8×8倍效果图； 

图5为本发明实例的系统结构示意图。 

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。 

本发明提供一种基于细分方法的视频放大方法，能够达到视频图像边缘保持的目的，使得视频图像更清晰，从而使得视频更清晰。 

以下结合附图对本发明实施例技术方案进行详细介绍。 

细分方法是计算机图形学中重要的网格曲面处理工具，它通过一定的规则，由较粗糙网格生成高分辨率精细网格。在插值细分中，加细过程就是在两个顶点之间插入新的顶点，这个过程与图像放大中在象素之间插入新的象素是类似的，但是细分方法仍注重于生成连续的曲面。 

本发明针对视频图像边缘保持性质，对插值细分进行调控修改，基于修改的细分规则，给出视频放大的方法。 

本发明把细分方法快速插入新数据的特点，利用到数字视频放大中，将视频按每帧图像进行处理，放大后的图像数据通过Ferguson曲面片计算得出。同时采用跳跃点检测的方法标记图像的边缘，并在图像边缘附近通过控制Ferguson曲面片的梯度和扭矢达到边缘保持的效果。本发明可以实现视频任意倍数的放大。 

图1是本发明实例实现方法的流程图； 

如图1所示，本发明的具体实现步骤如下。 

(1)将视频分解成每帧图像； 

可以根据现有的视频分解技术，将视频按关键帧分解为每帧图像，或者按其他方式将视频分解成每帧图像，后续则可以对每帧图像进行图像放大处理。 

(2)获取分解得到的图像I和放大倍数n，I的分辨率为m×n； 

其中m和n分别表示图像I的行数和列数，其取值为正整数。 

(3)计算所需要的最低细分次数k： 

根据要求的放大倍数n确定所需要的细分次数k 

k＝ceil(lg₂n)， 

其中ceil(x)表示大于x的最小整数； 

(4)对象素进行分类标记； 

根据自动阈值对象素进行分类标记。将图像数据的一行或一列记为p₁，p₂，…，p_N.，标记r定义为： 

其中，T定义为 

$T=\frac{1}{20}\left(\max \right\{p_i\}-\min \{p_i\left\}\right).$

该步骤中，针对图像的一行或一列数据，根据每个数据点向前差分、或向后差分、或中心差分的方法，判定出该数据点是否为图像数据的跳跃点。r(i)标记为1，2，3的点为跳跃点，标记为0的点不是跳跃点。 

(5)计算每个象素处的梯度和扭矢。 

梯度由一维数据的切向量构成，按差分计算，扭矢由二维差商计算。 

p_i处的切向量m_i的计算公式为： 

$m_0=2(p_1-p_0)-\frac{1}{2}(p_2-p_0),$

$m_N=2(p_N-p_{N-1})-\frac{1}{2}(p_N-p_{N-2}),$

$m_i=\left\{\begin{array}{cc}\frac{1}{2}(p_{i+1}-p_{i-1}),& r\left(i\right)=0;\\ p_i-p_{i-1},& r\left(i\right)=1;\\ p_{i+1}-p_i,& r\left(i\right)=2;\\ p_{i+1}-p_{i-1}-\frac{1}{2}(p_{i+2}-p_{i-2}),& r\left(i\right)=3;\end{array}\right.$

扭矢也用差分的方式计算。在图像的边缘处的扭矢直接设置为0。在象素(i，j)处的扭矢按下公式计算： 

$m_{\mathrm{uv}}^{i0}=m_{\mathrm{uv}}^{\mathrm{in}}=m_{\mathrm{uv}}^{0j}=m_{\mathrm{uv}}^{\mathrm{mj}}=0,i=\mathrm{0,1},...,m;i=\mathrm{0,1},...,n;$

$m_{\mathrm{uv}}^{\mathrm{ij}}=\frac{1}{4}(p_{i+1,j+1}-p_{i-1,j+1}-p_{i+1,j-1}+p_{i-1,j-1}),i=\mathrm{1,2},...,m;j=\mathrm{1,2},...,n.$

(6)利用改进的插值细分对图像数据进行加细； 

利用修改的细分方法计算加入的顶点。记 

$\left\{\begin{array}{c}{H}_0\left(t\right)={2t}^3-{3t}^2+1,\\ H_1\left(t\right)=-2t^3+3t^2,\\ G_0\left(t\right)=t^3-2t^2+t,\\ G_1\left(t\right)=t^3-t^2,\end{array}\right.$

则本发明中的用到的Ferguson曲面片S(u，v)定义为： 

S(u，v)＝F(u)^TQF(v)， 

其中F(t)＝[H₀(t)H₁(t)G₀(t)G₁(t)]^T， 

$Q=\left[\begin{array}{cccc}{p}^0& p^2& m_v^0& m_v^2\\ p^1& p^3& m_v^1& m_v^3\\ m_u^0& m_u^2& m_{\mathrm{uv}}^0& m_{\mathrm{uv}}^2\\ m_u^1& m_u^3& m_{\mathrm{uv}}^1& m_{\mathrm{uv}}^3\end{array}\right].$

本发明方法在一维的情形下采用Hermite插值曲线，构造如图2所示的过渡曲线。图2为本发明使用的混合曲线的示意图。图2中，ε越小，说明灰度过渡带越短，图像边缘保持越好。该方法推广到二维，即曲面情形下采用的过渡曲面为Ferguson曲面片。 

将细分k次后的图像数据记为{p_i，j ^k}，则图像数据{p_i，j ^k+1}由{p_i，j ^k}经过Ferguson方法计算如下： 

将上式Q中的p⁰，p¹，p²，p³依次替换为p_i，j ^k，p_i+1，j ^k，p_i，j+1 ^k，p_i+1，j+1 ^k，m_u ⁰，m_u ¹，m_u ²，m_u ³依次替换为p_i，j ^k，p_i+1，j ^k，p_i，j+1 ^k，p_i+1，j+1 ^k处梯度的第一个分量，m_v ⁰，m_v ¹，m_v ²，m_v ³依次替换为p_i，j ^k，p_i+1，j ^k，p_i，j+1 ^k，p_i+1，j+1 ^k处梯度的第二个分量，m_uv ⁰，m_uv ¹，m_uv ²，m_uv ³依次替换为p_i，j ^k，p_i+1，j ^k，p_i，j+1 ^k，p_i+1，j+1 ^k处的扭矢。 

梯度和扭矢按步骤(4)所述的方式进行计算。 

图3为本发明用到的Ferguson曲面控制顶点分布图，具体的顶点 

的分布如图3所示。 

为第k次细分后控制网格上一个四边形的四个顶点。每片Ferguson曲面的计算需要用到四个顶点处的型值、梯度和扭矢。计算方式如步骤(5)利用改进的插值细分对图像数据进行加细。 

Ferguson曲面片确定后， 

计算方式为： 

$\left\{\begin{array}{c}{p}_{2i,2j}^{k+1}=p_{i,j}^k,\\ p_{2i+\mathrm{1,2}j}^{k+1}=S(0,\frac{1}{2}),\\ p_{2i,2j+1}^{k+1}=S(\frac{1}{2},1),\\ p_{2i+\mathrm{1,2}j+2}^{k+1}=S(1,\frac{1}{2}),\\ p_{2i+\mathrm{1,2}j+1}^{k+1}=S(\frac{1}{2},\frac{1}{2}).\end{array}\right.$

(7)将加细后的数据按所要求的图像分辨率重采样，得到采样后的图像； 

分辨率为m×n的低分辨率图像I，放大后的高分辨率图像为I′，分辨率为m′×n′。设允许的误差为δ，则对 

$x=\frac{m}{m^{\′}}\×i,$ $y=\frac{n}{n^{\′}}\×j$

寻找整数k，i′，j′满足 

$x-[\mathrm{ceil}\left(x\right)+\frac{i^{\&prime;}}{2^k}]<\mathrm{\&delta;},$ $y-[\mathrm{ceil}\left(y\right)+\frac{j^{\&prime;}}{2^k}]<\mathrm{\&delta;},$

在细分k次后的图像数据上I_k重新采样以获得所要求的分辨率，对i＝0，1，…，m′-1，j′＝0，1，…，n情况下，计算 

I′(i，j)＝I_k(2^k*ceil(x)+i′，2^k*ceil(y))+j′. 

最后，得到重采样后的图像I′，得到的图像，边缘实现保持，因此图像更清晰。 

(8)将采样后的图像合成为新的视频。 

该步骤中，可以根据现有的合成技术，将所有采样后的图像，也即分解后经过上述处理后的图像，合成为视频。即将视频的每一帧图像都处理过之后，就得到了新的放大后的视频 

然后，再将组合的视频进行输出，从而实现了视频放大，并且视频更加清晰。 

图4(a)-图4(c)为本发明实例视频中的一帧图像放大8×8倍效果图。从图4(a)可以看出，在放大8×8倍的情况下图像中的字母A在各个方向上具有很好的边缘保持效果。图4(b)表明在颜色过渡强烈的地方具有清晰的效果。图4(c)表明在具有纹理的图像上，本发明给出的方法具有很好的纹理保持效果。 

因此，从图4(a)-图4(c)可以看出，使用本发明的方案相比于现有技术，可以解决由于过渡带造成的高分辨率视频图像在边缘处的模糊现象的问题。 

上述详细介绍了本发明的方法，相应的，本发明还提供一种视频放大系统。 

图5为本发明实例的系统结构示意图。 

如图5所示，本发明的视频放大系统包括：分解模块501、图像处理模块502、组合模块503。 

分解模块501，用于将视频分解成每帧图像； 

图像处理模块502，用于获取分解得到的图像和放大倍数n；根据所述放大倍数n确定所需要的细分次数k；对象素进行分类标记；根据象素的不同分类标记，计算该象素处的梯度和扭矢；利用改进的插值细分对图像数据进行加细；将加细后的数据按所要求的图像分辨率重采样，得到采样后的图像； 

组合模块503，将采样后的图像合成为新的视频。 

其中，图像处理模块502的处理过程，如前面详细描述，此处不再赘述。 

综上所述，从本发明的技术方案可以看出，由于本发明实施例在视频放大 过程中，对每帧图像采用了线性细分方法，具有很高的运算效率和数值稳定性。同时细分方法借助Ferguson曲面修改而来，在图像的边缘处通过自动检测图像数据的检测点和自适应的切向量估计算法，准确地计算图像边缘处的梯度和扭矢，从而使得修改后的细分曲面更好地逼近图像数据，达到边缘保持的目的。另外，在图像平滑区域，本发明提出的细分方法同样能够生成光滑的曲面。这样，本发明给出的图像放大方法既能使视频图像平滑区域保持平滑，又能在边缘处保持锐利，使得视频图像更清晰，因此最终使得视频更清晰。 

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。 

以上对本发明实施例所提供的一种基于细分方法的视频放大方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。 

Claims (4)

1.一种基于细分方法的视频放大方法，其特征在于，包括：

(1)将视频分解成每帧图像；

(2)获取分解得到的图像和放大倍数n；

(3)根据所述放大倍数n确定所需要的细分次数k；

(4)根据自动阈值对象素进行分类标记，将图像数据的一行或一列记为p₁，p₂，…，p_N.，标记r定义为：

其中，T定义为

该步骤中，针对图像的一行或一列数据，根据每个数据点向前差分、或向后差分、或中心差分的方法，判定出该数据点是否为图像数据的跳跃点；r(i)标记为1，2，3的点为跳跃点，标记为0的点不是跳跃点；

(5)根据象素的不同分类标记，计算该象素处的梯度和扭矢；梯度由一维数据的切向量构成，按差分计算，扭矢由二维差商计算；

p_i处的切向量m_i的计算公式为：

扭矢也用差分的方式计算；在图像的边缘处的扭矢直接设置为0；在象素(i，j)处的扭矢按下公式计算：

(6)利用改进的插值细分对图像数据进行加细；

记

Ferguson曲面片S(u，v)定义为：

S(u，v)＝F(u)^TQF(v)，

其中F(t)＝[H₀(t) H₁(t) G₀(t) G₁(t)]^T，

其中p⁰，p¹，p²，p³为Ferguson曲面片的四个顶点， 

为pⁱ处的梯度， 

为pⁱ处的扭矢，i＝0，1，2，3；

(7)将加细后的数据按所要求的图像分辨率重采样，得到采样后的图像；

(8)将采样后的图像合成为新的视频。

2.根据权利要求1所述的基于细分方法的视频放大方法，其特征在于：

所述根据所述放大倍数n确定所需要的细分次数k时，所述细分次数k与放 大倍数n满足如下关系：

k＝ceil(lg₂ n)，

其中ceil(x)表示大于x的最小整数。

3.根据权利要求1或2所述的基于细分方法的视频放大方法，其特征在于：

所述步骤(6)中对图像数据进行加细时，在细分过程中新加入的点由Ferguson曲面片计算得出，其中Ferguson曲面片的梯度和扭矢按步骤(5)的方式进行计算。

4.一种视频放大系统，其特征在于，包括：

分解模块，用于将视频分解成每帧图像；

图像处理模块，用于获取分解得到的图像和放大倍数n；根据所述放大倍数n确定所需要的细分次数k；根据自动阈值对象素进行分类标记，将图像数据的一行或一列记为p₁，p₂，…，p_N.，标记r定义为：

其中，T定义为

该步骤中，针对图像的一行或一列数据，根据每个数据点向前差分、或向后差分、或中心差分的方法，判定出该数据点是否为图像数据的跳跃点；r(i)标记为1，2，3的点为跳跃点，标记为0的点不是跳跃点；根据象素的不同分类标记，计算该象素处的梯度和扭矢；梯度由一维数据的切向量构成，按差分计算，扭矢由二维差商计算；

p_i处的切向量m_i的计算公式为： 

扭矢也用差分的方式计算；在图像的边缘处的扭矢直接设置为0；在象素(i，j)处的扭矢按下公式计算：

；利用权利要求1中的细分对图像数据进行加细；将加细后的数据按所要求的图像分辨率重采样，得到采样后的图像；

组合模块，将采样后的图像合成为新的视频。 

Images