CN105931189A - 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置 - Google Patents

Abstract

本发明公开了一种基于改进超分辨率参数化模型的视频超分辨率方法及装置，本发明以改进超分辨率参数化模型作为视频超分辨率方法的理论指导，利用公共标记矩阵将遮挡、边界溢出对应的非公共区域所引入的错误参考信息加以排除，使得参数化模型能更好地描述各类实际视频；结合多未知参数联合估计的方法，保证了视频超分辨率的稳定进行，也解决了传统超分辨率参数化模型没有考虑视频间的非公共内容的缺陷，特别针对运动复杂、遮挡情况较多的视频，具有显著的优势，同时又能对运动缓慢、遮挡较少的视频具有理想的处理效果。本发明能有效地提升视频分辨率，使得处理所得的高分辨率视频非常清晰，视觉效果大大提升。

Description

一种基于改进超分辨率参数化模型的视频超分辨率方法及装置

技术领域

本发明涉及一种视频图像处理方法，尤其涉及一种基于改进超分辨率参数化模型的视频超分辨率方法及装置。

背景技术

近年来，随着视频监控网络的大面积铺开，社交网络普及化下的网络视频分享的日益风靡，高清、超高清显示设备的不断更新换代，视频用户对视频清晰度提出了愈来愈高的要求。许多经典的视频节目受到制作年代下设备分辨率的约束，在高分辨率显示设备上清晰度不足的问题凸显化；另一方面，由于终端设备拍摄能力、拍摄条件、网络带宽以及存储容量的各方面限制，目前大多数网络视频质量较差、分辨率低，无法满足人们对清晰视频的需求。视频超分辨率技术针对视频分辨率低、清晰度不足的问题，采用信号处理的方法，充分利用视频前后帧的相关性、帧内内容的自相似性，重建出高分辨率的视频图像并使得增强后的视频图像在视觉效果、客观评价指标上均超过原始的低分辨率视频，是有效解决视频分辨率不足问题的一项关键技术，正受到视频处理领域越来越多的关注。并且，超分辨率技术从过去面向军事侦察、勘测应用逐渐延伸到了受众面更为广泛的民用、商用产品，使其在社会生活中的作用也逐渐增大。

视频超分辨率算法主要可以分为三类：第一类是基于滤波、插值的方法，该类方法简单、速度最快，但重建效果却最不理想，特别是放大倍数较大的情况；第二类是基于学习的方法，它能在外部库中获取大量高频信息，从而获得了较好的重建结果，但也正因为信息来自外部，使得恢复的细节很难与实际完美对应，往往存在假细节并可能严重影响视觉效果；第三类则为基于重构的方法，这类方法遵循了超分辨率后视频图像与原始视频之间的关系，通过视频的帧间相关性获得额外的参考信息以达到较为理想的超分辨率效果。

在基于重构的方法中，超分辨率参数化模型发挥了理论指导的作用。1984年，Tsai等人提出了一种传统超分辨率参数化模型，之后出现的各类基于重构的视频超分辨率算法均建立在该模型之上，它将高分辨率视频图像与待处理视频序列的关系表达为J_i＝DHF_iI+n_i。此模型认为：一帧目标高分辨率视频图像通过不同的变形矩阵F获得了其邻接的其他高分辨率视频图像，通过模糊作用H后进行下采样D，在此过程了还受到噪声n的影响，最终产生了对应的实际视频序列。

然而，在传统模型指导下的各类视频超分辨率方法并不能很好的处理视频中不可避免的遮挡、边界溢出现象，特别是一些视频中遮挡问题还可能相当严重。这是由于该模型认为任一高分辨率帧可由其相邻帧通过变形直接获得，忽略了它们之间非公共区域的内容——遮挡区域以及边界溢出的区域。这些错误在超分辨率过程中引入了错误的参考信息，从而导致了严重的重构错误出现。为此，在模型准确性上进行改进并指导视频超分辨率进行则是一条颇具前景的研究路线。

发明内容

本发明的目的在于提供一种基于改进超分辨率参数化模型的视频超分辨率方法及装置，能够将各类不同内容特性的实际视频进行分辨率放大并获取更为清晰的视频与更好的视觉效果。

本发明提供的技术方案为：

一种基于改进超分辨率参数化模型的视频超分辨率方法，包括：

(1)对原始视频进行解构，获得分离的各帧视频内容信息{J}，继而获取待处理的目标视频帧J及其若干参考视频帧{J_i}；

(2)在对目标视频帧J进行超分辨率处理时，利用J及其若干参考视频帧{J_i}获得估算公共标记矩阵

(3)在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的模糊核矩阵公共标记矩阵和高分辨率视频图像获得更为精确的估算变形矩阵

(4)在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的高分辨率视频图像公共标记矩阵和变形矩阵获得更为精确的估算模糊核矩阵

(5)在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的变形矩阵公共标记矩阵和模糊核矩阵获得更为精确的估算高分辨率视频图像

(6)利用收敛判据判断迭代求解获得的估算高分辨率视频图像是否已经达到收敛，当收敛时整合目标视频帧J经过超分辨率处理获得的各通道估算高分辨率图获得清晰的目标高分辨率视频图像I。

优选地，对原始视频进行解构，获得分离的各帧视频内容信息{J}，继而获取待处理的目标视频帧J及其若干参考视频帧{J_i}，具体方法为：

输入视频的解构方法随输入视频的具体格式而定，可按各种视频格式的标准进行，经过解构的视频各帧内容信息{J}均可独立进行超分辨率处理：

针对未经压缩的视频，如yuv、y4m等格式，则直接将其读入并根据相应的视频信息排列方式将各视频帧信息提取出来；

针对压缩后的视频，如avi、mp4、wmv等格式，则首先利用相应的标准对视频进行解码，然后进行各视频帧信息的提取；

针对仅有单通道信息的目标视频帧J，则直接对其进行超分辨率处理；

针对以YUV格式存在的目标视频帧J，将各视频帧划分为Y、U、V三通道后分别进行超分辨率处理；

针对以RGB格式存在的目标视频帧J，将各视频帧划分为R、G、B三通道后分别进行超分辨率处理；

针对其他格式存在的目标视频帧J，则同样将其划分为相应的各个通道分别进行超分辨率处理；

在选择任意一帧视频作为目标视频帧J后，可根据需求抽取若干参考帧构成{J_i}，这些参考帧可以选择为J的前若干帧、后若干帧、前后若干帧，也可以是任意的选取。

优选地，在对目标视频帧J进行超分辨率处理时，利用J及其若干参考视频帧{J_i}获得估算公共标记矩阵其具体方法为：

对J的任意一帧参考视频帧J_i，首先通过运动估计获取J_i相对于J的运动矢量ω_i以及J相对于J_i的运动矢量ω′_i，所述的运动矢量ω_i与ω′_i可通过光流法运动估计方法获得，但也可以通过块匹配运动估计、基于特征的运动估计方法等其他运动估计方法进行求取；再通过遮挡检测获得二值化的遮挡点标记图occ_i：可用数值0对应遮挡，数值1对应非遮挡，但标注方法不限于此；可通过计算下式实现遮挡检测，继而获得遮挡点标记图occ_i：

${\mathrm{occ}}_i\left(q\right)=\left\{\begin{array}{cc}0& f(q+{\mathrm{\&omega;}}_i(q\left)\right)>1\\ 1& f(q+{\mathrm{\&omega;}}_i(q\left)\right)<=1\end{array}\right.$

其中抽象函数f(·)统计了J_i中经过运动对应到J中点q+ω_i(q)位置的像素数量；

或者，可通过交叉检测实现遮挡检测，从而获取遮挡点标记图occ_i，即：

${\mathrm{occ}}_i\left(q\right)=\{\begin{array}{cc}0& |{\mathrm{\&omega;}}_i^{\&prime;}(q+{\mathrm{\&omega;}}_i(q\left)\right)-{\mathrm{\&omega;}}_i\left(q\right)|>\mathrm{\&tau;}\\ 1& |{\mathrm{\&omega;}}_i^{\&prime;}(q+{\mathrm{\&omega;}}_i(q\left)\right)-{\mathrm{\&omega;}}_i\left(q\right)|\&le;\mathrm{\&tau;}\end{array};$

其中τ为一个判决阈值，常取值为0.5～2.0；

上述方法均为可选的两种遮挡检测的实现手段，最终目的在于求取遮挡点标记图occ_i，但也可利用其它的遮挡检测方法实现，并不仅限于此；

然后通过下式获得对应J_i的估算公共标记矩阵

${\hat{C}}_i=diag\left(\right\{{\mathrm{occ}}_i\left(q\right)\left\}\right),q=(1,1),(1,2),\mathrm{...},(M,L);$

或者，通过计算下式获得边界溢出点标记图bound_i：

q+ω_i(q)表示J_i中的点q经过相对运动ω_i(q)运动在J中对应的坐标位置；然后通过下式获得对应J_i的估算公共标记矩阵

${\hat{C}}_i=diag\left(\right\{{\mathrm{bound}}_i\left(q\right)\left\}\right),q=(1,1),(1,2),\mathrm{...},(M,L);$

或者，作为优选，还可以通过下式获得对应J_i的估算公共标记矩阵

${\hat{C}}_i=diag\left(\right\{{\mathrm{occ}}_i\left(q\right)*{\mathrm{bound}}_i\left(q\right)\left\}\right),q=(1,1),(1,2),\mathrm{...},(M,L);$

或者，还可以直接将对应J_i的估算公共标记矩阵用M*L维的单位矩阵进行估计；

利用上述一种或多种不同方法组合，对J的所有参考视频帧{J_i}逐一进行公共标记矩阵的计算即可获得全部的估算公共标记矩阵

优选地，在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的模糊核矩阵公共标记矩阵和高分辨率视频图像获得更为精确的估算变形矩阵其具体方法为：

根据改进超分辨率参数化模型对目标高分辨率视频图像I与J及其所有参考视频帧{J_i}之间关系的描述，其中改进超分辨率参数化模型对目标高分辨率视频图像I与各参考视频帧J_i的关系为：

C_iJ_i＝C_i(DH_iF_iI+n_i)；

其中，C_i、F_i、H_i和n_i分别表示对应J_i的公共标记矩阵、变形矩阵、模糊核矩阵以及加性噪声；D为下采样矩阵，对应图像降采样；其具体物理意义为目标高分辨率视频图像I通过不同的运动、变形，获得了其他高分辨率参考视频帧的估算图像通过模糊作用后进行下采样，在此过程了还受到噪声的影响，通过公共标记矩阵的作用，最终生成了视频参考帧{J_i}中与J具有公共景物内容的部分{C_iJ_i}；

而高分辨率视频图像I与J的关系为：

J＝DHI+n₀；

其中，H和n₀分别表示对应J的模糊核矩阵以及加性噪声；其具体物理意义为目标高分辨率视频图像I通过模糊作用后进行下采样，在此过程了还受到噪声的影响，最终生成了目标视频帧J；

作为优选，对J的任意一帧参考视频帧J_i，其对应的估算变形矩阵可通过求解下式中的最优化问题获得：

${\hat{F}}_i=\underset{F_i}{\mathrm{argmin}}{\mathrm{\&theta;}}_i{||{\hat{C}}_{i}D{\hat{H}}_i{F}_i\hat{I}-{\hat{C}}_i{J}_i||}_p+{\mathrm{\&lambda;}}_i{||{\mathrm{\&phi;}}_{reg}\left(F_i\right)||}_p;$

其中θ_i表示对应J_i的噪声水平系数，可利用视频帧统计特性加以估计；φ_reg(F_i)是利用变形矩阵先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，λ_i为正则项系数，其常用取值可为0～1.0；函数||·||_p表示p向量范数，p∈[1,2)，其具体形式为||x||_p＝(x²+ε²)^p/2，其中ε为一个偏移常量，取值可为0～1.0；利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\left[\begin{array}{cc}{I}_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i& I_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y\\ I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x& I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i\end{array}\right]\left[\begin{array}{c}{\mathrm{du}}_i\\ {\mathrm{dv}}_i\end{array}\right]\\ =-\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}\left[\begin{array}{c}{L}_i{\hat{u}}_i\\ L_i{\hat{v}}_i\end{array}\right]-\left[\begin{array}{c}{I}_x^T\\ I_y^T\end{array}\right]({\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i\hat{I}-{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_i{J}_i)\end{array}$

其中，du与dv分别是变形矩阵对应的运动矢量在水平、垂直上的分量；I_x与I_y分别为I_x与I_y(高分辨率视频图像在水平与垂直方向的梯度图)经过变形后对应的对角矩阵；为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$W_{F_i}=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D{\hat{H}}_i{\hat{F}}_i\hat{I}\left(q\right)-J_i\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),\mathrm{...},(M,L);$

也可以对迭代权重矩阵做如下调整：

$W_{F_i}=max(W_{F_i},{\mathrm{\&tau;}}_{F_i,1});$

其中为一个截断阈值，可任意选取为0.00001～500；

也可以利用下式调整：

$W_{F_i}=min(W_{F_i},{\mathrm{\&tau;}}_{F_i,2});$

其中为一个截断阈值，常可选择为0.00001～500；

还可以利用下式调整：

$W_{F_i}=median(W_{F_i},{\mathrm{\&tau;}}_{F_i,1},{\mathrm{\&tau;}}_{F_i,2});$

L_i是正则项φ_reg(F_i)对应的加权运算矩阵：

$L_i={\mathrm{\&Phi;}}_i^{T}diag\left(\right\{\frac{\frac{p}{2}}{{\&lsqb;{\mathrm{\&Phi;}}_i{\hat{F}}_i{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{1-\frac{p}{2}}}\left\}\right){\mathrm{\&Phi;}}_i,q=(1,1),(1,2),\mathrm{...},(s*M,s*L);$

其中，Φ_i为正则项φ_reg(F_i)对应的矩阵形式，s表示超分辨率放大倍数；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；变形矩阵在最优化求解时可利用运动矢量ω_i上采样后转换为对应矩阵形式进行初始化估算，但并不仅限于此；求解获得增量du与dv后，将其与原来变形矩阵的水平、垂直分量u与v叠加后即可获得更新的运动矢量，将之转换为矩阵形式即可获得更为精确的估算变形矩阵

对J的任意一帧参考视频帧J_i，其对应的估算变形矩阵也可以通过求解下式中的最优化问题获得：

${\hat{F}}_i=\underset{F_i}{\mathrm{argmin}}{\mathrm{\&theta;}}_i{||{\hat{C}}_{i}D{\hat{H}}_i{F}_i\hat{I}-{\hat{C}}_i{J}_i||}_2^2+{\mathrm{\&lambda;}}_i{||{\mathrm{\&phi;}}_{reg}\left(F_i\right)||}_2^2;$

其中函数表示L2向量范数，其具体形式为利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\left[\begin{array}{cc}{I}_x^T{H}_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{I}_x+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{\mathrm{\&Phi;}}_i^T{\mathrm{\&Phi;}}_i& I_x^T{H}_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{I}_y\\ I_y^T{H}_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{I}_x& I_y^T{H}_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{I}_y+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{\mathrm{\&Phi;}}_i^T{\mathrm{\&Phi;}}_i\end{array}\right]\left[\begin{array}{c}{\mathrm{du}}_i\\ {\mathrm{dv}}_i\end{array}\right]\\ =-\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}\left[\begin{array}{c}{\mathrm{\&Phi;}}_i^T{\mathrm{\&Phi;}}_i{u}_i\\ {\mathrm{\&Phi;}}_i^T{\mathrm{\&Phi;}}_i{v}_i\end{array}\right]-\left[\begin{array}{c}{I}_x^T\\ I_y^T\end{array}\right](H_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{F}_{i}I-H_i^T{D}^T{C}_i^T{C}_i{J}_j)\end{array};$

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；变形矩阵在最优化求解时可利用运动矢量ω_i上采样后转换为对应矩阵形式进行初始化估算，但并不仅限于此；求解获得增量du与dv后，将其与原来变形矩阵的水平、垂直分量u与v叠加后即可获得更新的运动矢量，将之转换为矩阵形式即可获得更为精确的估算变形矩阵

利用上述一种或多种不同方法组合，对J的所有参考视频帧{J_i}逐一进行估算变形矩阵的最优化求解即可获得全部的估算变形矩阵

优选地，在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的高分辨率视频图像公共标记矩阵和变形矩阵获得更为精确的估算模糊核矩阵其具体方法为：

根据改进超分辨率参数化模型对目标高分辨率视频图像I与J及其所有参考视频帧{J_i}之间关系的描述，作为优选，J的估算模糊核矩阵可通过求解下式中的最优化问题获得：

其中θ₀表示对应J的噪声水平系数，可利用视频帧统计特性加以估计；是利用模糊核矩阵先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，ξ₀为正则化系数，常用取值为0.0001～1.0；X为高分辨率视频图像进行模糊操作时所应的矩阵形式，H则为模糊核矩阵H的向量形式；利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

[θ₀X^TD^TW_HDX+ξ₀B]H＝θ₀X^TD^TW_HJ；

其中，W_H为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$W_H=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D\hat{H}\hat{I}\left(q\right)-J\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),\mathrm{...},(M,L);$

也可以对迭代权重矩阵做如下调整：

W_H＝max(W_H,τ_H,1)；

其中τ_H,1为一个截断阈值，可任意选取为0.00001～500；

也可以利用下式调整：

W_H＝min(W_H,τ_H,2)；

其中τ_H,2为一个截断阈值，常可选择为0.00001～500；

还可以利用下式调整：

W_H＝median(W_H,τ_H,1,τ_H,2)；

B是正则项对应的加权运算矩阵：

$B={\mathrm{\&Theta;}}^{T}diag\left(\right\{\frac{\frac{p}{2}}{{\&lsqb;\mathrm{\&Theta;}\hat{H}{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{1-\frac{p}{2}}}\left\}\right)\mathrm{\&Theta;},q=(1,1),(1,2),\mathrm{...},(m,l);$

其中，Θ为正则项对应的矩阵形式，m与l分别为模糊核的高度与宽度；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

J的估算模糊核矩阵也可以通过求解下式中的最优化问题获得：

利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

[θ₀X^TD^TDX+ξ₀Θ^TΘ]H＝θ₀X^TD^TJ；

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

作为优选，对J的任意一帧参考视频帧J_i，其对应的估算模糊核矩阵可通过下式直接获得：

${\hat{H}}_i=\hat{H};$

对J的任意一帧参考视频帧J_i，其对应的估算模糊核矩阵也可以通过求解下式中的最优化问题获得：

其中是利用模糊核矩阵先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，ξ_i为正则化系数，常用取值为0.0001～1.0；X_i为高分辨率视频图像经过变形后所得的图像进行模糊操作时所应的矩阵形式，H_i则为模糊核矩阵H_i的向量形式；利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

$\&lsqb;{\mathrm{\&theta;}}_i{X_i}^T{D}^T{{\hat{C}}_i}^T{W}_{H_i}{\hat{C}}_i{\mathrm{DX}}_i+{\mathrm{\&xi;}}_i{B}_i\&rsqb;H_i={\mathrm{\&theta;}}_i{X_i}^T{D}^T{{\hat{C}}_i}^T{W}_{H_i}{J}_i;$

其中，为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$W_{H_i}=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D{\hat{H}}_i{\hat{F}}_i\hat{I}\left(q\right)-J_i\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),\mathrm{...},(M,L);$

也可以对迭代权重矩阵做如下调整：

$W_{H_i}=max(W_{H_i},{\mathrm{\&tau;}}_{H_i,1});$

其中为一个截断阈值，可任意选取为0.00001～500；

也可以利用下式调整：

$W_{H_i}=min(W_{H_i},{\mathrm{\&tau;}}_{H_i,2});$

其中为一个截断阈值，常可选择为0.00001～500；

还可以利用下式调整：

$W_{H_i}=median(W_{H_i},{\mathrm{\&tau;}}_{H_i,1},{\mathrm{\&tau;}}_{H_i,2});$

B_i是正则项对应的加权运算矩阵：

$B_i={{\mathrm{\&Theta;}}_i}^{T}diag\left(\right\{\frac{\frac{p}{2}}{{\&lsqb;{\mathrm{\&Theta;}}_i{\hat{H}}_i{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{1-\frac{p}{2}}}\left\}\right){\mathrm{\&Theta;}}_i,q=(1,1),(1,2),\mathrm{...},(m,l);$

其中，Θ_i为正则项对应的矩阵形式；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

对J的任意一帧参考视频帧J_i，其对应的估算模糊核矩阵还可以通过求解下式中的最优化问题获得：

利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

[θ_iX_i ^TD^TDX_i+ξ_iΘ_i ^TΘ_i]H＝θ₀X_i ^TD^TJ_i；

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

利用上述一种或多种不同方法组合，对J以及其所有参考视频帧{J_i}逐一进行估算模糊核矩阵与的最优化求解即可获得全部的估算模糊核矩阵

优选地，在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的变形矩阵公共标记矩阵和模糊核矩阵获得更为精确的估算高分辨率视频图像其具体方法为：

根据改进超分辨率参数化模型对目标高分辨率视频图像I与J及其所有参考视频帧{J_i}之间关系的描述，作为优选，J的估算高分辨率视频图像可通过求解下式中的最优化问题获得：

$\hat{I}=\underset{I}{\mathrm{argmin}}{\mathrm{\&theta;}}_0{||D\hat{H}I-J||}_p+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{||{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_{i}I-{\hat{C}}_i{J}_i||}_p+\mathrm{\&eta;}{||{\mathrm{\&kappa;}}_{reg}\left(I\right)||}_p;$

其中κ_reg(I)是利用高分辨率视频图像先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，η为正则化系数，常用取值为0.0001～1.0；利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}D\hat{H}+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{\hat{C}}_i^T{W}_i{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i+\mathrm{\&eta;}K\&rsqb;I\\ ={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}J+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{C}_i^T{W}_i{C}_i{J}_i\end{array};$

其中，W₀与W_i为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$\begin{array}{c}{W}_0=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D\hat{H}\hat{I}\left(q\right)-J\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),\mathrm{...},(M,L)\\ W_i=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D{\hat{H}}_i{\hat{F}}_i\hat{I}\left(q\right)-J\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),\mathrm{...},(M,L)\end{array};$

也可以对迭代权重矩阵做如下调整：

$\begin{array}{c}{W}_0=\max (W_0,{\mathrm{\&tau;}}_{0,1})\\ W_i=\max (W_i,{\mathrm{\&tau;}}_{i,1})\end{array};$

其中τ_0,1与τ_i,1均为截断阈值，可任意选取为0.00001～500；

也可以利用下式调整：

$\begin{array}{c}{W}_0=\min (W_0,{\mathrm{\&tau;}}_{0,2})\\ W_i=\min (W_i,{\mathrm{\&tau;}}_{i,2})\end{array};$

其中τ_0,2与τ_i,2均为截断阈值，常可选择为0.00001～500；

还可以利用下式调整：

$\begin{array}{c}{W}_0=median(W_0,{\mathrm{\&tau;}}_{0,1},{\mathrm{\&tau;}}_{0,2})\\ W_i=median(W_i,{\mathrm{\&tau;}}_{i,1},{\mathrm{\&tau;}}_{i,2})\end{array};$

K是正则项κ_reg(I)对应的加权运算矩阵：

$K={\mathrm{\&Psi;}}^{T}diag\left(\right\{\frac{\frac{p}{2}}{{\&lsqb;{\mathrm{\&Phi;}}_i\hat{I}{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{1-\frac{p}{2}}}\left\}\right)\mathrm{\&Psi;},q=(1,1),(1,2),\mathrm{...},(s*M,s*L);$

其中，Ψ为正则项κ_reg(I)对应的矩阵形式；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；高分辨率图像在最优化求解时可利用J的插值放大图像进行初始化估算，但并不仅限于此；

J的估算高分辨率视频图像还可以通过求解下式中的最优化问题获得：

$\hat{I}=\underset{I}{\mathrm{argmin}}{\mathrm{\&theta;}}_0{||D\hat{H}I-J||}_2^2+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{||{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_{i}I-{\hat{C}}_i{J}_i||}_2^2+\mathrm{\&eta;}{||{\mathrm{\&kappa;}}_{reg}\left(I\right)||}_2^2;$

利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}D\hat{H}+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{\hat{C}}_i^T{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i+{\mathrm{\&eta;\&Psi;}}^T\mathrm{\&Psi;}\&rsqb;I\\ ={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}J+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{C}_i^T{C}_i{J}_i\end{array}$

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；高分辨率图像在最优化求解时可利用J的插值放大图像进行初始化估算，但并不仅限于此；

J的估算高分辨率视频图像也可以通过求解下式中的最优化问题获得：

$\hat{I}=\underset{I}{\mathrm{argmin}}{\mathrm{\&theta;}}_0{w}_0{||D\hat{H}I-J||}_2^2+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{w}_i{||{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_{i}I-{\hat{C}}_i{J}_i||}_2^2+\mathrm{\&eta;}{||{\mathrm{\&kappa;}}_{reg}\left(I\right)||}_2^2;$

其中w分别表示加权L2范数的权值，该权值可以通过当前的估算高分辨率视频图像经过改进超分辨率参数化模型产生对J以及参考帧{J_i}的估计图，再将它们与实际的J以及{J_i}对应比较后获得；

利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\&lsqb;{\mathrm{\&theta;}}_0{w}_0{\hat{H}}^T{D}^{T}D\hat{H}+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{w}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{\hat{C}}_i^T{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i+{\mathrm{\&eta;\&Psi;}}^T\mathrm{\&Psi;}\&rsqb;I\\ ={\mathrm{\&theta;}}_0{w}_0{\hat{H}}^T{D}^{T}J+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{w}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{C}_i^T{C}_i{J}_i\end{array}$

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；高分辨率图像在最优化求解时可利用J的插值放大图像进行初始化估算，但并不仅限于此；

作为优选，通过上述求解方法获得的估算高分辨率视频图像还可以通过求解下式中的最优化问题进行进一步的精细化：

$\hat{I}=\underset{I}{\mathrm{argmin}}{\mathrm{\&theta;}}_0{||D\hat{H}\hat{I}-J||}_2^2+\mathrm{\&gamma;}{||{\mathrm{\&chi;}}_{reg}\left(I\right)||}_2^2;$

其中χ_reg(I)是利用高分辨率视频图像先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，γ为正则化系数，常用取值为0.0001～1.0；利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

$\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}D\hat{H}+{\mathrm{\&gamma;\&Omega;}}^T\mathrm{\&Omega;}\&rsqb;I={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}J;$

其中，Ω为正则项χ_reg(I)对应的矩阵形式；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法(包括这些方法的各类改进方法)；高分辨率图像在最优化求解时可利用当前的估算高分辨率视频图像进行初始化估算。

优选地，利用收敛判据判断迭代求解获得的估算高分辨率视频图像是否已经达到收敛，当收敛时整合目标视频帧J经过超分辨率处理获得的各通道估算高分辨率图获得清晰的目标高分辨率视频图像I，其具体处理方法为：

在对目标视频帧J进行超分辨率处理时，当变形矩阵模糊核矩阵以及高分辨率图像的估算和精细化完成后，三个变量的估计顺序可任意选择，作为优选，可先估计变形矩阵再估计高分辨率图像并进行精细化，再估计模糊核矩阵但不限于此；

判断当前结果与前一轮交替估算结果的相似度，作为优选，可以通过均方差度量两次结果之间的相似度，即：

其中表示高分辨率图像的任一通道图像，当相似度小于某一阈值即可认为对该通道的迭代过程达到收敛，一般阈值可取值为0.1～1.0，但不限于此；以上仅为收敛条件的一种形式，也可以采用其他色彩相似性、结构相似性、画面统计特征相似性等属性以及不同形似度度量方法的组合构造相似度函数，并设置相应的收敛条件判断；当若相似度足够大即认为处理达到收敛；

在目标视频帧J的对应高分辨率图像的各通道估算高分辨率图均达到收敛后，按原始各通道的排列顺序进行整合，即可输出清晰的目标高分辨率视频图像I。

本发明还公开了一种基于改进超分辨率参数化模型的自适应视频超分辨率装置，包括：

用于对原始待处理视频进行适当解构，分离提取出各视频帧内容信息{J}，继而获取待处理的目标视频帧J及其若干参考视频帧{J_i}的输入视频解构模块；

用于在对目标视频帧J进行超分辨率处理时，在对目标视频帧J进行超分辨率处理时，利用J及其若干参考视频帧{Ji}获得估算公共标记矩阵的公共标记矩阵估计模块；

用于在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的模糊核矩阵公共标记矩阵和高分辨率视频图像获得更为精确的估算变形矩阵的变形矩阵估计模块；

用于在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的高分辨率视频图像公共标记矩阵和变形矩阵获得更为精确的估算模糊核矩阵的模糊核矩阵估计模块；

用于在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的变形矩阵公共标记矩阵和模糊核矩阵获得更为精确的估算高分辨率视频图像的高分辨率图像估计模块；

用于对目标视频帧J的超分辨率结果进行收敛判决，整合目标视频帧J经过超分辨率处理获得的各通道估算高分辨率图获得清晰目标高分辨率视频图像I的判决输出模块。

优选地，输入视频解构模块包括：视频解构单元，读取待处理视频，识别视频格式并进行相应的解构；视频帧缓存单元，将分离获得的视频内容信息{J}进行缓存；目标视频帧提取单元，获取目标视频帧J及其若干参考视频帧{J_i}；

优选地，公共标记矩阵估计模块包括：运动估计单元，对目标视频帧J及其各个参考视频帧J_i进行运动估计；公共标记矩阵计算单元，用于逐一估算对应各参考视频帧的公共标记矩阵。

优选地，变形矩阵估计模块包括：变形矩阵估算单元，用于估算更为精确的变形矩阵。

优选地，模糊核矩阵估计模块包括：模糊核矩阵估算单元，用于估算更为精确的模糊核矩阵。

优选地，高分辨率图像估计模块包括：高分辨率图像估算单元，用于估算更为精确的高分辨率图像；高分辨率图像精细化单元，用于构造数据保真性约束函数，求解以获取更为精细的高分辨率图像；

优选地，判决输出模块包括：迭代收敛判决单元，判断高分辨率图像是否达到收敛；整合输出单元，对目标视频帧J的各通道超分辨率结果进行整合，获取相应的高分辨率视频图像并将其输出。

与现有技术相比，本发明具有以下有益效果：本发明以改进超分辨率参数化模型作为视频超分辨率方法的理论指导，利用公共标记矩阵将遮挡、边界溢出对应的非公共区域所引入的错误参考信息加以排除，使得参数化模型能更好地描述各类实际视频；结合多未知参数联合估计的方法，保证了视频超分辨率的稳定进行，也解决了传统超分辨率参数化模型没有考虑视频间的非公共内容的缺陷，特别针对运动复杂、遮挡情况较多的视频，具有显著的优势，同时又能对运动缓慢、遮挡较少的视频具有理想的处理效果。本发明能有效地提升视频分辨率，使得处理所得的高分辨率视频非常清晰，视觉效果大大提升。

附图说明

图1为本发明一种实施例的基于改进超分辨率参数化模型的视频超分辨率处理方法流程图；

图2为本发明实施例的基于改进超分辨率参数化模型的视频超分辨率处理方法的具体流程图；

图3为本发明的基于改进超分辨率参数化模型的视频超分辨率装置的结构框图；

图4为本发明的基于改进超分辨率参数化模型的视频超分辨率装置的具体结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

首先，对本发明实施例所提供的视频超分辨率方法进行一个简单介绍：先对待处理的视频进行解构，分离出各视频帧内容信息{J}，继而获取待处理的目标视频帧J及其若干参考视频帧{J_i}；在对目标视频帧J进行超分辨率处理时，利用J及其若干参考视频帧{J_i}获得估算公共标记矩阵利用J、其若干参考视频帧{J_i}以及估算获得的模糊核矩阵公共标记矩阵和高分辨率视频图像获得更为精确的估算变形矩阵然后利用J、其若干参考视频帧{J_i}以及估算获得的变形矩阵公共标记矩阵和模糊核矩阵获得更为精确的估算高分辨率视频图像并进行精细化，利用J、其若干参考视频帧{J_i}以及估算获得的高分辨率视频图像公共标记矩阵和变形矩阵获得更为精确的估算模糊核矩阵最后，利用收敛判据判断迭代求解获得的估算高分辨率视频图像是否已经达到收敛，当收敛时整合目标视频帧J经过超分辨率处理获得的各通道估算高分辨率图输出清晰的目标高分辨率视频图像I。

如图1所示，该处理方法主要包括以下步骤(步骤S102—S112)：

步骤S102，对原始视频进行解构，获取待处理的目标视频帧J及其参考帧{J_i}；

步骤S104，利用目标视频帧信息J及其若干参考视频帧{J_i}获得估算公共标记矩阵

步骤S106，利用J、{J_i}以及估算获得的模糊核矩阵公共标记矩阵和高分辨率视频图像获得更为精确的估算变形矩阵

步骤S108，利用J、{J_i}以及估算获得的变形矩阵公共标记矩阵和模糊核矩阵获得更为精确的估算高分辨率视频图像并进行精细化；

步骤S110，利用J、{J_i}以及估算获得的高分辨率视频图像公共标记矩阵和变形矩阵获得更为精确的估算模糊核矩阵

步骤S112，利用收敛判据判断迭代求解获得的估算高分辨率视频图像是否已经达到收敛，若未收敛则返回步骤S106，否则整合并输出获得清晰的目标高分辨率视频图像I。

在本实施例中，对原始视频进行解构，获取待处理的目标视频帧J及其参考帧{J_i}，可采用如下方式实现：

输入视频的解构方法随输入视频的具体格式而定，可按各种视频格式的标准进行，经过解构的视频各帧内容信息{J}均可独立进行超分辨率处理：

针对未经压缩的视频，如yuv、y4m等格式，则直接将其读入并根据相应的视频信息排列方式将各视频帧信息提取出来；

针对压缩后的视频，如avi、mp4、wmv等格式，则首先利用相应的标准对视频进行解码，然后进行各视频帧信息的提取；

针对仅有单通道信息的目标视频帧J，则直接对其进行超分辨率处理；

针对以YUV格式存在的目标视频帧J，将各视频帧划分为Y、U、V三通道后分别进行超分辨率处理；

针对以RGB格式存在的目标视频帧J，将各视频帧划分为R、G、B三通道后分别进行超分辨率处理；

针对其他格式存在的目标视频帧J，则同样将其划分为相应的各个通道分别进行超分辨率处理；

在选择任意一帧视频作为目标视频帧J后，可根据需求抽取若干参考帧构成{J_i}，这些参考帧可以选择为J的前后四帧，但不限于此；

在本实施例中，利用目标视频帧信息J及其若干参考视频帧{J_i}获得估算公共标记矩阵可以采用如下方法实现：

对目标视频帧J及任一参考视频帧J_i，通过运动估计获取J_i相对于J的运动矢量ω_i以及J相对于J_i的运动矢量ω′_i；其中运动矢量ω_i与ω′_i可通过光流法运动估计获得，但不限于此；可通过计算下式实现遮挡检测，继而获得遮挡点标记图occ_i：

${\mathrm{occ}}_i\left(q\right)=\left\{\begin{array}{cc}0& f(q+{\mathrm{\&omega;}}_i(q\left)\right)>1\\ 1& f(q+{\mathrm{\&omega;}}_i(q\left)\right)<=1\end{array}\right.;$

或者，可通过交叉检测实现遮挡检测，从而获取遮挡点标记图occ_i，即：

${\mathrm{occ}}_i\left(q\right)=\{\begin{array}{cc}0& |{\mathrm{\&omega;}}_i^{\&prime;}(q+{\mathrm{\&omega;}}_i(q\left)\right)-{\mathrm{\&omega;}}_i\left(q\right)|>\mathrm{\&tau;}\\ 1& |{\mathrm{\&omega;}}_i^{\&prime;}(q+{\mathrm{\&omega;}}_i(q\left)\right)-{\mathrm{\&omega;}}_i\left(q\right)|\&le;\mathrm{\&tau;}\end{array};$

然后，再通过计算下式获得边界溢出点标记图bound_i：

最后，对应J与J_i的公共标记矩阵可由下式获得：

${\hat{C}}_i=diag\left(\right\{{\mathrm{occ}}_i\left(q\right)*{\mathrm{bound}}_i\left(q\right)\left\}\right),q=(1,1),(1,2),...,(M,L);$

采用上述方法对J的所有参考视频帧{J_i}逐一进行公共标记矩阵计算即可获得全部的公共标记矩阵

在本实施例中，利用J、{J_i}以及估算获得的模糊核矩阵公共标记矩阵和高分辨率视频图像获得更为精确的估算变形矩阵可以采用如下方法实现：

根据改进超分辨率参数化模型对目标高分辨率视频图像I与J及其所有参考视频帧{J_i}之间关系的描述，其中改进超分辨率参数化模型对目标高分辨率视频图像I与各参考视频帧J_i的关系为：

C_iJ_i＝C_i(DH_iF_iI+n_i)；

其中，C_i、F_i、H_i和n_i分别表示对应J_i的公共标记矩阵、变形矩阵、模糊核矩阵以及加性噪声；D为下采样矩阵，对应图像降采样；其具体物理意义为目标高分辨率视频图像I通过不同的运动、变形，获得了其他高分辨率参考视频帧的估算图像通过模糊作用后进行下采样，在此过程了还受到噪声的影响，通过公共标记矩阵的作用，最终生成了视频参考帧{J_i}中与J具有公共景物内容的部分{C_iJ_i}；

而高分辨率视频图像I与J的关系为：

J＝DHI+n₀；

其中，H和n₀分别表示对应J的模糊核矩阵以及加性噪声；其具体物理意义为目标高分辨率视频图像I通过模糊作用后进行下采样，在此过程了还受到噪声的影响，最终生成了目标视频帧J；

对J的任意一帧参考视频帧J_i，其对应的估算变形矩阵可通过求解下式中的最优化问题获得：

${\hat{F}}_i=\underset{F_i}{\mathrm{argmin}}{\mathrm{\&theta;}}_i{||{\hat{C}}_{i}D{\hat{H}}_i{F}_i\hat{I}-{\hat{C}}_i{J}_i||}_1+{\mathrm{\&lambda;}}_i{||{\mathrm{\&phi;}}_{reg}\left(F_i\right)||}_1;$

正则项φ_reg(F_i)利用全局平滑约束建模，则利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\left[\begin{array}{cc}{I}_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i& I_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y\\ I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x& I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i\end{array}\right]\left[\begin{array}{c}{\mathrm{du}}_i\\ {\mathrm{dv}}_i\end{array}\right]\\ =-\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}\left[\begin{array}{c}{L}_i{\hat{u}}_i\\ L_i{\hat{v}}_i\end{array}\right]-\left[\begin{array}{c}{I}_x^T\\ I_y^T\end{array}\right]({\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i\hat{I}-{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_i{J}_i)\end{array}$

为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$W_{F_i}=diag\left(\frac{1}{2{\{{\&lsqb;D{\hat{H}}_i{\hat{F}}_i\hat{I}\left(q\right)-J_i\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{\frac{1}{2}}}\right),q=(1,1),(1,2),\mathrm{...},(M,L);$

加权运算矩阵L_i则为：

$\begin{array}{c}{L}_i=D_x^{T}diag\left(\frac{1}{2{\&lsqb;\&dtri;u_i{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{\frac{1}{2}}}\right)D_x+\\ D_y^{T}diag\left(\frac{1}{2{\&lsqb;\&dtri;v_i{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{\frac{1}{2}}}\right)D_y,q=(1,1),(1,2),\mathrm{...},(s*M,s*L)\end{array};$

其中，而D_x与D_y分别为图像水平、垂直方向差分算子的矩阵形式；上述的线性方程可以通过共轭梯度法求解；变形矩阵在最优化求解时可利用运动矢量ω_i上采样后转换为对应矩阵形式进行初始化估算；求解获得增量du与dv后，将其与原来变形矩阵的水平、垂直分量u与v叠加后即可获得更新的运动矢量，将之转换为矩阵形式即可获得更为精确的估算变形矩阵

利用上述方法，对J的所有参考视频帧{J_i}逐一进行估算变形矩阵的最优化求解即可获得全部的估算变形矩阵

在本实施例中，利用J、{J_i}以及估算获得的变形矩阵公共标记矩阵和模糊核矩阵获得更为精确的估算高分辨率视频图像并进行精细化，可以采用如下方法实现：

根据改进超分辨率参数化模型对目标高分辨率视频图像I与J及其所有参考视频帧{J_i}之间关系的描述，作为优选，J的估算高分辨率视频图像可通过求解下式中的最优化问题获得：

$\hat{I}=\underset{I}{\arg \min }{\mathrm{\&theta;}}_0{||D\hat{H}I-J||}_1+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{||{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_{i}I-{\hat{C}}_i{J}_i||}_1+\mathrm{\&eta;}{||{\mathrm{\&kappa;}}_{reg}\left(I\right)||}_1;$

正则项κ_reg(I)利用全局平滑约束建模，则利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}D\hat{H}+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{\hat{C}}_i^T{W}_i{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i+\mathrm{\&eta;}K\&rsqb;I\\ ={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}J+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{C}_i^T{W}_i{C}_i{J}_i\end{array};$

其中，W₀与W_i为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$\begin{array}{c}{W}_0=diag\left(\frac{1}{2{\{{\&lsqb;D\hat{H}\hat{I}\left(q\right)-J\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{\frac{1}{2}}}\right),q=(1,1),(1,2),\mathrm{...},(M,L)\\ W_i=diag\left(\frac{1}{2{\{{\&lsqb;D{\hat{H}}_i{\hat{F}}_i\hat{I}\left(q\right)-J\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{\frac{1}{2}}}\right),q=(1,1),(1,2),\mathrm{...},(M,L)\end{array};$

加权运算矩阵K则为：

$\begin{array}{c}K=D_x^{T}diag\left(\frac{1}{2{\&lsqb;\&dtri;\hat{I}{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{\frac{1}{2}}}\right)D_x+\\ D_y^{T}diag\left(\frac{1}{2{\&lsqb;\&dtri;\hat{I}{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{\frac{1}{2}}}\right)D_y,q=(1,1),(1,2),\mathrm{...},(s*M,s*L)\end{array};$

上述的线性方程可以通过共轭梯度法进行求解；高分辨率图像在最优化求解时可利用J的插值放大图像进行初始化估算，如Bicubic插值放大；

高分辨率视频图像可以通过求解下式中的最优化问题进行进一步的精细化：

$\hat{I}=\underset{I}{\mathrm{argmin}}{\mathrm{\&theta;}}_0{||D\hat{H}\hat{I}-J||}_2^2+\mathrm{\&gamma;}{||{\mathrm{\&chi;}}_{reg}\left(I\right)||}_2^2;$

正则项χ_reg(I)利用全局平滑约束建模，利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

$\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}D\hat{H}+\mathrm{\&gamma;}({D_x}^T{D}_x+{D_y}^T{D}_y)\&rsqb;I={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}J;$

上述的线性方程可以通过共轭梯度法求解，高分辨率图像在最优化求解时可利用当前的估算高分辨率视频图像进行初始化估算。

在本实施例中，利用J、{J_i}以及估算获得的高分辨率视频图像公共标记矩阵和变形矩阵获得更为精确的估算模糊核矩阵可以采用如下方法实现：

根据改进超分辨率参数化模型对目标高分辨率视频图像I与J及其所有参考视频帧{J_i}之间关系的描述，J的估算模糊核矩阵可通过求解下式中的最优化问题获得：

正则项利用全局平滑约束建模，则利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

[θ₀X^TD^TW_HDX+ξ₀B]H＝θ₀X^TD^TW_HJ；

其中，W_H为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$W_H=diag\left(\frac{1}{2{\{{\&lsqb;D\hat{H}\hat{I}\left(q\right)-J\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),...,(M,L);$

加权运算矩阵B则为：

$\begin{array}{c}K=D_x^{T}diag\left(\frac{1}{2{\&lsqb;\&dtri;\hat{H}{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{\frac{1}{2}}}\right)D_x+\\ D_y^{T}diag\left(\frac{1}{2{\&lsqb;\&dtri;\hat{H}{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{\frac{1}{2}}}\right)D_y,q=(1,1),(1,2),\mathrm{...},(m,l)\end{array};$

上述的线性方程可以通过共轭梯度法求解；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

对J的任意一帧参考视频帧J_i，其对应的估算模糊核矩阵可通过下式直接获得：

${\hat{H}}_i=\hat{H};$

利用上述方法对J以及其所有参考视频帧{J_i}逐一进行估算模糊核矩阵与的最优化求解即可获得全部的估算模糊核矩阵

在本实施例中，利用收敛判据判断迭代求解获得的估算高分辨率视频图像是否已经达到收敛，当收敛时整合并输出获得清晰的目标高分辨率视频图像I，可以采用如下方式实现：

在对目标视频帧J进行超分辨率处理时，当变形矩阵模糊核矩阵以及高分辨率图像的估算和精细化完成后，三个变量的估计顺序可任意选择，作为优选，可先估计变形矩阵再估计高分辨率图像并进行精细化，再估计模糊核矩阵但不限于此；

判断当前结果与前一轮交替估算结果的相似度，作为优选，可以通过均方差度量两次结果之间的相似度，即：

其中表示高分辨率图像的任一通道图像，当相似度小于某一阈值即可认为对该通道的迭代过程达到收敛，一般阈值可取值为0.1～1.0，但不限于此；

在目标视频帧J的对应高分辨率图像的各通道信息均达到收敛后，按原始各通道的排列顺序进行整合，即可获得清晰的目标高分辨率视频图像I。

结合图1(图1是根据本发明实施例的视频超分辨率方法流程图)以及优选实施例对上述实施例提供的视频超分辨率方法进行更加详细的说明。如图2所示，该流程包括以下步骤(步骤S202—步骤S212)：

步骤S202，将读入的原始视频进行解构，获取待处理的目标视频帧J及其参考帧{J_i}；

输入视频的解构方法随输入视频的具体格式而定，可按各种视频格式的标准进行，经过解构的视频各帧内容信息{J}均可独立进行超分辨率处理：

针对未经压缩的视频，如yuv、y4m等格式，则直接将其读入并根据相应的视频信息排列方式将各视频帧信息提取出来；

针对压缩后的视频，如avi、mp4、wmv等格式，则首先利用相应的标准对视频进行解码，然后进行各视频帧信息的提取；

针对仅有单通道信息的目标视频帧J，则直接对其进行超分辨率处理；

针对以YUV格式存在的目标视频帧J，将各视频帧划分为Y、U、V三通道后分别进行超分辨率处理；

针对以RGB格式存在的目标视频帧J，将各视频帧划分为R、G、B三通道后分别进行超分辨率处理；

针对其他格式存在的目标视频帧J，则同样将其划分为相应的各个通道分别进行超分辨率处理；

在选择任意一帧视频作为目标视频帧J后，可根据需求抽取若干参考帧构成{J_i}，这些参考帧可以选择为J的前后四帧，但不限于此。

步骤S204，利用步骤S202中获取的目标视频帧J及其参考帧{J_i}，估算出相应的公共标记矩阵对目标视频帧J及任一参考视频帧J_i，通过运动估计获取J_i相对于J的运动矢量ω_i以及J相对于J_i的运动矢量ω′_i；其中运动矢量ω_i与ω′_i可通过光流法运动估计获得，但不限于此；可通过计算下式实现遮挡检测，继而获得遮挡点标记图occ_i：

${\mathrm{occ}}_i\left(q\right)=\left\{\begin{array}{cc}0& f(q+{\mathrm{\&omega;}}_i(q\left)\right)>1\\ 1& f(q+{\mathrm{\&omega;}}_i(q\left)\right)<=1\end{array}\right.;$

或者，可通过交叉检测实现遮挡检测，从而获取遮挡点标记图occ_i，即：

${\mathrm{occ}}_i\left(q\right)=\{\begin{array}{cc}0& |{\mathrm{\&omega;}}_i^{\&prime;}(q+{\mathrm{\&omega;}}_i(q\left)\right)-{\mathrm{\&omega;}}_i\left(q\right)|>\mathrm{\&tau;}\\ 1& |{\mathrm{\&omega;}}_i^{\&prime;}(q+{\mathrm{\&omega;}}_i(q\left)\right)-{\mathrm{\&omega;}}_i\left(q\right)|\&le;\mathrm{\&tau;}\end{array};$

然后，再通过计算下式获得边界溢出点标记图bound_i：

最后，对应J与J_i的公共标记矩阵可由下式获得：

${\hat{C}}_i=diag\left(\right\{{\mathrm{occ}}_i\left(q\right)*{\mathrm{bound}}_i\left(q\right)\left\}\right),q=(1,1),(1,2),\mathrm{...},(M,L);$

采用上述方法对J的所有参考视频帧{J_i}逐一进行公共标记矩阵计算即可获得全部的公共标记矩阵

步骤S206，获得更为准确的估算变形矩阵可利用迭代重加权最小二乘迭代法(IRLS)对变形矩阵的最优化问题进行求解，即求解下式中的线性方程：

$\begin{array}{c}\left[\begin{array}{cc}{I}_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i& I_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y\\ I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x& I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i\end{array}\right]\left[\begin{array}{c}{\mathrm{du}}_i\\ {\mathrm{dv}}_i\end{array}\right]\\ =-\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}\left[\begin{array}{c}{L}_i{\hat{u}}_i\\ L_i{\hat{v}}_i\end{array}\right]-\left[\begin{array}{c}{I}_x^T\\ I_y^T\end{array}\right]({\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i\hat{I}-{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_i{J}_i)\end{array};$

上述的线性方程可以通过共轭梯度法求解；变形矩阵在最优化求解时可利用运动矢量ω_i上采样后转换为对应矩阵形式进行初始化估算；求解获得增量du与dv后，将其与原来变形矩阵的水平、垂直分量u与v叠加后即可获得更新的运动矢量，将之转换为矩阵形式即可获得更为精确的估算变形矩阵利用上述方法，对J的所有参考视频帧{J_i}逐一进行估算变形矩阵的最优化求解即可获得全部的估算变形矩阵

步骤S208，获得更为准确的估算高分辨率视频图像可利用IRLS迭代法对高分辨率图像的最优化问题进行求解，即求解下式中的线性方程：

$\begin{array}{c}\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}D\hat{H}+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{\hat{C}}_i^T{W}_i{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i+\mathrm{\&eta;}K\&rsqb;I\\ ={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}J+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{C}_i^T{W}_i{C}_i{J}_i\end{array};$

上述的线性方程可以通过共轭梯度法进行求解；高分辨率图像在最优化求解时可利用J的插值放大图像进行初始化估算，如Bicubic插值放大；

再对高分辨率视频图像进行进一步的精细化；利用正则化方法，可通过求解如下线性方程：

$\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}D\hat{H}+\mathrm{\&gamma;}({D_x}^T{D}_x+{D_y}^T{D}_y)\&rsqb;I={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}J;$

上述的线性方程可以通过共轭梯度法求解，高分辨率图像在最优化求解时可利用当前的估算高分辨率视频图像进行初始化估算。

步骤S210，获得更为准确的估算模糊核矩阵则利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

[θ₀X^TD^TW_HDX+ξ₀B]H＝θ₀X^TD^TW_HJ；

上述的线性方程可以通过共轭梯度法求解；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

对J的任意一帧参考视频帧J_i，其对应的估算模糊核矩阵可通过下式直接获得：

${\hat{H}}_i=\hat{H};$

利用上述方法对J以及其所有参考视频帧{J_i}逐一进行估算模糊核矩阵与的最优化求解即可获得全部的估算模糊核矩阵

步骤S214，对迭代解得的高分辨率图像进行收敛判决，并在收敛后输出清晰的高分辨率视频图像I；在对目标视频帧J进行超分辨率处理时，当变形矩阵模糊核矩阵以及高分辨率图像的估算和精细化完成后，三个变量的估计顺序可任意选择，作为优选，可先估计变形矩阵再估计高分辨率图像并进行精细化，再估计模糊核矩阵但不限于此；

判断当前结果与前一轮交替估算结果的相似度，作为优选，可以通过均方差度量两次结果之间的相似度，即：

其中表示高分辨率图像的任一通道图像，当相似度小于某一阈值即可认为对该通道的迭代过程达到收敛，一般阈值可取值为0.1～1.0，但不限于此；

在目标视频帧J的对应高分辨率图像的各通道信息均达到收敛后，按原始各通道的排列顺序进行整合，即可获得清晰的目标高分辨率视频图像I。

图3是根据本发明的基于改进超分辨率参数化模型的视频超分辨率装置的结构框图，该装置用于实现上述实施例提供的一种基于改进超分辨率参数化模型的视频超分辨率方法，如图3所示，该装置包括：输入视频解构模块10，公共标记矩阵估计模块20，变形矩阵估计模块30，高分辨率图像估计模块40，模糊核矩阵估计模块50以及判决输出模块60。其中，输入视频解构模块10，用于对原始视频进行适当解构，分离出视频内容信息{J}，继而获取待处理的目标视频帧J及其若干参考视频帧{J_i}；公共标记矩阵估计模块20，连接至输入视频解构模块10，用于获得估算公共标记矩阵变形矩阵估计模块30，连接至公共标记矩阵估计模块20，用于估算变形矩阵高分辨率图像估计模块40，连接至变形矩阵估计模块30，用于估算高分辨率视频图像模糊核矩阵估计模块50，连接至高分辨率图像估计模块40，用于估算模糊核矩阵判决输出模块60，连接至变形矩阵估计模块30，用于判断超分辨率处理是否完成并将最终高分辨率视频进行输出。

图4是根据本发明优选实施例的一种基于改进超分辨率参数化模型的视频超分辨率装置的具体结构框图，如图4所示，该优选实施例提供的一种基于改进超分辨率参数化模型的视频超分辨率装置中。

优选地，输入视频解构模块10还可以进一步包括：视频解构单元12，根据读入视频的格式决定相应的解构方法，分离出各视频帧内容信息{J}，具体为：

输入视频的解构方法随输入视频的具体格式而定，可按各种视频格式的标准进行，经过解构的视频各帧内容信息{J}均可独立进行超分辨率处理：

针对未经压缩的视频，如yuv、y4m等格式，则直接将其读入并根据相应的视频信息排列方式将各视频帧信息提取出来；

针对压缩后的视频，如avi、mp4、wmv等格式，则首先利用相应的标准对视频进行解码，然后进行各视频帧信息的提取；

视频帧缓存单元14，连接至视频解构单元12，将分离获得的视频内容信息{J}进行缓存，缓存方式具体如下：

针对仅有单通道信息的目标视频帧J，则直接对其进行超分辨率处理；

针对以YUV格式存在的目标视频帧J，将各视频帧划分为Y、U、V三通道后分别进行超分辨率处理；

针对以RGB格式存在的目标视频帧J，将各视频帧划分为R、G、B三通道后分别进行超分辨率处理；

针对其他格式存在的目标视频帧J，则同样将其划分为相应的各个通道分别进行超分辨率处理；

目标视频帧提取单元16，连接至视频帧缓存单元14，根据需求选择所需处理的一帧视频作为目标视频帧J，再抽取若干参考帧构成{J_i}，这些参考帧可以选择为J的前后四帧，但并不限于这样的抽取方式。

优选地，公共标记矩阵估计模块20还可以进一步包括：运动估计单元22，对目标视频帧J及其任一参考视频帧J_i，通过运动估计获取J_i相对于J的运动矢量ω_i以及J相对于J_i的运动矢量ω′_i；其中运动矢量ω_i与ω′_i可通过光流法运动估计获得，但也可以使用块匹配、基于特征的运动估计等方法，并不仅限于此；公共标记矩阵计算单元24，连接至运动估计单元22，用于获得估算公共标记矩阵具体方法为：

通过计算下式实现遮挡检测，继而获得遮挡点标记图occ_i：

${\mathrm{occ}}_i\left(q\right)=\left\{\begin{array}{cc}0& f(q+{\mathrm{\&omega;}}_i(q\left)\right)>1\\ 1& f(q+{\mathrm{\&omega;}}_i(q\left)\right)<=1\end{array}\right.;$

或者，可通过交叉检测实现遮挡检测，从而获取遮挡点标记图occ_i，即：

${\mathrm{occ}}_i\left(q\right)=\{\begin{array}{cc}0& |{\mathrm{\&omega;}}_i^{\&prime;}(q+{\mathrm{\&omega;}}_i(q\left)\right)-{\mathrm{\&omega;}}_i\left(q\right)|>\mathrm{\&tau;}\\ 1& |{\mathrm{\&omega;}}_i^{\&prime;}(q+{\mathrm{\&omega;}}_i(q\left)\right)-{\mathrm{\&omega;}}_i\left(q\right)|\&le;\mathrm{\&tau;}\end{array};$

然后，再通过计算下式获得边界溢出点标记图bound_i：

最后，对应J与J_i的公共标记矩阵可由下式获得：

${\hat{C}}_i=diag\left(\right\{{\mathrm{occ}}_i\left(q\right)*{\mathrm{bound}}_i\left(q\right)\left\}\right),q=(1,1),(1,2),\mathrm{...},(M,L);$

采用上述方法对J的所有参考视频帧{J_i}逐一进行公共标记矩阵计算即可获得全部的公共标记矩阵

优选地，变形矩阵估计模块30还可以进一步包括：变形矩阵估算单元32，用于获得更为精确的估算变形矩阵具体方法为：

可利用迭代重加权最小二乘迭代法(IRLS)对变形矩阵的最优化问题进行求解，即求解下式中的线性方程：

$\begin{array}{c}\left[\begin{array}{cc}{I}_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i& I_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y\\ I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x& I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i\end{array}\right]\left[\begin{array}{c}{\mathrm{du}}_i\\ {\mathrm{dv}}_i\end{array}\right]\\ =-\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}\left[\begin{array}{c}{L}_i{\hat{u}}_i\\ L_i{\hat{v}}_i\end{array}\right]-\left[\begin{array}{c}{I}_x^T\\ I_y^T\end{array}\right]({\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i\hat{I}-{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_i{J}_i)\end{array};$

上述的线性方程可以通过共轭梯度法求解；变形矩阵在最优化求解时可利用运动矢量ω_i上采样后转换为对应矩阵形式进行初始化估算；求解获得增量du与dv后，将其与原来变形矩阵的水平、垂直分量u与v叠加后即可获得更新的运动矢量，将之转换为矩阵形式即可获得更为精确的估算变形矩阵利用上述方法，对J的所有参考视频帧{J_i}逐一进行估算变形矩阵的最优化求解即可获得全部的估算变形矩阵

优选地，高分辨率图像估计模块40还可以进一步包括：高分辨率图像估算单元42，用于获得更为精确的估算高分辨率图像具体方法为：

可利用IRLS迭代法对高分辨率图像的最优化问题进行求解，即求解下式中的线性方程：

$\begin{array}{c}\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}D\hat{H}+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{\hat{C}}_i^T{W}_i{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i+\mathrm{\&eta;}K\&rsqb;I\\ ={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}J+\underset{i}{\&Sigma;}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{C}_i^T{W}_i{C}_i{J}_i\end{array};$

上述的线性方程可以通过共轭梯度法进行求解；高分辨率图像在最优化求解时可利用J的插值放大图像进行初始化估算，如Bicubic插值放大；

精细化单元44，连接至高分辨率图像估算单元42，对高分辨率视频图像进行进一步的精细化；

可利用正则化方法，通过求解如下线性方程：

$\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}D\hat{H}+\mathrm{\&gamma;}({D_x}^T{D}_x+{D_y}^T{D}_y)\&rsqb;I={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}J;$

上述的线性方程可以通过共轭梯度法求解，高分辨率图像在最优化求解时可利用当前的估算高分辨率视频图像进行初始化估算。

优选地，模糊核矩阵估计模块50还可以进一步包括：模糊核矩阵估算单元52，用于估算更为精确的模糊核矩阵，具体方法为：

利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

[θ₀X^TD^TW_HDX+ξ₀B]H＝θ₀X^TD^TW_HJ；

上述的线性方程可以通过共轭梯度法求解；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

对J的任意一帧参考视频帧J_i，其对应的估算模糊核矩阵可通过下式直接获得：

${\hat{H}}_i=\hat{H};$

利用上述方法对J以及其所有参考视频帧{J_i}逐一进行估算模糊核矩阵与的最优化求解即可获得全部的估算模糊核矩阵

优选地，判决输出模块60包括：迭代收敛判决单元62，用于判断高分辨率图像是否达到收敛，判决方法具体为：

通过均方差度量两次结果之间的相似度，即：

当相似度小于某一阈值即可认为对该通道的迭代过程达到收敛，一般阈值可取值为0.1～1.0，但不限于此；以上仅为收敛条件的一种形式，也可以采用其他色彩相似性、结构相似性、画面统计特征等属性以及不同形似度度量方法的组合构造相似度函数，并设置相应的收敛条件判断；当若相似度足够大即认为处理达到收敛；

整合输出单元64，连接至迭代收敛判决单元62，当满足收敛条件，即目标视频帧J的对应高分辨率图像的各通道信息均达到收敛，按原始各通道的排列顺序进行整合，最后输出清晰的目标高分辨率视频图像I。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于改进超分辨率参数化模型的视频超分辨率方法，其特征在于：包括如下步骤：

(1)对原始视频进行解构，获得分离的各帧视频内容信息{J}，继而获取待处理的目标视频帧J及其若干参考视频帧{J_i}；

(2)在对目标视频帧J进行超分辨率处理时，利用J及其若干参考视频帧{J_i}获得估算公共标记矩阵

(3)在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的模糊核矩阵公共标记矩阵和高分辨率视频图像获得更为精确的估算变形矩阵

(4)在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的高分辨率视频图像公共标记矩阵和变形矩阵获得更为精确的估算模糊核矩阵

(5)在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的变形矩阵公共标记矩阵和模糊核矩阵获得更为精确的估算高分辨率视频图像

(6)利用收敛判据判断迭代求解获得的估算高分辨率视频图像是否已经达到收敛，当收敛时整合目标视频帧J经过超分辨率处理获得的各通道估算高分辨率图获得清晰的目标高分辨率视频图像I。

2.根据权利要求1所述的基于改进超分辨率参数化模型的视频超分辨率方法，其特征在于：所述步骤(1)在选择任意一帧视频作为目标视频帧J后，可根据需求抽取若干参考帧构成{J_i}，这些参考帧可以选择为J的前若干帧、后若干帧、前后若干帧，也可以是任意的选取。

3.根据权利要求1所述的基于改进超分辨率参数化模型的视频超分辨率方法，其特征在于；所述步骤(2)在对目标视频帧J进行超分辨率处理时，所述利用J及其若干参考视频帧{J_i}获得估算公共标记矩阵的方法具体为：

对J的任意一帧参考视频帧J_i，首先通过运动估计获取J_i相对于J的运动矢量ω_i以及J相对于J_i的运动矢量ω′_i，其中运动估计可通过光流法运动估计方法、块匹配运动估计、基于特征的运动估计方法等其他运动估计方法实现；再通过遮挡检测获得二值化的遮挡点标记图occ_i：可用数值0对应遮挡，数值1对应非遮挡，但标注方法不限于此；然后通过下式获得对应J_i的估算公共标记矩阵

${\hat{C}}_i=diag\left(\left\{{\mathrm{occ}}_i\left(q\right)\right\}\right),q=\left(1,1\right),\left(1,2\right),...,\left(M,L\right);$

其中q表示二维视频图像中任一点的空间坐标，M与L分别表示视频图像J的高度与宽度；

或者，通过计算下式获得边界溢出点标记图bound_i：

q+ω_i(q)表示J_i中的点q经过相对运动ω_i(q)运动在J中对应的坐标位置；然后通过下式获得对应J_i的估算公共标记矩阵

${\hat{C}}_i=diag\left(\right\{{\mathrm{bound}}_i\left(q\right)\left\}\right),q=(1,1),(1,2),...,(M,L);$

或者，还可以通过下式获得对应J_i的估算公共标记矩阵

${\hat{C}}_i=diag\left(\right\{{\mathrm{occ}}_i\left(q\right)*{\mathrm{bound}}_i\left(q\right)\left\}\right),q=(1,1),(1,2),...,(M,L);$

或者，还可以直接将对应J_i的估算公共标记矩阵用M*L维的单位矩阵进行估计；

利用上述一种或多种不同方法组合，对J的所有参考视频帧{J_i}逐一进行公共标记矩阵的计算即可获得全部的估算公共标记矩阵

4.根据权利要求1所述的基于改进超分辨率参数化模型的视频超分辨率方法，其特征在于：所述步骤(3)在对目标视频帧J进行超分辨率处理时，所述利用J、其若干参考视频帧{J_i}以及估算获得的模糊核矩阵公共标记矩阵和高分辨率视频图像获得更为精确的估算变形矩阵的方法具体为：

根据改进超分辨率参数化模型对目标高分辨率视频图像I与J及其所有参考视频帧{J_i}之间关系的描述，其中改进超分辨率参数化模型对目标高分辨率视频图像I与各参考视频帧J_i的关系为：

C_iJ_i＝C_i(DH_iF_iI+n_i)；

其中，C_i、F_i、H_i和n_i分别表示对应J_i的公共标记矩阵、变形矩阵、模糊核矩阵以及加性噪声；D为下采样矩阵，对应图像降采样；其具体物理意义为目标高分辨率视频图像I通过不同的运动、变形，获得了其他高分辨率参考视频帧的估算图像通过模糊作用后进行下采样，在此过程了还受到噪声的影响，通过公共标记矩阵的作用，最终生成了视频参考帧{J_i}中与J具有公共景物内容的部分{C_iJ_i}；

而高分辨率视频图像I与J的关系为：

J＝DHI+n₀；

其中，H和n₀分别表示对应J的模糊核矩阵以及加性噪声；其具体物理意义为目标高分辨率视频图像I通过模糊作用后进行下采样，在此过程了还受到噪声的影响，最终生成了目标视频帧J；

对J的任意一帧参考视频帧J_i，其对应的估算变形矩阵可通过求解下式中的最优化问题获得：

${\hat{F}}_i=\underset{F_i}{\mathrm{argmin}}{\mathrm{\&theta;}}_i\left|\right|{\hat{C}}_{i}D{\hat{H}}_i{F}_i\hat{I}-{\hat{C}}_i{J}_i|{|}_p+{\mathrm{\&lambda;}}_i|\left|{\mathrm{\&phi;}}_{reg}\left(F_i\right)\right|{|}_p;$

其中θ_i表示对应J_i的噪声水平系数，可利用视频帧统计特性加以估计；φ_reg(F_i)是利用变形矩阵先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，λ_i为正则项系数，其常用取值可为0～1.0；函数||·||_p表示p向量范数，p∈[1,2)，其具体形式为||x||_p＝(x²+ε²)^p/2，其中ε为一个偏移常量，取值可为0～1.0；利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\left[\begin{array}{cc}{I}_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i& I_x^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y\\ I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_x& I_y^T{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{I}_y+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{L}_i\end{array}\right]\left[\begin{array}{c}{\mathrm{du}}_i\\ {\mathrm{dv}}_i\end{array}\right]\\ =-\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}\left[\begin{array}{c}{L}_i{\hat{u}}_i\\ L_i{\hat{v}}_i\end{array}\right]-\left[\begin{array}{c}{I}_x^T\\ I_y^T\end{array}\right]\left({\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i\hat{I}-{\hat{H}}_i^T{D}^T{\hat{C}}_i^T{W}_{F_i}{\hat{C}}_i{J}_i\right)\end{array}$

其中，du与dv分别是变形矩阵对应的运动矢量在水平、垂直上的分量；I_x与I_y分别为I_x与I_y经过变形后对应的对角矩阵；为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$W_{F_i}=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D{\hat{H}}_i{\hat{F}}_i\hat{I}\left(q\right)-J_i\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),...,(M,L);$

也可以对迭代权重矩阵做如下调整：

$W_{F_i}=max(W_{F_i},{\mathrm{\&tau;}}_{F_i,1});$

其中为一个截断阈值，可任意选取为0.00001～500；

也可以利用下式调整：

$W_{F_i}=min(W_{F_i},{\mathrm{\&tau;}}_{F_i,2});$

其中为一个截断阈值，常可选择为0.00001～500；

还可以利用下式调整：

$W_{F_i}=median(W_{F_i},{\mathrm{\&tau;}}_{F_i,1},{\mathrm{\&tau;}}_{F_i,2});$

L_i是正则项φ_reg(F_i)对应的加权运算矩阵：

$L_i={\mathrm{\&Phi;}}_i^{T}diag\left(\left\{\frac{\frac{p}{2}}{{\&lsqb;{\mathrm{\&Phi;}}_i{\hat{F}}_i{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{1-\frac{p}{2}}}\right\}\right){\mathrm{\&Phi;}}_i,q=\left(1,1\right),\left(1,2\right),...,\left(s*M,s*L\right);$

其中，Φ_i为正则项φ_reg(F_i)对应的矩阵形式，s表示超分辨率放大倍数；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；变形矩阵在最优化求解时可利用运动矢量ω_i上采样后转换为对应矩阵形式进行初始化估算，但并不仅限于此；求解获得增量du与dv后，将其与原来变形矩阵的水平、垂直分量u与v叠加后即可获得更新的运动矢量，将之转换为矩阵形式即可获得更为精确的估算变形矩阵

对J的任意一帧参考视频帧J_i，其对应的估算变形矩阵也可以通过求解下式中的最优化问题获得：

${\hat{F}}_i=\underset{F_i}{\mathrm{argmin}}{\mathrm{\&theta;}}_i\left|\right|{\hat{C}}_{i}D{\hat{H}}_i{F}_i\hat{I}-{\hat{C}}_i{J}_i|{|}_2^2+{\mathrm{\&lambda;}}_i|\left|{\mathrm{\&phi;}}_{reg}\left(F_i\right)\right|{|}_2^2;$

其中函数表示L2向量范数，其具体形式为利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\left[\begin{array}{cc}{I}_x^T{H}_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{I}_x+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{\mathrm{\&Phi;}}_i^T{\mathrm{\&Phi;}}_i& I_x^T{H}_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{I}_y\\ I_y^T{H}_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{I}_x& I_y^T{H}_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{I}_y+\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}{\mathrm{\&Phi;}}_i^T{\mathrm{\&Phi;}}_i\end{array}\right]\left[\begin{array}{c}{\mathrm{du}}_i\\ {\mathrm{dv}}_i\end{array}\right]\\ =-\frac{{\mathrm{\&lambda;}}_i}{{\mathrm{\&theta;}}_i}\left[\begin{array}{c}{\mathrm{\&Phi;}}_i^T{\mathrm{\&Phi;}}_i{u}_i\\ {\mathrm{\&Phi;}}_i^T{\mathrm{\&Phi;}}_i{v}_i\end{array}\right]-\left[\begin{array}{c}{I}_x^T\\ I_y^T\end{array}\right]\left(H_i^T{D}^T{C}_i^T{C}_i{\mathrm{DH}}_i{F}_{i}I-H_i^T{D}^T{C}_i^T{C}_i{J}_i\right)\end{array};$

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；变形矩阵在最优化求解时可利用运动矢量ω_i上采样后转换为对应矩阵形式进行初始化估算，但并不仅限于此；求解获得增量du与dv后，将其与原来变形矩阵的水平、垂直分量u与v叠加后即可获得更新的运动矢量，将之转换为矩阵形式即可获得更为精确的估算变形矩阵

利用上述一种或多种不同方法组合，对J的所有参考视频帧{J_i}逐一进行估算变形矩阵的最优化求解即可获得全部的估算变形矩阵

5.根据权利要求1所述的基于改进超分辨率参数化模型的视频超分辨率方法，其特征在于：所述步骤(4)在对目标视频帧J进行超分辨率处理时，所述利用J、其若干参考视频帧{J_i}以及估算获得的高分辨率视频图像公共标记矩阵和变形矩阵获得更为精确的估算模糊核矩阵的方法具体为：

根据改进超分辨率参数化模型对目标高分辨率视频图像I与J及其所有参考视频帧{J_i}之间关系的描述，J的估算模糊核矩阵可通过求解下式中的最优化问题获得：

其中θ₀表示对应J的噪声水平系数，可利用视频帧统计特性加以估计；是利用模糊核矩阵先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，ξ₀为正则化系数，常用取值为0.0001～1.0；X为高分辨率视频图像进行模糊操作时所应的矩阵形式，H则为模糊核矩阵H的向量形式；利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

[θ₀X^TD^TW_HDX+ξ₀B]H＝θ₀X^TD^TW_HJ；

其中，W_H为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$W_H=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D\hat{H}\hat{I}\left(q\right)-J\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),...,(M,L);$

也可以对迭代权重矩阵做如下调整：

W_H＝max(W_H,τ_H,1)；

其中τ_H,1为一个截断阈值，可任意选取为0.00001～500；

也可以利用下式调整：

W_H＝min(W_H,τ_H,2)；

其中τ_H,2为一个截断阈值，常可选择为0.00001～500；

还可以利用下式调整：

W_H＝median(W_H,τ_H,1,τ_H,2)；

B是正则项对应的加权运算矩阵：

$B={\mathrm{\&Theta;}}^{T}diag\left(\left\{\frac{\frac{p}{2}}{{\&lsqb;\mathrm{\&Theta;}\hat{H}{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{1-\frac{p}{2}}}\right\}\right)\mathrm{\&Theta;},q=\left(1,1\right),\left(1,2\right),...,\left(m,l\right);$

其中，Θ为正则项对应的矩阵形式，m与l分别为模糊核的高度与宽度；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

J的估算模糊核矩阵也可以通过求解下式中的最优化问题获得：

利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

[θ₀X^TD^TDX+ξ₀Θ^TΘ]H＝θ₀X^TD^TJ；

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

对J的任意一帧参考视频帧J_i，其对应的估算模糊核矩阵可通过下式直接获得：

${\hat{H}}_i=\hat{H};$

对J的任意一帧参考视频帧J_i，其对应的估算模糊核矩阵也可以通过求解下式中的最优化问题获得：

其中是利用模糊核矩阵先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，ξ_i为正则化系数，常用取值为0.0001～1.0；X_i为高分辨率视频图像经过变形后所得的图像进行模糊操作时所应的矩阵形式，H_i则为模糊核矩阵H_i的向量形式；利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

$\&lsqb;{\mathrm{\&theta;}}_i{X_i}^T{D}^T{{\hat{C}}_i}^T{W}_{H_i}{\hat{C}}_i{\mathrm{DX}}_i+{\mathrm{\&xi;}}_i{B}_i\&rsqb;H_i={\mathrm{\&theta;}}_i{X_i}^T{D}^T{{\hat{C}}_i}^T{W}_{H_i}{J}_i;$

其中，为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$W_{H_i}=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D{\hat{H}}_i{\hat{F}}_i\hat{I}\left(q\right)-J_i\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),...,(M,L);$

也可以对迭代权重矩阵做如下调整：

$W_{H_i}=max(W_{H_i},{\mathrm{\&tau;}}_{H_i,1});$

其中为一个截断阈值，可任意选取为0.00001～500；

也可以利用下式调整：

$W_{H_i}=min(W_{H_i},{\mathrm{\&tau;}}_{H_i,2});$

其中为一个截断阈值，常可选择为0.00001～500；

还可以利用下式调整：

$W_{H_i}=median(W_{H_i},{\mathrm{\&tau;}}_{H_i,1},{\mathrm{\&tau;}}_{H_i,2});$

B_i是正则项对应的加权运算矩阵：

$B_i={{\mathrm{\&Theta;}}_i}^{T}diag\left(\right\{\frac{\frac{p}{2}}{{\&lsqb;{\mathrm{\&Theta;}}_i{\hat{H}}_i{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{1-\frac{p}{2}}}\left\}\right){\mathrm{\&Theta;}}_i,q=(1,1),(1,2),...,(m,l);$

其中，Θ_i为正则项对应的矩阵形式；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

对J的任意一帧参考视频帧J_i，其对应的估算模糊核矩阵还可以通过求解下式中的最优化问题获得：

利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

[θ_iX_i ^TD^TDX_i+ξ_iΘ_i ^TΘ_i]H＝θ₀X_i ^TD^TJ_i；

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；模糊核矩阵在最优化求解时可利用高斯模糊核或各类点扩散函数转换为对应矩阵形式进行初始化估算；求解获得后，将其转换为矩阵形式即可获得更为精确的估算模糊核矩阵

利用上述一种或多种不同方法组合，对J以及其所有参考视频帧{J_i}逐一进行估算模糊核矩阵与的最优化求解即可获得全部的估算模糊核矩阵

6.根据权利要求1所述的基于改进超分辨率参数化模型的视频超分辨率方法，其特征在于：所述步骤(5)在对目标视频帧J进行超分辨率处理时，所述利用J、其若干参考视频帧{J_i}以及估算获得的变形矩阵公共标记矩阵和模糊核矩阵获得更为精确的估算高分辨率视频图像的方法具体为；

根据改进超分辨率参数化模型对目标高分辨率视频图像I与J及其所有参考视频帧{J_i}之间关系的描述，J的估算高分辨率视频图像可通过求解下式中的最优化问题获得：

$\hat{I}=\underset{I}{\mathrm{argmin}}{\mathrm{\&theta;}}_0\left|\right|D\hat{H}I-J|{|}_p+\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&theta;}}_i||{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_{i}I-{\hat{C}}_i{J}_i|{|}_p+\mathrm{\&eta;}\left|\right|{\mathrm{\&kappa;}}_{reg}\left(I\right)|{|}_p;$

其中κ_reg(I)是利用高分辨率视频图像先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，η为正则化系数，常用取值为0.0001～1.0；利用迭代重加权最小二乘法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}D\hat{H}+\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{\hat{C}}_i^T{W}_i{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i+\mathrm{\&eta;}K\&rsqb;I\\ ={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^T{W}_{0}J+\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{C}_i^T{W}_i{C}_i{J}_i\end{array};$

其中，W₀与W_i为迭代重加权最小二乘法中的迭代权重矩阵，具体可通过下式求得：

$\begin{array}{c}{W}_0=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D\hat{H}\hat{I}\left(q\right)-J\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),...,(M,L)\\ W_i=diag\left(\frac{\frac{p}{2}}{{\{{\&lsqb;D{\hat{H}}_i{\hat{F}}_i\hat{I}\left(q\right)-J\left(q\right)\&rsqb;}^2+{\mathrm{\&epsiv;}}^2\}}^{1-\frac{p}{2}}}\right),q=(1,1),(1,2),...,(M,L)\end{array};$

也可以对迭代权重矩阵做如下调整：

$\begin{array}{c}{W}_0=\max \left(W_0,{\mathrm{\&tau;}}_{0,1}\right)\\ W_i=\max \left(W_i,{\mathrm{\&tau;}}_{i,1}\right)\end{array};$

其中τ_0,1与τ_i,1均为截断阈值，可任意选取为0.00001～500；

也可以利用下式调整：

$\begin{array}{c}{W}_0=\min \left(W_0,{\mathrm{\&tau;}}_{0,2}\right)\\ W_i=\min \left(W_i,{\mathrm{\&tau;}}_{i,2}\right)\end{array};$

其中τ_0,2与τ_i,2均为截断阈值，常可选择为0.00001～500；

还可以利用下式调整：

$\begin{array}{c}{W}_0=median(W_0,{\mathrm{\&tau;}}_{0,1},{\mathrm{\&tau;}}_{0,2})\\ W_i=median(W_i,{\mathrm{\&tau;}}_{i,1},{\mathrm{\&tau;}}_{i,2})\end{array};$

K是正则项κ_reg(I)对应的加权运算矩阵：

$K={\mathrm{\&Psi;}}^{T}diag\left(\right\{\frac{1}{\frac{p}{2}{\&lsqb;{\mathrm{\&Phi;}}_i\hat{I}{\left(q\right)}^2+{\mathrm{\&epsiv;}}^2\&rsqb;}^{1-\frac{p}{2}}}\left\}\right)\mathrm{\&Psi;},q=(1,1),(1,2),...,(s*M,s*L);$

其中，Ψ为正则项κ_reg(I)对应的矩阵形式；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；高分辨率图像在最优化求解时可利用J的插值放大图像进行初始化估算，但并不仅限于此；

J的估算高分辨率视频图像还可以通过求解下式中的最优化问题获得：

$\hat{I}=\underset{I}{\mathrm{argmin}}{\mathrm{\&theta;}}_0\left|\right|D\hat{H}I-J|{|}_2^2+\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&theta;}}_i||{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_{i}I-{\hat{C}}_i{J}_i|{|}_2^2+\mathrm{\&eta;}\left|\right|{\mathrm{\&kappa;}}_{reg}\left(I\right)|{|}_2^2;$

利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}D\hat{H}+\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{\hat{C}}_i^T{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i+{\mathrm{\&eta;\&Psi;}}^T\mathrm{\&Psi;}\&rsqb;I\\ ={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}J+\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&theta;}}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{C}_i^T{C}_i{J}_i\end{array}$

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；高分辨率图像在最优化求解时可利用J的插值放大图像进行初始化估算，但并不仅限于此；

J的估算高分辨率视频图像也可以通过求解下式中的最优化问题获得：

$\hat{I}=\underset{I}{\mathrm{argmin}}{\mathrm{\&theta;}}_0{w}_0\left|\right|D\hat{H}I-J|{|}_2^2+\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&theta;}}_i{w}_i||{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_{i}I-{\hat{C}}_i{J}_i|{|}_2^2+\mathrm{\&eta;}\left|\right|{\mathrm{\&kappa;}}_{reg}\left(I\right)|{|}_2^2;$

其中w分别表示加权L2范数的权值，该权值可以通过当前的估算高分辨率视频图像经过改进超分辨率参数化模型产生对J以及参考帧{J_i}的估计图，再将它们与实际的J以及{J_i}对应比较后获得；

利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

$\begin{array}{c}\&lsqb;{\mathrm{\&theta;}}_0{w}_0{\hat{H}}^T{D}^{T}D\hat{H}+\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&theta;}}_i{w}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{\hat{C}}_i^T{\hat{C}}_{i}D{\hat{H}}_i{\hat{F}}_i+{\mathrm{\&eta;\&Psi;}}^T\mathrm{\&Psi;}\&rsqb;I\\ ={\mathrm{\&theta;}}_0{w}_0{\hat{H}}^T{D}^{T}J+\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&theta;}}_i{w}_i{\hat{F}}_i^T{{\hat{H}}_i}^T{D}^T{C}_i^T{C}_i{J}_i\end{array}$

上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；高分辨率图像在最优化求解时可利用J的插值放大图像进行初始化估算，但并不仅限于此；

根据需要，通过上述求解方法获得的估算高分辨率视频图像还可以通过求解下式中的最优化问题进行进一步的精细化：

$\hat{I}=\underset{I}{\mathrm{argmin}}{\mathrm{\&theta;}}_0\left|\right|D\hat{H}\hat{I}-J|{|}_2^2+\mathrm{\&gamma;}|\left|{\mathrm{\&chi;}}_{reg}\left(I\right)\right|{|}_2^2;$

其中χ_reg(I)是利用高分辨率视频图像先验信息建立的正则约束项，用以对该最优化问题的欠定性加以约束，可利用各类符合实际的先验构建，如全局平滑假设、局部平滑假设、马尔科夫随机场模型等，γ为正则化系数，常用取值为0.0001～1.0；利用正则化方法，上式的最优化求解可转化为求解如下线性方程：

$\&lsqb;{\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}D\hat{H}+{\mathrm{\&gamma;\&Omega;}}^T\mathrm{\&Omega;}\&rsqb;I={\mathrm{\&theta;}}_0{\hat{H}}^T{D}^{T}J;$

其中，Ω为正则项χ_reg(I)对应的矩阵形式；上述的线性方程可以通过各类数值求解方法进行求解，如共轭梯度法、最速下降法、牛顿法；高分辨率图像在最优化求解时可利用当前的估算高分辨率视频图像进行初始化估算。

7.根据权利要求1所述的基于改进超分辨率参数化模型的视频超分辨率方法，其特征在于：所述步骤(6)利用收敛判据判断对高分辨率视频图像的迭代求解是否达到收敛，并最终获得J对应的清晰高分辨率图像I的方法为：

在对目标视频帧J进行超分辨率处理时，当变形矩阵模糊核矩阵以及高分辨率图像的估算和精细化完成后，三个变量的估计顺序可任意选择，如先估计再估计再估计但不限于此；

判断当前结果与前一轮交替估算结果的相似度，可以通过色彩相似性、结构相似性、画面统计特征相似性等属性以及不同形似度度量方法的组合实现，若相似度足够大即认为处理达到收敛；

在收敛后，整合目标视频帧J经过超分辨率处理获得的各通道估算高分辨率图获得清晰的目标高分辨率视频图像I。

8.权利要求1所述的基于改进超分辨率参数化模型的视频超分辨率装置，其特征在于：

包括：

用于对原始待处理视频进行适当解构，分离提取出各视频帧内容信息{J}，继而获取待处理的目标视频帧J及其若干参考视频帧{J_i}的输入视频解构模块；

用于在对目标视频帧J进行超分辨率处理时，在对目标视频帧J进行超分辨率处理时，利用J及其若干参考视频帧{J_i}获得估算公共标记矩阵的公共标记矩阵估计模块；

用于在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的模糊核矩阵公共标记矩阵和高分辨率视频图像获得更为精确的估算变形矩阵的变形矩阵估计模块；

用于在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的高分辨率视频图像公共标记矩阵和变形矩阵获得更为精确的估算模糊核矩阵的模糊核矩阵估计模块；

用于在对目标视频帧J进行超分辨率处理时，利用J、其若干参考视频帧{J_i}以及估算获得的变形矩阵公共标记矩阵和模糊核矩阵获得更为精确的估算高分辨率视频图像的高分辨率图像估计模块；

用于对目标视频帧J的超分辨率结果进行收敛判决，整合目标视频帧J经过超分辨率处理获得的各通道估算高分辨率图获得清晰目标高分辨率视频图像I的判决输出模块。