CN102355589A - 基于参数自优化多群粒子群优化的视频超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于参数自优化的多子群粒子群优化的视频超分辨重建方法，主要解决已有技术中运动估计误差造成重建质量较低，无法较好地完成目标高速运动场景重建、计算复杂度高的问题。其实现过程是：通过获取同一场景的若干低分辨率视频序列，将动态场景内的点表示为空间和时间的三维坐标，建立超分辨率前后的视频序列之间的约束条件，统一考虑时域和空域重建问题，选择恰当的目标函数，采用参数自优化的多群优化方法，把超分辨率问题转化成为满足约束条件的优化问题进行求解，求解结果即为最佳高分辨率重建结果。本发明具有重建视频质量高，不受运动估计影响，智能算法自适应性好，计算量小的优点，可应用于高分辨率视频的获取。

Description

基于参数自优化多群粒子群优化的视频超分辨重建方法

技术领域

本发明属于视频图像处理技术领域，涉及视频超分辨率重建，具体的说是一种基于参数自优化多群粒子群优化算法的视频超分辨率重建的方法，该方法可以用于视频图像的时域和空域超分辨率重建。

背景技术

在视频获取过程中，有许多的因素导致视频质量的退化，使得视频的分辨率降低，单纯依靠物理器件精细程度来提高分辨率存在一定的局限，且摄像机的曝光时间与帧率也严重影响成像质量。

在对视频质量有高要求的场合，普通摄像机难以获得令人满意的图像，探索采用低分辨率低帧率的摄像机获得高分辨率高帧率视频图像显示出其重要价值。超分辨率图像重建的主要机理是：低分辨率图像序列可以看作是对同一幅图像高分辨率图像在不同位置采样的结果。由于低分辨率图像之间存在不同的亚像素位移，每幅图像都包含了关于高分辨率图像的新信息，通过发掘这些信息就能够从这组低分辨率的图像重构出高分辨率的图像。

视频超分辨率重建是静止图像超分辨率重建在视频领域的延伸和拓展。静止图像超分辨率的概念最早由Harris和Goodman提出，随后相继提出了各种方法，如长椭球波函数法、线性外推法、叠加线性模板法，但这些方法在实际应用中并不理想。20世纪80年代末之后，Hunt等人不仅在理论上说明了超分辨率存在的可能性，而且提出和发展了许多有实用价值的方法，如能量连续降减法、Bayesian分析法和凸集投影法。20世纪90年代初，Irani和Peleg引入了相似性变换和仿射变换，Mann研究了经过投影变换的图像，其他的研究者还研究了非参数运动模型和区域追踪。此外，针对特定的情景，比如人脸或指纹，Baker提出基于学习的超分辨率重建方法，但此类方法具有较大局限性。在成像模型方面也有较多学者做了研究，比如Irani将光学模糊和空间量化误差引入图像污染模型，Bascle引入了运动模糊，Cheeseman等从相机的基准调平中建立成像模型。

现有的视频超分辨率重建方法，主要包括以下两类：

(1)基于多帧信息互补的重建方法。比如邵凌等提出了依据若干相邻帧的视频图像的互补信息通过迭代重建一幅高分辨率图像的方法，见《电子学报》2002年第一期，取得了较好的效果。该类方法充分利用了不同帧图像之间类似而又不完全同的信息，所以其超分辨率增强能力要好于利用单帧图像进行增强所获得的超分辨率性能，但该方法要求相邻帧基本相同，因而对高速运动目标的重建效果较差，并且不适用于时域的超分辨重建。

(2)基于运动估计的超分辨率重建方法。比如刘淼等人，见《计算机应用研究》2007年第8期，采用运动估计中的运动矢量来描述视频序列中运动目标的运动变化规律，通过对限定运动估计误差阈值和凸集投影获得超分辨率重建结果。此类方法的性能严重依赖运动估计的精度，并且运动矢量的计算多采用模板匹配与比对法，计算量大并且精度低，不适用于大倍数，比如4倍的时域超分辨率重建。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于参数自优化多群粒子群优化的视频超分辨重建方法，以解决已有技术中的运动估计误差造成重建质量较低的问题，以及无法较好地完成目标高速运动场景重建、计算复杂度高的问题。

本发明的主要思路是同一场景内架设多个摄像机，获得若干低分辨率视频序列，建立超分辨率前后的视频序列之间的约束条件，统一考虑时域和空域重建问题，选择恰当的目标函数，采用多群优化方法，把超分辨率问题转化成为满足约束条件的优化问题进行求解。其中多群优化方法是在闫允一等提出的基于生态学方法的r/KPSO方法之上，增加参数自动优化功能，即参数自优化的多子群粒子群优化。

为实现上述目的，本发明包括以下步骤：

(1)采集同一场景中的若干低分辨率视频序列，将所有元素按照x-y-t的辞书顺序排列成向量

(2)建立视频超分辨重建过程中的约束矩阵：

其中M是一个与空时模糊核函数对应的稀疏Toeplitz矩阵，向量

由为待求解高分辨率序列中的所有元素按照x-y-t的辞书式顺序排列而成的向量，

为噪声向量；

(3)设超分辨率重建过程中的目标函数为f，其具体形式为：

其中：

表示图像光滑程度，

$\mathrm{Dt}{\left(\stackrel{\→}{H}\right)}_{x,y}={({\left|\right|D_x\stackrel{\→}{H}\left|\right|}^2+{\left|\right|D_y\stackrel{\→}{H}\left|\right|}^2+\mathrm{\ϵ})}^{-1},$ 表示图像的细节保持程度，

式中，λ_x表示x方向上的图像平滑系数，W_x为x方向上权重矩阵，G_x表示沿着x方向的二阶差分算子，λ_y表示y方向上的图像平滑系数，W_y为y方向上权重矩阵，G_y表示沿着y方向的二阶差分算子，λ_t表示时域t方向上的图像平滑系数，W_t为时域t方向上权重矩阵，G_t表示沿着t方向的二阶差分算子，D_x表示沿x方向的梯度算子，D_y表示沿y方向的梯度算子，ε是一个正的常数。

若希望时域比空域更平滑，则令λ_x＝λ_y＜λ_t，若希望空域比时域更平滑，则令λ_x＝λ_y＞λ_t。

(4)以式1)为约束条件，以式2)为优化的目标函数，高分辨视频序列的向量

为令式2)取得最小值的解，其求解过程如下：

(4a)设定求解种群的粒子个数Z_s，每个求解种群的粒子为一个候选的高分辨率视频序列向量

初始化求解种群；

(4b)设定参数配置种群的粒子个数Z_c，每个配置种群内的C-粒子为求解种群优化过程所需的参数，初始化参数配置种群；

(4c)计算求解种群中的每个粒子的对应的目标函数值，按函数值从大到小排列求解粒子，将前Z_s*P_r，0＜P_r＜1个粒子划为r-子群，其余的Z_s*(1-P_r)个粒子为K-子群；

(4d)在每个配置种群粒子的配置下，将r-子群和K-子群分别按照r-策略和K-策略进行优化；

(4e)求解当前配置下的种群最佳粒子，并以进化得到的最佳粒子适应度来评价对应的配置粒子，执行配置种群的优化过程；

(4f)配置种群优化过程结束后得到的最佳求解粒子，即为最佳重建的高分辨率视频序列的向量

(5)将

重新排列成为三维矩阵，获得重建后的高分辨率视频序列。

本发明有如下优点：

(1)本发明由于采用基于参数自优化多群粒子群优化的高分辨率视频重建，不仅重建后视频质量高，并且重建精度不受运动估计精度的影响，可以很好地处理含有高速运动目标的视频序列；

(2)本发明由于采用参数自优化策略的多群粒子群优化过程，不需要人为设定具体的优化参数，能根据当前优化结果自动调节参数，优化过程自适应性强；

(3)本发明由于采用群智能方法求解视频重建问题，精度高，计算量小，容易部署，可并行计算。

附图说明

图1是本发明的流程图；

图2是本发明中参数自优化多群粒子群优化的子流程图；

图3是本发明中粒子进化的子流程图。

具体实施方式

以下结合附图对本发明作进一步详细的描述。

参照图1，本发明的实现步骤如下：

第一步：采集同一场景中的若干低分辨率视频序列，将所有元素按照x-y-t的辞书顺序排列成向量

一般来讲，空时动态场景需要用四维坐标系(x，y，z，t)来表示，在本发明中基于以下两个假设，动态场景可以用三维坐标系(x，y，t)来表示：1)场景是平坦的，并且运动发生在该平面之内；2)各摄像机之间的距离远小于摄像机与场景之间的距离，即不同摄像机之间几乎不存在视差。这时，将所有元素按照x-y-t的辞书顺序排列形成向量

第二步：建立视频超分辨重建过程中的约束矩阵。

本发明采用多低分辨率序列来重建高分辨率视频序列，为简化计算，每幅图像中像素点特征采用其灰度值表示，每一个低分辨率序列S^l中p^l处的值可以看作连续场景S的在高分辨率序列p^h处的映射：

$S^l\left(p^l\right)=\underset{p=(x,y,t)\∈\sup \left(B^h\right)}{\∫\∫\∫}S\left(p\right)B^h(p-p^h)\mathrm{dp}+n,p^h=(x^h,y^h,t^h)$

其中，S^l是一个低分辨率序列，p^l＝(x^l，y^l，t^l)是低分辨率序列中任一点，p^h＝(x^h，y^h，t^h)是p^l在高分辨率序列中的映射，(x^h，y^h，t^h)是该像素点的三维坐标表示，p＝(x，y，t)是未知的连续场景S中的点，B^h是高分辨率坐标系中有空时位置依赖的空时模糊核函数，它包含了空域的点扩散效应和由于成像时曝光时间的积分效应造成的时域模糊，其点扩散效应可用类高斯函数模型来模拟，n是服从高斯分布的噪声。

显然空时模糊核函数的支撑集范围决定了高分辨率与低分辨率序列之间的空时分辨率关系，它决定了是单纯在空域或时域重建，还是在空域和时域联合重建，以及重建时的方法和倍数。

上述方程建立在连续空时坐标系之中，给出了已知的低分辨率序列S^l中的点p^l＝(x^l，y^l，t^l)与未知的连续场景S中的点p＝(x，y，t)之间的关系。

基于上述表示，视频序列的论域成为一个空时立方体。对上述方程离散化，将未知连续场景S近似为未知高分辨率序列S^h，即得到由高分辨率序列与低分辨率序列之间的线性方程构成的巨系统：

$\stackrel{\→}{L}=M\stackrel{\→}{H}+\stackrel{\→}{N}$

其中向量

由所有若干已知低分辨率视频序列中的元素按辞书式排列而成，向量

由高分辨率序列中的所有元素按照辞书式排列而成，表示噪声向量，M是一个与空时模糊核函数对应的稀疏Toeplitz矩阵。

第三步：分析多个低分辨率序列到高分辨率单序列重建的主观视觉标准，获得优化过程的目标函数。

在实际应用中的大多数情况下，低分辨率序列中的已知元素个数少于拟重建的未知高分辨率序列元素，此时，已知条件个数小于未知数个数，是一个病态问题，此时需要一个额外的合适的条件作为最终优化的目标，具体到视频重建中，“合适”是指重建的结果要合乎视觉感受和逻辑，且能够抵抗噪声的攻击。本发明中，主要考察下式作为视觉标准：

其中，第一项

体现保真性，第二项体现三个方向的光滑性，用来表示图像的光滑程度：

式中λ_x表示x方向上的图像平滑系数，W_x为x方向上权重矩阵，G_x表示沿着x方向的二阶差分算子，λ_y表示y方向上的图像平滑系数，W_y为y方向上权重矩阵，G_y表示沿着y方向的二阶差分算子，λ_t表示时域t方向上的图像平滑系数，W_t为时域t方向上权重矩阵，G_t表示沿着t方向的二阶差分算子。若希望时域比空域更平滑，则令λ_x＝λ_y＜λ_t，若希望空域比时域更平滑，则令λ_x＝λ_y＞λ_t。

第三项体现二维画面的细节保持性，用来表示图像的细节保持程度：

式中D_x表示沿x方向的梯度算子，D_y表示沿y方向的梯度算子，ε是一个正的常数。

第四步：利用参数自动优化的多群粒子群优化算法进行有约束的优化问题的求解。

在这一步中，所要达到的目的是在满足优化约束条件的前提下，找到尽可能使目标函数值最小的解。

针对求解约束优化的问题，较为广泛的采用惩罚函数法处理约束条件，但此类方法需事先确定适当的惩罚因子，比较困难。另外，考虑具体到视频序列重建中，其最优解位于约束边界上或附近，也就是将最优点处约束条件等式全部或部分取为等号，为了使视频序列视觉上平滑，最优解不一定满足等式全部成立，为此，本发明中引入了违反约束程度的概念并设定违反约束程度阈值。

将粒子群中某个粒子x_i违反第j个约束的程度表示为：

G_j(x_i)＝max(|L_j(x_i)-MH_j(x_i)|-ε，0)，j＝1，2...，K，

其中，i＝1，2...Z_s，Z_s是求解种群的粒子个数，j＝1，2...K，K为约束方程个数，ε为等式约束的容忍度值，为正数，L_j(x_i)是当前粒子x_i对应的低分辨率视频序列的所有元素按照x-y-t的辞书顺序排列形成的向量，H_j(x_i)是当前粒子x_i对应的高分辨率视频序列的所有元素按照x-y-t的辞书顺序排列形成的向量。

将粒子群中某个粒子x_i违反全部约束的程度表示为：

$V\left(x_i\right)=\underset{j=1}{\overset{K}{\mathrm{\Σ}}}\left[\max \left(\right|L_j\left(x_i\right)-{\mathrm{AH}}_j\left(x_i\right)|-\mathrm{\ϵ},0)\right]$

在此，将满足违反约束条件程度小于违反约束程度阈值的粒子称为可行解。

粒子群优化算法因其简单易用、收敛迅速以及可并行计算等特点，对解决优化问题具有一定优势。本发明中，在基于生态学方法的r/KPSO粒子群优化算法中，增加了参数自动优化功能，采用了一种参数自动优化的多群粒子群优化算法。

参照图2，参数自动优化的多群粒子群优化算法的实施步骤如下：

(4.1)初始化目标函数求解种群粒子。

对于目标函数解粒子位置和速度的初始化，目标函数解粒子规模为待重建后的高分辨率视频序列大小，设为Z_s×n。由于粒子群的收敛速度会受到初始值的影响，为了尽快收敛，采用低分辨视频序列简单的插值方法获得一个高分辨率序列，并以此作为群内粒子的初始值，粒子速度随机生成如下矩阵：

$\left[\begin{array}{cccc}{x}_{11}& x_{12}& \mathrm{\Λ}& x_{1n}\\ \mathrm{\Λ}& \mathrm{\Λ}& \mathrm{\Λ}& \mathrm{\Λ}\\ x_{Z_{s}1}& x_{Z_{s}2}& \mathrm{\Λ}& x_{Z_{s}n}\end{array}\right]$

其中，{x_ij，i＝1，2，...，Z_s，j＝1，2，...，n}表示群体中位置为(i，j)粒子的灰度值大小，Z_s表示求解种群的粒子个数，n表示求解种群粒子维数；

(4.2)初始化参数配置种群粒子。

对于参数配置种群粒子位置的随机初始化，设定参数配置种群的粒子个数Z_c，每个配置种群内的粒子包含了求解种群优化过程所需的参数，这些参数包括：K-子群的参数惯性因子ωk，自身认知因子ck₁，社会认知因子ck₂；r-子群的参数惯性因子ωr，自身认知因子cr₁，社会认知因子cr₂；K-子群的繁殖率ρ_k，r-子群的繁殖率ρ_r，r-子群所占比重P_r以及K-子群的速度收缩因子比T_k，r-子群的速度收缩因子比T_r。在此，将配置种群粒子称为C-粒子，所有C-粒子构成C-群。

根据待优化参数自身的特点，对这些参数配置种群粒子按如下原则随机初始化：

(4.2.1)为满足K-子群作为深度搜索的高质量低繁殖率的要求，且满足惯性因子ω的起始值ω₁以及速度权重c₁，c₂的经验值范围，将参数配置种群粒子中的K-子群的参数惯性因子ωk，自身认知因子ck₁，社会认知因子ck₂，r-子群的参数惯性因子ωr，自身认知因子cr₁，社会认知因子cr₂，K-子群的繁殖率ρ_k的初始化范围设定为区间[0，4]；

(4.2.2)根据r-子群自身广度搜索的特点，以数量见长的r-子群就要求有较高的繁殖率以产生大量后代，将参数配置种群粒子中的r-子群的繁殖率ρ_r的初始化范围设定为区间[0，20]；

(4.2.3)通过大量实验结果设定参数配置种群粒子中的r-子群所占比重P_r的初始化范围为区间[0，0.5]；

(4.2.4)通过大量实验发现，动态的调整惯性因子ω能够获得比固定值更好的寻优结果，惯性因子按照下式规律变化：

其中，Epochs表示进化的当前代数，MaxEpochs表示最大的迭代代数，ω₁和ω₂别是ω的起始值和终止值，且一般有ω₁＞ω₂，这就要求ω₂与ω₁之比的初始化范围为区间[0，1]，因此，参数配置种群粒子中的K-子群的速度收缩因子比T_k和r-子群的速度收缩因子比T_r的初始化范围为区间[0，1]。

(4.3)在C-群当前粒子的约束下，对r-子群和K-子群进行优化。

在当前C-粒子配置下，按视觉标准公式计算每个粒子的适应度，并按照适应度值从大到小进行排序。依据当前C-群中参数的r-子群所占比重P_r的值将种群中粒子进行划分，适应度值比较大的前Z_s*P_r，0＜P_r＜1个粒子划为r-子群，剩余的Z_s*(1-P_r)个粒子为K-子群，分别应用K-策略和r-策略进行进化。K-子群的进化参数与r-子群的进化参数条件为：

$\left\{\begin{array}{c}\mathrm{\&omega;k}>\mathrm{\&omega;r}\\ {\mathrm{ck}}_1<{\mathrm{cr}}_1\\ {\mathrm{ck}}_2<{\mathrm{cr}}_2\\ T_k<T_r\end{array}\right.$

其中，ωk是K-子群的参数惯性因子，ck₁是K-子群的自身认知因子，ck₂是K-子群的社会认知因子，T_k是K-子群的速度收缩因子比；ωr是r-子群的参数惯性因子，cr₁是r-子群的自身认知因子，cr₂是r-子群的社会认知因子，T_r是r-子群的速度收缩因子比；

参照图3，本步骤的具体实现如下：

(4.3.1)K-子群中粒子依据当前参数配置值进行进化，每个粒子按照K-策略产生ρ_k个后代；

(4.3.2)r-子群中粒子依据当前参数配置值进行进化，每个粒子按照r-策略产生ρ_r个后代；

(4.3.3)对K-子群和r-子群的经过步骤(4.3.1)和步骤(4.3.2)产生的所有后代，按适应度值从小到大排序，计算各粒子的违反约束条件值，在满足违反约束条件阈值条件下，只保留前Z_s个粒子，即与繁殖前的K-子群和r-子群粒子总数相同，作为进化后的粒子，其余子代舍弃；若满足违反约束条件阈值粒子数少于Z_s时，将其余粒子按违反约束条件值从小到大排序，选取违反约束条件值较小部分使后代粒子总数达到Z_s。

(4.4)在当前配置种群粒子的配置下，求解目标种群最优粒子，并判断结束条件。

具体步骤如下：

(4.4.1)根据进化后粒子的适应度值，求解目标函数解的当前个体历史最优粒子pbest

个体历史最优是粒子所经过的具有最好适应度的位置，当粒子进化后，计算其适应度值，若进化后适应度值小于进化前适应度值，将个体最优更新为进化后粒子，否则，保持进化前个体最优不变，更新过程由下式确定：

${\mathrm{pbest}}_i=\left\{\begin{array}{cc}{x}_i(t+1),& \mathrm{if\; f}\left(x_i(t+1)\right)<f\left({\mathrm{pbest}}_i\right)\\ {\mathrm{pbest}}_i,& \mathrm{otherwise}\end{array}\right.$

其中，pbest_i是粒子x_i的当前个体最优，x_i(t+1)是进化后的粒子，i＝1，2...Z_s，Z_s是求解种群的粒子个数，i是粒子序号，t是当前更新代数，f(g)是目标函数；

(4.4.2)根据各粒子适应度大小，求解目标函数解的全局最优粒子gbest

全局最优是群体中所有粒子经历过的最好的位置，即全局最好的位置，也就是说所有粒子的个体最优粒子的适应度值按大小排列，将适应度值最小的粒子作为全局最优粒子，即全局最优粒子满足下式：

$\mathrm{gbest}\left(t\right)=\underset{x\&Element;\left\{x_i\left(k\right)\right|i\&Element;[1,Z_s],k\&Element;[1,t]\}}{\arg \min }f\left(x\right)$

其中，gbest(t)是到目前第t代为止的全局最优，x_i(k)是序号为i的第k代粒子，i∈[1，Z_s]，Z_s是求解种群的粒子个数，i是粒子序号，k∈[1，t]，t为当前更新代数，f(g)是目标函数，

当所有解粒子进化后，计算进化后的全局最优及其适应度值，若进化后全局最优的适应度值小于进化前全局最优的适应度值，则更新全局最优为进化后的全局最优，否则，保持不变。也就是说，全局最优始终为目前所有粒子在进化过程中所经历的最好位置；

(4.4.3)判断优化过程结束条件

若目标函数的适应度值达到预先设定的阈值，或达到预先设定的优化代数，则r-子群和K-子群的优化过程结束，优化过程结束后得到的最佳求解粒子，即为最佳重建的高分辨率视频序列的向量

否则返回步骤(4.3)，其中，设定的阈值为较小的整数，意味着误差足够小；

(4.5)计算在配置种群粒子的配置下，求解种群最优粒子的适应度，并根据此适应度值评价对应的配置种群粒子，执行配置种群的优化过程，判断优化终止条件：

(4.5.1)在当前配置种群粒子的配置下，以步骤(4.4.2)中所得目标函数解的全局最优gbest的适应度，评价当前配置粒子，更新当前配置粒子的个体最优：

设定在参数集合粒子xp_i的配置下，按照步骤(4.4)算出的最小适应度值，将此最小适应度值作为参数粒子xp_i个体最优对应的适应度值，进化配置种群，若进化后参数粒子xp_i个体最优对应的适应度值小于此次进化前参数粒子xp_i个体最优对应的适应度值，则更新参数配置粒子的值为进化后的值，否则，保持进化前的值不变，

参数配置粒子的当前个体最优更新过程由下式确定：

${\mathrm{xppbest}}_i=\left\{\begin{array}{c}{\mathrm{xp}}_i(t+1),\mathrm{if\; f}\left({\mathrm{gbest}}_i(t+1)\right)<f\left({\mathrm{gbest}}_i\left(t\right)\right)\\ \begin{array}{cc}{\mathrm{xppbest}}_i,& \mathrm{otherwise}\end{array}\end{array}\right.$

其中，xppbest_i是粒子的当前个体最优，xp_i(t+1)是更新后的配置种群粒子，gbest_i(t)是配置种群粒子对应的求解种群的全局最优，gbest_i(t+1)是更新后配置种群粒子对应的求解种群的全局最优，i＝1，2...Z_c，Z_c是参数配置种群的粒子个数，i为粒子序号，t为更新代数；

(4.5.2)根据配置种群粒子的个体最优对应的适应度值，求解配置种群的全局最优，即将所有配置种群粒子对应的适应度值按大小排列，对应适应度值最小的粒子为配置种群的全局最优粒子，当所有配置种群粒子进化后，更新C-群的全局最优；

(4.5.3)判断C-群优化结束条件，在某个配置种群粒子参数的配置下，若求解的目标函数的适应度达到足够好，或配置种群的迭代次数达到预定设定的代数，则配置种群的优化过程结束，所得到的最佳求解粒子，即为最佳重建的高分辨率视频序列的向量

否则返回步骤(4.3)。

第五步：将高分辨率视频序列的向量

重新排列成为三维矩阵，获得重建后的高分辨率视频序列。

取多个低分辨率视频中某一个为基本系列，将优化后的结果插值到低分辨率序列中，获得重建后的超分辨率视频序列。在具体实施过程中，由于视频的分辨率可能不同，视频的记录时间可能存在偏移等，需要对输入的各个视频序列进行仿射变换的预处理，此外为了得到更佳的重建效果，还需要对各视频序列进行直方图均衡化。为了提高重建速度，减小计算量，采用局部分块和全局校正的策略。局部分块是指将整个要重建的视频序列分为若干小的“空时立方体”，对每个小空时立方体进行局部子群单独优化，由于映射关系中的空时模糊只与空时坐标系内较近的相邻点有关，模糊核函数具有稀疏局部化的特点，局部子群的解空间较小，优化复杂度较低，迭代次数也不需要太多；全局校正由全局子群完成，主要以局部子群的优化结果为基础，对各子块的边界调整和边界处的平滑。

Claims (5)

1.一种基于参数自优化多群粒子群优化的视频超分辨重建方法，包括如下步骤：

(1)采集同一场景中的若干低分辨率视频序列，将所有元素按照x-y-t的辞书顺序排列成向量

(2)建立视频超分辨重建过程中的约束矩阵：

其中M是一个与空时模糊核函数对应的稀疏Toeplitz矩阵，向量

由为待求解高分辨率序列中的所有元素按照x-y-t的辞书式顺序排列而成的向量，为噪声向量；

(3)设超分辨率重建过程中的目标函数为f，其具体形式为：

其中：

表示图像光滑程度，

$\mathrm{Dt}{\left(\stackrel{\&RightArrow;}{H}\right)}_{x,y}={({\left|\right|D_x\stackrel{\&RightArrow;}{H}\left|\right|}^2+{\left|\right|D_y\stackrel{\&RightArrow;}{H}\left|\right|}^2+\mathrm{\&epsiv;})}^{-1},$ 表示图像的细节保持程度，

式中，λ_x表示x方向上的图像平滑系数，W_x为x方向上权重矩阵，G_x表示沿着x方向的二阶差分算子，λ_y表示y方向上的图像平滑系数，W_y为y方向上权重矩阵，G_y表示沿着y方向的二阶差分算子，λ_t表示时域t方向上的图像平滑系数，W_t为时域t方向上权重矩阵，G_t表示沿着t方向的二阶差分算子，D_x表示沿x方向的梯度算子，D_y表示沿y方向的梯度算子，ε是一个正的常数，

若希望时域比空域更平滑，则令λ_x＝λ_y＜λ_t，若希望空域比时域更平滑，则令λ_x＝λ_y＞λ_t；

(4)以式1)为约束条件，以式2)为优化的目标函数，高分辨视频序列的向量

为令式2)取得最小值的解，其求解过程如下：

(4a)设定求解种群的粒子个数Z_s，每个求解种群的粒子为一个候选的高分辨率视频序列向量

初始化求解种群；

(4b)设定参数配置种群的粒子个数Z_c，每个配置种群内的C-粒子为求解种群优化过程所需的参数，初始化参数配置种群；

(4c)计算求解种群中的每个粒子的对应的目标函数值，按函数值从大到小排列求解粒子，将前Z_s*P_r，0＜P_r＜1个粒子划为r-子群，其余的Z_s*(1-P_r)个粒子为K-子群；

(4d)在每个配置种群粒子的配置下，将r-子群和K-子群分别按照r-策略和K-策略进行优化；

(4e)求解当前配置下的种群最佳粒子，并以进化得到的最佳粒子适应度来评价对应的配置粒子，执行配置种群的优化过程；

(4f)配置种群优化过程结束后得到的最佳求解粒子，即为最佳重建的高分辨率视频序列的向量

(5)将重新排列成为三维矩阵，获得重建后的高分辨率视频序列。

2.根据权利要求1所述的方法，其中步骤(4a)所述的初始化求解种群，是将低分辨视频序列在空域或时域进行线性插值。

3.根据权利要求1所述的方法，其中步骤(4b)所述的初始化参数配置种群，是按如下原则随机进行：

(4b1)将K-子群进化参数ωk，ck₁，ck₂，r-子群进化参数ωr，cr₁，cr₂，K-子群的繁殖率ρ_k，这7个参数的取值范围设为[0，4]；

(4b2)将r-子群的繁殖率ρ_r的取值范围设为[0，20]；

(4b3)将r-子群所占比重P_r的取值范围设为[0，0.5]；

(4b4)将K-子群的速度收缩因子比T_k，r-子群的速度收缩因子比T_r的取值范围设为[0，1]。

4.根据权利要求1所述的方法，其中步骤(4d)中所述的将r-子群和K-子群分别按照r-策略和K-策略进行优化，按如下步骤进行：

(4d1)设K-子群的进化参数与r-子群的进化参数条件为：

$\left\{\begin{array}{c}\mathrm{\&omega;k}>\mathrm{\&omega;r}\\ {\mathrm{ck}}_1<{\mathrm{cr}}_1\\ {\mathrm{ck}}_2<{\mathrm{cr}}_2\\ T_k<T_r\end{array}\right.$

其中，ωk是K-子群的参数惯性因子，ck₁是K-子群的自身认知因子，ck₂是K-子群的社会认知因子，T_k是K-子群的速度收缩因子比；ωr是r-子群的参数惯性因子，cr₁是r-子群的自身认知因子，cr₂是r-子群的社会认知因子，T_r是r-子群的速度收缩因子比；

(4d2)设K-子群每个粒子产生ρ_k个后代，r-子群每个粒子产生ρ_r个后代，且满足条件ρ_r＞ρ_k；

(4d3)将K-子群和r-子群的所有后代一起按目标函数值从小到大的排序排列；

(4d4)设定违反约束程度阈值Vc，计算各粒子违反约束程度值，若粒子违反约束程度值小于Vc，则该粒子可行，否则不可行；

(4d5)在满足违反约束条件阈值条件下，保留前Z_s个粒子，作为进化后的新粒子，其余粒子舍弃；若满足违反约束条件阈值粒子数少于Z_s时，将其余粒子按违反约束条件从小到大排序，选取较小部分使后代粒子总数达到Z_s。

5.根据权利要求4所述的方法，其中步骤(4d4)所述的计算各粒子违反约束程度值，是通过如下公式计算：

$V\left(x_i\right)=\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}\left[\max \left(\right|L_j\left(x_i\right)-{\mathrm{AH}}_j\left(x_i\right)|-\mathrm{\&epsiv;},0)\right]$

其中，i＝1，2...Z_s，Z_s是求解种群的粒子个数，j＝1，2...K，K为约束方程个数，ε为等式约束的容忍度值，为正数，L_j(x_i)是当前粒子x_i对应的低分辨率视频序列的所有元素按照x-y-t的辞书顺序排列形成的向量，H_j(x_i)是当前粒子x_i对应的高分辨率视频序列的所有元素按照x-y-t的辞书顺序排列形成的向量，M是一个与空时模糊核函数对应的稀疏Toeplitz矩阵。

Images