CN106358044B - 一种立体视频帧率提升中运动矢量检测与校正方法及系统 - Google Patents

Abstract

本发明公开了一种立体视频帧率提升中运动矢量检测与校正方法及系统，首先，利用运动矢量的空间相关性，即相邻运动矢量之间的方向相关性和幅度相关性，对插入帧运动矢量场中的错误运动矢量和不可靠运动矢量进行检测；其次，利用融合空间、颜色和深度信息的方法校正插入帧运动矢量场中的错误运动矢量和不可靠运动矢量，得到插入帧的真实运动矢量场。本发明提高了检测效果，降低了错误运动矢量的漏检率。

Description

一种立体视频帧率提升中运动矢量检测与校正方法及系统

技术领域

本发明涉及视频处理技术领域，尤其涉及一种立体视频帧率提升中运动矢量检测与校正方法及系统。

背景技术

立体视频能够为用户提供全新的视觉感受，因而引起科研界和产业界的广泛关注。立体视频系统通常需要向用户同时提供多个视点的彩色和深度视频，所以相对于传统视频，数据传输量剧增。即便使用高效的编码技术，在实际系统中，如无线传输系统，信道带宽仍然严重不足，而这限制了立体视频的帧率。由于显示设备的物理特性和人体视觉系统的生理特性，当视频帧率较低时，会产生运动模糊或者伪影现象，严重影响了立体视频的视觉质量。

帧率提升是一种常见的视频增强技术，通过对低帧率视频处理，在两个视频帧之间插入一帧或者多帧，实现视频播放帧率的提高。帧率提升方法有多种，其中最常用的是基于运动补偿的帧率提升方法，而基于运动补偿的帧率提升方法又可以分为单向运动补偿帧率提升(如图1(a)所示)和双向运动补偿帧率提升(如图1(b)所示)。

单向运动补偿帧率提升在插入帧中会出现空洞或者重叠现象，而双向运动补偿帧率提升不会出现这种现象。因此，双向运动补偿帧率提升方法在工程中被广泛应用。

在双向运动补偿帧率提升方法中，首先通过双向运动估计获取插入帧每个图像块的运动矢量，但是实际中并不能保证每一个运动矢量能够表示相应图像块的真实运动，因此在运动补偿前首先要对运动矢量进行处理，检测出非真实运动矢量并进行校正。

发明内容

本发明的目的就是为了解决上述问题，提供一种立体视频帧率提升中运动矢量检测与校正方法及系统，首先，利用空间相关性进行运动矢量的检测，其中包括两步：基于方向相关性的错误运动矢量检测和基于幅度相关性的不可靠运动矢量检测；其次，完成对插入帧整个运动矢量场的检测后，采用融合空间、颜色和深度信息的方法对错误运动矢量和不可靠运动矢量进行校正。

为了实现上述目的，本发明采用如下技术方案：

一种立体视频帧率提升中运动矢量检测与校正方法，包括以下步骤：

步骤(1)：利用基于空间相关性的运动矢量检测方法对插入帧的运动矢量场进行处理，检测出插入帧的运动矢量场中的错误运动矢量和不可靠运动矢量；

步骤(2)：利用融合空间、颜色和深度信息的方法对插入帧的运动矢量场中的错误运动矢量和不可靠运动矢量进行校正。

所述步骤(1)包括：

步骤(1-1)：基于方向相关性的运动矢量检测：利用被检测运动矢量和被检测运动矢量的8邻域运动矢量在方向上的关系计算运动矢量的可靠性，确定被检测运动矢量是否为错误运动矢量；若是错误运动矢量，就将错误运动矢量保存；若不是错误运动矢量则进入步骤(1-2)；

步骤(1-2)：基于幅度相关性的运动矢量检测：利用被检测运动矢量和被检测运动矢量8邻域运动矢量在幅度上的关系进行进一步检测，并确定被检测运动矢量是否为不可靠运动矢量，若是不可靠运动矢量，就将不可靠运动矢量保存，若不是不可靠运动矢量，则将运动矢量保存到真实运动矢量场中。

所述步骤(1-1)的步骤为：

v表示被检测运动矢量，v_i表示被检测运动矢量的8邻域运动矢量，其中i＝1,…,8；则v与v_i之间的方向相似度用公式(1)表示：

其中，‖·‖表示矢量的欧氏距离，即矢量的幅度。γ_i反映了被检测运动矢量v和被检测运动矢量的8邻域运动矢量v_i之间方向上的关系。

假设γ_i中正数的数量为n_p，假设γ_i中非正数的数量为n_n，如果n_p<n_n，则v被标记为错误运动矢量；如果n_p≥n_n，则v进入步骤(1-2)基于幅度相关性的运动矢量检测。

所述步骤(1-2)的步骤为：

首先，从被检测运动矢量的8邻域运动矢量v_i中选取所有满足γ_i>0的运动矢量，组成集合V＝{‖v‖,‖v_i‖|γ_i>0}，若‖v‖是集合V中的最大值或者最小值，则标记v为不可靠运动矢量；如果‖v‖不是集合V中的最大值或者最小值，则标记v为真实运动矢量。所述不可靠运动矢量包括被步骤(1-1)漏检的错误运动矢量或被步骤(1-2)误检的真实运动矢量。

所述步骤(2)包括：

步骤(2-1)：对错误运动矢量构建错误运动矢量校正候选集；对不可靠运动矢量构建不可靠运动矢量校正候选集；

步骤(2-2)：利用错误运动矢量校正候选集和不可靠运动矢量校正候选集中候选运动矢量的空间关系，以及所述候选运动矢量对应的图像块的颜色和深度信息，构建能量函数；

步骤(2-3)：利用能量函数最小化，从错误运动矢量校正候选集和不可靠运动矢量校正候选集中选取最优候选运动矢量，用最优候选运动矢量替代错误运动矢量或者不可靠运动矢量，将最优优选运动矢量保存到真实运动矢量场中，完成校正处理。

所述步骤(2)的步骤为：

将步骤(1)检测得到的错误运动矢量表示为v_k1，则v_k1的8邻域中所有真实运动矢量组成v_k1的错误运动矢量校正候选集Ω₁；

将步骤(1)检测得到的不可靠运动矢量表示为v_k2，不可靠运动矢量校正候选集为Ω₂，则Ω₂除了包含v_k2的8邻域中所有真实运动矢量外，还包含v_k2本身；

对于错误运动矢量，利用空间、颜色和深度信息构建能量函数，如公式(2)，并利用能量函数最小化从错误运动矢量校正候选集中选取最优候选运动矢量，如公式(3)：

E(v_j1)＝E_spatial1(v_j1)+λ_c1E_color1(v_j1)+λ_d1E_depth1(v_j1) (2)

其中v_j1为错误运动矢量校正候选集Ω₁中的一个候选运动矢量，为错误运动矢量校正后的运动矢量。公式(2)中，E_spatial1表示错误运动矢量能量函数中的空间分量；E_color1表示错误运动矢量能量函数中的颜色分量；E_depth1表示错误运动矢量能量函数中的深度分量。λ_c1表示错误运动矢量颜色分量的加权系数；λ_d1表示错误运动矢量深度分量的加权系数。

E_spatial1、E_color1和E_depth1分别用下面公式计算：

其中，公式(4)中v_l1表示错误运动矢量校正候选集Ω₁中除v_j1以外的候选运动矢量，即v_l1＝Ω₁-v_j1，K₁表示v_l1中运动矢量的个数；

公式(5)中表示当以v_j1为当前图像块的运动矢量时，当前图像块在上一帧中对应的图像块；

表示当以v_j1为当前图像块的运动矢量时，当前图像块在下一帧中对应的图像块，N₁表示图像块中像素的个数；p₁表示当前图像块的位置，即当前图像块最左上角像素点的坐标；t₁表示时间参数；例如，表示时间为t₁的视频帧中最左上角像素坐标为p₁的图像块。

公式(6)中表示对应的深度图像块；表示对应的深度图像块。

对于不可靠运动矢量，利用空间、颜色和深度信息构建能量函数，如公式(7)，并利用能量函数最小化从不可靠运动矢量校正候选集中选取最优候选运动矢量，如公式(8)：

E(v_j2)＝E_spatial2(v_j2)+λ_c2E_color2(v_j2)+λ_d2E_depth2(v_j2) (7)

其中v_j2为不可靠运动矢量校正候选集Ω₂中的一个候选运动矢量，为不可靠运动矢量校正后的运动矢量。公式(7)中，E_spatial2表示不可靠运动矢量能量函数中的空间分量；E_color2表示不可靠运动矢量能量函数中的颜色分量；E_depth2表示不可靠运动矢量能量函数中的深度分量。λ_c2表示不可靠运动矢量颜色分量的加权系数；λ_d2表示不可靠运动矢量深度分量的加权系数。E_spatial2、E_color2和E_depth2分别用下面公式计算：

其中，公式(9)中v_l2表示不可靠运动矢量校正候选集Ω₂中除v_j2以外的候选运动矢量，即v_l2＝Ω₂-v_j2，K₂表示v_l2中运动矢量的个数；

公式(10)中表示当以v_j2为当前图像块的运动矢量时，当前图像块在上一帧中对应的图像块；表示当以v_j2为当前图像块的运动矢量时，当前图像块在下一帧中对应的图像块，N₂表示图像块中像素的个数；p₂表示当前图像块的位置，即当前图像块最左上角像素点的坐标；t₂表示时间参数；例如，表示时间为t₂的视频帧中最左上角像素坐标为p₂的图像块。

公式(11)中表示对应的深度图像块；表示对应的深度图像块。

一种立体视频帧率提升中运动矢量检测与校正系统，包括：

检测模块：利用基于空间相关性的运动矢量检测方法对插入帧的运动矢量场进行处理，检测出插入帧的运动矢量场中的错误运动矢量和不可靠运动矢量；

校正模块：利用融合空间、颜色和深度信息的方法对插入帧的运动矢量场中的错误运动矢量和不可靠运动矢量进行校正。

所述检测模块包括：

基于方向相关性的运动矢量检测单元：利用被检测运动矢量和被检测运动矢量的8邻域运动矢量在方向上的关系计算运动矢量的可靠性，确定被检测运动矢量是否为错误运动矢量；若是错误运动矢量，就将错误运动矢量保存；若不是错误运动矢量则进入基于幅度相关性的运动矢量检测单元；

基于幅度相关性的运动矢量检测单元：利用被检测运动矢量和被检测运动矢量8邻域运动矢量在幅度上的关系进行进一步检测，并确定被检测运动矢量是否为不可靠运动矢量，若是不可靠运动矢量，就将不可靠运动矢量保存，若不是不可靠运动矢量，则将运动矢量保存到真实运动矢量场中。

所述校正模块包括：

运动矢量校正候选集构建单元：对错误运动矢量构建错误运动矢量校正候选集；对不可靠运动矢量构建不可靠运动矢量校正候选集；

能量函数构建单元：利用错误运动矢量校正候选集和不可靠运动矢量校正候选集中候选运动矢量的空间关系，以及所述候选运动矢量对应的图像块的颜色和深度信息，构建能量函数；

校正处理单元：利用能量函数最小化，从错误运动矢量校正候选集和不可靠运动矢量校正候选集中选取最优候选运动矢量，用最优候选运动矢量替代错误运动矢量或者不可靠运动矢量，将最优优选运动矢量保存到真实运动矢量场中，完成校正处理。

本发明的有益效果为：

首先，本发明通过两步完成运动矢量的检测，利用运动矢量方向相关性检测出错误运动矢量，对其余的运动矢量采用幅度相关性进行近一步检测，检测出不可靠运动矢量，从而提高了检测效果，降低了错误运动矢量的漏检率；

其次，在对运动矢量进行校正时，本发明融合空间、颜色和深度信息构建能量函数，并分别针对错误运动矢量和不可靠运动矢量构建不同的运动矢量校正候选集，利用能量函数最小化从运动矢量校正候选集中选取最优候选运动矢量，替代当前错误运动矢量或者不可靠运动矢量，而非采用其他运动矢量对错误运动矢量进行补偿，因而校正后的运动矢量更能反映该图像块的真实运动。

附图说明

图1(a)为单向运动补偿帧率提升方式；

图1(b)为双向运动补偿帧率提升方式；

图2为本发明的流程图；

图3(a)为常见错误运动矢量类别；

图3(b)为常见错误运动矢量类别；

图3(c)为常见错误运动矢量类别。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

与现有的方法不同，本发明提出的方法分别利用运动矢量方向相关性和幅度相关性进行错误运动矢量和不可靠运动矢量的检测，提高了运动矢量检测效果；其次，区别于现有的错误运动矢量校正方法，本发明针对错误运动矢量和不可靠运动矢量分别构建运动矢量校正候选集，并提出融合空间、颜色和深度三种信息的能量函数，通过能量函数最小化从运动矢量校正候选集中选取最优候选运动矢量，对错误运动矢量或不可靠运动矢量进行校正，使用本方法校正后的运动矢量更能反映该图像块的真实运动。

本发明提出一种立体视频帧率提升中运动矢量检测与校正方法。首先，利用相邻运动矢量方向相关性进行初步检测，判断被检测运动矢量是否为错误运动矢量，若初步检测结果不是错误运动矢量，则基于幅度相关性进行近一步检测，判断其是否为不可靠运动矢量；其次，完成对插入帧整个运动矢量场的检测后，采用融合空间、颜色和深度信息的运动矢量校正方法对错误运动矢量和不可靠运动矢量进行校正处理。本发明的流程图如图2所示，具体实施方式如下：

(1)基于空间相关性的运动矢量检测。

通常而言，在运动矢量场中可以通过被检测运动矢量和其相邻运动矢量之间空间相关性来测量被检测运动矢量的可靠性，而运动矢量空间相关性反映在两个方面：方向相关性和幅度相关性。因此，错误运动矢量与其相邻的真实运动矢量在方向或者幅度上必然存在区别。如图3(a)-图3(c)所示，图中v表示被检测运动矢量，v_i(其中i＝1,…,8)表示被检测运动矢量的8邻域运动矢量。若被检测运动矢量为错误运动矢量，则其可以分为两类：第一类如图3(a)所示，v的方向与其邻域内所有或者大部分运动矢量的方向不同；第二类如图3(b)和图3(c)所示，v的幅度与其邻域内所有或者大部分运动矢量的幅度差异较大。基于此，本发明提出了一种基于空间相关性的两步运动矢量检测方法。

第一步：基于方向相关性的运动矢量检测。如前所述，v表示被检测运动矢量，v_i(其中i＝1,…,8)表示被检测运动矢量的8邻域运动矢量。则v与v_i(其中i＝1,…,8)之间的方向相似度可以用公式(1)表示：

其中‖·‖表示矢量的欧氏距离，即矢量的幅度。很明显，γ_i反映了被检测运动矢量v和其邻域运动矢量v_i(其中i＝1,…,8)之间方向上的关系。假设γ_i(其中i＝1,…,8)中正数和非正数的数量分别为n_p和n_n，如果n_p<n_n，则v被标记为错误运动矢量；如果n_p≥n_n，则v需要经过第二步基于幅度相关性的运动矢量检测。

第二步：基于幅度相关性的运动矢量检测。若被检测运动矢量v经过第一步检测不是错误运动矢量，则需要通过幅度相关性来进行进一步判断。首先，从v的邻域运动矢量v_i(其中i＝1,…,8)中选取所有满足γ_i>0(γ_i通过公式(1)计算得到)的运动矢量，组成集合V＝{‖v‖,‖v_i‖|γ_i>0}，若‖v‖是集合V中的最大值或者最小值，则标记v为不可靠运动矢量；如果‖v‖不是集合V中的最大值或者最小值，则标记v为真实运动矢量。需要注意的是此处定义的不可靠运动矢量可能为错误运动矢量，即步骤(1-1)漏检的错误运动矢量，也可能为真实运动矢量。

经过以上两步运动矢量检测方法可以将运动矢量场中的所有错误运动矢量和不可靠运动矢量标记出来，然后利用下面的方法进行校正处理。

(2)融合空间、颜色和深度信息的运动矢量校正。

通过上述步骤将运动矢量场中的运动矢量分为错误运动矢量、不可靠运动矢量和真实运动矢量三类，本发明对错误运动矢量和不可靠运动矢量进行校正。

将步骤(1)检测得到的错误运动矢量表示为v_k1，则v_k1的8邻域中所有真实运动矢量组成v_k1的错误运动矢量校正候选集Ω₁；

将步骤(1)得到的不可靠运动矢量表示为v_k2，其不可靠运动矢量校正候选集为Ω₂，则Ω₂除了包含v_k2的8邻域中所有真实运动矢量外，还包含v_k2本身。

对于错误运动矢量，利用空间、颜色和深度信息构建能量函数，如公式(2)，并利用能量函数最小化从错误运动矢量校正候选集中选取最优候选运动矢量，如公式(3)：

E(v_j1)＝E_spatial1(v_j1)+λ_c1E_color1(v_j1)+λ_d1E_depth1(v_j1) (2)

其中v_j1为错误运动矢量校正候选集Ω₁中的一个候选运动矢量，为错误运动矢量校正后的运动矢量。公式(2)中，E_spatial1表示错误运动矢量能量函数中的空间分量；E_color1表示错误运动矢量能量函数中的颜色分量；E_depth1表示错误运动矢量能量函数中的深度分量。λ_c1表示错误运动矢量颜色分量的加权系数；λ_d1表示错误运动矢量深度分量的加权系数。实验中我们取λ_c1＝1，λ_d1＝0.5。

E_spatial1、E_color1和E_depth1分别用下面公式计算：

其中，公式(4)中v_l1表示错误运动矢量校正候选集Ω₁中除v_j1以外的候选运动矢量，即v_l1＝Ω₁-v_j1，K₁表示v_l1中运动矢量的个数；

公式(5)中表示当以v_j1为当前图像块的运动矢量时，当前图像块在上一帧中对应的图像块；

表示当以v_j1为当前图像块的运动矢量时，当前图像块在下一帧中对应的图像块，N₁表示图像块中像素的个数；p₁表示当前图像块的位置，即当前图像块最左上角像素点的坐标；t₁表示时间参数；例如，表示时间为t₁的视频帧中最左上角像素坐标为p₁的图像块。

公式(6)中表示对应的深度图像块；表示对应的深度图像块。

对于不可靠运动矢量，利用空间、颜色和深度信息构建能量函数，如公式(7)，并利用能量函数最小化从不可靠运动矢量校正候选集中选取最优候选运动矢量，如公式(8)：

E(v_j2)＝E_spatial2(v_j2)+λ_c2E_color2(v_j2)+λ_d2E_depth2(v_j2) (7)

其中v_j2为不可靠运动矢量校正候选集Ω₂中的一个候选运动矢量，为不可靠运动矢量校正后的运动矢量。公式(7)中，E_spatial2表示不可靠运动矢量能量函数中的空间分量；E_color2表示不可靠运动矢量能量函数中的颜色分量；E_depth2表示不可靠运动矢量能量函数中的深度分量。λ_c2表示不可靠运动矢量颜色分量的加权系数；λ_d2表示不可靠运动矢量深度分量的加权系数。实验中我们取λ_c2＝1，λ_d2＝0.5。

E_spatial2、E_color2和E_depth2分别用下面公式计算：

其中，公式(9)中v_l2表示不可靠运动矢量校正候选集Ω₂中除v_j2以外的候选运动矢量，即v_l2＝Ω₂-v_j2，K₂表示v_l2中运动矢量的个数；

公式(10)中表示当以v_j2为当前图像块的运动矢量时，当前图像块在上一帧中对应的图像块；表示当以v_j2为当前图像块的运动矢量时，当前图像块在下一帧中对应的图像块，N₂表示图像块中像素的个数；p₂表示当前图像块的位置，即当前图像块最左上角像素点的坐标；t₂表示时间参数；例如，表示时间为t₂的视频帧中最左上角像素坐标为p₂的图像块。

公式(11)中表示对应的深度图像块；表示对应的深度图像块。

通过上述步骤，我们用最优候选运动矢量替换插入帧运动矢量场中所有错误运动矢量和不可靠运动矢量，得到插入帧的真实运动矢量场，然后利用真实运动矢量场进行帧率提升，提高了插入帧的视觉质量。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种立体视频帧率提升中运动矢量检测与校正方法，其特征是，包括以下步骤：

步骤(1)：利用基于空间相关性的运动矢量检测方法对插入帧的运动矢量场进行处理，检测出插入帧的运动矢量场中的错误运动矢量和不可靠运动矢量；

步骤(2)：利用融合空间、颜色和深度信息的方法对插入帧的运动矢量场中的错误运动矢量和不可靠运动矢量进行校正；

所述步骤(2)包括：

步骤(2-1)：对错误运动矢量构建错误运动矢量校正候选集；对不可靠运动矢量构建不可靠运动矢量校正候选集；

步骤(2-2)：利用错误运动矢量校正候选集和不可靠运动矢量校正候选集中候选运动矢量的空间关系，以及所述候选运动矢量对应的图像块的颜色和深度信息，构建能量函数；

步骤(2-3)：利用能量函数最小化，从错误运动矢量校正候选集和不可靠运动矢量校正候选集中选取最优候选运动矢量，用最优候选运动矢量替代错误运动矢量或者不可靠运动矢量，将最优优选运动矢量保存到真实运动矢量场中，完成校正处理。

2.如权利要求1所述的一种立体视频帧率提升中运动矢量检测与校正方法，其特征是，所述步骤(1)包括：

步骤(1-1)：基于方向相关性的运动矢量检测：利用被检测运动矢量和被检测运动矢量的8邻域运动矢量在方向上的关系计算运动矢量的可靠性，确定被检测运动矢量是否为错误运动矢量；若是错误运动矢量，就将错误运动矢量保存；若不是错误运动矢量则进入步骤(1-2)；

步骤(1-2)：基于幅度相关性的运动矢量检测：利用被检测运动矢量和被检测运动矢量8邻域运动矢量在幅度上的关系进行进一步检测，并确定被检测运动矢量是否为不可靠运动矢量，若是不可靠运动矢量，就将不可靠运动矢量保存，若不是不可靠运动矢量，则将运动矢量保存到真实运动矢量场中。

3.如权利要求2所述的一种立体视频帧率提升中运动矢量检测与校正方法，其特征是，所述步骤(1-1)的步骤为：

v表示被检测运动矢量，v_i表示被检测运动矢量的8邻域运动矢量，其中i＝1,…,8；则v与v_i之间的方向相似度用公式(1)表示：

${\mathrm{\&gamma;}}_i=\frac{v^T{v}_i}{\left|\right|v^T\left|\right|\left|\right|v_i\left|\right|},---\left(1\right)$

其中，||·||表示矢量的欧氏距离，即矢量的幅度；γ_i反映了被检测运动矢量v和被检测运动矢量的8邻域运动矢量v_i之间方向上的关系；

假设γ_i中正数的数量为n_p，假设γ_i中非正数的数量为n_n，如果n_p<n_n，则v被标记为错误运动矢量；如果n_p≥n_n，则v进入步骤(1-2)基于幅度相关性的运动矢量检测。

4.如权利要求3所述的一种立体视频帧率提升中运动矢量检测与校正方法，其特征是，所述步骤(1-2)的步骤为：

首先，从被检测运动矢量的8邻域运动矢量v_i中选取所有满足γ_i>0的运动矢量，组成集合V＝{||v||,||v_i|||γ_i>0}，若||v||是集合V中的最大值或者最小值，则标记v为不可靠运动矢量；如果||v||不是集合V中的最大值或者最小值，则标记v为真实运动矢量；所述不可靠运动矢量包括被步骤(1-1)漏检的错误运动矢量或被步骤(1-2)误检的真实运动矢量。

5.如权利要求1所述的一种立体视频帧率提升中运动矢量检测与校正方法，其特征是，所述步骤(2)的步骤为：

将步骤(1)检测得到的错误运动矢量表示为v_k1，则v_k1的8邻域中所有真实运动矢量组成v_k1的错误运动矢量校正候选集Ω₁；

将步骤(1)检测得到的不可靠运动矢量表示为v_k2，不可靠运动矢量校正候选集为Ω₂，则Ω₂除了包含v_k2的8邻域中所有真实运动矢量外，还包含v_k2本身；

对于错误运动矢量，根据公式(2)，利用空间、颜色和深度信息构建能量函数，并根据公式(3)，利用能量函数最小化从错误运动矢量校正候选集中选取最优候选运动矢量：

E(v_j1)＝E_spatial1(v_j1)+λ_c1E_color1(v_j1)+λ_d1E_depth1(v_j1)(2)

${\hat{v}}_1=\underset{v_j\&Element;{\mathrm{\&Omega;}}_1}{\arg \min }\left\{E\left(v_{j1}\right)\right\}---\left(3\right)$

其中v_j1为错误运动矢量校正候选集Ω₁中的一个候选运动矢量，为错误运动矢量校正后的运动矢量；公式(2)中，E_spatial1表示错误运动矢量能量函数中的空间分量；E_color1表示错误运动矢量能量函数中的颜色分量；E_depth1表示错误运动矢量能量函数中的深度分量；λ_c1表示错误运动矢量颜色分量的加权系数；λ_d1表示错误运动矢量深度分量的加权系数；

E_spatial1、E_color1和E_depth1分别用下面公式计算：

$E_{spatial1}\left(v_{j1}\right)=\frac{1}{K_1}{\mathrm{\&Sigma;}}_{v_{l1}\&Element;R_1}\left|\right|v_{j1}-v_{l1}\left|\right|---\left(4\right)$

$E_{color1}\left(v_{j1}\right)=\frac{1}{N_1}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(B_{t_1-1}^{p_1+\frac{v_{j1}}{2}}-B_{t_1+1}^{p_1-\frac{v_{j1}}{2}})---\left(5\right)$

$E_{depth1}\left(v_{j1}\right)=\frac{1}{N_1}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(D_{t_1-1}^{p_1+\frac{v_{j1}}{2}}-D_{t_1+1}^{p_1-\frac{v_{j1}}{2}})---\left(6\right)$

其中，公式(4)中v_l1表示错误运动矢量校正候选集Ω₁中除v_j1以外的候选运动矢量，即v_l1＝Ω₁-v_j1，K₁表示v_l1中运动矢量的个数；

公式(5)中表示当以v_j1为当前图像块的运动矢量时，当前图像块在上一帧中对应的图像块；

表示当以v_j1为当前图像块的运动矢量时，当前图像块在下一帧中对应的图像块，N₁表示图像块中像素的个数；p₁表示当前图像块的位置，即当前图像块最左上角像素点的坐标；t₁表示时间参数；

公式(6)中表示对应的深度图像块；表示对应的深度图像块；

对于不可靠运动矢量，根据公式(7)，利用空间、颜色和深度信息构建能量函数，并根据公式(8)，利用能量函数最小化从不可靠运动矢量校正候选集中选取最优候选运动矢量：

E(v_j2)＝E_spatial2(v_j2)+λ_c2E_color2(v_j2)+λ_d2E_depth2(v_j2)(7)

${\hat{v}}_2=\underset{v_{j2}\&Element;{\mathrm{\&Omega;}}_2}{\mathrm{argmin}}\left\{E\left(v_{j2}\right)\right\}---\left(8\right)$

其中v_j2为不可靠运动矢量校正候选集Ω₂中的一个候选运动矢量，为不可靠运动矢量校正后的运动矢量；公式(7)中，E_spatial2表示不可靠运动矢量能量函数中的空间分量；E_color2表示不可靠运动矢量能量函数中的颜色分量；E_depth2表示不可靠运动矢量能量函数中的深度分量；λ_c2表示不可靠运动矢量颜色分量的加权系数；λ_d2表示不可靠运动矢量深度分量的加权系数；E_spatial2、E_color2和E_depth2分别用下面公式计算：

$E_{spatial2}\left(v_{j2}\right)=\frac{1}{K_2}{\mathrm{\&Sigma;}}_{v_{l2}\&Element;R_2}\left|\right|v_{j2}-v_{l2}\left|\right|---\left(9\right)$

$E_{color2}\left(v_{j2}\right)=\frac{1}{N_2}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(B_{t_2-1}^{p_2+\frac{v_{j2}}{2}}-B_{t_2+1}^{p_2-\frac{v_{j2}}{2}})---\left(10\right)$

$E_{depth2}\left(v_{j2}\right)=\frac{1}{N_2}\mathrm{\&Sigma;}\mathrm{\&Sigma;}(D_{t_2-1}^{p_2+\frac{v_{j2}}{2}}-D_{t_2+1}^{p_1-\frac{v_{j2}}{2}})---\left(11\right)$

其中，公式(9)中v_l2表示不可靠运动矢量校正候选集Ω₂中除v_j2以外的候选运动矢量，即v_l2＝Ω₂-v_j2，K₂表示v_l2中运动矢量的个数；

公式(10)中表示当以v_j2为当前图像块的运动矢量时，当前图像块在上一帧中对应的图像块；表示当以v_j2为当前图像块的运动矢量时，当前图像块在下一帧中对应的图像块，N₂表示图像块中像素的个数；p₂表示当前图像块的位置，即当前图像块最左上角像素点的坐标；t₂表示时间参数；

公式(11)中表示对应的深度图像块；表示对应的深度图像块。

6.一种立体视频帧率提升中运动矢量检测与校正系统，其特征是，包括：

检测模块：利用基于空间相关性的运动矢量检测方法对插入帧的运动矢量场进行处理，检测出插入帧的运动矢量场中的错误运动矢量和不可靠运动矢量；

校正模块：利用融合空间、颜色和深度信息的方法对插入帧的运动矢量场中的错误运动矢量和不可靠运动矢量进行校正；

对错误运动矢量构建错误运动矢量校正候选集；对不可靠运动矢量构建不可靠运动矢量校正候选集；

利用错误运动矢量校正候选集和不可靠运动矢量校正候选集中候选运动矢量的空间关系，以及所述候选运动矢量对应的图像块的颜色和深度信息，构建能量函数；

利用能量函数最小化，从错误运动矢量校正候选集和不可靠运动矢量校正候选集中选取最优候选运动矢量，用最优候选运动矢量替代错误运动矢量或者不可靠运动矢量，将最优优选运动矢量保存到真实运动矢量场中，完成校正处理。

7.如权利要求6所述的系统，其特征是，所述检测模块包括：

基于方向相关性的运动矢量检测单元：利用被检测运动矢量和被检测运动矢量的8邻域运动矢量在方向上的关系计算运动矢量的可靠性，确定被检测运动矢量是否为错误运动矢量；若是错误运动矢量，就将错误运动矢量保存；若不是错误运动矢量则进入基于幅度相关性的运动矢量检测单元；

基于幅度相关性的运动矢量检测单元：利用被检测运动矢量和被检测运动矢量8邻域运动矢量在幅度上的关系进行进一步检测，并确定被检测运动矢量是否为不可靠运动矢量，若是不可靠运动矢量，就将不可靠运动矢量保存，若不是不可靠运动矢量，则将运动矢量保存到真实运动矢量场中。

8.如权利要求6所述的系统，其特征是，所述校正模块包括：

运动矢量校正候选集构建单元：对错误运动矢量构建错误运动矢量校正候选集；对不可靠运动矢量构建不可靠运动矢量校正候选集；

能量函数构建单元：利用错误运动矢量校正候选集和不可靠运动矢量校正候选集中候选运动矢量的空间关系，以及所述候选运动矢量对应的图像块的颜色和深度信息，构建能量函数；

校正处理单元：利用能量函数最小化，从错误运动矢量校正候选集和不可靠运动矢量校正候选集中选取最优候选运动矢量，用最优候选运动矢量替代错误运动矢量或者不可靠运动矢量，将最优优选运动矢量保存到真实运动矢量场中，完成校正处理。