CN104021525A - 一种道路场景视频图像序列的背景修复方法 - Google Patents

Abstract

一种道路场景视频图像序列的背景修复方法，首先计算当前帧到邻近帧的光流图，然后基于高斯过程回归计算缺失光流图区域中的散点，用于光流预测的初始化；经过光流预测初始化，再使用三层BP神经网络实现逐列光流预测；然后进行图像修复，在图像修复阶段，利用光流初始化和光流预测将当前帧缺失区域内像素对应到邻近帧背景区域，利用高斯混合模型实现图像修复；本发明针对运动背景条件下的视频图像序列，基于光流信息实现当前帧缺失前景区域像素到邻近帧背景像素的对应，有效实现道路场景视频图像序列中缺失运动前景区域的图像修复，方法简单有效。

Description

一种道路场景视频图像序列的背景修复方法

技术领域

本发明属于图像处理、计算机视觉及模式识别技术领域，具体涉及一种道路场景视频图像序列的背景修复方法。

背景技术

基于视频图像序列的场景修复，在图像处理、计算机视觉及模式识别领域具有重要的应用，在一些实际应用，如全景图像生成问题，需要移除源图像中的前景物体，生成由单一背景图像拼接而成的场景图像；在基于图像渲染的场景模型建立问题中，需要将源图像中的前背景信息予以分离，分别进行建模。Wexler方法通过对视频临近帧可用部分图像块的时空采样来实现当前帧缺失区域的修补(参考Wexler的方法：Wexler Y,Shechtman E,Irani M.Space-timecompletion of video[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2007,29(2):463-476)。然而该方法主要适用于静态背景条件下的视频图像序列中前景去除与背景修复，而且实现复杂，将图像修复看作全局优化问题，提出新的算法来优化定义好的目标方程。Hsu方法在运动前景条件下生成背景视频帧的图像拼接(参考Hsu的方法:Hsu Y,Tsan YC.Mosaics ofvideo sequences with moving objects[J].Signal Processing:ImageCommunication,2004,19(1):81-98)。然而该方法需要估计全局运动信息，基于特征的方法获得八个投影参数，计算较为复杂。

发明内容

为了解决上述现有技术存在的问题，本发明的目的在于提供一种道路场景视频图像序列的背景修复方法，针对运动背景条件下的视频图像序列，基于光流信息实现当前帧缺失前景区域像素到邻近帧背景像素的对应，有效实现道路场景视频图像序列中缺失运动前景区域的图像修复，方法简单有效。

为了实现上述发明目的，本发明采取的技术方案是：

一种道路场景视频图像序列的背景修复方法，首先计算当前帧到邻近帧的光流图，然后基于高斯过程回归计算缺失光流图区域中的散点，用于光流预测的初始化；经过光流预测初始化，再使用三层BP神经网络实现逐列光流预测；然后进行图像修复，在图像修复阶段，利用光流初始化和光流预测将当前帧缺失区域内像素对应到邻近帧背景区域，利用高斯混合模型实现图像修复；具体包括如下步骤：

步骤1：初始化阶段，基于高斯过程回归计算缺失光流图区域中的散点，包括如下步骤：

1)数据训练，训练数据集从光流图背景区域以半径R采样，定义为：

$T=\left[\begin{array}{ccc}{x}_1,& ...,& x_N\\ y_1,& ...,& y_N\end{array}\right]---\left(1\right)$

其中：x₁,...,x_N指N个二维光流图坐标，即横坐标和纵坐标，y₁,...,y_N指N个二维光流图坐标对应的光流值；

基于训练数据集，N×N的协方差矩阵K中每个元素定义为[K]_ij＝K(x_i,x_j)，其中：

K(x_i,x_j)＝E[(f(x_i)-m(x_i))(f(x_j)-m(x_j))]＝E[f(x_i)f(x_j)]         (2)

其中：f(x)为x位置处的光流值，E代表期望，m(x)＝E(f(x))＝0；

基于光流值，观测向量被定义为y＝[y₁,...,y_N]^T，y视作零均值多变元高斯过程，y的协方差矩阵为：

K^*＝K+σ²I              (3)

其中：K为训练数据集的协方差矩阵，σ²为正态分布的方差，I为单位矩阵；

2)对于待预测散点x^*，其后验密度p(y^*|x^*,T)为单元正态分布，均值为方差为var(y^*)：

${\stackrel{\‾}{y}}^{*}=k\text{'}{\left(x^{*}\right)}^T{\left(k^{*}\right)}^{-1}y---\left(4\right)$

var(y^*)＝K^'(x^*,x^*)-k^'(x^*)^T(K^*)^-1k^'(x^*)                  (5)

其中：k^'(x^*)＝[K^'(x^*,x₁),...,K^'(x^*,x_n)]^T             (6)

其中：K^'()为高斯ARD核函数，k^'()为预测数据集的协方差矩阵，y为观测向量；

步骤2：使用三层BP神经网络实现逐列光流预测，其中的数据训练使用了Levenberg-Marquardt方法，训练数据包括两部分：

a、初始化阶段计算所得的缺失光流区域内的散点；

b、缺失光流图区域外同一列的背景光流；

步骤3：基于高斯混合模型的图像修复：经过了光流修补阶段即步骤1散点的计算和步骤2逐列光流预测，认为缺失前景的光流与背景的光流信息保持一致；对于缺失图像区域内的每一像素x，分别将其对应到临近的k帧，建立随机过程：

{s_i∶s_i＝I_B(x,i),1≤i≤k}              (5)

其中：I_B(x,i)为第i帧对应于x坐标处的颜色值；

x坐标处对应颜色值的历史信息由N个高斯分布加以描述，其中观测当前像素值的概率为：

$p\left(s_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,i}\mathrm{\η}(s_i,{\mathrm{\μ}}_{j,i},{\mathrm{\σ}}_{j,i}^2)---\left(6\right)$

其中：N为高斯分布的数目，ω_j,i为第i帧中第j个高斯分布的权重，η为对应的高斯概率密度函数，其均值为μ_j,i，方差为

每当新的一帧被添加，高斯混合模型都会被更新，当k个邻近帧被比较之后，具有最大权值和最小方差的高斯分布被选取，其均值作为x坐标处的颜色信息。

本发明和现有技术相比，具有如下优点：

1)本发明基于高斯过程回归计算缺失光流区域内的散点，作为光流预测的初始化，防止极值光流的生成。

2)本发明基于三层BP神经网络进行光流预测，数据训练使用了Levenberg-Marquardt方法，训练数据包括两部分：

a、初始化阶段计算所得的缺失光流区域内的散点；

b、缺失区域外的背景光流；

该光流预测方法使光流修复的效果更好。

3)本发明基于高斯混合模型进行图像修补，其中缺失区域内的每一像素，基于修复后的光流对应到邻近帧的背景像素；该图像修补的方法能更好地修复缺失图像区域的颜色信息。

附图说明

图1为光流修补的过程图。

图2为图像修复的结果(一)。

图3为图像修复的结果(二)。

图4为图像修复的结果(三)。

具体实施方式

以下结合附图及具体实施例对本发明作进一步的详细描述。

本发明一种道路场景视频图像序列的背景修复方法，该方法分为两部分，首先根据运动前景区域与背景区域光流的不一致性，实现光流修复；其次依据修复之后的光流，将缺失前景区域的像素对应到临近帧的背景像素，实现图像修复。

光流修补的过程如图1所示，以路沿线为分隔线，在道路区域和道路以外的区域分别实现光流修补。光流修补分为了初始化阶段和预测阶段。首先是光流修补的初始化阶段。为了防止光流预测过程中局部极值的出现，我们需要采用高斯过程回归的方法，对当前帧缺失前景区域内的光流散点进行初始化预测。

初始化预测过程中，训练数据集从背景区域以半径R采样，定义为：

$T=\left[\begin{array}{ccc}{x}_1,& ...,& x_N\\ y_1,& ...,& y_N\end{array}\right]---\left(1\right)$

其中：x₁,...,x_n指N个二维光流图坐标，即横坐标和纵坐标，指N个二维光流图坐标对应的光流值。

基于训练数据集，N×N的协方差矩阵K中每个元素定义为[K]_ij＝K(x_i,x_j)，其中：

K(x_i,x_j)＝E[(f(x_i)-m(x_i))(f(x_j)-m(x_j))]＝E[f(x_i)f(x_j)]    (2)

其中f(x)为x位置处的光流值，E代表期望，m(x)＝E(f(x))＝0；

观测向量被定义为y＝[y₁,...,y_N]^T，可被视作零均值多变元高斯过程。观测向量的协方差矩阵为：

K^*＝K+σ²I                  (3)

其中：K为训练数据集的协方差矩阵，σ²为正态分布的方差，I为单位矩阵。

对于待预测点x^*，其后验密度p(y^*|x^*,T)为单元正态分布，均值为方差为var(y^*)：

${\stackrel{\‾}{y}}^{*}=k\text{'}{\left(x^{*}\right)}^T{\left(k^{*}\right)}^{-1}y---\left(4\right)$

var(y^*)＝K^'(x^*,x^*)-k^'(x^*)^T(K^*)^-1k^'(x^*)               (5)

其中：k^'(x^*)＝[K^'(x^*,x₁),...,K^'(x^*,x_n)]^T               (6)

其中：K^'()为高斯ARD核函数，k^'()为预测数据集的协方差矩阵，y为观测向量；

经过了光流预测的初始化阶段，可使用三层BP神经网络实现逐列光流预测。其中光流的训练使用了Levenberg-Marquardt方法，训练数据包括两部分：

a、初始化阶段计算所得的缺失光流区域内的散点；

b、缺失光流区域外的背景光流。

以上是我们提出的光流修复算法。经过了光流修复阶段，可认为缺失前景区域内的光流与其临近的背景光流保持一致性。接下来我们使用高斯混合模型，实现当前帧缺失前景区域的图像修复。

对于缺失图像区域内的每一像素x，分别将其对应到临近的k帧，建立随机过程：

{s_i∶s_i＝I_B(x,i),1≤i≤k}            (5)

其中：I_B(x,i)为第i帧对应于x坐标处的颜色值。x坐标处对应颜色值的历史信息可由N个高斯分布加以描述，其中观测当前像素值的概率为：

$p\left(s_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,i}\mathrm{\η}(s_i,{\mathrm{\μ}}_{j,i},{\mathrm{\σ}}_{j,i}^2)---\left(6\right)$

其中：N为高斯分布的数目，ω_j,i为第i帧中第j个高斯分布的权重。η为对应的高斯概率密度函数，其均值为μ_j,i，方差为

每当新的一帧被添加，高斯混合模型都会被更新，高斯分布的权值变化如下(α为学习率)：

ω_j,i＝(1-α)ω_j,i-1+αξ_j,i             (7)

其中对于满足当前像素的高斯分布，其ξ_j,i＝1，均值和方差更新如下：

μ_j,i=(1-α)·μ_j,i-1+α·s_i            (8)

${\mathrm{\σ}}_{j,i}^2=\min ({\mathrm{\σ}}_{\min }^2,(1-\mathrm{\α})\·{\mathrm{\σ}}_{j,i-1}^2+\mathrm{\α}\·(s_i-{\mathrm{\μ}}_{j,i-1})---\left(9\right)$

对于不满足当前像素的N-1个分布，其ξ_j,i＝0，均值和方差保持不变。

如果对于当前像素值，已有的N个高斯分布都不满足其要求，那么建立一个新的高斯分布，以当前像素值作为其均值，初始较大的方差作为其方差。

当k个邻近帧被比较之后，具有最大权值和最小方差的高斯分布被选取，其均值作为x坐标处的颜色信息。图2、图3、图4显示了一些的图像修复结果。

Claims (1)

1.一种道路场景视频图像序列的背景修复方法，其特征在于：首先计算当前帧到邻近帧的光流图，然后基于高斯过程回归计算缺失光流图区域中的散点，用于光流预测的初始化；经过光流预测初始化，再使用三层BP神经网络实现逐列光流预测；然后进行图像修复，在图像修复阶段，利用光流初始化和光流预测将当前帧缺失区域内像素对应到邻近帧背景区域，利用高斯混合模型实现图像修复；具体包括如下步骤：

步骤1：初始化阶段，基于高斯过程回归计算缺失光流图区域中的散点，包括如下步骤：

1)数据训练，训练数据集从光流图背景区域以半径R采样，定义为：

$T=\left[\begin{array}{ccc}{x}_1,& ...,& x_N\\ y_1,& ...,& y_N\end{array}\right]---\left(1\right)$

其中：x₁,...,x_N指N个二维光流图坐标，即横坐标和纵坐标，y₁,...,y_N指N个二维光流图坐标对应的光流值；

基于训练数据集，N×N的协方差矩阵K中每个元素定义为[K]_ij＝K(x_i,x_j)，其中：

K(x_i,x_j)＝E[(f(x_i)-m(x_i))(f(x_j)-m(x_j))]＝E[f(x_i)f(x_j)]       (2)

其中：f(x)为x位置处的光流值，E代表期望，m(x)＝E(f(x))＝0；

基于光流值，观测向量被定义为y＝[y₁,...,y_N]^T，y视作零均值多变元高斯过程，y的协方差矩阵为：

K^*＝K+σ²I                 (3)

其中：K为训练数据集的协方差矩阵，σ²为正态分布的方差，I为单位矩阵；

2)对于待预测散点x^*，其后验密度p(y^*|x^*,T)为单元正态分布，均值为方差为var(y^*)：

${\stackrel{\‾}{y}}^{*}=k\text{'}{\left(x^{*}\right)}^T{\left(k^{*}\right)}^{-1}y---\left(4\right)$

var(y^*)＝K^'(x^*,x^*)-k^'(x^*)^T(K^*)^-1k^'(x^*)          (5)

其中：k^'(x^*)＝[K^'(x^*,x₁),...,K^'(x^*,x_n)]^T          (6)

其中：K^'()为高斯ARD核函数，k^'()为预测数据集的协方差矩阵，y为观测向量；

步骤2：使用三层BP神经网络实现逐列光流预测，其中的数据训练使用了Levenberg-Marquardt方法，训练数据包括两部分：

a、初始化阶段计算所得的缺失光流区域内的散点；

b、缺失光流图区域外同一列的背景光流；

步骤3：基于高斯混合模型的图像修复：经过了光流修补阶段即步骤1散点的计算和步骤2逐列光流预测，认为缺失前景的光流与背景的光流信息保持一致；对于缺失图像区域内的每一像素x，分别将其对应到临近的k帧，建立随机过程：

{s_i∶s_i＝I_B(x,i),1≤i≤k}          (5)

其中：I_B(x,i)为第i帧对应于x坐标处的颜色值；

x坐标处对应颜色值的历史信息由N个高斯分布加以描述，其中观测当前像素值的概率为：

$p\left(s_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,i}\mathrm{\η}(s_i,{\mathrm{\μ}}_{j,i},{\mathrm{\σ}}_{j,i}^2)---\left(6\right)$

其中：N为高斯分布的数目，ω_j,i为第i帧中第j个高斯分布的权重，η为对应的高斯概率密度函数，其均值为μ_j,i，方差为

每当新的一帧被添加，高斯混合模型都会被更新，当k个邻近帧被比较之后，具有最大权值和最小方差的高斯分布被选取，其均值作为x坐标处的颜色信息。