CN102752602B - 视频序列的丢失帧恢复方法及装置 - Google Patents

Abstract

本发明提出一种视频序列的丢失帧恢复方法及装置，该方法包括以下步骤：在视频序列中抽取预定数量的多帧图像；根据多帧图像的每一帧图像得到包括像素值、像素位置和帧序号的数据集；根据数据集建立高斯Parzen窗函数，并根据高斯Parzen窗函数建立丢失帧的数据概率估计函数；对数据概率估计函数进行求解，以得到丢失帧的每个像素位置对应的像素值。根据本发明的实施例，利用视频的统计特性对丢失帧进行估计，只需要比较简单的计算，就能得到比较符合统计规律的丢失帧的重构结果，具有计算简单、效率高且丢失帧图像恢复质量高的优点。

Description

视频序列的丢失帧恢复方法及装置

技术领域

本发明涉及视频技术领域，特别涉及一种基于Parzen窗估计的视频序列的丢失帧恢复方法及装置。

背景技术

视频往往需要传输，比如浏览在线视频以及监控图像的传输。实际情况中，由于受传输条件，视频的传输有时候会伴随着帧的丢失，为了提高得到视频的质量，往往会寻求一些办法来利用未丢失的帧来对这些丢失帧进行恢复重建。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种计算简单、丢失帧恢复质量高的视频序列的丢失帧恢复方法。

本发明的另一目的在于提出一种视频序列的丢失帧恢复装置。

为了实现上述目的，本发明第一方面的实施例提出了一种视频序列的丢失帧恢复方法，包括以下步骤：在所述视频序列中抽取预定数量的多帧图像；根据多帧图像的每一帧图像得到包括像素值、像素位置和帧序号的数据集；根据所述数据集建立高斯Parzen窗函数，并根据所述高斯Parzen窗函数建立丢失帧的数据概率估计函数；对所述数据概率估计函数进行求解，以得到所述丢失帧的每个像素位置对应的像素值。

另外，根据本发明上述实施例的视频序列的丢失帧恢复方法还可以具有如下附加的技术特征：

在一些示例中，所述多帧图像为与所述丢失帧相邻的多帧图像。

在一些示例中，所述像素位置包括像素水平位置和像素垂直位置，且所述数据集为四维数据集。

在一些示例中，所述高斯Parzen窗函数为：

$k(d^{*},d_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^2}\exp \{-\frac{1}{2}{(d^{*}-d_i)}^T(d^{*}-d_i)\}.$

在一些示例中，所述丢失帧的数据概率估计函数为：

$P\left(d^{*}\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}k(d^{*},d_i).$

其中，P(d*)表示丢失帧t*的每个像素位置（x*，y*）上的每种像素值的组合d*的概率估计值。

在一些示例中，通过如下公式求取所述丢失帧的每个像素位置对应的像素值，其中，所述公式为：

$z^{*}=\underset{z}{\arg }\max P\left(d^{*}\right),$ 其中，z*求取的像素值。

本发明第二方面实施例提出了一种视频序列的丢失帧恢复装置，包括：抽取模块，用于在所述视频序列中抽取预定数量的多帧图像；数据集建立模块，用于根据多帧图像的每一帧图像得到包括像素值、像素位置和帧序号的数据集；函数建立模块，用于根据所述数据集建立高斯Parzen窗函数，并根据所述高斯Parzen窗函数建立丢失帧的数据概率估计函数；恢复模块，用于对所述数据概率估计函数进行求解，以得到所述丢失帧的每个像素位置对应的像素值。

另外，根据本发明上述实施例的视频序列的丢失帧恢复装置还可以具有如下附加的技术特征：

在一些示例中，所述多帧图像为与所述丢失帧相邻的多帧图像。

在一些示例中，所述像素位置包括像素水平位置和像素垂直位置，且所述数据集为四维数据集。

在一些示例中，所述高斯Parzen窗函数为：

$k(d^{*},d_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^2}\exp \{-\frac{1}{2}{(d^{*}-d_i)}^T(d^{*}-d_i)\}.$

在一些示例中，所述丢失帧的数据概率估计函数为：

$P\left(d^{*}\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}k(d^{*},d_i).$

其中，P(d*)表示丢失帧t*的每个像素位置（x*，y*）上的每种像素值的组合d*的概率估计值。

在一些示例中，通过如下公式求取所述丢失帧的每个像素位置对应的像素值，其中，所述公式为：

$z^{*}=\underset{z}{\arg }\max P\left(d^{*}\right),$ 其中，z*求取的像素值。

根据本发明实施例的视频序列的丢失帧恢复方法及装置，利用视频的统计特性对丢失帧进行估计，只需要比较简单的计算，就能得到比较符合统计规律的丢失帧的重构结果，具有计算简单、效率高且丢失帧图像恢复质量高的优点。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的视频序列的丢失帧恢复方法的流程图；以及

图2为本发明实施例的视频序列的丢失帧恢复装置的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图首先描述根据本发明实施例的视频序列的丢失帧恢复方法。

参考图1，根据本发明实施例的视频序列的丢失帧恢复方法，包括如下步骤：

步骤S101，在所述视频序列中抽取预定数量的多帧图像。在一些示例中，抽取的多帧图像为与丢失帧相邻的多帧图像，具体而言，考虑到在一个视频序列中，相隔较远的帧之间的关联性较低，且用于恢复的帧数过多，复杂度也较高，因此，本发明的优选实施例选择将与丢失帧相隔预定数量的帧以内的所有未丢失帧，例如，选择将与丢失帧相隔5帧以内的所有未丢失帧。

步骤S102，根据多帧图像的每一帧图像得到包括像素值、像素位置和帧序号的数据集。作为一个具体的示例，像素位置包括像素水平位置和像素垂直位置，且数据集为四维数据集。

具体地，将用于恢复丢失帧的未丢失帧，即上述的多帧图像的每一帧图像的数据处理为含像素值z、像素水平位置x、像素垂直位置y，帧序号t的四维数据集，四维数据集的数据量为N，其中每个四维数据表示为（z，x，y，t），即数据矢量d=（z，x，y，t），Data={d_i}，1≤i≤N，d_i为四维数据集Data中的第i个四维数据，例如d_i=（z_i，x_i，y_i，t），z_i表示在帧序号t的帧图像中像素水平位置x_i和像素垂直位置y_i表示位置的像素点的像素值。

步骤S103，根据数据集建立高斯Parzen窗函数，并根据所述高斯Parzen窗函数建立丢失帧的数据概率估计函数。具体地，如下：

建立高斯Parzen窗函数，高斯Parzen窗函数为：

$k(d,d_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^2}\exp \{-\frac{1}{2}{(d-d_i)}^T(d-d_i)\}.$

步骤S104，对数据概率估计函数进行求解，以得到所述丢失帧的每个像素位置对应的像素值。具体而言：

首先，计算对于丢失帧t*的每个像素位置（x*，y*）上的每种像素值的组合d*=（z，x*，y*，t*）的概率估计值，丢失帧的数据概率估计函数，即计算概率估计值的函数如下：

$P\left(d^{*}\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}k(d^{*},d_i),$

其中，P(d*)表示丢失帧t*的每个像素位置（x*，y*）上的每种像素值的组合d*的概率估计值。

接着，取使得P（d*）最大的z取值z*最为丢失帧t*的每个像素位置（x*，y*）上的像素估计值，即通过如下公式求取丢失帧的每个像素位置对应的像素值，其中，公式为：

$z^{*}=\underset{z}{\arg }\max P\left(d^{*}\right),$

其中，z*为求取的像素值。

最后，当对丢失帧的每个像素位置的像素值计算得到后，恢复得到丢失帧。

参考图2，本发明的进一步实施例提出了一种视频序列的丢失帧恢复装置200，包括抽取模块210、数据集建立模块220、函数建立模块230和恢复模块240。其中：

抽取模块210用于在所述视频序列中抽取预定数量的多帧图像。在一些示例中，抽取的多帧图像为与丢失帧相邻的多帧图像，具体而言，考虑到在一个视频序列中，相隔较远的帧之间的关联性较低，且用于恢复的帧数过多，复杂度也较高，因此，本发明的优选实施例选择将与丢失帧相隔预定数量的帧以内的所有未丢失帧，例如，选择将与丢失帧相隔5帧以内的所有未丢失帧。

数据集建立模块220用于根据多帧图像的每一帧图像得到包括像素值、像素位置和帧序号的数据集。作为一个具体的示例，像素位置包括像素水平位置和像素垂直位置，且数据集为四维数据集。

具体地，将用于恢复丢失帧的未丢失帧，即上述的多帧图像的每一帧图像的数据处理为含像素值z、像素水平位置x、像素垂直位置y，帧序号t的四维数据集，四维数据集的数据量为N，其中每个四维数据表示为（z，x，y，t），即数据矢量d=（z，x，y，t），Data={d_i}，1≤i≤N，d_i为四维数据集Data中的第i个四维数据，例如d_i=（z_i，x_i，y_i，t），z_i表示在帧序号t的帧图像中像素水平位置x_i和像素垂直位置y_i表示位置的像素点的像素值。

函数建立模块230用于根据所述数据集建立高斯Parzen窗函数，并根据所述高斯Parzen窗函数建立丢失帧的数据概率估计函数。具体地，如下：

建立高斯Parzen窗函数，高斯Parzen窗函数为：

$k(d,d_i)=\frac{1}{{\left(2\mathrm{\π}\right)}^2}\exp \{-\frac{1}{2}{(d-d_i)}^T(d-d_i)\}.$

恢复模块240用于对所述数据概率估计函数进行求解，以得到所述丢失帧的每个像素位置对应的像素值。具体而言：

首先，计算对于丢失帧t*的每个像素位置（x*，y*）上的每种像素值的组合d*=（z，x*，y*，t*）的概率估计值，丢失帧的数据概率估计函数，即计算概率估计值的函数如下：

$P\left(d^{*}\right)=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}k(d^{*},d_i),$

其中，P(d*)表示丢失帧t*的每个像素位置（x*，y*）上的每种像素值的组合d*的概率估计值。

接着，取使得P（d*）最大的z取值z*最为丢失帧t*的每个像素位置（x*，y*）上的像素估计值，即通过如下公式求取丢失帧的每个像素位置对应的像素值，其中，公式为：

$z^{*}=\underset{z}{\arg }\max P\left(d^{*}\right),$

其中，z*为求取的像素值。

最后，当对丢失帧的每个像素位置的像素值计算得到后，恢复得到丢失帧。

通常的丢失帧恢复涉及比较复杂的运动匹配，恢复效果也与运动匹配结果密切相关，而根据本发明实施例的视频序列的丢失帧恢复方法及装置对丢失帧进行恢复，具有如下优点：

利用视频的统计特性对丢失帧进行估计，只需要比较简单的计算，就能得到比较符合统计规律的丢失帧的重构结果，具有计算简单、效率高且丢失帧图像恢复质量高的优点。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (4)

1.一种视频序列的丢失帧恢复方法，其特征在于，包括以下步骤：

在所述视频序列中抽取预定数量的多帧图像，其中所述多帧图像为与所述丢失帧相邻的多帧图像；

根据多帧图像的每一帧图像得到包括像素值、像素位置和帧序号的数据集；

根据所述数据集建立高斯Parzen窗函数，并根据所述高斯Parzen窗函数建立丢失帧的数据概率估计函数；

对所述数据概率估计函数进行求解，以得到所述丢失帧的每个像素位置对应的像素值。

2.根据权利要求1所述的视频序列的丢失帧恢复方法，其特征在于，所述像素位置包括像素水平位置和像素垂直位置，且所述数据集为四维数据集。

3.一种视频序列的丢失帧恢复装置，其特征在于，包括：

抽取模块，用于在所述视频序列中抽取预定数量的多帧图像，其中，所述多帧图像为与所述丢失帧相邻的多帧图像；

数据集建立模块，用于根据多帧图像的每一帧图像得到包括像素值、像素位置和帧序号的数据集；

函数建立模块，用于根据所述数据集建立高斯Parzen窗函数，并根据所述高斯Parzen窗函数建立丢失帧的数据概率估计函数；

恢复模块，用于对所述数据概率估计函数进行求解，以得到所述丢失帧的每个像素位置对应的像素值。

4.根据权利要求3所述的视频序列的丢失帧恢复装置，其特征在于，所述像素位置包括像素水平位置和像素垂直位置，且所述数据集为四维数据集。