CN101883287B

CN101883287B - 一种多视点视频编码边信息融合的方法

Info

Publication number: CN101883287B
Application number: CN 201010226512
Authority: CN
Inventors: 王好谦; 郭城; 刘晓冬
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2010-07-14
Filing date: 2010-07-14
Publication date: 2012-06-20
Anticipated expiration: 2030-07-14
Also published as: CN101883287A

Abstract

本发明提供一种多视点视频编码边信息融合的方法，包括如下步骤：参考帧步骤：在一时刻点，标准视点获取目标帧，并同时分别在所述标准视点附近的第一参考视点和第二参考视点获取第一参考帧和第二参考帧；所述标准视点在该时刻点前获取前参考帧，在该时刻点之后获取后参考帧；运动估计步骤：采用运动估计的方式，分别估计出前估计帧和后估计帧，并获得所述前估计帧和后估计帧的加权值为时间估计帧；视差估计步骤：采用视差补偿的方式，分别估计第一估计帧和第二估计帧，并获得所述第一估计帧和第二估计帧的加权值为空间估计帧；边信息估计步骤：构建隶属度函数，并获得所述时间估计帧和空间估计帧的该隶属度函数值，由此获得边信息。

Description

一种多视点视频编码边信息融合的方法

技术领域

本发明涉及一种多视点视频编码边信息融合的方法。

背景技术

近年来，传统的视频编码技术在诸如无线传感器网络等应用时遇到瓶颈，如何减轻编码端的运算负担成为重要的课题。针对这一问题，学者所提出的分布式视频编码技术可以将运算负担由编码端转移至解码端。同时，多视点视频可从多个不同的视角对场景进行观测，能够获取更为丰富的信息，使得多视点视频编码被大量应用于教育、娱乐、生产等诸多领域。

在分布式视频编码中，边信息的质量是关乎系统性能的重要因素，同样，在分布式多视点视频编码的研究中，如何得到高质量的边信息亦是关键所在。多视点带来了视点间的相关性，有学者们开始在如何利用时间，视点间的联合相关性以期得到质量更好的边信息的方向上进行了一些有意义的探索与尝试，并取得了可观的成果。但现有的相关技术多具有因主观性过强而导致普适性较差的缺陷，导致作者在论文中所进行的实验难以得到复现，而当测试视频序列有变化时，解码性能的波动是较明显的。本项发明就是致力于减少这种主观性的影响，使得所提出的边信息生成技术更具有普遍适用的特性。

在现有的相关技术中，通过制定相应的评价准则以实现对时间与视点间边信息的融合。这其中，目标物体的运动显著与否是重要的评价因素。在已有的技术中，多通过设定阈值以进行评价判决，而阈值的合理设定并非易事。

发明内容

本发明所要解决的技术问题是提出一种杜绝了阈值设定等所带入的主观因素的影响的多视点视频编码边信息融合的方法。

具体如何设定阈值，没有明确的量化标准来界定，即没有量化标准来界定何为显著。因而基于控制论中的模糊控制技术，本发明提出了一种基于模糊控制的边信息融合技术，不需要设定阈值来获取边信息。

具体来说，本发明提供一种多视点视频编码边信息融合的方法，包括如下步骤：

参考帧步骤：在一时刻点，标准视点获取目标帧，并同时分别在所述标准视点附近的第一参考视点和第二参考视点获取第一参考帧和第二参考帧；所述标准视点在该时刻点前获取前参考帧，在该时刻点之后获取后参考帧；

运动估计步骤：采用运动估计的方式，分别由所述前参考帧估计出标准视点在该时刻点的前估计帧，由所述后参考帧估计出标准视点在该时刻点的后估计帧，并获得所述前估计帧和后估计帧的加权值为时间估计帧；

视差估计步骤：采用视差补偿的方式，分别由第一参考帧估计出该目标帧在所述第一参考视点的第一估计帧，由第二参考帧估计出该目标帧在所述第二参考视点的第二估计帧，并获得所述第一估计帧和第二估计帧的加权值为空间估计帧；

边信息估计步骤：构建隶属度函数，并获得所述时间估计帧和空间估计帧的该隶属度函数值，由此获得边信息。

上述技术方案基于模糊控制理论，构造一个隶属度函数，以期能够更加充分地利用视点内、视点间的联合相关性。本方法阵对环形摄像机阵列，给定需解码的当前帧作为目标帧，分别确定其视点内与视点间的参考帧。利用运动估计得到视点内时间上预测结果，并通过视差补偿得到视点间的预测结果。由所构造的隶属度函数得到相应的权值，对所得到的两种预测结果进行融合，得到解码所需的边信息。

不同于传统的阈值判别进行信息融合，在降低了阈值设定所带入的主观因素的影响。在上述技术方案中，不仅进行融合时的权值是跟随视频内容的特点自适应调节的，且隶属度函数也能够进行自适应的调整，这就提高了本方法的普遍适用性。同时，在实践过程中，可以对隶属度函数的形式加以后期改进，具有较大的发展空间。且该技术方案方法计算简单，易于物理实现。

优选的，所述运动估计步骤包括：

分别估计出前参考帧对目标帧的前运动向量，和后参考帧对目标帧的后运动向量；

由所述前运动向量和后运动向量分别获得所述前估计帧和前后估计帧。

进一步的，所述运动估计步骤中，设所述前运动向量为v_f，所述后运动向量为v_b，所述前估计帧为

所述后估计帧为

所述时间估计帧为

则：

{\hat{I}}_{T} = \frac{| | v_{f} | |}{| | v_{f} | | + | | v_{b} | |} {\hat{I}}_{m}^{b} + \frac{| | v_{b} | |}{| | v_{f} | | + | | v_{b} | |} {\hat{I}}_{m}^{f} .

优选的，所述视差估计步骤包括：

分别估计出第一参考帧对目标帧的第一运动向量，和第二参考帧对目标帧的第二运动向量；

由所述前第一运动向量和第二运动向量分别获得所述第一估计帧和第二后估计帧。

进一步的，所述视差估计步骤中，设所述第一运动向量v_l，所述第二运动向量为v_r，所述第一估计帧为所述第二估计帧为所述空间估计帧为

则：

{\hat{I}}_{V} = \frac{| | v_{l} | |}{| | v_{l} | | + | | v_{r} | |} {\hat{I}}_{r}^{t} + \frac{| | v_{r} | |}{| | v_{l} | | + | | v_{r} | |} {\hat{I}}_{l}^{t} .

优选的，所述边信息估计步骤包括如下步骤：

构建隶属度函数f(x)＝1-e^-(t+1)x，x≥0，

分别定义以及f_T(x)＝1-f_V(x)；

则边信息为：

I_{m}^{t} = f_{T} (x) {\hat{I}}_{T} + f_{V} (x) {\hat{I}}_{V} .

优选的，所述第一参考视点设置在标准视点左边，所述第二参考视点设置在标准视点右边。

与现有技术相比，本发明的技术方案的优点在于，不仅避免了阈值设定所带入的主观因素的影响，还在进行融合时的权值是跟随视频内容的特点自适应调节的，而且，隶属度函数也能够进行自适应的调整，这样该技术方案更加具有良好的普遍适用性。

附图说明

图1是本发明的方法一种实施例中获取相应的图像帧的硬件设置结构示意图；

图2是本发明的方法一种实施方式的结构示意图。

具体实施方式

下面结合附图，对本发明的较优的实施例作进一步的详细说明：

如图1所示，为一环形摄像机阵列。

其中，摄像机M为标准视点，摄像机L为第一参考视点，摄像机R为第二参考视点，分别对观测场景获取图像帧。

如图2所示，一种多视点视频编码边信息融合的方法包括如下步骤：

1)在分布式多视点视频编码中，对摄像机M所给定需要解码的当前帧

作为目标帧，确定该帧在视点内时间顺序上的前后两个参考帧

以及左右相邻摄像机L、R的视点在同一时刻的两个参考帧

在其他的实施例的实时系统中，

也可设定一个虚拟后向参考帧，令其与前向参考帧相等，本方法同样适用；

2)通过运动估计技术分别得到视点内参考帧对目标帧的前后运动向量v_f、v_b。可将视频帧分为若干像素块，从参考帧的某个位置的等大小的块对目标帧的当前块进行预测，预测的过程中只有平移，平移的大小被称为运动向量；

3)根据所得的运动向量可以分别计算得到时间预测结果

4)采用视差补偿技术分别得到视点间参考帧对目标帧的左右方向两个运动向量v_l、v_r。视差补偿技术在原理上类似于运动补偿技术，将时间顺序上的参考帧用摄像机之间的参考帧代替，对目标帧进行预测，以获取运动向量；

5)根据所得的运动向量可以分别计算得到视点间预测结果

6)计算四个运动向量的模||v_f||、||v_b||、||v_l||，||v_r||；

7)通过

{\hat{I}}_{T} = \frac{| | v_{f} | |}{| | v_{f} | | + | | v_{b} | |} {\hat{I}}_{m}^{b} + \frac{| | v_{b} | |}{| | v_{f} | | + | | v_{b} | |} {\hat{I}}_{m}^{f}

得到时间预测结果

8)计算

{\hat{I}}_{V} = \frac{| | v_{l} | |}{| | v_{l} | | + | | v_{r} | |} {\hat{I}}_{r}^{t} + \frac{| | v_{r} | |}{| | v_{l} | | + | | v_{r} | |} {\hat{I}}_{l}^{t}

得到视点间预测结果

9)构造隶属度函数

f(x)＝1-e^-(t+1)x，x≥0，

该隶属度函数具有以下特点：

①单调递增性；

②由于视点内时间相关性在多数情况下是强于视点间关联性的，所以即使有x＝1时，函数值不应为1，以保证视点内时间相关性的可利用性；

③由于t为一变量，所构造的函数具有自适应调节能力，可根据视频内容进行调节。上述三点也是在构造合适隶属度函数是所必须考虑的因素。

10)定义：

f_{V} (x) = f (\frac{\min {| | | v_{f} |, | | v_{b} | |}}{\min {| | v_{f} | |, | | v_{b} | |} + \min {| | v_{l} | |, | | v_{r} | |}}),

f_T(x)＝1-f_V(x)；

通过所构造的模糊变量与隶属度函数分别得到进行融合时视点间边信息与视点内边信息所占有的权重，利用这种方式得到的权值可根据视频内容进行自适应调整，消除了阈值设定等环节所带来的主观因素影响。

11)解码所需的边信息为：

I_{m}^{t} = f_{T} (x) {\hat{I}}_{T} + f_{V} (x) {\hat{I}}_{V} .

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种多视点视频编码边信息融合的方法，其特征在于，包括如下步骤：

运动估计步骤：采用运动估计的方式，分别由所述前参考帧估计出标准视点在该时刻点的前估计帧，由所述后参考帧估计出标准视点在该时刻点的后估计帧，并获得所述前估计帧和后估计帧的加权值为时间估计帧；具体包括：分别估计出前参考帧对目标帧的前运动向量，和后参考帧对目标帧的后运动向量；由所述前运动向量和后运动向量分别获得所述前估计帧和后估计帧；设所述前运动向量为v_f，所述后运动向量为v_b，所述前估计帧为

所述后估计帧为

所述时间估计帧为

则

{\hat{I}}_{T} = \frac{| | v_{f} | |}{| | v_{f} | | + | | v_{b} | |} {\hat{I}}_{m}^{b} + \frac{| | v_{b} | |}{| | v_{f} | | + | | v_{b} | |} {\hat{I}}_{m}^{f};

视差估计步骤：采用视差补偿的方式，分别由第一参考帧估计出该目标帧在所述第一参考视点的第一估计帧，由第二参考帧估计出该目标帧在所述第二参考视点的第二估计帧，并获得所述第一估计帧和第二估计帧的加权值为空间估计帧；具体包括：分别估计出第一参考帧对目标帧的第一运动向量，和第二参考帧对目标帧的第二运动向量；由所述第一运动向量和第二运动向量分别获得所述第一估计帧和第二估计帧；设所述第一运动向量v_l，所述第二运动向量为v_r，所述第一估计帧为

所述第二估计帧为所述空间估计帧为

则：

{\hat{I}}_{V} = \frac{| | v_{l} | |}{| | v_{l} | | + | | v_{r} | |} {\hat{I}}_{r}^{t} + \frac{| | v_{r} | |}{| | v_{l} | | + | | v_{r} | |} {\hat{I}}_{l}^{t};

边信息估计步骤：构建隶属度函数，并获得所述时间估计帧和空间估计帧的该隶属度函数值，由此获得边信息；构建隶属度函数f(x)＝1-e^-(t+1)x，

分别定义

f_{V} (x) = f (\frac{\min {| | v_{f} | |, | | v_{b} | |}}{\min {| | v_{f} | |, | | v_{b} | |} + \min {| | v_{l} | |, | | v_{r} | |}}),

以及f_T(x)＝1-f_V(x)；则边信息为：

I_{m}^{t} = f_{T} (x) {\hat{I}}_{T} + f_{V} (x) {\hat{I}}_{V} .

2.如权利要求1所述的多视点视频编码边信息融合的方法，其特征在于，所述第一参考视点设置在标准视点左边，所述第二参考视点设置在标准视点右边。