CN101895753B - 基于网络拥塞程度的视频传输方法、系统及装置 - Google Patents

Abstract

本发明提出一种基于网络拥塞程度的自由视点视频或多视点视频传输方法，包括以下步骤：服务器接收原始或经编解码后的自由视点视频或多视点视频信号；所述服务器根据客户端反馈确定网络拥塞程度；所述服务器根据所述网络拥塞程度确定上述自由试点视频或多视点视频信号编码的量化参数QP；和所述服务器根据确定的所述QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向所述客户端发送。本发明能够根据网络拥塞程度对QP进行调整，从而使得客户端所得到的图像质量具有较高水平。

Description

基于网络拥塞程度的视频传输方法、系统及装置

技术领域

本发明涉及图像技术领域，特别涉及一种基于网络拥塞程度的自由视点视频或多视点视频传输方法、系统及装置。

背景技术

自由视点视频是一种全新的视频形式，是继平面数字电视、立体数字电视之后，能提供丰富的人机交互、灵活地以平面和立体的形式进行显示的视频形式。随着移动多媒体时代的到来，越来越多的人利用手机、个人数字助理(PDA)和笔记本电脑等终端设备接入通信网络，并借助终端移动性和网络覆盖性，享受无处不在的视听娱乐。具有灵活交互手段的自由视点视频与无所不在的通信网络之间相结合，将为未来3G移动通信、IPv6拓展新的、更具吸引力的业务平台。

当前各国主流研究机构、大学都对基于各种技术条件下的自由视点视频展开了研究，许多公司都对这一前沿领域进行了实用化、产品化的探索。但是，这些方案主要是针对自由视点视频业务的数据量大的特点，采用一些诸如H.264视频压缩标准、JMVM多视点视频压缩平台等措施来对自由视点视频数据进行压缩。这些方法都默认网络在任何时候都有充足的能力来处理自由视点视频流。这显然是不够合理的。众所周知，基于移动互联网络的多媒体系统存在异构性因素，即节目源在压缩方式、时间和空间分辨率以及信息速率方面都存在不同，不同终端之间的处理能力也存在明显差异。所以，将视频编解码和网络协议简单组合的方法是很难对各种终端奏效的，尤其是在网络可用资源的限制将对视频服务的质量造成重大影响的情况下。

因此，如何在网络资源有限的情况下进一步提高客户端重构的图像质量成为了亟待解决的问题。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，提出了一种用于基于网络拥塞程度的自由视点视频或多视点视频传输方法、系统及装置。

为达到上述目的，本发明一方面提出一种基于网络拥塞程度的自由视点视频或多视点视频传输方法，包括以下步骤：服务器接收原始或经编解码后的自由视点视频或多视点视频信号；所述服务器根据客户端反馈确定网络拥塞程度；所述服务器根据所述网络拥塞程度确定所述自由试点视频或多视点视频信号编码的量化参数QP，其中，网络拥塞程度越严重，QP越大；和所述服务器根据确定的所述QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向所述客户端发送。

本发明另一方面还提出了一种基于网络拥塞程度的自由视点视频或多视点视频传输系统，包括服务器和客户端，所述服务器，用于接收原始或经编解码后的自由视点视频或多视点视频信号，并根据客户端反馈确定网络拥塞程度，以及根据所述网络拥塞程度确定所述自由试点视频或多视点视频信号编码的量化参数QP，和根据确定的所述QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向所述客户端发送；所述客户端，用于接收所述服务器发送的码流，并根据用户选择的虚拟视点，利用视频及对应视差进行虚拟视点的绘制，并将绘制结果显示给用户。

本发明另一方面还提出了一种服务器，包括编码器、用户与网络状况反馈模块和QP调整模块，所述编码器，用于接收原始或经编解码后的自由视点视频或多视点视频信号，并根据量化参数QP对所述自由视点视频或多视点视频信号进行编码压缩，并向客户端发送；所述用户与网络状况反馈模块，用于接收用户的反馈，以及网络拥塞程度的反馈；所述QP调整模块，用于根据客户端反馈确定网络拥塞程度，并根据所述网络拥塞程度调整QP。

本发明再一方面还提出了一种客户端，包括权重判定模块、解码与差错隐藏模块和视点选择与虚拟视点绘制模块，所述权重判定模块，用于判断接收到的帧码流是否应该被舍弃以及是否为不能解码的差错帧；所述解码与差错隐藏模块，用于当接收到的帧为差错帧时，则将其同时刻所有视点的视频帧，视差帧所对应的码率全部舍弃，并将前一时刻的对应视点的视频帧和视差帧拷贝至当前时刻，并且重复拷贝动作，直至当前时刻的帧能正确解码重建，或者当前时刻帧的权重大于前一时刻帧的权重；所述视点选择与虚拟视点绘制模块，用于根据解码结果和用户选择的视点绘制虚拟视点。

本发明能够根据网络拥塞程度对QP进行调整，从而使得客户端所得到的图像质量具有较高水平。在本发明的优选实施例中，可根据视觉质量和网络拥塞程度同时对QP进行优化，从而能进一步保证客户端得到的图像的质量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的由视点传输系统的框架图；

图2为本发明实施例一的自由视点视频或多视点视频传输方法流程图；

图3为本发明实施例二的自由视点视频或多视点视频传输方法流程图；

图4为本发明实施例的服务器的结构图；

图5为本发明实施例的客户端的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

目前，基于网络的自由视点视频或多视点视频系统，其客户端所观看到的视频图像质量主要由真实视点图像重建质量、深度/视差图图像重建质量、虚拟视点绘制算法等因素决定。具体包括：

(a)真实视点图像在客户端的重建质量主要由编码端进行视频压缩时所采用的量化参数(QP)所决定，QP值越大，重建质量越低；反之，越高。

(b)真实视点图像在客户端的重建质量也受到差错控制算法的影响。

(c)深度/视差图的图像重建质量与真实视点图像的情况相同。

(d)虚拟视点的图像质量同时受到真实视点图像重建质量、深度/视差图的重建质量、虚拟视点绘制算法的影响。真实视点图像与深度/视差图的重建质量越高，所采用的虚拟视点绘制算法约好，则虚拟视点图像的视觉质量越高。

本发明的目的在于改善以往自由视点视频或多视点视频系统在设计中没有考虑图像视觉质量的因素，从而提出了一种自由视点传输方法和系统，该方法和系统能够具有以下多项功能：

1、能够利用图像视觉质量评价方法进行多视点视频与视差进行QP优化编码；

2、能够设置权重等级进行网络拥塞程度自适应传输；

3、能够通过判断网络与码流权重进行客户端差错控制。

通过上述几项功能，本发明能够确保客户端所得到的图像质量具有较高的水平。并且该发明所针对的是客户端设备类型与计算能力多样化、网络带宽具有波动、客户端对图像视觉质量具有较高要求的环境。但是需要说明的是，上述3项功能既可以同时采用，也可以分开采用，例如仅根据图像视觉质量对QP进行优化，或者仅根据网络拥塞程度对QP进行调整，等等，这些均应包含在本发明的保护范围之内。

如图1所示，为本发明实施例的由视点传输系统的框架图。服务器101采用多层次B帧的多视点视频编码方案对所有视频信号、视差图序列进行压缩，并将所有视频码流、视差码流向客户端102进行传输。客户端102在接收到服务器101发来的码流后进行解码，并显示当前客户所选视点的图像。当客户选择到虚拟视点时，则利用视频与对应视差进行虚拟视点绘制，并将绘制结果向客户显示。在本发明实施例中，上述视差所表示的是具有相同语义的同一个像素点在两个视点图像间水平坐标的差异，一个视点图像中所有像素的视差构成该视点的视差图；上述虚拟视点为介于两个相机视点之间的任意一个视点，且该视点上不具有相机对场景进行拍摄。在本发明的一个实施例中，服务器101根据网络拥塞程度优化视频编码与视差编码的方案。在本发明的优选实施例中，服务器101还需要参考图像视觉质量，同时根据网络拥塞的程度和图像视觉质量对QP进行优化。客户端102在接收到通过网络传输的码流之后，采用识别策略对其进行判断，然后根据判断的结果进行图像重构。

实施例一，

如图2所示，为本发明实施例一的自由视点视频或多视点视频传输方法流程图，该实施例主要根据图像的视觉质量S对QP进行优化。该方法包括以下步骤：

步骤S201，服务器获得自由视点视频或多视点视频信号，其中，包括视频信号和视差图序列等。

步骤S202，服务器根据客户端反馈确定网络拥塞程度。

步骤S203，根据网络拥塞程度对QP进行调整，其中，如果网络拥塞程度越高，则选择的QP值越大，反之如果网络拥塞程度越低，则选择的QP值越小。

步骤S204，根据选择的QP值对自由视点视频或多视点视频信号进行压缩编码，并将视频码流和视差码流发送给客户端。在本发明实施例中，不仅适用于在线编码，还适用于离线编码，具体包括：

1、针对在线编码，其特点为视频压缩编码的参数根据网络拥塞、客户端图像质量需求反馈的情况动态地调整，对视频与视差信号实时压缩并发送至客户端。

2、针对离线编码，其特点在于服务器采用各种编码参数对视频与视差信号提前进行压缩，将码流存放在服务器以根据网络与客户端的不同反馈，及时提取码流并发送至客户端。

其中，在在线编码和离线编码中，如何选择QP将在以下的实施例中进行详细描述，在此不再赘述。

实施例二，

该实施例为本发明的优选实施例，不仅根据网络拥塞程度对QP进行优化，还需要根据图像视觉质量对QP进行自适应调整。如图3所示，为本发明实施例二的自由视点视频或多视点视频传输方法流程图，该实施例具体包括以下步骤：

步骤S301，服务器获得自由视点视频或多视点视频信号，其中，包括视频信号和视差图序列等。

步骤S302，服务器计算虚拟视点的图像质量S，并确定网络拥塞程度。

其中，服务器计算虚拟视点的图像质量S具体包括：

在本发明的一个实施例中，可根据基于Contourlet的虚拟视点图像质量评价方法计算虚拟视点图像质量S。具体实施步骤如下：

(3a1)、对所得到的虚拟视点图像按块大小为N×N进行分块，由此得到图像中每行、每列各有I、J个块。取N＝2ⁿ，其中n≥6。

(3a2)、对虚拟视点图像中的每一个块B^V _ij(0≤i≤I，0≤j≤J)，利用基于MSE最小准则的块匹配方法，分别在其左右视点图像中按水平方向找到对应的最佳匹配块B^L _ij和B^R _ij，其中B^L _ij在左视点图像中，B^R _ij在右视点图像中。

(3a3)、对所得到的块B^V _ij和获得的最佳匹配块进行Contourle小波分解，以得到U个高频子带块B_u，ij ^X(u＝1，2，...，U)和一个低频块C_ij ^X，此处X∈{V，R，L}，集合中的元素分别代表着虚拟视点、右视点、左视点图像。

(3a4)、对分解得到的每一个高频子带块B_u，ij ^X进一步采用u-层方向滤波器组分解，得到2^u个子带块C_u，o，ij ^X(o＝1，2，...，2^u)。

(3a5)、计算每一个子带块C_u，o，ij ^X的方差σ_u，o，ij ^X。

(3a6)、在σ_u，o，ij ^X的基础上进一步得到整幅图像的σ_u，o ^X＝∑_i，j(σ_u，o，ij ^X)。

(3a7)、计算得到虚拟视点图像与左、右视点图像在同层分解序数之间的误差参数δ_u，o＝min{|σ_u，o ^V-σ_u，o ^R|，|σ_u，o ^V-σ_u，o ^L|}。

(3a8)、对每一层的误差参数进行加权整合Δ＝∑_u，o2^-uδ_u，o。

(3a9)、计算虚拟视点图像的视觉质量

其中C₀为常实数调节因子，范围是C₀∈[1，10]，建议范围是C₀∈[6，8]；S为实数，代表主观视觉质量分值，值域为(0，1]。S分值越高，视觉质量越好。

步骤S303，服务器根据虚拟视点的图像质量S和网络拥塞的程度对QP进行调整。如QP可选范围为[a，b]，则QP可采用与S相关的线性或非线性等的一一映射关系进行调整，其基本原则在于S值越高，QP值越低，但无论其采用何种方法，都属于本专利的保护范围。

具体包括：

(3b)针对实时系统，其特点为视频压缩编码的参数根据网络拥塞、客户端图像质量需求反馈的情况动态地调整，对视频与视差信号实时压缩并发送至客户端。具体包括：

(3b1)该优化策略体现在视频编码与视差编码过程中所采用的编码量化参数QP是根据网络带宽和虚拟视点的图像质量S共同约束而进行的，QP值越大压缩效率越高，解码端图像的重建质量越低；反之压缩效率越低，重建质量越高。QP取值范围根据系统所采用的编码标准有所不同。

(3b2)视差编码所采用的QP小于等于同视点视频编码所采用的QP，即QP_vi≥QP_di(vi为第i个视点，di为第i个视点的视差图)。

(3b3)视频编码所采用的QP_vi根据虚拟视点的图像质量S的评价结果，为保证客户端视频的重建质量，其取值范围为[0，QP_upper-bound]。

(3b4)假设某一视频编解码平台的QP允许范围为[a，b]之间的整数(a，b≥0)，其中越小的QP值代表压缩效率越低。令QP＝a时的S＝1，QP＝b时的S＝0，[S_bound，1]为用户自定义的虚拟视点质量范围，则QP_upper-bound＝b*(1-S_bound)。

(3b5)视点视频编码所采用的QP_vi除了满足(3b4)的限制外，为适应网络带宽的波动，视频编码所采用的QP_vi根据当前的带宽状况实时进行细微调整，调整量定义为QP_vi ^*，值域范围为[0，b-QP_upper-bound]。带宽越小，QP_vi ^*越大；反之，QP_vi ^*越小。

(3b6)QP_vi ^*的确定方法为编码平台采用QP_vi+QP_vi ^*进行编码之后所输出的码率rate_(out)小于网络带宽rate_(band)。

(3b7)ΔQP_i＝QP_vi-QP_di根据网络带宽条件进行自适应调整，网络带宽越低、拥塞情况越严重，ΔQP_i值越大。客户端要求虚拟视点图像绘制的视觉质量越高，ΔQP_i值越小；反之，ΔQP_i值越大。

(3b8)为保证客户端虚拟视点图像的绘制视觉质量，ΔQP_i具有取值范围[0，ΔQP_upper-bound]。

(3b9)视差图编码所采用的QP_di根据ΔQP_i＝QP_vi-QP_di以及[0，QP_upper-bound]和[0，ΔQP_up-bound]共同确定，由此得到QP_di的范围为[QP_di ^lower-bound，QP_di ^upper-bound]，并令QP_di＝QP_di ^upper-bound。

(3c)针对离线系统，其特点在于服务器采用各种编码参数对视频与视差信号提前进行压缩，将码流存放在服务器以根据网络与客户端的不同反馈，及时提取码流并发送至客户端。其中，离线系统与在线系统选择QP的方式类似，不同的是在线系统是在线压缩，离线系统是根据确定的QP进行选择。在离线系统中，该优化策略体现在视频编码与视差编码过程中所采用的编码量化参数分别使用[QPlower-bound，QPupper-bound]范围内所有的QP进行编码，并将码流在服务器进行保存。即在服务器具有各个视点视频分别在[QPlower-bound，QPupper-bound]范围内所有QP编码条件下所得到的ΔQP＝QPupper-bound-QPlower-bound组码流，以及对应的ΔQP组视差码流。QP值越大压缩效率越高，解码端图像的重建质量越低；反之压缩效率越低，重建质量越高。QP取值范围根据系统所采用的编码标准有所不同。

步骤S304，服务器根据确定的QP进行对自由视点视频或多视点视频信号进行视频编码，并采用针对编码帧权重大小进行码流发送的自适应策略。具体是，服务器根据权重的大小，对部分帧进行特殊处理，包括：

(3d1)权重设置是按照多层次B帧编码方案中，位于层次编号越低的帧，其权重越高；反之，位于层次编号越高的帧，其权重越低。层次编号为整数{0，1，2，...，W}，其对应的权重则为{W，W-1，W-2，...，0}。

(3d2)网络拥塞等级对应于层次编号数设为{B₀，B₁，B₂，...，B_W}，其中B₀拥塞状况高于B₁，随后依次递减，至B_W时网络拥塞程度最低。

(3d3)对应于网络的不同拥塞等级B_x，(a)对于实时系统而言，对权重范围为{W，W-1，W-2，...，W-x}的所有帧进行编码，并向客户端发送码流；(b)对于离线系统而言，抽取权重范围为{W，W-1，W-2，...，W-x}的所有帧对应的码流，并向客户端发送。

步骤S305，客户端在接收到通过网络传输的码流之后，采用识别策略对其进行判断，然后根据判断结果进行图像重构。在本发明的一个实施例中，客户端还需要将网络拥塞程度等信息反馈给服务器。具体包括：

1、识别策略，主要用于判断接收到的帧码流是否该舍弃以及是否为不能解码的差错帧。具体实施步骤根据以下几个环节，描述如下：

(3e1)帧识别策略中的舍弃策略是根据当前网络拥塞程度以及用户当前所使用的设备运算能力共同决定的。

(3e2)对应于服务器的设置，将网络拥塞程度定义为{B₀，B₁，B₂，...，B_W}，其中B₀拥塞状况高于B₁，随后依次递减，至B_W时网络拥塞程度最低。

(3e3)当网络处在不同的拥塞等级B_x时，客户端仅接收权重范围为{W，W-1，W-2，...，W-x}的所有帧码流。如果还有其他权重的码流发送至客户端，则全部予以舍弃。

(3a4)用户当前所使用的设备其运算能力也对客户端接收权重范围{W，W-1，W-2，...，W-x}有所影响，运算能力越差的，权重范围越小。

2、解码与差错隐藏

(3f1)当接收到的帧为差错帧，不能正确重建当前时刻的图像时，则将其同时刻所有视点的帧、视差帧所对应的码率全部舍弃，并将前一时刻的对应视点的帧和视差帧拷贝至当前时刻。

(3f2)重复(3f1)的拷贝动作，直至当前时刻的帧能正确解码重建，或者当前时刻帧的权重大于前一时刻帧的权重为止。

3、视点选择和虚拟视点绘制

根据解码结果和用户选择的视点绘制虚拟视点。

如图1所示，该系统包括服务器101和一个或多个客户端102。服务器101用于接收原始或经编解码后的自由视点视频或多视点视频信号，并根据客户端102反馈确定网络拥塞程度，以及根据所述网络拥塞程度确定量化参数QP，其中，网络拥塞程度越严重，QP越大，和确定的所述QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向所述客户端102发送。客户端102用于接收所述服务器发送的码流，并根据用户选择的虚拟视点，利用视频及对应视差进行虚拟视点的绘制，并将绘制结果显示给用户。

如图4所示，为本发明实施例的服务器的结构图。该服务器101包括编码器200、用户与网络状况反馈模块204和QP调整模块203。编码器200用于接收原始或经编解码后的自由视点视频或多视点视频信号，并根据量化参数QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向客户端发送。用户与网络状况反馈模块204用于接收用户的反馈，以及网络拥塞程度的反馈。QP调整模块203用于根据网络拥塞程度调整所述QP。

在本发明的一个实施例中，QP调整模块203还用于计算虚拟视点图像的视觉质量，并根据所述虚拟视点图像的视觉质量调整所述QP。

在本发明的一个实施例中，编码器200包括在线编码器201和离线编码器202。

在本发明的一个实施例中，服务器101还包括权重设置模块205，用于根据网络拥塞等级选择相应权重的帧进行发送或编码。

如图5所示，为本发明实施例的客户端的结构图。客户端包括权重判定模块301、解码与差错隐藏模块302和视点选择与虚拟视点绘制模块303。权重判定模块301用于判断接收到的帧码流是否应该被舍弃以及是否为不能解码的差错帧。解码与差错隐藏模块302用于当接收到的帧为差错帧时，则将其同时刻所有视点的视频帧，视差帧所对应的码率全部舍弃，并将前一时刻的对应视点的视频帧和视差帧拷贝至当前时刻，并且重复拷贝动作，直至当前时刻的帧能正确解码重建，或者当前时刻帧的权重大于前一时刻帧的权重。视点选择与虚拟视点绘制模块303用于根据解码结果和用户选择的视点绘制虚拟视点。

本发明能够根据网络拥塞程度对QP进行调整，从而使得客户端所得到的图像质量具有较高水平。在本发明的优选实施例中，可根据视觉质量和网络拥塞程度同时对QP进行优化，从而能进一步保证客户端得到的图像的质量。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (8)

1.一种基于网络拥塞程度的自由视点视频或多视点视频传输方法，其特征在于，包括以下步骤：

服务器接收原始或经编解码后的自由视点视频或多视点视频信号；

所述服务器根据客户端反馈确定网络拥塞程度；

所述服务器根据所述网络拥塞程度确定上述自由试点视频或多视点视频信号编码的量化参数QP，其中，网络拥塞程度越严重，QP越大；和

所述服务器根据确定的所述QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向所述客户端发送，

其中，所述服务器还根据虚拟视点图像的视觉质量S确定QP，所述QP采用与所述视觉质量S相关的线性或非线性的一一映射关系进行调整，其基本原则在于所述视觉质量S值越高，QP值越低；

其中，所述虚拟视点图像的视觉质量S的计算方法为：

对所得到的虚拟视点图像按块大小为N×N进行分块，其中，每行有I个块，每列有J个块，其中，N＝2ⁿ，其中n≥6；

对所述虚拟视点图像中的每一个块B^V _ij，利用基于最小MSE准则的块匹配方法，分别在其左右视点图像中按水平方向找到对应的最佳匹配块B^L _ij和B^R _ij，其中，B^L _ij在左视点图像中，B^R _ij在右视点图像中，其中下标i，j分别表示块所在的行号和列号，1≤i≤I且1≤j≤J；

对所得到的块B^V _ij和获得的最佳匹配块进行Contourlet小波分解，以得到U个高频子带块B_u，ij ^X，其中，u＝1，2，...，U和一个低频块C_ij ^X，其中，X∈{V，R，L}，其中，V为虚拟视点图像、R为右视点图像、L为左视点图像；

对分解得到的每一个高频子带块B_u，ij ^X进一步采用u-层方向滤波器组分解，得到2^u个子带块C_u，o，ij ^X，其中，o＝1，2，...，2^u；

分别计算每一个子带块C_u，o，ij ^X的方差σ_u，o，ij ^X；

根据σ_u，o，ij ^X得到整幅图像的σ_u，o ^X＝∑_i，j(σ_u，o，ij ^X)；

计算得到所述虚拟视点图像与左、右视点图像在同层分解序数之间的误差参数δ_u，o＝min{|σ_u，o ^V-σ_u，o ^R|，|σ_u，o ^V-σ_u，o ^L|}；

对每一层的误差参数进行加权整合Δ＝∑_u，o2^-uδ_u，o；

计算所述虚拟视点图像的视觉质量

其中C₀为常实数调节因子，范围是C₀∈[1，10]。

2.如权利要求1所述的基于网络拥塞程度的自由视点视频或多视点视频传输方法，其特征在于，所述服务器采用多视点视频编码方法或单视点视频编码方法对所述自由视点视频或多视点视频信号进行压缩。

3.如权利要求1所述的基于网络拥塞程度的自由视点视频或多视点视频传输方法，其特征在于，所述服务器采用在线编码或离线编码方式对所述自由视点视频或多视点视频信号进行编码。

4.如权利要求1所述的基于网络拥塞程度的自由视点视频或多视点视频传输方法，其特征在于，还包括：

所述服务器根据网络拥塞等级选择相应权重的帧进行发送或编码。

5.如权利要求1所述的基于网络拥塞程度的自由视点视频或多视点视频传输方法，其特征在于，还包括：

所述客户端判断接收到的帧码流是否应该被舍弃以及是否为不能解码的差错帧；

如果接收到的帧为差错帧时，则所述客户端将其同时刻所有视点的视频帧，视差帧所对应的码率全部舍弃，并将前一时刻的对应视点的视频帧和视差帧拷贝至当前时刻；

所述客户端重复拷贝动作，直至当前时刻的帧能正确解码重建，或者当前时刻帧的权重大于前一时刻帧的权重。

6.一种基于网络拥塞程度的自由视点视频或多视点视频传输服务器，其特征在于，包括编码器、用户与网络状况反馈模块和QP调整模块，

所述编码器，用于接收原始或经编解码后的自由视点视频或多视点视频信号，并根据量化参数QP对所述自由视点视频或多视点视频信号进行编码压缩，并向客户端发送；

所述用户与网络状况反馈模块，用于接收用户的反馈，以及网络拥塞程度的反馈；

所述QP调整模块，用于根据客户端反馈确定网络拥塞程度，并根据所述网络拥塞程度调整QP，以及用于根据虚拟视点图像的视觉质量确定QP，

其中，所述服务器还根据虚拟视点图像的视觉质量S确定QP，所述QP采用与所述视觉质量S相关的线性或非线性的一一映射关系进行调整，其基本原则在于所述视觉质量S值越高，QP值越低；

其中，所述虚拟视点图像的视觉质量S的计算方法为：

对所得到的虚拟视点图像按块大小为N×N进行分块，其中，每行有I个块，每列有J个块，其中，N＝2ⁿ，其中n≥6；

对所述虚拟视点图像中的每一个块B^V _ij，利用基于最小MSE准则的块匹配方法，分别在其左右视点图像中按水平方向找到对应的最佳匹配块B^L _ij和B^R _ij，其中，B^L _ij在左视点图像中，B^R _ij在右视点图像中，其中下标i，j分别表示块所在的行号和列号，1≤i≤I且1≤j≤J；

对所得到的块B^V _ij和获得的最佳匹配块进行Contourlet小波分解，以得到U个高频子带块B_u，ij ^X，其中，u＝1，2，...，U和一个低频块C_ij ^X，其中，X∈{V，R，L}，其中，V为虚拟视点图像、R为右视点图像、L为左视点图像；

对分解得到的每一个高频子带块B_u，ij ^X进一步采用u-层方向滤波器组分解，得到2^u个子带块C_u，o，ij ^X，其中，o＝1，2，...，2^u；

分别计算每一个子带块C_u，o，ij ^X的方差σ_u，o，ij ^X；

根据σ_u，o，ij ^X得到整幅图像的σ_u，o ^X＝∑_i，j(σ_u，o，ij ^X)；

计算得到所述虚拟视点图像与左、右视点图像在同层分解序数之间的误差参数δ_u，o＝min{|σ_u，o ^V-σ_u，o ^R|，|σ_u，o ^V-σ_u，o ^L|}；

对每一层的误差参数进行加权整合Δ＝∑_u，o2^-uδ_u，o；

计算所述虚拟视点图像的视觉质量

其中C₀为常实数调节因子，范围是C₀∈[1，10]。

7.如权利要求6所述的基于网络拥塞程度的自由视点视频或多视点视频传输服务器，其特征在于，所述编码器包括在线编码器和离线编码器。

8.如权利要求6所述的基于网络拥塞程度的自由视点视频或多视点视频传输服务器，其特征在于，还包括权重设置模块，用于根据网络拥塞等级选择相应权重的帧进行发送或编码。

Images