CN108347615A - 一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法 - Google Patents

Abstract

本发明公开了一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法，包括：对输入视频流，按照固定帧数目构成一系列GOP，对每一GOP中每一帧分别进行预处理，获得每一帧对应的若干一维向量；将每一帧对应的所有一维向量进行基于线性投影的空域分解，对获得的为基本层数据的映射分量按照用户端请求的分辨率层数L进行迭代分解；将每一帧中处于同一层与同一投影分量组成一个cube，对每一个cube做一次3D‑DCT变换，获得相应的系数块，再结合功率缩放因子对每一系数块进行功率缩放；对功率缩放后的系数块进行密集星座调制之后通过实际信道向外传输。基于该方法可使得接收端接收到的视频质量与信道质量以及屏幕分辨率自动匹配。

Description

一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法

技术领域

本发明涉及多媒体通信技术领域，尤其涉及一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法。

背景技术

由于各种视频应用的兴起，以及智能设备的发展和普及，视频数据流量呈现指数型增长。当视频内容被多个用户请求时，视频广播是一种节省带宽非常有效的方法。但是在广播场景下，不同用户的信道状况以及终端设备存在非常大的差异性。针对信道异构的情况，通过去除传统数字传输中量化、熵编码以及信道编码等非线性操作，从而能够消除数字传输方法所面临的“悬崖效应”，使得接收端接收到的数据能与信道状况相匹配，这种技术被称为伪模拟传输技术。然而，目前基于伪模拟传输的分辨率异构问题还未被很好地解决。

目前针对分辨率异构问题，主要的解决方案分为两类：一类是基于图像金字塔的方法，该方法被应用于可伸缩视频编码标准SVC(Scalable Video Coding)之中。基于图像金字塔的分层方法非常直观，即原始的最大分辨率的图像被连续地进行多次下采样操作，得到一系列的多种分辨率的子图像。最后，将这些图像组合在一起，就形成了图像金字塔，并针对这一图像金字塔进行编码压缩等。然而这种方法属于过完备采样，即整个图像金字塔内的像素点总数，超过了最大分辨率图像内的像素点总数。这一特点导致了这种方法在伪模拟视频传输系统中是不适用的：在伪模拟视频传输系统中，系统的带宽占用直接与所传输的数据个数相关，如果采用这种基于图像金字塔的方法进行空域分层，会大大增加系统的带宽开销。

现有的另一类图像空域分层方法是基于离散小波变换(DWT)的一类方法。与上述基于图像金字塔的分解方法不同，基于小波的分解方法属于严格采样的，即分层后的数据总个数始终与原始的最大分辨率图像内的数据总数相等。然而基于小波的这种变换方法是主要针对数字系统中的信源处理进行设计的，而并未考虑到具体的伪模拟传输技术特点与信道增益。

发明内容

本发明的目的是提供一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法，解决广播场景下用户信道状况异构以及分辨率异构问题，消除传统的数字传输方法中的“悬崖效应”，使得接收端接收到的视频质量与信道质量以及屏幕分辨率自动匹配。

本发明的目的是通过以下技术方案实现的：

一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法，包括：

对输入视频流，按照固定帧数目构成一系列GOP，对每一GOP中每一帧分别进行预处理，获得每一帧对应的若干一维向量；

将每一帧对应的所有一维向量进行基于线性投影的空域分解，对获得的为基本层数据的映射分量按照用户端请求的分辨率层数L进行迭代分解；

将每一帧中处于同一层与同一投影分量组成一个cube，对每一个cube做一次3D-DCT变换，获得相应的系数块，再结合功率缩放因子对每一系数块进行功率缩放；

对功率缩放后的系数块进行密集星座调制之后通过实际信道向外传输。

由上述本发明提供的技术方案可以看出，采用空域分解方法，能有效的利用传输增益，解决了分辨率异构问题；同时通过求解功率失真优化问题能够使得多个用户的失真性能达到最小，保证了广播场景下用户的接收视频质量能够自动匹配其信道状况以及屏幕分辨率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法的流程图；

图2为本发明实施例提供的发送端的主要处理流程图；

图3为本发明实施例提供的空域分解及3D-DCT变换的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法，如图1所示，其主要包括如下步骤：

步骤1、对输入视频流，按照固定帧数目构成一系列GOP(Group Of Picture，图片组)，对每一GOP中每一帧分别进行预处理，获得每一帧对应的若干一维向量。

步骤2、将每一帧对应的所有一维向量进行基于线性投影的空域分解，对获得的为基本层数据的映射分量按照用户端请求的分辨率层数L进行迭代分解。

步骤3、将每一帧中处于同一层与同一投影分量组成一个cube，对每一个cube做一次3D-DCT变换，获得相应的系数块，再结合功率缩放因子对每一系数块进行功率缩放。

步骤4、对功率缩放后的系数块进行密集星座调制之后通过实际信道向外传输。

上述步骤主要是在发送端实现，当发送端对输入视频流做上述处理并向外传输后，用户端则根据自身的分辨率需求截取相对应的数据流，然后进行一系列处理即能获得与屏幕分辨率相适应的视频内容；用户端所进行的一系列处理为发送端处理的逆过程。

为了便于理解，下面结合实施例对上述各个步骤做详细的介绍。

请参见附图2，其示意性的给出了发送端的主要处理流程，处理流程可以分为以下四个步骤：

1)对输入视频流，按照固定帧数目构成GOP，并进行预处理，图2中的K即为固定帧数目，m，n是指图像的尺寸；

2)根据接收端用户分辨率需求，对预处理之后的GOP进行空域分解；

3)去相关操作以及功率分配；

4)对去功率缩放之后的系数进行调制传输。

下面对上述四个步骤分别加以详述：

1)对输入视频流，按照固定帧数目K取出，构成一系列GOP；对每一GOP中每一帧分别进行PT操作和RS操作，每一GOP中的第k帧记为F^k{1≤k≤K}；其中，PT操作是将每一帧的像素点按照从左至右、从上到下的位置取出为四个子块，第k帧中的第i个子块记为f_i ^k{1≤k≤K,1≤i≤4}；RS操作是将对应子块的像素点逐行取出整形为一维向量，一个GOP中第k帧对应的一维向量记为一维向量依次对应左上角子块、右上角子块、左下角子块、右下角子块。

2)对第1)个步骤中获得的每一组一维向量进行基于线性投影的空域分解：其中，T为映射矩阵。

映射分量(对应左上角子块)代表基本层数据，映射分量代表增强层数据；按照用户端请求的分辨率层数L，对基本层数据进行迭代分解。

本发明实施例中，T的设计需要考虑到传输的特性以及信道增益。

示例性的，可以设置：

通过上述第1)、第2)个步骤可以满足不同分辨率需求的视频。

本领域技术人员可以理解，第一次对基本层分解之后基本层将分解为四个新的子块，这四个新的子块的左上角子块为基本层，如图3的中间部分，此时该视频帧已经被分解为三个层数；如果还需要继续分解，下一次的分解也只是针对左上角子块来进行的，分解方式也即前文提到的PT与RS操作，重复这样的分解过程使得最终的层数为L。

3)在进行空域分解后，相应的数据就具备了支持多种分辨率的能力。将同一个GOP中各帧中处于同一位置处的投影分量组成一个cube，再对每一个cube做一次3D-DCT变换，去除层内的相关性，从而进一步扩大层内数据的能量差异，进一步提高伪模拟传输的性能。

示例性的，一个GOP共有K帧，则将第1～第K帧中处于同一位置处的投影分量组成一个cube，Cube可以理解为同一个GOP的同层子块构成的立方体。

如图3所示，为空域分解及3D-DCT变换的示意图，该示意图中，假设L＝3。图3中，除了基础层以外，其他每层都包括了三个cube。

进行3D-DCT变换后，一个GOP中第k帧第l层的数据记为K为固定帧数目；中第j个系数块的系数记为其对应的功率缩放因子记为对系数块进行功率缩放，即，将系数与相应的功率缩放因子相乘：

本发明实施例中，考虑多个用户的视频广播场景，因而功率分配也将以最小化所有用户的平均重建失真为目标。系数块的功率缩放因子计算方式如下：

假设总共有Q个用户，将Q个用户根据请求的分辨率层数划分为不同的组(将请求到同一层视频的用户划分为同一组)，分别为G₁,G₂,...G_R,1≤r≤R，G_r表示第r个分组，则得到多用户情况下的功率失真优化问题：

其中，P为总的可用功率，L_s代表用户s请求到的分辨率层数，N_l代表第l层划分的系数块数量，σ_s ²代表用户s所处的信道噪声，ρ是对映射矩阵正交归一化之后的系数；对上式使用拉普拉斯乘子法进行求解，从而得到每个系数块的功率缩放因子；代表第k个帧的第l层，第j个块的能量值。

本发明实施例中，分组的总数量R可以等于L，一个直观的理解是每一种分辨率都可以划分为一组。示例性的：现在有5个用户分别为A、B、C、D、E，视频分3层(即L＝3)，其中3个用户A、B、C请求到第一层，D、E请求到第三层。则划分的分组是：G₁＝A、B、C；G₂为空；G₃＝D、E。

(4)对第(3)步中得到的功率缩放后的系数块，进行密集星座调制之后通过实际信道传输出去。接收端根据自己的分辨率需求截取相对应的数据流，即能获得与屏幕分辨率相适应的视频内容。

本发明实施例上述方案，主要具有如下有益效果：

结合伪模拟传输技术，具有其对于信道状况固有的可伸缩特性，消除了传统数字传输方法的“悬崖效应”；采用一种新的空域分解方法，能有效的利用传输增益，解决了分辨率异构问题；同时通过求解功率失真优化问题能够使得多个用户的失真性能达到最小，保证了广播场景下用户的接收视频质量能够自动匹配其信道状况以及屏幕分辨率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法，其特征在于，包括：

对输入视频流，按照固定帧数目构成一系列GOP，对每一GOP中每一帧分别进行预处理，获得每一帧对应的若干一维向量；

将每一帧对应的所有一维向量进行基于线性投影的空域分解，对获得的为基本层数据的映射分量按照用户端请求的分辨率层数L进行迭代分解；

将每一帧中处于同一层与同一投影分量组成一个cube，对每一个cube做一次3D-DCT变换，获得相应的系数块，再结合功率缩放因子对每一系数块进行功率缩放；

对功率缩放后的系数块进行密集星座调制之后通过实际信道向外传输。

2.根据权利要求1所述的一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法，其特征在于，所述对输入视频流，按照固定帧数目构成一系列GOP，对每一GOP中每一帧分别进行预处理，获得每一帧对应的若干一维向量的实现过程如下：

对输入视频流，按照固定帧数目K取出，构成一系列GOP；

对每一GOP中每一帧分别进行PT操作和RS操作，每一GOP中的第k帧记为F^k{1≤k≤K}；其中，其中PT操作是将每一帧的像素点按照从左至右、从上到下的位置取出为四个子块，第k帧中的第i个子块记为f_i ^k{1≤k≤K,1≤i≤4}；RS操作是将对应子块的像素点逐行取出整形为一维向量，一个GOP中第k帧对应的一维向量记为

3.根据权利要求1或2所述的一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法，其特征在于，所述将每一帧对应的所有一维向量进行基于线性投影的空域分解，对获得的为基本层数据的映射分量按照用户端请求的分辨率层数L进行迭代分解的实现过程如下：

一个GOP中第k帧对应的一维向量记为对其进行基于线性投影的空域分解：其中，T为映射矩阵；

映射分量代表基本层数据，映射分量代表增强层数据；按照用户端请求的分辨率层数L，对基本层数据进行迭代分解。

4.根据权利要求1所述的一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法，其特征在于，

进行3D-DCT变换后，一个GOP中第k帧第l层的数据记为{Y_l ^k|1≤k≤K，1≤l≤L}，K为固定帧数目；

Y_l ^k中第j个系数块的系数记为其对应的功率缩放因子记为对系数块进行功率缩放，即，将系数与相应的功率缩放因子相乘：

5.根据权利要求4所述的一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法，其特征在于，系数块的功率缩放因子计算方式如下：

假设总共有Q个用户，将Q个用户根据请求的分辨率层数划分为不同的组，分别为G₁,G₂,...G_R,1≤r≤R，G_r表示第r个分组，则得到多用户情况下的功率失真优化问题：

其中，P为总的可用功率，L_s代表用户s请求到的分辨率层数，N_l代表第l层划分的系数块数量，σ_s ²代表用户s所处的信道噪声，ρ是对映射矩阵正交归一化之后的系数；代表第k个帧的第l层，第j个块的能量值；

对上式使用拉普拉斯乘子法进行求解，从而得到每个系数块的功率缩放因子。