CN112672153B - 融合视频特征分析的可伸缩编码视频码率自适应选择方法 - Google Patents

Abstract

本发明属于频传输技术领域，具体涉及一种融合视频特征分析的可伸缩编码视频码率自适应选择方法，首先针对可伸缩编码视频进行特征信息离线分析与表达，然后从视频特征和观看体验两个维度构建视频质量评价模型，进而在感知吞吐量与缓存的基础上实现视频码率的在线自适应选择，最终实现自适应视频码率选择系统的构建。面向可伸缩编码视频的特征信息离线分析与表达；融合视频特征与观看体验的质量评价模型构建；吞吐量与缓存感知的视频码率在线自适应选择；自适应视频码率选择系统构建；本申请能够从空间、时间、质量三个维度对可伸缩编码视频进行联合特征分析与表达，最终实现面向扩展编码视频的码率自适应选择。

Description

融合视频特征分析的可伸缩编码视频码率自适应选择方法

技术领域

本发明属于视频传输技术领域，特别是一种融合视频特征分析的可伸缩编码视频码率自适应选择方法。

背景技术

视频自适应码率(Adaptive Bitrate,ABR)是提升视频传输及播放体验的一种有效方法，该方法能够根据网络状态、本地缓存量等因素，选择适当码率的视频块进行下载，实现提升视频质量、减少播放卡顿和码率切换频率之间的权衡和优化，包含面向高级视频编码(Advanced Video Coding,AVC)和可伸缩视频编码(Scalable Video Coding,SVC)两类编码方式的视频码率自适应选择方法。由于可伸缩视频编码在大幅节约视频服务器存储空间，以及在空间、时间、质量等维度精确控制视频质量等方面的优势，因此面向可伸缩编码视频码率自适应选择方法及系统具备广阔的应用前景。

当前面向SVC的码率自适应选择尚处于起步阶段，现有方法通常在面向AVC的码率自适应选择方法基础上，引入对编码方式、编码层数的选择，虽然能够在一定程度上提升码率选择方法的灵活性，但在提升视频综合观看体验，以及与SVC深度结合方面仍存在不足。现有面向SVC的码率自适方法尚未能从空间、时间、质量三个编码维度对可伸缩编码视频进行联合分析，突破单纯基于码率的视频质量评价标准的局限，并将其融入码率选择算法与系统的构建，实现视频编码优势到码率选择优势的转换。

发明内容

本发明的目的在于提供一种融合视频特征分析的可伸缩编码视频码率自适应选择方法，以实现自适应视频码率选择系统构建。

实现本发明目的的技术解决方案为：

一种融合视频特征分析的可伸缩编码视频码率自适应选择方法，其特征在于，具体包括以下步骤：

步骤1、面向可伸缩编码视频的特征信息离线计算与表达：从原视频逐帧分析以及编码视频逐帧逐层分析两个方面开展空间、时间、质量相关分析，并将特征分析结果在改进的MPD文件中进行描述；

步骤2、融合视频特征与观看体验的质量评价模型构建：一方面对于短时区间视频片段，基于视频特征进行视频质量计算，另一方面在长时区间视频传输和播放过程中，基于观看体验进行视频质量计算，最终综合上述两个方面因素，构建视频质量综合评价模型；

步骤3、吞吐量与缓存感知的视频码率在线自适应选择：首先在步骤2优化目标基础上，结合视频传输与播放的约束，构建视频码率选择优化问题；其次通过带宽预测与缓存监控，获取优化问题求解需求知道的相关带宽与缓存条件；最后通过遍历可选择的视频块编码方式以及层数，求解最优的下载码率；

步骤4、自适应视频码率选择系统构建：基于步骤1～步骤3分析与设计结果进行构建，包括视频服务器和视频客户端两大部分，视频服务器与视频客户端之间基于HTTP协议通信和传输；其中视频服务器存储了改进的MPD文件以及不同编码方式和层数的视频块；视频客户端用于MPD文件解析、对下载每个视频块的编码方式及层数进行决策，以及对已下载的视频块进行解码和播放。

本发明与现有技术相比，其显著优点是：

(1)本发明提出的融合视频特征分析的可伸缩编码视频码率自适应选择方法，能够从空间、时间、质量三个维度对可伸缩编码视频进行联合特征分析与表达，突破单一视频质量评价方法的局限，并将这一创新融入视频码率自适应选择方法及系统的整体架构；

(2)本发明在构建视频质量评价模型以及码率选择优化方法，能够从视频特征与观看体验两个方面，对码率选择的优化问题进行分析和描述，并制定面向可行解空间的最优码方式及编码层数求解方法，可指导现有可伸缩视频编码选择算法的改进，具有很高的创新性；

(3)本发明提出的自适应视频码率选择系统，能够基于视频码率选择方法，设计出完善的视频服务器和客户端中处理和交互模块，可应用于现有视频点播平台的优化，具备很高的实用性。

附图说明

图1为本发明的视频码率选择方法的流程图。

图2为本发明的视频码率选择系统的组成图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的介绍。

结合图1，本发明的一种融合视频特征分析的可伸缩编码视频码率自适应选择方法，包括以下步骤：

步骤S1，面向可伸缩编码视频的特征信息离线计算与表达：

可伸视频缩编码(Scalable Video Coding,SVC)是视频编码标准H.264的扩展部分，能够在原有的视频编码基础上，实现空间域(分辨率)、时间域(帧率)和质量域(信噪比)三个维度的分层编码。对于SVC视频的每一帧，每一维度的基础层E₀可支持单独解码，增强层E_i(i＝1,2,…n)需要与之前的E₀～E_i-1层联合解码。针对SVC的分层编码方式和空间、时间、质量上的渐进改善特性，本步骤从原视频逐帧分析以及编码视频逐帧逐层分析两个方面开展空间、时间、质量相关分析，并将其特征分析结果在改进的MPD文件中进行描述，以支持后续视频传过程的码率优化模型构建和码率选择问题求解。

步骤S101，编码前原视频逐帧基本特征计算：

针对编码前原视频的每一帧图像，从清晰度、运动性、高频性三个方面进行基本特征分析。清晰度反应了图像相邻区域像素的变化大小，清晰度较高的原视频帧对于分辨率的压缩敏感，而清晰度较低的原视频帧对于分辨率的压缩不敏感。运动性反映了视频内容随时间的变化大小，运动性较高的原视频帧对于帧率压缩敏感，而运动性较低的原视频帧对于帧率压缩不敏感。通过快速傅里叶变换等方法能够将图像转换到频域，对于给定的图像频率阈值，其中低于阈值的低频分量对应图像的轮廓信息，高于阈值的高频分量对应图像的细节信息，高频分量较多的原视频帧对于质量压缩敏感，高频分量较少的原视频帧对于质量压缩不敏感。根据上述分析，需要对编码前原视频的每一帧图像的清晰度、运动性、高频性进行计算和表征。

对于编码前原视频，其每一帧的图像I_i分辨率为M×N(M为图像像素行数，N为图像像素列数)，f_i(x,y)为原视频第i帧图像I_i的x行y列的像素的灰度值。

第i帧图像清晰度的特征值

采用本帧图像像素间的灰度变化度进行描述，其计算方法可使用但不限于下述方法：

其中μ为图像平均灰度值。

第i帧图像运动性的特征值

采用本帧图像与前一帧图像像素的灰度变化度进行描述，其计算方法可使用但不限于下述方法：

第i帧图像高频性的特征值

本帧图像与低通滤波后图像像素的灰度变化度进行描述，其计算方法可使用但不限于下述方法：

f'(x,y)＝iFFT(H(FFT(f(x,y))))

其中FFT为快速傅里叶变换，将时域图像转换为频域图像(包含将频域图像中心点移动到中心位置，以及将复数的模映射为0～255)；FiT快速傅里叶逆变换，将频域图像转换回时域图像；H(u,v)为低通滤波器，D(u,v)为输入的二维图像，D₀为给定阈值。

步骤S102，可伸缩编码视频逐帧逐层质量特征计算：

本步骤对SVC视频的每一帧图像在空间、时间、质量可伸缩编码后的每一层及其依赖层联合解码，并对解码后图像进行质量特征分析。待分析的质量特征包括分辨率、帧率、信噪比三个方面。

原视频中的每一帧i经过空间、时间、质量可伸缩编码的基础层为E_i,0，空间伸缩编码的l个增强层为

时间伸缩编码的m个增强层为

质量伸缩编码的n个增强层为

则需要对每一个分层编码集合

解码后的图像

进行特征分析。其中X＝S/T/Q(即X可取值S或T或Q)，对应的max Y＝l/m/n(即X＝S时，Y可取0～l的整数；X＝T时，Y可取0～m的整数；X＝Q时，Y可取0～n的整数)，且由于

(

对应的编码图像同为E_i,0)，因此原视频中的第i帧经可伸缩编解码后图像共1+l+m+n幅。

解码后图像

的分辨率特征值

等于图像

的行像素数乘以列像素数。

帧率特征值

等于图像序列

构成视频的帧率。

信噪比特征值

等于：

其中原视频每一帧的图像I_i分辨率为M×N，f_i(x,y)为原视频第i帧图像I_i的x行y列的像素的灰度值，

为图像

的x行y列的像素的灰度值。若

分辨率小于I_i，则通过双线性插值将

上采样为与I_i同分辨率。

步骤S103，基于MPD文件的可伸缩编码视频特征综合计算与表达：

MDP(Media Presentation Description)文件是一个XML文件，用于描述服务器上的媒体内容的各项信息和特征。MPD文件中的一些标签包括：Periods(区段)、AdaptationSet(AS，自适应子集)、Representation(表示)等。其中一个MPD中包含一个或多个Periods，每个Periods包含一个或多个AS(每个AS对应一组可供切换的码流)，一个AS包含一组Representation(每个Representation对应不同的分辨率或码率，保持不变)。对于SVC视频的MPD文件，Representation标签内的id为本层ID，dependencyId为本层所依赖的基础层和增强层ID。

为了实现视频特征综合计算与表达，本步骤在原始MPD文件的基础上，在基础层Representation标签的下级增加Definition(清晰度)、Motion(运动性)、HF(高频性)、Resolution(分辨率)、FPS(帧率)、SNR(信噪比)6个标签；在增强层Representation标签的下级除原有BaseURL(视频文件地址)外，增加Resolution(分辨率)、FPS(帧率)、SNR(信噪比)3个标签。标签Definition、Motion、HF取值分别为步骤S101计算得到的编码前原视频第i帧的清晰度Fⁱ _definition、运动性Fⁱ _motion、高频性Fⁱ _HF。标签Resolution、FPS、SNR取值分别为步骤S102计算得到的分辨率R^X _i,Y、帧率F^X _i,Y、信噪比S^X _i,Y。改进后MPD文件的一个具体示例如下所述：

步骤S2，融合视频特征与观看体验的质量评价模型构建：

可伸缩视频编码能够视频在空间、时间、质量三个维度分层编码，并支持选择部分层进行解码，获取特定分辨率、帧率、信噪比的短时区间视频片段。对于给定时间阈值，当视频片段时长低于阈值，则为短时区间视频片段；当视频片段时长高于阈值，则为长时区间视频片段。对于短时区间视频片段，由于原视频清晰度、运动性、高频性特征的不同，分辨率、帧率、信噪比对视频质量的影响会有较大差异，需要基于视频特征进行视频质量分析。此外在长时区间视频传输和播放过程中，由于服务器、网络、客户端相关因素，可能出现视频卡顿、码率切换等问题，因此需要基于观看体验进行视频质量分析。最终需要综合视频特征与观看体验两个方面因素，构建视频质量综合评价模型。

步骤S201，基于视频特征的短时区间视频质量计算：

根据步骤S101中分析，原视频清晰度越高，分辨率对视频影响越大；原视频运动性越高，帧率对视频影响越大；原视高频性越显著，信噪比对视频影响越大。因此基于视频特征的短时区间视频质量函数

(视频实际传输时选定的第i帧，具有特定编码方式X、特定层Y)可表示为视频分辨率、帧率、信噪比的加权和，三者的权值分别与原视频清晰度、运动性、高频性正相关。即

其中α₁，α₂，α₃分别与

正相关。α₁，α₂，α₃可采用但不限于下述方式：

对于具有K帧的完整视频，基于视频特征的短时区间视频质量函数QC为视频质量函数

的累加值，即：

步骤S202，基于观看体验的长时区间视频质量计算：

在“服务器-客户端”的视频传输和播放模式中，一方面由于网络状况波动，可能造成视频播放卡顿；另一方面为避免卡顿并尽可能提升视频质量，会对根据网络带宽和剩余缓存调节下载视频帧的质量(选择不同的基础层和加强层进行下载)。对于观看者而言，在长时区间的视频播放过程中的卡顿与视频质量切换都会对观看体验造成负面影响。因此基于观看体验的长时区间视频质量QV可表示为视频质量函数

变化量平方以及缓存量与设定阈值偏差量的平方之和：

其中K为视频总帧数；b(i)为下载第i帧时客户端的剩余缓存量；

根据视频实际传输时第i帧选择的特定编码方式X、特定层Y，通过步骤S201计算获得；B为预设的理想缓存量，当实际缓存量小于预设的理想缓存量B较多时有卡顿风险，当实际缓存量大于预设的理想缓存量B有带宽利用率不足问题；β＞0以及γ＞0为预设的惩罚系数，同时保证QV与QC为相同数量级。

步骤S203，视频质量综合评价模型构建：

视频质量综合评价模型综合考虑视频质量QC和观看体验QV两方面因素，可采用但不限于QC与QV加权和的形式：

QE＝QC+λQV

其中λ为用户设置的系数，用户调节QC与QV的影响权重。

步骤S3，吞吐量与缓存感知的视频码率在线自适应选择：

本步骤首先在步骤S203优化目标基础上，结合视频传输与播放的约束，构建了视频码率选择优化问题，并对优化问题的各组成部分进行了详细设计和说明；其次通过带宽预测与缓存监控，获取优化问题求解需求知道的相关带宽与缓存条件；最后通过遍历可选择的视频块编码方式以及层数，求解最优的下载码率。

步骤301，视频码率选择优化问题构建：

在实际视频传输中，通常将视频切分为等时长的视频块，在进行视频块码率选择时，块内的所有帧拥有相同的空间、时间、质量编码。因此步骤S1和S2中对视频帧i的计算结果对于视频帧i所属的视频块j同样适用。本步骤构建的视频码率选择优化问题如下：

其中L为每一个视频块的播放时长，b(j)为第j块下载完成时客户端剩余缓存时长，

为选定编码方式X、层数Y后下载的第j个视频块的码率，c(j)为下载第j块时的平均带宽，B_max为预设的最大缓存量(当缓存量达到B_max时暂停下载)，β'＝λ·β,γ'＝λ·γ。

上述优化问题的含义为：①优化目标是对于每个给定的K，选择对于尚未下载的视频块，最优的编码方式X、层数Y进行下载，使得使视频质量综合评价QE达到最大。②第一个约束条件与步骤S201中

的定义相同。③第二个约束条件表示了剩余缓存量b(j)的演化规律，b(j-1)为第j-1完成下载时缓存剩余时长，

为下载第i个视频块消耗的时长，第j个视频块下载完成能够为缓存增加L时长。④第三个约束条件，对b(j)上下界进行约束，其中上界B_max为预设值；当b(j-1)-r(j)L/c(j)＞0，根据第二个约束必然有b(j)＞L；当

缓存会被清空，并在第i块下载完成后恢复为L，即b(j)＝L；因此有L≤b(j)≤B_max。⑤第四个约束条件为b(j)初始化条件，在第一个视频块完成下载前不会播放视频，因此b(1)＝L。

上述优化问题涉及的变量包括α₁,

α₂,

α₃,

L,

b(j),c(j)，其中α₁,

α₂,

α₃,

可从步骤S103中改进MPD增加的对应标签中获取，L,

可从原始MPD文件的原有标签获取(具体字段需根据原始MPD文件结构确定)，b(j),c(j)可通过步骤S302进行监控和预测。

步骤302，带宽预测与缓存监控：

带宽预测是根据客户端当前和历史的网络端口的吞吐量估计未来一小段时间(一个视频块的下载时间)内的平均带宽，可采用一阶指数平滑递推获得：

其中

为预测的下载第j块的平均带宽，c(j-1)为已完成的下载第j-1块过程中测量到的平均吞吐量，

为之前预测的下载第j块的平均带宽，σ为预设的0～1之间的平滑系数。这里得到的

即为步骤S301中c(j)的预测值，在求解上述优化问题时

缓存监控是根据缓存演化记录获得当前视频块开始下载时的剩余缓存量，可通过对下载和播放过程进行跟踪获得：

b(j)＝(j-1)L-(t-t₀)

其中t为当前时刻，也表示视频开始下载到当前的总时长，t₀则表示在时间[0,t]内缓存清空的总时长，即播放卡顿的总时长。缓存监控模块持续实时跟踪t与t₀的值，在下载第j块时，已下载的视频时长为(j-1)L，已播放视频时长为t-t₀，相减即得到剩余缓存量。

步骤303，视频码率自适应选择：

在选择第K个视频块的编码方式X、层数Y时，前K-1的下载已经完成，因此

可以直接计算获得，因此根据步骤S301构建的优化问题可以得到：

其中β,γ,L,B为前述步骤已确定常量；

C_K-1可以根据已完成的1～K-1个视频块下载情况计算得到；b(K-1),c(K)可以通过步骤S302得到。

随第K个视频块的编码方式X、层数Y选择确定。根据步骤S102，对于X＝S/T/Q，对应的max Y＝l/m/n，第K个视频块可选择的编码方式共有1+l+m+n种。具体地(X,Y)的可选组合包括：

(X,Y)∈{(S/T/Q,0),(S,1),...(S,l),(T,1),...(T,m),(Q,1),...(Q,n)}

因此将上述1+l+m+n种(X,Y)的可选组合带入(*)式，选择可令(*)式取到最大值的(X,Y)^*，即为第K个视频块最优的编码方式X、层数Y。进而可以在第K个视频块下载完成后，同理进行第K+1个视频块编码方式X、层数Y的选择，直到完成视频播放。

步骤S4，自适应视频码率选择系统构建：

码率自适应选择系统基于步骤S1～步骤S3分析与设计结果进行构建，包括视频服务器和视频客户端两大部分，视频服务器与视频客户端之间基于HTTP协议通信和传输；其中视频服务器存储了改进的MPD文件以及不同编码方式和层数的视频块；视频客户端包括MPD文件解析、带宽预测、缓存监控、视频码率自适应选择、视频块下载、视频解码、视频播放模块。如图2所示。

对于视频服务器部分，改进后的MPD文件与步骤S103相同，视频块的编码及存储与遵循现有SVC编码及视频存储标准。对于视频客户端方面，视频解码模块和视频播放模块遵循现有SVC解码及视频播放标准；MPD文件解析模块根据改进后MDP文件的结构，获取编码后视频块α₁,

α₂,

α₃,

L,

信息；带宽预测模块根据网络端口吞吐量记录预测当前视频块下载的平均带宽；缓存监控模块根据缓存演化记录获得当前视频块开始下载时的剩余缓存量；视频码率自适应选择模块基于步骤S3设计的优化问题以及求解方法，并根据MPD文件解析模块、带宽预测模块、缓存监控模块输出结果，决定在每个各视频块下载时，决定最优的编码方式和层数(X,Y)^*；视频块下载模块根据视频码率自适应选择模块决策结果，向视频服务器发起对应视频块下载请求，完成视频块下载，添加进剩余缓存；视频解码模块持续从剩余缓存获取视频块，并进行SVC解码得到解码后视频流；视频播放模块面向用户进行最终的视频画面呈现。

Claims (5)

1.一种融合视频特征分析的可伸缩编码视频码率自适应选择方法，其特征在于，具体包括以下步骤：

步骤1、面向可伸缩编码视频的特征信息离线计算与表达：从原视频逐帧分析以及编码视频逐帧逐层分析两个方面开展空间、时间、质量相关分析，并将特征分析结果在改进的MPD文件中进行描述；

步骤2、融合视频特征与观看体验的质量评价模型构建：一方面对于短时区间视频片段，基于视频特征进行视频质量计算，另一方面在长时区间视频传输和播放过程中，基于观看体验进行视频质量计算，最终综合上述两个方面因素，构建视频质量综合评价模型；

步骤3、吞吐量与缓存感知的视频码率在线自适应选择：首先在步骤2优化目标基础上，结合视频传输与播放的约束，构建视频码率选择优化问题；其次通过带宽预测与缓存监控，获取优化问题求解需求知道的相关带宽与缓存条件；最后通过遍历可选择的视频块编码方式以及层数，求解最优的下载码率；

步骤4、自适应视频码率选择系统构建：基于步骤1～步骤3分析与设计结果进行构建，包括视频服务器和视频客户端两大部分，视频服务器与视频客户端之间基于HTTP协议通信和传输；其中视频服务器存储了改进的MPD文件以及不同编码方式和层数的视频块；视频客户端用于MPD文件解析、对下载每个视频块的编码方式及层数进行决策，以及对已下载的视频块进行解码和播放。

2.根据权利要求1所述的融合视频特征分析的可伸缩编码视频码率自适应选择方法，其特征在于，步骤1面向可伸缩编码视频的特征信息离线计算与表达，具体步骤如下：

步骤S101，编码前原视频逐帧基本特征计算：包括原视频第i帧图像清晰度的特征值

运动性的特征值

高频性的特征值

分别为：

其中

f'(x,y)＝iFFT(H(FFT(f(x,y))))，

M为图像像素行数，N为图像像素列数，f_i(x,y)为原视频第i帧图像I_i的x行y列的像素的灰度值；H(u,v)为低通滤波器，D(u,v)为输入的二维图像，D₀为给定阈值；

步骤S102，可伸缩编码视频逐帧逐层质量特征计算：包括分辨率、帧率、信噪比，

解码后图像的分辨率特征值

等于图像的行像素数乘以列像素数；帧率特征值

等于图像序列构成视频的帧率；信噪比特征值

等于：

3.根据权利要求1所述的融合视频特征分析的可伸缩编码视频码率自适应选择方法，其特征在于，步骤2融合视频特征与观看体验的质量评价模型构建，具体包括以下步骤：

步骤S201，基于视频特征的短时区间视频质量计算：

对于具有K帧的完整视频，基于视频特征的视频质量函数QC为视频质量函数

的累加值：

其中

R^X _i,Y、F^X _i,Y、S^X _i,Y分别为分辨率特征值、帧率特征值、信噪比特征值；α₁，α₂，α₃分别为与清晰度Fⁱ _definition、运动性Fⁱ _motion、高频性Fⁱ _HF正相关的系数；

步骤S202，基于观看体验的长时区间视频质量计算：

基于观看体验的长时区间视频质量QV表示为视频质量函数

变化量平方以及缓存量与设定阈值偏差量的平方之和：

其中

b(i)为下载第i帧时客户端的剩余缓存量；

根据视频实际传输时第i帧选择的特定编码方式X、特定层Y，B为预设的理想缓存量，β以及γ为预设的惩罚系数；

步骤S203，视频质量综合评价模型构建：

采用QC与QV加权和的形式：

QE＝QC+λQV

其中λ为设置的系数。

4.根据权利要求1所述的融合视频特征分析的可伸缩编码视频码率自适应选择方法，其特征在于，步骤3吞吐量与缓存感知的视频码率在线自适应选择，具体包括以下步骤：

步骤301，视频码率选择优化问题构建：

构建的视频码率选择优化问题如下：

b(j)为第j块下载完成时客户端剩余缓存时长，

为选定编码方式X、层数Y后下载的第j个视频块的码率，c(j)为下载第j块时的平均带宽，B_max为预设的最大缓存量；

为视频质量函数；K为视频总帧数；α₁，α₂，α₃分别为与清晰度Fⁱ _definition、运动性Fⁱ _motion、高频性Fⁱ _HF正相关的系数；β'＝λ·β,γ'＝λ·γ，λ为设置的系数，

步骤302，带宽预测与缓存监控：

带宽预测采用一阶指数平滑递推获得：

其中

为预测的下载第j块的平均带宽，c(j-1)为已完成的下载第j-1块过程中测量到的平均吞吐量，

为之前预测的下载第j块的平均带宽，σ为预设的平滑系数；

缓存监控通过对下载和播放过程进行跟踪获得：

b(j)＝(j-1)L-(t-t₀)

其中t为当前时刻，t₀则表示在时间[0,t]内缓存清空的总时长；

步骤303，视频码率自适应选择：

根据步骤S301构建的优化问题可以得到：

其中β,γ,L,B为前述步骤已确定常量；

C_K-1可以根据已完成的1～K-1个视频块下载情况计算得到；b(K-1),c(K)可以通过步骤S302得到；

随第K个视频块的编码方式X、层数Y选择确定； 根据步骤S102，对于X＝S/T/Q，对应的max Y＝l/m/n，第K个视频块可选择的编码方式共有1+l+m+n种；

具体地(X,Y)的可选组合包括：

(X,Y)∈{(S/T/Q,0),(S,1),...(S,l),(T,1),...(T,m),(Q,1),...(Q,n)}

将上述1+l+m+n种(X,Y)的可选组合带入(*)式，选择可令(*)式取到最大值的(X,Y)^*，即为第K个视频块最优的编码方式X、层数Y；在第K个视频块下载完成后，进行第K+1个视频块编码方式X、层数Y的选择，直到完成视频播放。

5.根据权利要求1所述的融合视频特征分析的可伸缩编码视频码率自适应选择方法，其特征在于，步骤4自适应视频码率选择系统构建，包括视频服务器和视频客户端两大部分；

其中视频服务器存储了改进的MPD文件以及不同编码方式和层数的视频块；

视频客户端包括MPD文件解析、带宽预测、缓存监控、视频码率自适应选择、视频块下载、视频解码、视频播放模块；视频解码模块和视频播放模块遵循现有SVC解码及视频播放标准；MPD文件解析模块根据改进后MDP文件的结构，获取编码后视频块分辨率特征值R^X _i,Y、帧率特征值F^X _i,Y、信噪比特征值S^X _i,Y信息以及与清晰度Fⁱ _definition、运动性Fⁱ _motion、高频性Fⁱ _HF正相关的系数对应的相关系数α₁，α₂，α₃；带宽预测模块根据网络端口吞吐量记录预测当前视频块下载的平均带宽；缓存监控模块根据缓存演化记录获得当前视频块开始下载时的剩余缓存量；视频码率自适应选择模块基于步骤S3设计的优化问题以及求解方法，并根据MPD文件解析模块、带宽预测模块、缓存监控模块输出结果，决定在每个各视频块下载时，决定最优的编码方式和层数(X,Y)^*；视频块下载模块根据视频码率自适应选择模块决策结果，向视频服务器发起对应视频块下载请求，完成视频块下载，添加进剩余缓存；视频解码模块持续从剩余缓存获取视频块，并进行SVC解码得到解码后视频流；视频播放模块面向用户进行最终的视频画面呈现。

Images