CN115379248B - 一种视频源流替换方法、系统、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种视频源流替换方法、系统、设备及存储介质。本申请实施例提供的技术方案，通过确定目标视频源流的特征信息，将特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果。该替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到。进而基于替换源流分类结果进行视频源流替换决策，在视频源流替换决策过程中，选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。采用上述技术手段，可以在不降低观众观看体验的同时，节省带宽成本。

Description

一种视频源流替换方法、系统、设备及存储介质

技术领域

本申请实施例涉及视频转码技术领域，尤其涉及一种视频源流替换方法、系统、设备及存储介质。

背景技术

目前，在移动视频直播场景中，为了适应不同的网络带宽、不同的终端处理能力和不同的用户需求，会将主播端上传的视频源流转码为不同码率、不同分辨率档位的视频流，然后根据观众端的选档情况以及观众端的带宽情况，选择最合适档位的视频流或者源流分发给观众。由于在一定的失真范围内人眼很难察觉到源流和高码率档位的转码视频流(如FHD档转码视频流)之间的差异，同时大多数情况下源流的码率远高于转码流。因此这种情况下对应该下发源流的观众端替换下发高码率档位的转码视频流，可以在不降低观看体验的同时，节省带宽成本。在决策是否将视频源流替换为转码视频流时，通常会设置转码视频流的PSNR(峰值信噪比)阈值，当转码视频流的平均PSNR达到PSNR阈值时，则确定使用转码视频流替换源流并下发给观众端。

但是，仅仅根据转码视频流的峰值信噪比决策是否切换视频源流的方式较为简单。在主播端编码类型、转码端的预处理算法以及编码算法发生较大变化时，转码视频流的PSNR分布也会发生比较大的变化，进而会导致对应设置的PSNR阈值也需要适应性不断调整，整个过程相对较为繁杂，且会导致可以进行替换的源流没有进行替换直接下发给客户，其源流替换决策方式较不合理。

发明内容

本申请实施例提供一种视频源流替换方法、系统、设备及存储介质，能够在不降低观众观看体验的同时，实现视频源流的合理、稳定替换，解决转码视频流替换视频源流存在决策不合理的问题。

在第一方面，本申请实施例提供了一种视频源流替换方法，包括：

确定目标视频源流的特征信息，特征信息包括源流特征，以及基于目标视频源流使用指定转码档位进行编码得到的编码特征；

将特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果，替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到；

基于替换源流分类结果进行视频源流替换决策，在视频源流替换决策过程中，选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。

在第二方面，本申请实施例提供了一种视频源流替换系统，包括：

特征确定模块，配置为确定目标视频源流的特征信息，特征信息包括源流特征，以及基于目标视频源流使用指定转码档位进行编码得到的编码特征；

模型分析模块，配置为将特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果，替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到；

决策模块，配置为基于替换源流分类结果进行视频源流替换决策，在视频源流替换决策过程中，选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。

在第三方面，本申请实施例提供了一种视频源流替换设备，包括：

存储器以及一个或多个处理器；

所述存储器，配置为存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的视频源流替换方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行如第一方面所述的视频源流替换方法。

在第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中包含有指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面所述的视频源流替换方法

本申请实施例通过确定目标视频源流的特征信息，特征信息包括源流特征，以及基于目标视频源流使用指定转码档位进行编码得到的编码特征；将特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果，替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到；基于替换源流分类结果进行视频源流替换决策，在视频源流替换决策过程中，选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。采用上述技术手段，通过替换源流二分类模型进行视频源流替换的合理、稳定决策，在保障用户观看体验的同时节省带宽成本。

附图说明

图1是本申请实施例提供的一种视频源流替换方法的流程图；

图2是本申请实施例中替换源流二分类模型的构建流程图；

图3是本申请实施例中视频源流替换的决策示意图；

图4是本申请实施例中基于替换源流分类结果的替换源流决策示意图；

图5是本申请实施例提供的一种视频源流替换系统的结构示意图；

图6是本申请实施例提供的一种视频源流替换设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的一种视频源流替换方法，旨在提供一种自适应替换源流策略以进行视频源流替换决策。通过预先构建一个替换源流二分类模型，以通过模型预测分析是否替换源流。替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到，以此可以使用不同特征的视频源流进行精准、合理的替换源流分析决策，优化用户的观看体验。

对于之前的视频源流替换方案，一般会通过统计每分钟内转码流的平均PSNR，然后根据平均PSNR和PSNR阈值共同决策是否替换源流。这种方式在主播端编码类型、转码端的预处理算法以及编码算法发生变化时，线上数据的PSNR分布也会发生比较大的变化。进而会对基于转码PSNR的替换源流策略产生冲击。后台需要不断地根据线上数据的PSNR分布调整对应的PSNR阈值，以此进行源流替换决策存在一定的鲁棒性问题。

基于此，提供本申请实施例的一种视频源流替换方法，以解决现有转码视频流替换视频源流决策存在不合理的问题。

实施例：

图1给出了本申请实施例提供的一种视频源流替换方法的流程图，本实施例中提供的视频源流替换方法可以由视频源流替换设备执行，该视频源流替换设备可以通过软件和/或硬件的方式实现，该视频源流替换设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该视频源流替换设备可以是电脑、转码后台服务器等计算设备。

下述以视频源流替换设备为执行视频源流替换方法的主体为例，进行描述。参照图1，该视频源流替换方法具体包括：

S110、确定目标视频源流的特征信息，特征信息包括源流特征，以及基于目标视频源流使用指定转码档位进行编码得到的编码特征。

本申请实施例在进行视频源流替换决策时，会根据主播端上传的视频源流进行特征提取，根据视频源流的特征信息使用预先构建的替换源流二分类模型进行替换源流分析决策，进而根据模型输出的替换源流分类结果决策是否进行视频源流替换。

在此之前，需要预先构建一个替换源流二分类模型，以用于后续进行替换源流分析决策。具体地，参照图2，模型构建流程包括：

S1001、创建训练数据集，训练数据集包含不同场景、不同分辨率的视频源流；

S1002、检测训练数据集中各个视频源流的画面组，确定各个画面组的源流特征、编码特征以及各个画面组的峰值信噪比，根据峰值信噪比为各个画面组配置替换源流分类标签；

S1003、以各个画面组的源流特征、编码特征作为模型输入，以对应的替换源流分类结果作为模型输出，训练替换源流二分类模型，替换源流分类结果包含各个画面组对应的替换源流分类标签。

在替换源流二分类模型构建过程中，通过数据收集、特征和标签的提取以及模型训练三个步骤，实现模型构建。

其中，在数据收集过程中，通过收集生产环境中各种类型(室内场景、户外场景、静止场景、运动场景以及场景切换等)和各种分辨率(720p、480p、360p等)的视频源流，以构建训练数据集。可以理解的是，在直播场景中，由于主播端直播场景的不同(室内场景、户外场景、静止场景、运动场景以及场景切换等)、上传至转码后台的视频源流分辨率(720p、480p、360p等)的不同，其提供的视频源流的特征信息也不同。依此进行视频源流替换决策的结果也可能不同。因此，通过收集不同场景、不同分辨率的视频源流构建训练数据集，以保证训练好的模型具有良好的泛化能力。基于收集到的训练数据集，将其按照一定的比例划分为训练集、测试集和验证集以用于后续的替换源流二分类模型训练。

进一步地，基于该训练数据集，需要对训练数据集进一步处理，以提取对应的特征信息，特征信息输入替换源流二分类模型中进行训练。在提取特征信息时，首先将训练数据集划分为多个GOP(画面组)。从每个GOP中提取指定视频帧，定义这部分指定视频帧为miniGOP。对miniGOP使用指定转码档位进行编码得到编码过程中的相关编码数据，以这部分编码数据作为每个GOP的编码特征。同时提取miniGOP中每帧图像的时间复杂度特征、空间复杂度特征和纹理特征作为源流特征。

其中，空间复杂度为一帧图像的空间细节量，通过对图像进行Sobel滤波，然后对滤波后的图像计算标准差，选取其中的最大值作为空间复杂度。时间复杂度为视频序列的时间变化量，通过计算当前帧图像与前一帧图像的帧差异，然后对帧差图像计算标准差，选取其中最大值作为时间复杂度。本申请实施例采用灰度共生矩阵统计方法获取当前帧图像的纹理特征，并采取当前帧图像的灰度共生矩阵的熵、对比度、能量等作为纹理特征。

需要说明的是，上述指定转码档位可以是FHD档等不同高码率转码档位，该指定转码档位用于后续确定进行视频源流替换时，使用该指定转码档位进行转码生成转码视频流并下发至观众端。因此在进行模型构建的时候，需要基于该指定转码档位转码指定视频帧获取编码特征。通过设置高码率转码档位，在决策替换视频源流的情况下，对应该下发源流的观众端替换下发高码率档位的转码视频流，可以在不降低观看体验的同时，节省带宽成本。

基于各个画面组的转码结果，通过对源流画面组和转码结果进行计算，根据转码结果相对于源流画面组的失真情况，确定对应画面组的峰值信噪比(PSNR)，以根据峰值信噪比为各个画面组配置替换源流分类标签。替换源流分类标签需要基于生产环境中设置的PSNR阈值进行配置，通过计算每个画面组编码特征的PSNR值，将PSNR值与PSNR阈值进行比较，当PSNR值大于PSNR阈值时其对应的替换源流分类标签为1，否则为0。其中，替换源流分类标签1表示该画面组适合进行源流替换，0表示该画面组不适合进行源流替换。可以理解的是，若一个画面组基于指定转码档位转码后其峰值信噪比偏低，则表示其失真偏大，以转码后的画面组下发给用户端，会影响用户的观看体验。基于此，本申请实施例根据画面组转码后的PSNR值为各个画面组配置替换源流分类标签，以使后续的模型输出结果精准决策视频源流是否进行替换。

基于各个画面组的源流特征、编码特征和对应的替换源流分类标签，以上述源流特征和编码特征作为模型输入，以对应的替换源流分类标签作为模型输出，对替换源流二分类模型进行模型训练。通过对模型进行调参，如学习率和迭代次数、max_depth、num_leaves等参数，以提高模型精度。之后，将达到目标精度的模型保存并用于后续生产环境中GOP级替换源流分类结果的预测分析，以此完成模型训练流程。可选地，该替换源流二分类模型可以选用基于机器学习中的LightGBM模型实现，实际应用中，还可以选择其他深度学习模型构建该替换源流二分类模型。本申请实施例对具体的模型构建方案不做固定限制，在此不多赘述。

通过采用源流图像的纹理特征、时域和空域复杂度特征，以及指定转码档位的编码特征作为模型输入特征共同预测是否替换源流，后续在进行源流替换决策时，通过确定目标视频源流的对应特征信息，将其作为输入该替换源流二分类模型，即可输出相应的替换源流分类结果，达到基于视频源流内容自适应决策替换源流的目的。

需要说明的是，本申请实施例在进行模型构建的时候，基于GOP级进行编码特征和源流特征的提取，并以此进行模型训练。并且，提取编码特征和源流特征时，只针对GOP中的指定视频帧进行提取。通过指定视频帧来代表整个GOP，可以减少数据的计算量，降低模型预测过程带来的延迟。

基于已构建的替换源流二分类模型，后续在进行视频源流替换决策时，基于主播端上传的视频源流，定义该视频源流为目标视频源流，进行目标视频源流的特征信息提取。参照图3，在提取特征信息时，参照上述替换源流二分类模型构建过程中的编码特征和源流特征提取方式，将视频源流送入源流分析模块和转码模块。确定目标视频源流中各个画面组的指定视频帧，以指定视频帧的源流特征和编码特征作为特征信息。其中，源流特征包括指定视频帧的时间复杂度特征、空间复杂度特征和纹理特征，编码特征为指定视频帧使用指定转码档位进行编码得到的编码数据。将特征信息作为替换源流二分类模型的输入预测是否采用指定转码档位转码得到的转码视频流替换目标视频源流。

同样地，在进行特征信息提取时，基于各个画面组的视频帧顺序，从I帧起始依序选择设定数量的视频帧作为指定视频帧。通过定义一个GOP中前设定数量个帧为miniGOP，源流分析模块和转码模块分别提取miniGOP的源流特征和编码特征作为GOP特征，以各个GOP特征构成目标视频源流的特征信息。由于I帧包含了一个画面组中的最重要的信息，从I帧起始依序选择设定数量的视频帧作为指定视频帧，以此进行特征提取，即保障画面组的重要信息能够被采集，同时也减少了数据计算量，提升特征信息提取效率。通过源流分析模块中提取miniGOP中每个视频帧的时间复杂度特征、空间复杂度特征和纹理特征作为源流特征。转码模块中按照生产环境中指定转码档位编码配置对miniGOP进行编码，提取编码数据作为编码特征，以此完成特征信息的提取。

S120、将特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果，替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到。

进一步地，基于采集到的特征信息，将其输入预构建的替换源流二分类模型。由于替换源流二分类模型预先根据不同画面组的编码特征、源流特征和对应的替换源流分类标签进行训练构建。在将包含多个GOP的编码特征和源流特征的特征信息输入替换源流二分类模型后，通过模型预测，即可输出对应的替换源流分类结果，该替换源流分类结果包含各个GOP的替换源流分类标签的标签值(即1或0)。在进行模型预测过程中，逐个GOP输入编码特征和源流特征，以得到对应GOP的替换源流分类标签。

可以理解的是，替换源流二分类模型为一个LightGBM机器学习模型，其输入为源流分析模块和转码模块提取的源流特征和编码特征，输出为替换源流分类结果。当替换源流分类结果中的替换源流分类标签为1时，表示替换源流，为0时表示不替换源流。为了保证模型的预测精度，通过收集不同类型、不同分辨率的视频源流作为训练数据集，将训练数据集按照指定转码档位编码配置切分为多个GOP，分别提取每个GOP的时空复杂度特征、纹理特征，以及按照指定转码档位配置进行编码得到的编码数据作为替换源流二分类模型的输入特征。同时将按照指定转码档位配置编码GOP得到的PSNR值与生产环境中的PSNR阈值进行比较，大于PSNR阈值时替换源流分类标签配置为1，反之配置为0。基于该预先训练的替换源流二分类模型，在替换源流二分类模型投入使用时，基于输入模型的特征信息，即可通过模型运算得到对应的各个GOP的替换源流分类标签的替换源流分类结果。

S130、基于替换源流分类结果进行视频源流替换决策，在视频源流替换决策过程中，选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。

进一步地，基于该替换源流分类结果，即可决策是否进行目标视频源流的替换。可选地，为了避免视频源流和转码视频流频繁切换可能引起的卡顿，本申请实施例每隔一分钟决策是否替换源流。综合决策模块通过统计一分钟内的所有GOP的替换源流分类结果，基于该替换源流分类结果进行视频源流替换决策。

参照图3，本申请实施实施例结合设定约束条件和替换源流分类结果进行视频源流替换的综合决策。其中，判断目标视频源流是否满足设定约束条件，约束条件基于源流和转码视频流的延迟设定；对应地，在目标视频源流满足设定约束条件的情况下，基于替换源流分类结果进行视频源流替换决策；在目标视频源流不满足设定约束条件的情况下，选择目标视频源流下发至观众端。

综合决策模块在结合设定约束条件和替换源流分类结果共同决策是否替换源流时，以设定约束条件为前提条件，当目标视频源流满足设定约束条件后，再根据替换源流分类结果进行决策是否替换源流。

其中，设定约束条件为目标视频源流的帧率大于设定帧率值，且基于目标视频源流使用指定转码档位进行编码的单帧编码时长小于设定时长。由于在实际转码中转码流会引入一定帧数的延迟。帧率越低，单帧编码时长越长，其转码延迟时长越长，此时对观众下发转码视频流越容易引入卡顿。因此，本申请实施例在目标视频源流帧率大于设定帧率值Mfps，且单帧编码时长(所有帧的的平均编码时长)小于设定时长N ms时，才满足设定约束条件，否则不满足设定约束条件。当目标视频源流不满足设定约束条件时，则直接选择目标视频源流下发至观众端，不进行源流替换操作，避免转码视频流引入过多卡顿。当目标视频源流满足设定约束条件时，综合决策模块进一步基于替换源流分类结果进行视频源流替换决策。

参照图4，本申请实施例基于替换源流分类结果的替换源流决策的流程包括：

S1301、基于目标视频源流中各个画面组的替换源流分类结果计算替换源流分类标签的标签均值；

S1302、将标签均值比对设定阈值信息，根据比对结果选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。

基于替换源流二分类模型输出的包含每个GOP替换源流分类标签的替换源流分类结果。通过计算各个标签值的平均值，定义为标签均值。将标签均值比对设定阈值信息，若标签均值大于设定阈值信息，则使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。否则，直接选择目标视频源流下发至观众端，不进行源流替换操作。

例如，若一分钟内各个GOP预测到的替换源流分类标签为1的数量占所有GOP的一半以上，则决策替换源流，否则不替换源流。由于替换源流分类标签为1或0，则该设定阈值信息需要大于0.5，当目标视频源流满足设定约束条件，且一分钟内标签均值大于0.5时，决策采用指定转码档位转码的视频流替换源流，否则不替换。

可以理解的是，本申请实施例通过每隔一分钟进行一次源流替换决策，统计一分钟内所有GOP的替换源流分类标签并计算其平均值，结合设定约束条件(包括源流帧率和单帧编码时长)和标签均值综合决策是否替换源流。可以保障用户的观看体验，同时也避免源流和转码视频流的频繁切换引入过多延迟。并且，当主播编码类型变化、在编码前增加图像增强处理算法(如降噪算法，视频编码PSNR值会有大幅度的增加)以及编码算法的优化使生产环境中PSNR分布有较大变化的情况下，通过本申请实施例的视频源流替换方法，也可以根据视频内容复杂度自适应决策是否替换源流，即使主播编码类型的变化、编码前增加图像处理算法以及优化编码算法时仍能做出合理、精准的决策。

上述，通过确定目标视频源流的特征信息，特征信息包括源流特征，以及基于目标视频源流使用指定转码档位进行编码得到的编码特征；将特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果，替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到；基于替换源流分类结果进行视频源流替换决策，在视频源流替换决策过程中，选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。采用上述技术手段，通过替换源流二分类模型进行视频源流替换的合理、稳定决策，在保障用户观看体验的同时节省带宽成本。

在上述实施例的基础上，图5为本申请提供的一种视频源流替换系统的结构示意图。参考图5，本实施例提供的视频源流替换系统具体包括：特征确定模块21、模型分析模块22和决策模块23。

其中，特征确定模块21配置为确定目标视频源流的特征信息，特征信息包括源流特征，以及基于目标视频源流使用指定转码档位进行编码得到的编码特征；

模型分析模块22配置为将特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果，替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到；

决策模块23配置为基于替换源流分类结果进行视频源流替换决策，在视频源流替换决策过程中，选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。

具体地，特征确定模块21配置为确定目标视频源流中各个画面组的指定视频帧，以指定视频帧的源流特征和编码特征作为特征信息。

其中，源流特征包括指定视频帧的时间复杂度特征、空间复杂度特征和纹理特征，编码特征为指定视频帧使用指定转码档位进行编码得到的编码数据。基于各个画面组的视频帧顺序，从I帧起始依序选择设定数量的视频帧作为指定视频帧。

替换源流二分类模型的构建流程包括：

创建训练数据集，训练数据集包含不同场景、不同分辨率的视频源流；

检测训练数据集中各个视频源流的画面组，确定各个画面组的源流特征、编码特征以及各个画面组的峰值信噪比，根据峰值信噪比为各个画面组配置替换源流分类标签；

以各个画面组的源流特征、编码特征作为模型输入，以对应的替换源流分类结果作为模型输出，训练替换源流二分类模型，所述替换源流分类结果包含各个画面组对应的替换源流分类标签。

具体地，决策模块23配置为判断目标视频源流是否满足设定约束条件，约束条件基于转码视频流的延迟设定；对应地，在目标视频源流满足设定约束条件的情况下，基于替换源流分类结果进行视频源流替换决策；在目标视频源流不满足设定约束条件的情况下，选择目标视频源流下发至观众端。设定约束条件为目标视频源流的帧率大于设定帧率值，且基于目标视频源流使用指定转码档位进行编码的单帧编码时长小于设定时长。

具体地，决策模块23配置为基于目标视频源流中各个画面组的替换源流分类结果计算替换源流分类标签的标签均值；

将标签均值比对设定阈值信息，根据比对结果选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。

上述，通过确定目标视频源流的特征信息，特征信息包括源流特征，以及基于目标视频源流使用指定转码档位进行编码得到的编码特征；将特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果，替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到；基于替换源流分类结果进行视频源流替换决策，在视频源流替换决策过程中，选择目标视频源流下发至观众端，或者使用指定转码档位转码视频源流得到转码视频流，下发转码视频流至观众端。采用上述技术手段，通过替换源流二分类模型进行视频源流替换的合理、稳定决策，在保障用户观看体验的同时节省带宽成本。

本申请实施例提供的视频源流替换系统可以配置为执行上述实施例提供的视频源流替换方法，具备相应的功能和有益效果。

在上述实际上例的基础上，本申请实施例还提供了一种视频源流替换设备，参照图6，该视频源流替换设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。存储器32作为一种计算机可读存储介质，可配置为存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的视频源流替换方法对应的程序指令/模块(例如，视频源流替换系统中的特征确定模块、模型分析模块和决策模块)。通信模块33配置为进行数据传输。处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的视频源流替换方法。输入装置34可配置为接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。上述提供的视频源流替换设备可配置为执行上述实施例提供的视频源流替换方法，具备相应的功能和有益效果。

在上述实施例的基础上，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行一种视频源流替换方法，存储介质可以是任何的各种类型的存储器设备或存储设备。当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的视频源流替换方法，还可以执行本申请任意实施例所提供的视频源流替换方法中的相关操作。

在上述实施例的基础上，本申请实施例还提供一种计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所述视频源流替换方法的全部或部分步骤。

Claims (9)

1.一种视频源流替换方法，其特征在于，包括：

确定目标视频源流的特征信息，所述特征信息包括源流特征，以及基于所述目标视频源流使用指定转码档位进行编码得到的编码特征；

将所述特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果，所述替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到；

基于所述替换源流分类结果进行视频源流替换决策，在所述视频源流替换决策过程中，选择所述目标视频源流下发至观众端，或者使用所述指定转码档位转码所述视频源流得到转码视频流，下发所述转码视频流至观众端；

所述源流特征包括所述目标视频源流中各个画面组的指定视频帧的时间复杂度特征、空间复杂度特征和纹理特征；所述编码特征为所述指定视频帧使用指定转码档位进行编码得到的编码数据。

2.根据权利要求1所述的视频源流替换方法，其特征在于，所述确定所述目标视频源流中各个画面组的指定视频帧，包括：

基于各个画面组的视频帧顺序，从I帧起始依序选择设定数量的视频帧作为所述指定视频帧。

3.根据权利要求1所述的视频源流替换方法，其特征在于，所述替换源流二分类模型的构建流程包括：

创建训练数据集，所述训练数据集包含不同场景、不同分辨率的视频源流；

检测所述训练数据集中各个视频源流的画面组，确定各个画面组的源流特征、编码特征以及各个画面组的峰值信噪比，根据所述峰值信噪比为各个画面组配置替换源流分类标签；

以各个画面组的源流特征、编码特征作为模型输入，以对应的替换源流分类结果作为模型输出，训练所述替换源流二分类模型，所述替换源流分类结果包含各个画面组对应的替换源流分类标签。

4.根据权利要求3所述的视频源流替换方法，其特征在于，所述基于所述替换源流分类结果选择所述目标视频源流下发至观众端，或者使用所述指定转码档位转码所述视频源流得到转码视频流，下发所述转码视频流至观众端，包括：

基于所述目标视频源流中各个画面组的替换源流分类结果计算替换源流分类标签的标签均值；

将所述标签均值比对设定阈值信息，根据比对结果选择所述目标视频源流下发至观众端，或者使用所述指定转码档位转码所述视频源流得到转码视频流，下发所述转码视频流至观众端。

5.根据权利要求1所述的视频源流替换方法，其特征在于，在基于所述替换源流分类结果进行视频源流替换决策之前，还包括：

判断所述目标视频源流是否满足设定约束条件，所述约束条件基于转码视频流的延迟设定；

对应地，在所述目标视频源流满足设定约束条件的情况下，基于所述替换源流分类结果进行视频源流替换决策；

在所述目标视频源流不满足设定约束条件的情况下，选择所述目标视频源流下发至观众端。

6.根据权利要求5所述的视频源流替换方法，其特征在于，所述设定约束条件为所述目标视频源流的帧率大于设定帧率值，且基于所述目标视频源流使用指定转码档位进行编码的单帧编码时长小于设定时长。

7.一种视频源流替换系统，其特征在于，包括：

特征确定模块，配置为确定目标视频源流的特征信息，所述特征信息包括源流特征，以及基于所述目标视频源流使用指定转码档位进行编码得到的编码特征；

模型分析模块，配置为将所述特征信息输入预构建的替换源流二分类模型，输出对应的替换源流分类结果，所述替换源流二分类模型预先根据不同视频源流的源流特征、编码特征和对应的替换源流分类标签训练得到；

决策模块，配置为基于所述替换源流分类结果进行视频源流替换决策，在所述视频源流替换决策过程中，选择所述目标视频源流下发至观众端，或者使用所述指定转码档位转码所述视频源流得到转码视频流，下发所述转码视频流至观众端；

所述源流特征包括所述目标视频源流中各个画面组的指定视频帧的时间复杂度特征、空间复杂度特征和纹理特征；所述编码特征为所述指定视频帧使用指定转码档位进行编码得到的编码数据。

8.一种视频源流替换设备，其特征在于，包括：

存储器以及一个或多个处理器；

所述存储器，配置为存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的视频源流替换方法。

9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时配置为执行如权利要求1-6任一所述的视频源流替换方法。