CN114900720B - 媒体流的流畅性评估方法、系统、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种媒体流的流畅性评估方法、系统、电子装置和存储介质，通过获取预设时间段内媒体流的特征参数，该特征参数包括每一媒体帧的时间戳，根据相邻两个媒体帧的时间戳差值构建第一差值数列，降低第一差值数列的离散程度，获得第二差值数列，根据第二差值数列计算得到评估参数，该评估参数用于评估媒体流的流畅性，由于媒体流不流畅时，可以体现在媒体帧时间戳差值上，当差值越大，以及大于标准媒体帧间隔的差值越多，说明媒体流的流畅度越低，因此，根据第二差值数列计算得到的评估参数可准确的评估媒体流的流畅性，解决了相关技术中通过媒体流的帧率评估媒体流的流畅性，准确度较低的问题。

Description

媒体流的流畅性评估方法、系统、电子装置和存储介质

技术领域

本申请涉及音视频技术领域，特别是涉及媒体流的流畅性评估方法、系统、电子装置和存储介质。

背景技术

视频由一帧一帧的画面组成，根据人眼的特性当相机拍摄的画面更新速度达到一秒24帧时，人眼将认为画面是连续的。在相关技术中，会通过媒体流的帧率评估媒体流的流畅性，但会出现媒体帧序列在一定的时间尺度内分布极不均匀，而媒体流的帧率却是足够的情况，同样会造成媒体流的卡顿，因此，通过媒体流的帧率评估媒体流的流畅性并不准确。

目前针对相关技术中通过媒体流的帧率评估媒体流的流畅性，准确度较低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种媒体流的流畅性评估方法、系统、电子装置和存储介质，以至少解决相关技术中通过媒体流的帧率评估媒体流的流畅性，准确度较低的问题。

第一方面，本申请实施例提供了一种媒体流的流畅性评估方法，所述方法包括：

获取预设时间段内媒体流的特征参数，所述特征参数包括每一媒体帧的时间戳，其中，所述媒体流为音频流或视频流；

根据相邻两个所述媒体帧的时间戳差值构建第一差值数列；

降低所述第一差值数列的离散程度，获得第二差值数列；

根据所述第二差值数列计算得到评估参数，所述评估参数用于评估所述媒体流的流畅性。

在其中一些实施例中，所述降低所述第一差值数列的离散程度，获得第二差值数列，包括：

获取所述第一差值数列的平均值，根据预设阈值和所述平均值去除所述第一差值数列的波动，获得第二差值数列。

在其中一些实施例中，根据所述第二差值数列计算得到评估参数，包括：

将所述第二差值数列中超过预设值的数值，记为目标数值；

对所述目标数值按预设倍数进行增强并更新所述第二差值数列；

根据更新后的第二差值数列计算得到评估参数。

在其中一些实施例中，根据更新后的第二差值数列计算得到评估参数，包括：

针对更新后的第二差值数列进行数据归一化处理，获得第三差值数列；

根据所述第三差值数列计算得到所述评估参数。

在其中一些实施例中，所述特征参数包括媒体流的帧率，根据所述第二差值数列计算得到评估参数之后，所述方法包括：

根据所述媒体流的帧率和所述评估参数评估所述媒体流的流畅性。

第二方面，本申请实施例提供了一种媒体流的流畅性评估系统，所述系统包括获取模块、构建模块和评估模块，

所述获取模块，用于获取预设时间段内媒体流的特征参数，所述特征参数包括每一媒体帧的时间戳，其中，所述媒体流为音频流或视频流；

所述构建模块，用于根据相邻两个所述媒体帧的时间戳差值构建第一差值数列，降低所述第一差值数列的离散程度，获得第二差值数列；

所述评估模块，用于根据所述第二差值数列计算得到评估参数，所述评估参数用于评估所述媒体流的流畅性。

在其中一些实施例中，所述评估模块用于将所述第二差值数列中超过预设值的数值，记为目标数值；

对所述目标数值按预设倍数进行增强并更新所述第二差值数列；

根据更新后的第二差值数列计算得到评估参数。

在其中一些实施例中，所述评估模块用于针对更新后的第二差值数列进行数据归一化处理，获得第三差值数列；

根据所述第三差值数列计算得到所述评估参数。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的媒体流的流畅性评估方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的媒体流的流畅性评估方法。

相比于相关技术，本申请实施例提供的媒体流的流畅性评估方法，通过获取预设时间段内媒体流的特征参数，该特征参数包括每一媒体帧的时间戳，根据相邻两个媒体帧的时间戳差值构建第一差值数列，降低第一差值数列的离散程度，获得第二差值数列，根据第二差值数列计算得到评估参数，该评估参数用于评估媒体流的流畅性，由于媒体流不流畅时，可以体现在媒体帧时间戳差值上，当差值越大，以及大于标准媒体帧间隔的差值越多，说明媒体流的流畅度越低，因此，根据第二差值数列计算得到的评估参数可准确的评估媒体流的流畅性，解决了相关技术中通过媒体流的帧率评估媒体流的流畅性，准确度较低的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的媒体流的流畅性评估方法的流程图；

图2是根据本申请实施例的另一种媒体流的流畅性评估方法的流程图；

图3是根据本申请实施例的第三种媒体流的流畅性评估方法的流程图；

图4是根据本申请实施例的媒体流的流畅性评估系统的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供了一种媒体流的流畅性评估方法，图1是根据本申请实施例的媒体流的流畅性评估方法的流程图，如图1所示，该方法包括如下步骤：

步骤S101，获取预设时间段内媒体流的特征参数，该特征参数包括每一媒体帧的时间戳，其中，媒体流为音频流或视频流；本实施例中，可以获取任意一段时间内的媒体流，从而评估该段时间内媒体流的流畅性，若判断出预设时间段内的媒体流不流畅，则可以针对该时间段采取优化策略，例如，可以对该时间段内的媒体流进行补帧，解决媒体流不流畅的问题。

步骤S102，根据相邻两个媒体帧的时间戳差值构建第一差值数列；其中，媒体帧为音频帧或视频帧。

步骤S103，降低第一差值数列的离散程度，获得第二差值数列；其中，第一差值数列中的数值距离某个值的偏离程度表示第一差值数列的离散程度，降低第一差值数列中的数值距离某个值的偏离程度，即可降低数列的离散程度，使数据之间的差值减小，若该值为平均值，则能使数据更向平均值集中。

步骤S104，根据第二差值数列计算得到评估参数，评估参数用于评估媒体流的流畅性。本实施例中，评估参数可以是方差或标准差，其中，方差可以用来衡量一组数据的波动大小，当降低数列的离散程度后，再求出数列的方差，可以使求出的方差评估媒体流的流畅性更准确，当评估参数为方差时，方差越小说明媒体流的流畅性越好。

通过步骤S101至步骤S104，相对于相关技术中通过媒体流的帧率评估媒体流的流畅性，准确度较低的问题，本实施例通过获取预设时间段内媒体流的特征参数，该特征参数包括每一媒体帧的时间戳，根据相邻两个媒体帧的时间戳差值构建第一差值数列，降低第一差值数列的离散程度，获得第二差值数列，根据第二差值数列计算得到评估参数，该评估参数用于评估媒体流的流畅性，由于媒体流不流畅时，可以体现在媒体帧时间戳差值上，当差值越大，以及大于标准媒体帧间隔的差值越多，说明媒体流的流畅度越低，因此，根据第二差值数列计算得到的评估参数可准确的评估媒体流的流畅性，解决了相关技术中通过媒体流的帧率评估媒体流的流畅性，准确度较低的问题。

可以通过去除小范围的波动，降低第一差值数列的离散程度，故在其中一些实施例中，降低第一差值数列的离散程度，获得第二差值数列包括：

获取第一差值数列的平均值，根据预设阈值和平均值去除第一差值数列的波动，获得第二差值数列。

可选的，预设阈值为P，平均值为A时，允许的波动范围为{A-P，A+P}，将第一差值数列Q1中在允许的波动范围内的数值设置为平均值，将第一差值数列中小于允许的波动范围下限A-P的第一数值，设置为第一数值与预设阈值的和，将第一差值数列中大于允许的波动范围上限A+P的第二数值，设置为第二数值与预设阈值的差，直至将第一差值数列中的数值遍历结束，获得第二差值数列Q2，即当第二差值数列Q2的某一项为Sx，第一差值数列Q1的某一项为Dx，当A-P<Dx<A+P时，说明Dx在允许的波动范围内，则使Sx＝A，当Dx<A-P时，说明Dx小于允许的波动范围下限，使Sx＝Dx+P，当Dx>A+P时，说明Dx大于允许的波动范围下限，使Sx＝Dx-P，通过本实施例，第二差值数列相比于第一差值数列，数据之间的差值减小了，即数列的离散度降低，数据更向平均值集中，因此去除了小范围的波动。

示例性的，若第一差值数列Q1＝[10,16,17,12,14,18,20,13]，则平均值A＝15，若预设阈值P为1，则允许的波动范围为{14，16}，则第二差值数列Q2＝[11,15,16,13,15,17,19,14]。

媒体流中，若存在前一帧媒体帧和后一帧媒体帧时间戳的差值大于预设值，说明该媒体流存在极大间隔，存在极大间隔会导致卡顿，而有极大间隔的数列的方差值可能和没有极大间隔的数列的方差值一样，因此需要对第二差值数列中的极大间隔项进行增强，再求数列的方差值，使评估媒体流的流畅性时更准确。

因此在其中一些实施例中，图2是根据本申请实施例的另一种媒体流的流畅性评估方法的流程图，如图2所示，根据第二差值数列计算得到评估参数包括如下步骤：

步骤S201，将第二差值数列中超过预设值的数值，记为目标数值；

步骤S202，对该目标数值按预设倍数进行增强并更新该第二差值数列，根据更新后的第二差值数列计算得到评估参数。

示例性的，预设倍数可以为1.2，预设值W为n倍的平均值A，即W＝n*A，当第二差值数列中的项Sx>＝W时，使Sx＝Sx*1.2，直至遍历完该第二差值数列中的项，得到更新后的第二差值数列，其中，预设倍数和预设值的取值可以根据统计数据求得。

通过步骤S201至步骤S202，对第二差值数列中的目标数值进行增强，即对极大间隔项进行增强，获得更新后的第二差值数列，再求出更新后的第二差值数列的方差值，并用于评估媒体流的流畅性，使评估媒体流的流畅性时更准确，且对目标数值进行增强，即对极大间隔项进行增强，极大间隔的确定以及增强还可以定位媒体流不流畅的具体位置，以便准确进行优化。

在网络拉流播放的场景下，因为网络的不稳定会导致收到的帧序列很不均匀，为能均匀的播放媒体帧，一般都会先缓存一段时间的媒体帧来对抗网络的波动，这时，缓存多长时间的媒体帧数据，就取决于帧序列中最大的极大间隔，因此通过本实施例，还可以找出最大的极大间隔，来作为媒体流的缓冲时间，来缓冲波动。

在其中一些实施例中，图3是根据本申请实施例的第三种媒体流的流畅性评估方法的流程图，如图3所示，根据更新后的第二差值数列计算得到评估参数包括如下步骤：

步骤S301，针对更新后的第二差值数列进行数据归一化处理，获得第三差值数列；

步骤S302，根据第三差值数列计算得到评估参数。

由于存在不同数列下的数值大小不一样，但数列的离散程度却相同的情况，因此，通过对数列进行归一化处理，可以得到与数值无关的数列，再用归一化处理后的数列计算得到评估参数，并用于评估媒体流的流畅性，使评估媒体流的流畅性时更准确，本实施例中，可以根据平均值对更新后的第二差值数列进行数据归一化处理，获得第三差值数列。

例如，q1＝[10,16,17,12,14,18,20,13]，q2＝[100,160,170,120,140,180,200,130]，q1与q2的离散程度相同，归一化公式为数值除以平均值，因此，归一化后，得到的数列分别为q1＝[0.67,1.07,1.13,0.8,0.93,1.2,1.33,0.87]，q2＝[0.67,1.07,1.13,0.8,0.93,1.2,1.33,0.87]，因此，通过本实施例消除数值大小带来的影响后，再求评估参数，使评估媒体流的流畅性时更准确。

在其中一些实施例中，特征参数还包括媒体流的帧率，根据第二差值数列计算得到评估参数之后，根据媒体流的帧率和评估参数评估媒体流的流畅性。具体的，评估参数可以为方差，方差描述了数列的离散程度，方差越大说明媒体帧序列越不均匀，即媒体流越不流畅，因此如果一段时间内媒体流的帧率高于一定值且方差小于一定值，则说明这段时间的媒体流是流畅的，通过媒体流的帧率和方差两个指标评估媒体流的流畅性，准确度更高。

通过本实施例，可以准确反映媒体流流畅性的可量化的标准，为媒体流流畅性的检测和评估建立客观的数值标准，从而能数值化及可视化的找出媒体流不流畅的时间点及原因。可以节省大量的人力成本，对提高直播视频质量有极大帮助。且本方案从客观上建立了一套可以量化的数值指标，能真实反映媒体流的流畅性，并能输出数据便于后期的运营分析，也能用于前置环节参考调节以改善媒体流的流畅性。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种媒体流的流畅性评估系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本申请实施例的媒体流的流畅性评估系统的结构框图，如图4所示，该系统包括获取模块41、构建模块42和评估模块43，获取模块41用于获取预设时间段内媒体流的特征参数，特征参数包括每一媒体帧的时间戳，其中，媒体流为音频流或视频流，构建模块42用于根据相邻两个媒体帧的时间戳差值构建第一差值数列，降低第一差值数列的离散程度，获得第二差值数列，评估模块43用于根据第二差值数列计算得到评估参数，评估参数用于评估媒体流的流畅性，解决了相关技术中通过媒体流的帧率评估媒体流的流畅性，准确度较低的问题。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的媒体流的流畅性评估方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种媒体流的流畅性评估方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种媒体流的流畅性评估方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种媒体流的流畅性评估方法，其特征在于，所述方法包括：

获取预设时间段内媒体流的特征参数，所述特征参数包括每一媒体帧的时间戳，其中，所述媒体流为音频流或视频流；

根据相邻两个所述媒体帧的时间戳差值构建第一差值数列；

降低所述第一差值数列的离散程度，获得第二差值数列；其中，所述离散程度表示所述第一差值数列中的数值距离某个值的偏离程度，通过缩小所述第一差值数列中的数值距离某个值的偏离程度来降低所述离散程度；

根据所述第二差值数列计算得到评估参数，所述评估参数用于评估所述媒体流的流畅性；其中，所述评估参数为所述第二差值数列的方差或标准差。

2.根据权利要求1所述的方法，其特征在于，所述降低所述第一差值数列的离散程度，获得第二差值数列，包括：

获取所述第一差值数列的平均值，根据预设阈值和所述平均值去除所述第一差值数列的波动，获得第二差值数列。

3.根据权利要求1或2所述的方法，其特征在于，根据所述第二差值数列计算得到评估参数，包括：

将所述第二差值数列中超过预设值的数值，记为目标数值；

对所述目标数值按预设倍数进行增强并更新所述第二差值数列；

根据更新后的第二差值数列计算得到评估参数。

4.根据权利要求3所述的方法，其特征在于，根据更新后的第二差值数列计算得到评估参数，包括：

针对更新后的第二差值数列进行数据归一化处理，获得第三差值数列；

根据所述第三差值数列计算得到所述评估参数。

5.根据权利要求1所述的方法，其特征在于，所述特征参数包括媒体流的帧率，根据所述第二差值数列计算得到评估参数之后，所述方法包括：

根据所述媒体流的帧率和所述评估参数评估所述媒体流的流畅性。

6.一种媒体流的流畅性评估系统，其特征在于，所述系统包括获取模块、构建模块和评估模块，

所述获取模块，用于获取预设时间段内媒体流的特征参数，所述特征参数包括每一媒体帧的时间戳，其中，所述媒体流为音频流或视频流；

所述构建模块，用于根据相邻两个所述媒体帧的时间戳差值构建第一差值数列，降低所述第一差值数列的离散程度，获得第二差值数列；其中，所述离散程度表示所述第一差值数列中的数值距离某个值的偏离程度，通过缩小所述第一差值数列中的数值距离某个值的偏离程度来降低所述离散程度；

所述评估模块，用于根据所述第二差值数列计算得到评估参数，所述评估参数用于评估所述媒体流的流畅性；其中，所述评估参数为所述第二差值数列的方差或标准差。

7.根据权利要求6所述的系统，其特征在于，所述评估模块用于将所述第二差值数列中超过预设值的数值，记为目标数值；

对所述目标数值按预设倍数进行增强并更新所述第二差值数列；

根据更新后的第二差值数列计算得到评估参数。

8.根据权利要求7所述的系统，其特征在于，所述评估模块用于针对更新后的第二差值数列进行数据归一化处理，获得第三差值数列；

根据所述第三差值数列计算得到所述评估参数。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的媒体流的流畅性评估方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器运行时实现权利要求1至5中任一项所述的媒体流的流畅性评估方法。