CN116170606A - 直播质量评估方法、装置、电子设备及介质 - Google Patents

直播质量评估方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116170606A
CN116170606A CN202111405551.2A CN202111405551A CN116170606A CN 116170606 A CN116170606 A CN 116170606A CN 202111405551 A CN202111405551 A CN 202111405551A CN 116170606 A CN116170606 A CN 116170606A
Authority
CN
China
Prior art keywords
live broadcast
sample
target
quality
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111405551.2A
Other languages
English (en)
Inventor
朱艳宏
杨红伟
孙滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111405551.2A priority Critical patent/CN116170606A/zh
Publication of CN116170606A publication Critical patent/CN116170606A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种直播质量评估方法、装置、电子设备及介质，涉及通信技术领域，其中，该方法包括：获取待评估直播数据包的网络状态信息；将待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到待评估直播数据包的目标直播质量评估结果；目标直播评估模型基于样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。这样，可提高得到的目标质量评估结果的准确性。

Description

直播质量评估方法、装置、电子设备及介质
技术领域
本发明涉及通信技术领域，尤其涉及一种直播质量评估方法、装置、电子设备及介质。
背景技术
当前，视频产生的流量占据业务总流量的比例较大，而随着视频监控、短视频直播平台、线上会议等的不断迅速发展，视频直播流量占比比较大。因此，作为运营商，对直播质量进行评估是非常必要的。
目前，常用的对直播质量评估的方法，是从用户侧获取体验数据进行直播视频质量分析，例如，获取观看直播视频的用户对直播视频的评论信息以及评分信息等，对直播视频进行质量评估，由于用户的主观性，这容易导致对直播视频评估的准确性较低。
发明内容
本发明实施例提供一种直播质量评估方法、装置、电子设备及介质，以解决现有对直播视频质量评估的准确性较低的问题。
为解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种直播质量评估方法，所述直播质量评估方法包括：
获取待评估直播数据包的网络状态信息；
将所述待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到所述待评估直播数据包的目标直播质量评估结果；其中，所述目标直播评估模型基于样本直播视频流的网络状态信息以及所述样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。
第二方面，本发明实施例提供一种直播质量评估装置，包括：
第一获取模块，用于获取待评估直播数据包的网络状态信息；
结果获得模块，用于将所述待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到所述待评估直播数据包的目标直播质量评估结果；其中，所述目标直播评估模型基于样本直播视频流的网络状态信息以及所述样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。
第三方面，本发明实施例提供一种电子设备，包括收发机和处理器，
所述处理器，用于获取待评估直播数据包的网络状态信息；以及
将所述待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到所述待评估直播数据包的目标直播质量评估结果；所述目标直播评估模型基于样本直播视频流的网络状态信息以及所述样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。
第四方面，本发明实施例提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现上述第一方面所述的直播质量评估方法的步骤。
第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的直播质量评估方法的步骤。
在本实施例的直播质量评估方法中，可以利用待评估直播数据包的网络状态信息进行待评估直播数据包的直播质量评估，而且是将待评估直播数据包的网络状态信息输入到通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值进行训练得到的目标直播评估模型中进行直播质量评估，得到待评估直播数据包的目标直播质量评估结果，这样，可提高得到的目标质量评估结果的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种直播质量评估方法的流程图；
图2是本发明实施例提供的一种网络传输原理图；
图3是本发明实施例提供的另一种直播质量评估方法的流程图；
图4是本发明实施例提供的一种流量分割以及特征衍生示意图；
图5是本发明实施例提供的一种直播质量评估装置的结构示意图之一；
图6是本发明实施例提供的一种电子设备的结构示意图之二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种直播质量评估方法的流程图，
步骤101：获取待评估直播数据包的网络状态信息。
待评估直播数据包可以理解是在视频直播过程中传输的数据包，可以是预设间隔时长内的待评估直播数据包。视频直播过程中，通过网络传输数据包，网络状态信息可以理解是视频直播过程中表征网络状态的信息。
步骤102：将待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到待评估直播数据包的目标直播质量评估结果；
其中，目标直播评估模型基于样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。
在一个示例中，上述初始直播评估模型可以是但不限于xgBoost(extremegradient boosting，极端梯度提升)、LightGBM(Light Gradient Boosting Machine，轻量的梯度提升机)、极端随机树、DNN((Deep Neural Networks，深度神经网络)等。
在本实施例中，是将待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到待评估直播数据包的目标直播质量评估结果，实现直播质量的评估。其中，目标直播评估模型是通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练得到，也即是训练得到目标直播评估模型不但考虑了样本直播视频流的网络状态信息，而且还考虑了样本直播视频流的的质量标签的值，利用该目标直播评估模型对待评估直播数据包进行直播质量评估，可提高直播质量评估的准确性。作为一个示例，质量标签可以包括卡顿次数、画质或QoE(Quality ofExperience，体验质量)等，其中，画质可以通过画质等级表示，例如，可通过画质与多个预设画质范围进行比较确定画质等级，画质在多个预设画质范围中的目标预设画质范围，则确定画质等级为该目标预设画质范围对应的等级。需要说明的是，某个视频段中有多个视频帧，每个视频帧有对应的画质，可对这多个视频帧的画质进行平均得到平均画质，根据平均画质确定画质等级，即上述画质等级可以是平均画质的等级等，可以理解，质量标签可以是体验标签。目标直播质量评估结果可以是目标卡顿次数、目标画质或目标QoE，与训练过程中采用的质量标签对应。
在本实施例的直播质量评估方法中，可以利用待评估直播数据包的网络状态信息进行待评估直播数据包的直播质量评估，而且是将待评估直播数据包的网络状态信息输入到通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值进行训练得到的目标直播评估模型中进行直播质量评估，得到待评估直播数据包的目标直播质量评估结果，这样，可提高得到的目标质量评估结果的准确性。
在一个实施例中，目标直播评估模型通过以下方式训练得到：
获取样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值；
通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型。
目标直播评估模型是通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练得到，也即是训练得到目标直播评估模型不但考虑了样本直播视频流的网络状态信息，而且还考虑了样本直播视频流的的质量标签的值，利用该目标直播评估模型对待评估直播数据包进行直播质量评估，可提高直播质量评估的准确性。
在一个实施例中，样本直播视频流包括多个样本直播数据包；
其中，获取样本直播视频流的网络状态信息，包括：
按照多个样本直播数据包的时间戳以及预设间隔时长，对多个样本直播数据包进行数据包划分，得到N段数据包，其中，N为大于1的整数，任一段数据包中包括至少两个样本直播数据包；
获取每个样本直播数据包的K个网络指标的值，K为大于1的整数；
对每段数据包中至少两个样本直播数据包的相同网络指标的值进行统计，确定每段数据包的L个网络特征，L为大于或等于K的整数；
其中，通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型，包括：
根据N段数据包的L个网络特征以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型。
由于在直播视频流在直播传输过程中，采用数据包的形式进行传输，样本直播数据流可包括多个样本直播数据包。例如，通常采用基于UDP(User Datagram Protocol，用户数据包协议)协议的推流传输协议进行流传输，即本申请实施例中的数据包可以是UDP数据包。
每个样本直播数据包有对应的时间戳，样本直播视频流中的多个样本直播数据包是按照时间戳的从先到后的顺序排列的，可根据多个样本直播数据包的时间戳以及预设间隔时长，对多个样本直播数据包进行数据包划分，得到N段数据包。
需要说明的是，样本直播视频流是已利用测试设备通过网络进行直播测试的视频流，如此，可获取多个样本直播数据包中每个样本直播数据包的K个网络指标的值，这些指标是可以是在直播测试过程中统计得到。网络指标可以表示网络状态的指标。在一个示例中，K个网络指标可以包括上行时延、下行时延、环回时延(上行时延和下行时延之和)、上行抖动、下行抖动、环回抖动(上行抖动和下行抖动之和)、上行丢包率、下行丢包率、环回丢包率(上行丢包率和下行丢包率之和)、上行带宽、下行带宽以及环回带宽(上行带宽和下行带宽之和)等中的至少两项。
每段数据包中包括至少两个样本直播数据包，每个样本直播数据包均有对应的K个网络指标的值，不同数据包的相同网络指标的值可能存在差异，可对每段数据包中至少两个样本直播数据包的相同网络指标的值进行统计，得到每段数据包的L个网络特征，即一个网络指标可对应至少一个网络特征，即一个网络指标可衍生至少一个网络特征，一段数据包的一个网络特征是对该段数据包中至少两个样本直播包的一个网络指标的统计得到，例如，该段数据包中包括m(至少为2)个样本直播数据包，对于上行时延的一个网络指标，则该段数据包中，m个样本直播数据包中每个数据包有对应的一个上行时延，即有m个上行时延，对m个上行时延进行统计，则得到至少一个网络特征。例如，对于上述上行时延的网络指标，对应得到的至少一个网络特征可以包括m个上行时延中的上行时延最大值、m个上行时延的上行时延平均值、m个上行时延的上行时延方差(一个方差)、m个上行时延中的上行时延最大值的离散值、m个上行时延的上行时延平均值的离散值、m个上行时延的上行时延方差的离散值以及上行时延的交叉特征等中的至少一项。需要说明的是，样本直播视频流的网络状态信息包括N段数据包的L个网络特征。
在训练过程中，可采用N段数据包的L个网络特征以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型，实现对模型的训练。
在本实施例中，以预设间隔时长进行流量分割，得到N段数据包，对每段数据包中至少两个样本直播数据包的相同网络指标的值进行统计，实现特征衍生，得到每段数据包的L个网络特征，也即是实现以预设间隔时长为粒度去统计预设间隔时长内的网络整体状态，并结合样本直播视频流的质量标签的值，对初始直播评估模型进行训练，使得到的目标直播评估模型的准确性提高，后续利用目标直播评估模型对待评估直播数据包进行直播质量评估，可提高直播质量评估的准确性。
在一个实施例中，样本直播视频流的质量标签的值包括M个视频帧段的质量标签的值；
其中，根据N段数据包的L个网络特征以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型，包括：
在N段数据包中包括P个目标段数据包的情况下，将每个目标段数据包的L个网络特征与对应的视频帧段的质量标签的值关联，得到P个样本数据，其中，P为正整数，P个目标段数据包与M个视频帧段中的P个视频帧段对应，P个视频帧段中任一视频帧段中的第一帧视频帧的时间戳与对应的目标段数据包中第一个数据包的时间戳之间的差值小于预设阈值；
通过P个样本数据，对初始直播评估模型进行训练，得到目标直播评估模型。
在N段数据包中可能存在不满足条件的段数据包，需将其滤除，其中，上述P个目标段数据包是满足条件的段数据包，例如，对于任一目标段数据包，M个视频帧段中存在目标视频帧端的第一帧视频帧的时间戳与该目标段数据包中第一个数据包的时间戳之间的差值小于预设阈值，P个目标段数据包与P个视频帧段一一对应。将每个目标段数据包的L个网络特征与对应的视频帧段的质量标签的值关联，得到P个样本数据，即一个样本数据中包括一个目标段数据包的L个网络特征以及该目标段数据包对应的视频帧段的质量标签的值。其中，预设阈值根据多次实际实践结果验证确定。样本直播数据包的时间戳可以理解是数据包的发送时间，样本直播视频流中视频帧的时间戳可以理解为该视频帧的接收时间。
在本实施例中，是将N段数据包中满足条件的P个目标段数据包的L个网络特征与对应的视频帧段的质量标签的值关联，得到P个样本数据，可提高样本数据的准确性，从而可提高模型训练效果，提高得到的目标直播评价模型的准确性，后续利用目标直播评价模型对待评估直播数据包的直播质量进行评估，可提到得到的目标直播评价结果的准确性。
在一个实施例中，获取样本直播视频流的质量标签的值，包括：
按照预设间隔时长，对样本直播视频流进行视频帧分段，得到M个视频帧段，M为大于1的整数；
确定每个视频帧段的质量标签的值，得到M个视频帧段的质量标签的值。
质量标签的值的确定过程中，是以视频帧为依据统计的，首先需要按照预设间隔时长，对样本直播视频流进行视频帧分段，得到M个视频帧段，任一视频帧段中包括至少一帧视频帧。然后确定每个视频帧段的质量标签的值，得到M个视频帧段的质量标签的值，即样本直播视频流的质量标签的值包括M个视频帧段的质量标签的值。需要说明的是，对于卡顿次数的质量标签，任一视频帧段的卡顿次数可以是该视频帧段的至少一帧视频帧中出现卡顿的帧数，对于画质，任一视频帧段的画质可以是该视频帧段的至少一帧视频帧到的平均画质，例如，若采用画质等级表征画质，则上述画质可以理解为画质等级，则任一视频帧段的画质可以是该视频帧段的至少一帧视频帧到的平均画质的等级，对于QoE，任一视频帧段的QoE可以是该视频帧段的至少一帧视频帧的平均QoE。需要说明的是，在确定样本直播视频流的质量标签的值的过程中，卡顿次数、画质和QoE均是接收样本直播视频流的终端体现的质量，即是对该终端的直播视频帧进行监测，计算每一帧视频帧的直播质量，综合统计预设间隔时长内的每个视频帧的直播质量，得到对应视频帧段的质量标签。
在本实施例中，利用可对直播视频帧进行监测，计算每一帧视频帧的直播质量，综合统计预设间隔时长内的每个视频帧的直播质量，得到对应视频帧段的质量标签，得到的样本直播视频流的质量标签的值包括M个视频帧段的质量标签的值，即样本直播视频流的每个视频帧段有对应的质量标签的值，并结合N段数据包的L个网络特征，对模型进行训练，以提高目标直播评估模型的准确性。
在一个实施例中，通过P个样本数据，对初始直播评估模型进行训练，得到目标直播评估模型，包括：
根据P个样本数据，计算每个网络特征与质量标签的相关性系数，得到K个相关性系数；
对K个相关性系数进行排序；
将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果；
根据P个第一质量评估结果以及P个样本数据中的质量标签，计算初始直播评估模型的评估准确度；
在P个样本数据中的网络特征的数量大于1的情况下，将P个目标样本数据中相关性系数最小的网络特征删除，以更新P个样本数据，返回将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果的步骤；P个样本数据中的网络特征的数量等于1的情况下，得到L个评估准确度；
利用L个评估准确度中最大值对应的P个目标样本数据，对初始直播评估模型进行训练，得到目标直播评估模型。
计算相关性系数的方式有多种，在本申请实施例中不作限定。P个样本数据中是包括P个目标段数据包的L个网络特征以及P个视频帧段的质量标签的值，可以理解，进行数据关联后得到的P个样本数据中的网络特征的数量为L，是大于1的。需要说明的是，上述将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果，可以理解是，初始直播评估模型对P个样本数据中的P个目标段数据包的L个网络特征进行质量评估，得到P个第一质量评估结果，P个第一质量评估结果与P个目标段数据包是一一对应。而P个目标段数据包中每个目标段数据包有对应的视频帧段，且视频帧段有对应的质量标签，该质量标签可以理解是视频帧段的实际质量结果，第一质量评估结果是通过模型预测的质量结果，需要进行对比，若目标段数据包的第一质量评估结果与该目标段数据包对应的视频帧段的质量标签一致，可以确定该目标段数据包的第一质量评估结果是准确的，对P个目标段数据包的每个目标段数据包第一质量评估结果与对应的视频帧段的质量标签进行对比，从而可确定P个目标段数据包的第一质量评估结果中准确数量，根据正确数据以及P可计算得到一个评估准确度。
然后，判断P个样本数据中的网络特征的数量是否大于1，此时，网络特征的数量是L，是大于1的，则将P个样本数据中相关性系数最小的网络特征删除，以更新P个样本数据，此时更新后的P个样本数据中的网络特征的数量减一，变为L-1，再返回将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果的步骤，重新进行质量评估，由于P个样本数据已更新，重新进行质量评估时，采用的是最新的P个样本数据，重新得到P个第一质量评估结果后，根据重新得到的P个第一质量评估结果以及P个样本数据中的质量标签，重新计算初始直播评估模型的评估准确度，即又得到一个评估准确度。再判断P个样本数据中的网络特征的数量是否大于1，此时，网络特征的数量是L-1，若大于1，则将最新的P个样本数据中相关性系数最小的网络特征删除，以更新P个样本数据，再返回将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果的步骤，重新进行质量评估，又重新得到P个第一质量评估结果，根据P个第一质量评估结果以及P个样本数据中的质量标签，又重新计算初始直播评估模型的评估准确度，又得到一个评估准确度。如此循环，直到将最后一个相关性系数的网络特征输入初始直播评估模型进行质量评估，得到P个第一质量评估结果，并根据P个第一质量评估结果以及P个样本数据中的质量标签，计算初始直播评估模型的评估准确度后，此时，P个样本数据中的网络特征的数量等于1，满足停止条件，不再需要删除特征以及也不需要返回将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果的步骤进行重新评估，可得到L个评估准确度。然后选择L个评估准确度中最大值对应的P个样本数据作为训练样本，对初始直播评估模型进行训练，得到目标直播评估模型。
即在本实施例中，先将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果，并得到一个评估准确度，然后按照相关性系数从低到高的顺序，依次删除网络特征，实现对P个样本数据的更新，利用更新的P个样本数据输入初始直播评估模型重新进行质量评估，重新得到P个第一质量评估结果，如此，可得到L个评估准确度，选择评估准确度最大对应的P个样本数据进行模型训练，即是选择了评估准确度最大对应的网络特征组合进行模型训练，如此，不但可减少用于训练的数据量提高训练效率，而且可确保模型训练的效果，确保得到的目标直播质量评估模型的准确性。
在一个实施例中，按照多个样本直播数据包的时间戳以及预设间隔时长，对多个样本直播数据包进行划分，得到N段数据包，包括：
根据第i次划分开始时刻以及预设间隔时长，确定第i次划分结束时刻，i为正整数，且i≤N，i的初始值为1，第1次划分开始时刻为多个样本直播数据包中第一个数据包的时间戳，在i大于1的情况下，第i次划分开始时刻为多个样本直播数据包中在第i-1次划分结束时刻之后的第一个数据包的时间戳；
将多个样本直播数据包中时间戳在第i个时间范围的样本直播数据包确定为第i段数据包，第i个时间范围为第i次划分开始时刻到第i次划分结束时刻的时间范围；
在多个样本直播数据包中还包括未分段的数据包的情况下，将i进行增一处理，并返回根据第i次划分开始时刻以及预设间隔时长，确定第i次划分结束时刻的步骤，直到多个样本直播数据包分段完成，得到N段数据包。
以预设间隔时长为T为例，首先以多个样本直播数据包中第一个数据包的时间戳为第1次划分开始时刻ts1，将其加上T，得到第1次划分结束时刻tj1，即tj1＝ts1+T，将多个样本直播数据包中时间戳在ts1到tj1的时间范围的样本直播数据包确定为第1段数据包。然后进行第2次划分，第2次划分开始时刻ts2为多个样本直播数据包中在第1次划分结束时刻之后的第一个数据包的时间戳，也可以理解是多个样本直播数据包中第1段数据包中最后一个数据包之后的第一个数据包的时间戳，将第2次划分开始时刻tj1加T，得到第2次划分结束时刻为tj1，即tj2＝ts2+T，将多个样本直播数据包中时间戳在ts2到tj2的时间范围的样本直播数据包确定为第2段数据包。然后进行第3次划分，第3次划分开始时刻ts3为多个样本直播数据包中在第2次划分结束时刻之后的第一个数据包的时间戳，也可以理解是多个样本直播数据包中第2段数据包中最后一个数据包之后的第一个数据包的时间戳，将第3次划分开始时刻tj1加T，得到第3次划分结束时刻为tj1，即tj3＝ts3+T，将多个样本直播数据包中时间戳在ts3到tj3的时间范围的样本直播数据包确定为第3段数据包。依次类推，直到多个样本直播数据包均划分完毕，则得到N段数据包。
在本实施例中，以预设间隔时长进行N次流量分割，得到N段数据包，，第1次划分开始时刻为多个样本直播数据包中第一个数据包的时间戳，在i大于1的情况下，第i次划分开始时刻为多个样本直播数据包中在第i-1次划分结束时刻之后的第一个数据包的时间戳，根据第i次划分开始时刻以及预设间隔时长，确定第i次划分结束时刻，将多个样本直播数据包中时间戳在第i次划分开始时刻到第i次划分结束时刻的时间范围的样本直播数据包确定为第i段数据包，如此，可提高流量划分的准确性。
在一个实施例中，待评估直播数据包包括多个数据包；
获取待评估直播数据包的网络状态信息，包括：
获取多个数据包中每个数据包的K个网络指标的值，K为大于1的整数；
对多个数据包的相同网络指标的值进行统计，确定多个数据包的L个网络特征，L为大于或等于K的整数。
可以理解，待评估直播数据包的网络状态信息包括多个数据包的L个网络特征。
由于在模型训练得到目标直播评估模型的过程中，采用了N段数据包的L个网络特征，在实际直播质量预测过程中，需要获取待评估直播数据包的L个网络特征，将其输入训练的目标直播评估模型进行直播质量评估，提高得到的目标直播质量评估结果的准确性。
在一个实施例中，L个网络特征包括K个网络特征组，任一网络特征组中包括至少一个网络特征，目标网络特征组中包括以下至少一项：
目标网络指标的最大值；
目标网络指标的平均值；
目标网络指标的方差；
目标网络指标的最大值的离散值；
目标网络指标的平均值的离散值；
目标网络指标的方差的离散值；
目标网络指标的交叉特征；
其中，目标网络指标的交叉特征为目标网络指标的最大值、目标网络指标的平均值以及目标网络指标的方差中至少两种的交叉值；其中，目标网络特征组为K个网络特征组中任一特征组，目标网络指标为K个网络指标中与目标网络特征组对应的指标。
可以理解，K个网络指标中每个网络指标对应一个网络特征组，即K个网络指标与K个网络特征组一一对应，在每个网络特征组中均只包括一个网络特征，则L与K是相等的。
需要说明的是，至少两种的交叉值可以理解是至少两种的乘积或对至少两种进行归一化后进行相加的结果，例如，对于目标网络指标的最大值和目标网络指标的平均值，两者的交叉值为目标网络指标的最大值与目标网络指标的平均值的乘积，或为对目标网络指标的最大值以及目标网络指标的平均值进行归一化后相加的结果。
另外，需要说明的是，离散值是表示通过编码方式对某个值进行编码后的结果，编码方式可以是one-hot编码方式，即是将某个值映射为一个离散值。
在本实施例中，通过对网络指标的特征衍生，可得到上述L个网络特征，L个网络特征可分成K个网络特征组，每个网络特征组中可包括目标网络指标的最大值、目标网络指标的平均值、目标网络指标的方差、目标网络指标的最大值的离散值、目标网络指标的平均值的离散值、目标网络指标的方差的离散值以及交叉特征中的至少一项，可表征网络的整体状态，利用N段数据包的L个网络特征以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，提高训练得到的模型的准确性，利用评估直播数据包的多个数据包的L个网络特征输入训练的目标直播评估模型进行质量评估，可提高质量评估的准确性。
在一个实施例中，将待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到待评估直播数据包的目标直播质量评估结果之后，还包括：
在目标直播质量评估结果小于预设质量阈值的情况下，根据待评估直播数据包的时间戳等信息进行故障定位。
下面以一个具体实施例对上述方法的过程加以具体说明。
如图2所示，本申请从网络侧获取网络指标，利用本申请提出的流量分割和特征衍生方案生成样本数据，再借助视频质量评估软件工具对终端用户以时间切片为粒度对视频质量进行监测并输出监测结果(质量标签)，然后根据关键性标识将网络侧样本数据和用户侧监测结果进行关联，最后通过AI(人工智能)算法进行建模，挖掘网络数据与直播用户体验之间的复杂映射关系，从而从网络侧指标可精确推理用户体验状况，并且可近实时定位导致用户体验差的原因，辅助网络故障定位。可通过网络测量指标细粒度、精准、实时推理视频直播用户体验；可从用户体验出发进行网络故障定位，因为有些网络异常对于用户来说是无感知的，可以忽略，去解决对用户带来真正体验差或者有影响的故障。需要说明的是，图2中，BV-1、BV-2以及BV-3分别表示不同的硬探针，vProbe表示软探针。
如图3所示，为一个实施例的直播质量评估方法的流程图，具体流程如下：
首先，对样本直播视频流进行流量分割。
按照多个样本直播数据包的时间戳以及预设间隔时长T，对多个样本直播数据包进行划分，得到N段数据包，也即是每间隔时长T进行分割，如此，可分成N个时间段，如图4所示，N个时间段分别为T1、T2、……、TN，例如，第1个时间段T1的开始时刻为第1次划分开始时刻ts1，时间段T1的结束时刻为第1次划分结束时刻tj1，即第i个时间段Ti的开始时刻为i次划分开始时刻tsi，第i个时间段Ti的结束时刻为第i次划分结束时刻tji，流量分割得到的N段数据包与N个时间段一一对应，即一段数据包为时间戳在对应的一个时间段内的数据包。如图4所示，以第i个时间段Ti为列，其中，包括n个样本直播数据包，分别为P1、P2、……、Pn。
然后，进行特征衍生。
如图4所示，以Pm为例，m为小于或等于n的整数，主网络指标可采用时延、抖动、丢包率和带宽，即可从网络侧采集这些指标，在此基础上，可进行特征衍生，即每个主网络指标可采用上行、下行和环回对应的指标，即K个网络指标可采用上行时延、下行时延、环回时延、上行抖动、下行抖动、环回抖动、上行丢包率、下行丢包率、环回丢包率、上行带宽、下行带宽以及环回带宽。在K个网络指标的基础上可继续特征衍生，得到L个网络特征，包括K个网络特征组，目标网络特征组可包括目标网络指标的最大值、目标网络指标的平均值、目标网络指标的方差、目标网络指标的最大值的离散值、目标网络指标的平均值的离散值、目标网络指标的方差的离散值和交叉特征。如此，通过特征衍生，可生成较多的网络特征，可提高表征网络整体状态的准确性。
其次，获取样本直播视频流的M个视频帧段的质量标签的值。
可按照预设间隔时长，对样本直播视频流进行视频帧分段，得到M个视频帧段，然后确定每个视频帧段的质量标签的值，从而即可得到M个视频帧段的质量标签的值。
再者，进行数据关联，生成P个样本数据。
在N段数据包中包括P个目标段数据包的情况下，将每个目标段数据包的L个网络特征与对应的视频帧段的质量标签的值关联，从而得到P个样本数据。如表1所示，为一个样本数据的内容。
表1
Figure BDA0003372681270000141
Figure BDA0003372681270000151
然后，进行特征选择。
特征选择的过程包括：步骤1，单变量相关性系数计算：基于单变量特征选择算法，计算每个网络特征分别和质量标签的相关性系数；步骤2，单变量相关性系数排序：将步骤1中的单变量相关性系数进行从高到低排序；步骤3，多变量筛选算法计算：利用多变量筛选算法结合后向搜索规则对网络特征进行筛选；步骤4，每计算一次步骤3记录一次初始直播评估模型的评估准确度，从而可得到L个评估准确度。需要说明的是，多变量特征选择算法是将一组特征输入模型，每次去掉其中一个特征，记录模型的准确度，直至去至最后一个特征，然后选择准确度最大值对应的特征组合。单变量特征选择算法包括最大信息系数(MIC)、皮尔森相关系数、方差过滤等算法；多变量特征选择算法包括后向搜索、递归特征消除算法等。
可以理解，是先根据P个样本数据，计算每个网络特征与质量标签的相关性系数，得到L个相关性系数；将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果；根据P个第一质量评估结果以及P个样本数据中的质量标签，计算初始直播评估模型的评估准确度；将P个目标样本数据中相关性系数最小的网络特征删除，以更新P个样本数据，返回将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果的步骤，直到得到L个评估准确度。
再者，对初始直播评估模型进行训练，得到目标直播评估模型。
选择L个准确度中最大准确度对应的P个样本数据输入初始直播评价模型进行训练。
在一个示例中，由于L个准确度中最大准确度对应的P个样本数据可能存在不均衡的问题，在进行训练之前，可判断L个准确度中最大准确度对应的P个样本数据的均衡性，若均衡，则直接利用L个准确度中最大准确度对应的P个样本数据输入初始直播评价模型进行训练，若不均衡，需对L个准确度中最大准确度对应的P个样本数据进行均衡处理，得到均衡处理后的样本数据，利用均衡处理后的样本数据进行训练。
然后，线上部署目标直播评估模型。
将训练完成后得到的目标直播评估模型进行上线，可对实际线上直播过程中的直播数据包进行质量评估，得到目标直播质量评估结果。后续还可根据目标直播质量评估结果进行故障定位等。
参见图5，图5是本发明实施例提供的一种直播质量评估装置的结构示意图，如图5所示，直播质量评估装置500包括：
第一获取模块501，用于获取待评估直播数据包的网络状态信息；
结果获得模块502，用于将待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到待评估直播数据包的目标直播质量评估结果；目标直播评估模型基于样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。
在一个实施例中，目标直播评估模型通过以下方式训练得到：
获取样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值；
通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型。
在一个实施例中，样本直播视频流包括多个样本直播数据包；
其中，获取样本直播视频流的网络状态信息，包括：
按照多个样本直播数据包的时间戳以及预设间隔时长，对多个样本直播数据包进行数据包划分，得到N段数据包，其中，N为大于1的整数，任一段数据包中包括至少两个样本直播数据包；
获取每个样本直播数据包的K个网络指标的值，K为大于1的整数；
对每段数据包中至少两个样本直播数据包的相同网络指标的值进行统计，确定每段数据包的L个网络特征，L为大于或等于K的整数；
其中，通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型包括：
根据N段数据包的L个网络特征以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型。
在一个实施例中，样本直播视频流的质量标签的值包括M个视频帧段的质量标签的值；
根据N段数据包的L个网络特征以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型，包括：
在N段数据包中包括P个目标段数据包的情况下，将每个目标段数据包的L个网络特征与对应的视频帧段的质量标签的值关联，得到P个样本数据，其中，P为正整数，P个目标段数据包与M个视频帧段中的P个视频帧段对应，P个视频帧段中任一视频帧段中的第一帧视频帧的时间戳与对应的目标段数据包中第一个数据包的时间戳之间的差值小于预设阈值；
通过P个样本数据，对初始直播评估模型进行训练，得到目标直播评估模型。
在一个实施例中，获取样本直播视频流的质量标签的值，包括：
按照预设间隔时长，对样本直播视频流进行视频帧分段，得到M个视频帧段，M为大于1的整数；
确定每个视频帧段的质量标签的值，得到M个视频帧段的质量标签的值。
在一个实施例中，通过P个样本数据，对初始直播评估模型进行训练，得到目标直播评估模型，包括：
根据P个样本数据，计算每个网络特征与质量标签的相关性系数，得到L个相关性系数；
对L个相关性系数进行排序；
将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果；
根据P个第一质量评估结果以及P个样本数据中的质量标签，计算初始直播评估模型的评估准确度；
在P个样本数据中的网络特征的数量大于1的情况下，将P个样本数据中相关性系数最小的网络特征删除，以更新P个样本数据，返回将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果的步骤；在P个样本数据中的网络特征的数量等于1的情况下，得到L个评估准确度；
利用L个评估准确度中最大值对应的P个样本数据，对初始直播评估模型进行训练，得到目标直播评估模型。
在一个实施例中，按照多个样本直播数据包的时间戳以及预设间隔时长，对多个样本直播数据包进行划分，得到N段数据包，包括：
根据第i次划分开始时刻以及预设间隔时长，确定第i次划分结束时刻，i为正整数，且i≤N，i的初始值为1，第1次划分开始时刻为多个样本直播数据包中第一个数据包的时间戳，在i大于1的情况下，第i次划分开始时刻为多个样本直播数据包中在第i-1次划分结束时刻之后的第一个数据包的时间戳；
将多个样本直播数据包中时间戳在第i个时间范围的样本直播数据包确定为第i段数据包，第i个时间范围为第i次划分开始时刻到第i次划分结束时刻的时间范围；
在多个样本直播数据包中还包括未分段的数据包的情况下，将i进行增一处理，并返回根据第i次划分开始时刻以及预设间隔时长，确定第i次划分结束时刻的步骤，直到多个样本直播数据包分段完成，得到N段数据包。
在一个实施例中，待评估直播数据包包括多个数据包；
第一获取模块，包括：
获取子模块，用于获取多个数据包中每个数据包的K个网络指标的值，K为大于1的整数；
确定模块，用于对多个数据包的相同网络指标的值进行统计，确定多个数据包的L个网络特征，L为大于或等于K的整数。
在一个实施例中，L个网络特征包括K个网络特征组，目标网络特征组中包括以下至少一项：
目标网络指标的最大值；
目标网络指标的平均值；
目标网络指标的方差；
目标网络指标的最大值的离散值；
目标网络指标的平均值的离散值；
目标网络指标的方差的离散值；
目标网络指标的交叉特征；
其中，目标网络指标的交叉特征为目标网络指标的最大值、目标网络指标的平均值以及目标网络指标的方差中至少两种的交叉值；其中，目标网络特征组为K个网络特征组中任一特征组，目标网络指标为K个网络指标中与目标网络特征组对应的指标。
本发明实施例还提供了一种电子设备，包括：处理器、存储器及存储在存储器上并可在处理器上运行的程序，程序被处理器执行时实现上述直播质量评估方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
具体的，参见图6，本发明实施例还提供了一种电子设备，包括总线601、收发机602、天线603、总线接口604、处理器605和存储器606。
其中，处理器605，用于：
获取待评估直播数据包的网络状态信息；
将待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到待评估直播数据包的目标直播质量评估结果；目标直播评估模型基于样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。
在一个实施例中，目标直播评估模型通过以下方式训练得到：
获取样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值；
通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型。
在一个实施例中，样本直播视频流包括多个样本直播数据包；
其中，获取样本直播视频流的网络状态信息，包括：
按照多个样本直播数据包的时间戳以及预设间隔时长，对多个样本直播数据包进行数据包划分，得到N段数据包，其中，N为大于1的整数，任一段数据包中包括至少两个样本直播数据包；
获取每个样本直播数据包的K个网络指标的值，K为大于1的整数；
对每段数据包中至少两个样本直播数据包的相同网络指标的值进行统计，确定每段数据包的L个网络特征，L为大于或等于K的整数；
其中，通过样本直播视频流的网络状态信息以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型包括：
根据N段数据包的L个网络特征以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型。
在一个实施例中，样本直播视频流的质量标签的值包括M个视频帧段的质量标签的值；
根据N段数据包的L个网络特征以及样本直播视频流的质量标签的值，对初始直播评估模型进行训练，得到目标直播评估模型，包括：
在N段数据包中包括P个目标段数据包的情况下，将每个目标段数据包的L个网络特征与对应的视频帧段的质量标签的值关联，得到P个样本数据，其中，P为正整数，P个目标段数据包与M个视频帧段中的P个视频帧段对应，P个视频帧段中任一视频帧段中的第一帧视频帧的时间戳与对应的目标段数据包中第一个数据包的时间戳之间的差值小于预设阈值；
通过P个样本数据，对初始直播评估模型进行训练，得到目标直播评估模型。
在一个实施例中，获取样本直播视频流的质量标签的值，包括：
按照预设间隔时长，对样本直播视频流进行视频帧分段，得到M个视频帧段，M为大于1的整数；
确定每个视频帧段的质量标签的值，得到M个视频帧段的质量标签的值。
在一个实施例中，通过P个样本数据，对初始直播评估模型进行训练，得到目标直播评估模型，包括：
根据P个样本数据，计算每个网络特征与质量标签的相关性系数，得到L个相关性系数；
对L个相关性系数进行排序；
将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果；
根据P个第一质量评估结果以及P个样本数据中的质量标签，计算初始直播评估模型的评估准确度；
在P个样本数据中的网络特征的数量大于1的情况下，将P个样本数据中相关性系数最小的网络特征删除，以更新P个样本数据，返回将P个样本数据输入初始直播评估模型进行质量评估，得到P个第一质量评估结果的步骤；在P个样本数据中的网络特征的数量等于1的情况下，得到L个评估准确度；
利用L个评估准确度中最大值对应的P个样本数据，对初始直播评估模型进行训练，得到目标直播评估模型。
在一个实施例中，按照多个样本直播数据包的时间戳以及预设间隔时长，对多个样本直播数据包进行划分，得到N段数据包，包括：
根据第i次划分开始时刻以及预设间隔时长，确定第i次划分结束时刻，i为正整数，且i≤N，i的初始值为1，第1次划分开始时刻为多个样本直播数据包中第一个数据包的时间戳，在i大于1的情况下，第i次划分开始时刻为多个样本直播数据包中在第i-1次划分结束时刻之后的第一个数据包的时间戳；
将多个样本直播数据包中时间戳在第i个时间范围的样本直播数据包确定为第i段数据包，第i个时间范围为第i次划分开始时刻到第i次划分结束时刻的时间范围；
在多个样本直播数据包中还包括未分段的数据包的情况下，将i进行增一处理，并返回根据第i次划分开始时刻以及预设间隔时长，确定第i次划分结束时刻的步骤，直到多个样本直播数据包分段完成，得到N段数据包。
在一个实施例中，待评估直播数据包包括多个数据包；
处理器605，还用于：
获取多个数据包中每个数据包的K个网络指标的值，K为大于1的整数；
对多个数据包的相同网络指标的值进行统计，确定多个数据包的L个网络特征，L为大于或等于K的整数。
在一个实施例中，L个网络特征包括K个网络特征组，目标网络特征组中包括以下至少一项：
目标网络指标的最大值；
目标网络指标的平均值；
目标网络指标的方差；
目标网络指标的最大值的离散值；
目标网络指标的平均值的离散值；
目标网络指标的方差的离散值；
目标网络指标的交叉特征；
其中，目标网络指标的交叉特征为目标网络指标的最大值、目标网络指标的平均值以及目标网络指标的方差中至少两种的交叉值；其中，目标网络特征组为K个网络特征组中任一特征组，目标网络指标为K个网络指标中与目标网络特征组对应的指标。
在图6中，总线架构(用总线601来代表)，总线601可以包括任意数量的互联的总线和桥，总线601将包括由处理器605代表的一个或多个处理器和存储器606代表的存储器的各种电路链接在一起。总线601还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口604在总线601和收发机602之间提供接口。收发机602可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器605处理的数据通过天线603在无线介质上进行传输，进一步，天线603还接收数据并将数据传送给处理器605。
处理器605负责管理总线601和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器606可以被用于存储处理器605在执行操作时所使用的数据。
可选的，处理器605可以是CPU、ASIC、FPGA或CPLD。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述直播质量评估方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者用户面功能UPF等)执行本发明各个实施例的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (13)

1.一种直播质量评估方法，其特征在于，所述方法包括：
获取待评估直播数据包的网络状态信息；
将所述待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到所述待评估直播数据包的目标直播质量评估结果；所述目标直播评估模型基于样本直播视频流的网络状态信息以及所述样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。
2.根据权利要求1所述的直播质量评估方法，其特征在于，所述目标直播评估模型通过以下方式训练得到：
获取所述样本直播视频流的网络状态信息以及所述样本直播视频流的质量标签的值；
通过所述样本直播视频流的网络状态信息以及所述样本直播视频流的质量标签的值，对所述初始直播评估模型进行训练，得到所述目标直播评估模型。
3.根据权利要求2所述的直播质量评估方法，其特征在于，所述样本直播视频流包括多个样本直播数据包；
其中，所述获取所述样本直播视频流的网络状态信息，包括：
按照所述多个样本直播数据包的时间戳以及预设间隔时长，对所述多个样本直播数据包进行数据包划分，得到N段数据包，其中，N为大于1的整数，任一段数据包中包括至少两个样本直播数据包；
获取每个样本直播数据包的K个网络指标的值，K为大于1的整数；
对每段数据包中至少两个样本直播数据包的相同网络指标的值进行统计，确定每段数据包的L个网络特征，L为大于或等于K的整数；
其中，所述通过所述样本直播视频流的网络状态信息以及所述样本直播视频流的质量标签的值，对所述初始直播评估模型进行训练，得到所述目标直播评估模型包括：
根据所述N段数据包的L个网络特征以及所述样本直播视频流的质量标签的值，对所述初始直播评估模型进行训练，得到所述目标直播评估模型。
4.根据权利要求3所述的直播质量评估方法，其特征在于，所述样本直播视频流的质量标签的值包括M个视频帧段的质量标签的值；
所述根据所述N段数据包的L个网络特征以及所述样本直播视频流的质量标签的值，对所述初始直播评估模型进行训练，得到所述目标直播评估模型，包括：
在所述N段数据包中包括P个目标段数据包的情况下，将每个目标段数据包的L个网络特征与对应的视频帧段的质量标签的值关联，得到P个样本数据，其中，P为正整数，所述P个目标段数据包与所述M个视频帧段中的P个视频帧段对应，所述P个视频帧段中任一视频帧段中的第一帧视频帧的时间戳与对应的目标段数据包中第一个数据包的时间戳之间的差值小于预设阈值；
通过所述P个样本数据，对所述初始直播评估模型进行训练，得到所述目标直播评估模型。
5.根据权利要求4所述的直播质量评估方法，其特征在于，获取所述样本直播视频流的质量标签的值，包括：
按照所述预设间隔时长，对所述样本直播视频流进行视频帧分段，得到M个视频帧段，M为大于1的整数；
确定每个视频帧段的质量标签的值，得到所述M个视频帧段的质量标签的值。
6.根据权利要求4所述的直播质量评估方法，其特征在于，所述通过所述P个样本数据，对所述初始直播评估模型进行训练，得到所述目标直播评估模型，包括：
根据所述P个样本数据，计算每个网络特征与所述质量标签的相关性系数，得到L个相关性系数；
对所述L个相关性系数进行排序；
将所述P个样本数据输入所述初始直播评估模型进行质量评估，得到P个第一质量评估结果；
根据所述P个第一质量评估结果以及所述P个样本数据中的质量标签，计算所述初始直播评估模型的评估准确度；
在所述P个样本数据中的网络特征的数量大于1的情况下，将所述P个样本数据中相关性系数最小的网络特征删除，以更新所述P个样本数据，返回所述将所述P个样本数据输入所述初始直播评估模型进行质量评估，得到P个第一质量评估结果的步骤；在所述P个样本数据中的网络特征的数量等于1的情况下，得到L个评估准确度；
利用所述L个评估准确度中最大值对应的P个样本数据，对所述初始直播评估模型进行训练，得到所述目标直播评估模型。
7.根据权利要求3所述的直播质量评估方法，其特征在于，所述按照所述多个样本直播数据包的时间戳以及所述预设间隔时长，对所述多个样本直播数据包进行划分，得到N段数据包，包括：
根据第i次划分开始时刻以及所述预设间隔时长，确定第i次划分结束时刻，i为正整数，且i≤N，i的初始值为1，第1次划分开始时刻为所述多个样本直播数据包中第一个数据包的时间戳，在i大于1的情况下，第i次划分开始时刻为所述多个样本直播数据包中在第i-1次划分结束时刻之后的第一个数据包的时间戳；
将所述多个样本直播数据包中时间戳在第i个时间范围的样本直播数据包确定为第i段数据包，所述第i个时间范围为所述第i次划分开始时刻到所述第i次划分结束时刻的时间范围；
在所述多个样本直播数据包中还包括未分段的数据包的情况下，将i进行增一处理，并返回所述根据第i次划分开始时刻以及所述预设间隔时长，确定第i次划分结束时刻的步骤，直到所述多个样本直播数据包分段完成，得到所述N段数据包。
8.根据权利要求1所述的直播质量评估方法，其特征在于，所述待评估直播数据包包括多个数据包；
所述获取待评估直播数据包的网络状态信息，包括：
获取所述多个数据包中每个数据包的K个网络指标的值，K为大于1的整数；
对所述多个数据包的相同网络指标的值进行统计，确定所述多个数据包的L个网络特征，L为大于或等于K的整数。
9.根据权利要求3或8所述的直播质量评估方法，其特征在于，所述L个网络特征包括K个网络特征组，目标网络特征组中包括以下至少一项：
目标网络指标的最大值；
目标网络指标的平均值；
目标网络指标的方差；
目标网络指标的最大值的离散值；
目标网络指标的平均值的离散值；
目标网络指标的方差的离散值；
目标网络指标的交叉特征；
其中，所述目标网络指标的交叉特征为所述目标网络指标的最大值、所述目标网络指标的平均值以及目标网络指标的方差中至少两种的交叉值；其中，所述目标网络特征组为所述K个网络特征组中任一特征组，所述目标网络指标为所述K个网络指标中与所述目标网络特征组对应的指标。
10.一种直播质量评估装置，其特征在于，所述装置包括：
第一获取模块，用于获取待评估直播数据包的网络状态信息；
结果获得模块，用于将所述待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到所述待评估直播数据包的目标直播质量评估结果；其中，所述目标直播评估模型基于样本直播视频流的网络状态信息以及所述样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。
11.一种电子设备，其特征在于，包括收发机和处理器，
所述处理器，用于获取待评估直播数据包的网络状态信息；以及
将所述待评估直播数据包的网络状态信息输入目标直播评估模型进行直播质量评估，得到所述待评估直播数据包的目标直播质量评估结果；其中，所述目标直播评估模型基于样本直播视频流的网络状态信息以及所述样本直播视频流的质量标签的值对初始直播评估模型进行训练得到。
12.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9中任一所述方法的步骤。
CN202111405551.2A 2021-11-24 2021-11-24 直播质量评估方法、装置、电子设备及介质 Pending CN116170606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111405551.2A CN116170606A (zh) 2021-11-24 2021-11-24 直播质量评估方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111405551.2A CN116170606A (zh) 2021-11-24 2021-11-24 直播质量评估方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN116170606A true CN116170606A (zh) 2023-05-26

Family

ID=86409934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111405551.2A Pending CN116170606A (zh) 2021-11-24 2021-11-24 直播质量评估方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116170606A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998137A (zh) * 2009-08-21 2011-03-30 华为技术有限公司 视频质量参数获取方法和装置及电子设备
CN107027023A (zh) * 2017-04-24 2017-08-08 北京理工大学 基于神经网络的VoIP无参考视频通信质量客观评价方法
CN108696403A (zh) * 2018-03-23 2018-10-23 中国科学技术大学 一种基于网络流特征构造学习的加密视频QoE评测方法
CN111093069A (zh) * 2018-10-23 2020-05-01 大唐移动通信设备有限公司 一种全景视频流的质量评估方法及装置
US20200162725A1 (en) * 2018-11-21 2020-05-21 Huawei Technologies Co., Ltd. Video Quality Assessment Method and Apparatus
CN111193923A (zh) * 2019-09-24 2020-05-22 腾讯科技（深圳）有限公司 视频质量评估方法、装置、电子设备及计算机存储介质
CN111314691A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频通话质量评估方法和装置
CN113411218A (zh) * 2021-06-22 2021-09-17 北京金山云网络技术有限公司 即时通信质量的评价方法、装置和电子设备
US20210385502A1 (en) * 2018-10-19 2021-12-09 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
CN114513655A (zh) * 2022-02-25 2022-05-17 广州方硅信息技术有限公司 直播视频质量评价方法、视频质量的调整方法及相关装置
CN115134582A (zh) * 2021-03-24 2022-09-30 华为技术有限公司 视频质量评估方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998137A (zh) * 2009-08-21 2011-03-30 华为技术有限公司 视频质量参数获取方法和装置及电子设备
CN107027023A (zh) * 2017-04-24 2017-08-08 北京理工大学 基于神经网络的VoIP无参考视频通信质量客观评价方法
CN108696403A (zh) * 2018-03-23 2018-10-23 中国科学技术大学 一种基于网络流特征构造学习的加密视频QoE评测方法
US20210385502A1 (en) * 2018-10-19 2021-12-09 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
CN111093069A (zh) * 2018-10-23 2020-05-01 大唐移动通信设备有限公司 一种全景视频流的质量评估方法及装置
US20200162725A1 (en) * 2018-11-21 2020-05-21 Huawei Technologies Co., Ltd. Video Quality Assessment Method and Apparatus
CN111212279A (zh) * 2018-11-21 2020-05-29 华为技术有限公司 一种视频质量的评估方法及装置
CN111314691A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频通话质量评估方法和装置
CN111193923A (zh) * 2019-09-24 2020-05-22 腾讯科技（深圳）有限公司 视频质量评估方法、装置、电子设备及计算机存储介质
CN115134582A (zh) * 2021-03-24 2022-09-30 华为技术有限公司 视频质量评估方法和装置
CN113411218A (zh) * 2021-06-22 2021-09-17 北京金山云网络技术有限公司 即时通信质量的评价方法、装置和电子设备
CN114513655A (zh) * 2022-02-25 2022-05-17 广州方硅信息技术有限公司 直播视频质量评价方法、视频质量的调整方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱连章;李然然;张红霞;郭加树;张泉;: "基于QoS量化用户体验质量的评价模型", 计算机系统应用, no. 05, 15 May 2017 (2017-05-15) *
陈楚雄;柯江毅;覃道满;: "视频业务体验评估和优化提升探讨", 邮电设计技术, no. 02, 20 February 2017 (2017-02-20) *

Similar Documents

Publication Publication Date Title
DE602005005700T2 (de) Verfahren zur Überwachung der Qualität einer Echtzeitkommunikation
Fiedler et al. A generic quantitative relationship between quality of experience and quality of service
CN100588271C (zh) 基于分组度量和图像度量两者测量视频质量的系统和方法
EP1727375A1 (en) Assessment of perceived quality of a packetized video stream
US8868222B2 (en) Audio quality estimation method, audio quality estimation apparatus, and computer readable recording medium recording a program
US11748643B2 (en) System and method for machine learning based QoE prediction of voice/video services in wireless networks
US11057787B2 (en) Method and test system for mobile network testing as well as prediction system
US20070253337A1 (en) Communication quality evaluation method, derivation device, communication quality evaluation system and computer program
Anchuen et al. QOE model in cellular networks based on QOS measurements using Neural Network approach
Aguiar et al. A real-time video quality estimator for emerging wireless multimedia systems
US20210409820A1 (en) Predicting multimedia session mos
CN110622480A (zh) 移动视频流的流量画像系统、设备和方法
Ghalut et al. Non-intrusive method for video quality prediction over lte using random neural networks (rnn)
Abar et al. Quality of experience prediction model for video streaming in SDN networks
JP2009118272A (ja) ネットワーク帯域推定プログラム、ネットワーク帯域推定装置、ネットワーク帯域推定方法および計測装置
JP2006165789A (ja) ユーザ体感品質監視装置および方法
EP3593493B1 (en) Prediction of a performance indicator
CN116170606A (zh) 直播质量评估方法、装置、电子设备及介质
CN114827951A (zh) 一种基于车辆终端的车辆网络质量分析方法、系统及存储介质
CN111372073B (zh) 视频质量的评价方法、装置、设备和介质
EP4226246A1 (en) Root cause analysis
CN109936526B (zh) 一种确定语音质量的方法及装置
JP2007329776A (ja) ネットワーク品質分析装置、品質クラス決定装置、ネットワーク品質分析方法、品質クラス決定方法、およびプログラム
Ajrash et al. ANN based measurement for no-reference video quality of experience metric
Vizzarri et al. QoE QoS mapping for YouTube services over LTE network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination