CN113784115A - 多媒体质量评估方法、装置、设备及存储介质 - Google Patents

多媒体质量评估方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113784115A
CN113784115A CN202111052346.2A CN202111052346A CN113784115A CN 113784115 A CN113784115 A CN 113784115A CN 202111052346 A CN202111052346 A CN 202111052346A CN 113784115 A CN113784115 A CN 113784115A
Authority
CN
China
Prior art keywords
data
multimedia
evaluation
model
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111052346.2A
Other languages
English (en)
Other versions
CN113784115B (zh
Inventor
张智超
孙兴
单华琦
董乔
王雷
马保宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111052346.2A priority Critical patent/CN113784115B/zh
Publication of CN113784115A publication Critical patent/CN113784115A/zh
Application granted granted Critical
Publication of CN113784115B publication Critical patent/CN113784115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种多媒体质量评估方法、装置、设备及存储介质，该多媒体质量评估方法包括：获取待评估多媒体的特征数据作为训练数据；特征数据为在待评估多媒体传输过程中根据配置参数抓取的数据；对于每个单一评估模型，根据对应的可用训练数据进行训练，并将各单一评估模型进行组合作为组合评估系统；将特征数据输入组合评估系统，基于组合评估系统输出最终评分。通过获取在待评估多媒体传输过程中根据配置参数抓取的数据作为训练数据，在线训练评估模型，无需进行离线数据训练再部署的繁琐过程，提高了模型训练的灵活性，并且相比使用单一评估模型评估多媒体质量，以组合评估系统的方式输出质量分数，能够更真实地反映多媒体的质量。

Description

多媒体质量评估方法、装置、设备及存储介质
技术领域
本发明涉及通信技术领域，具体涉及一种多媒体质量评估方法、装置、设备及存储介质。
背景技术
随着网络技术的发展和多媒体时代的到来，各类多媒体处理和通信技术层出不穷，由于多媒体业务数据量大，实时性要求高，并且用户敏感性强，因此为了确保良好的服务体验质量，多媒体质量评估对于多媒体通信设备制造商和运营商有着非常重要的意义。
在现有技术中，通常采用机器学习模型对多媒体进行质量评估，例如，指定多媒体中的多个特征数据作为参数指标，将该多媒体和对应的参数指标输入机器学习模型中，该机器学习模型就可以推理出质量分数。
但是，上述机器学习模型通常是离线训练再部署上线，在实时输入的特征数据发生变化时，其评估能力也会有所下降，因此适应性、灵活性较差。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的多媒体质量评估方法、装置、设备及存储介质。
根据本发明实施例的一个方面，提供了一种多媒体质量评估方法，包括：
获取待评估多媒体的特征数据作为训练数据；其中，所述特征数据为在所述待评估多媒体传输过程中根据配置参数抓取的数据；
对于每个单一评估模型，根据对应的可用训练数据进行训练，并将各单一评估模型进行组合作为组合评估系统；
将所述特征数据输入所述组合评估系统，基于所述组合评估系统输出的评分确定所述待评估多媒体的最终评分。
根据本发明实施例的另一方面，提供了一种多媒体质量评估装置，包括：
数据抓取模块，用于获取待评估多媒体的特征数据作为训练数据；其中，所述特征数据为在所述待评估多媒体传输过程中根据配置参数抓取的数据；
模型训练模块，用于对于每个单一评估模型，根据对应的可用训练数据进行训练，并将各单一评估模型进行组合作为组合评估系统；
评分模块，用于将所述特征数据输入所述组合评估系统，基于所述组合评估系统输出的评分确定所述待评估多媒体的最终评分。
根据本发明实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述多媒体质量评估方法对应的操作。
根据本发明实施例的另一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述多媒体质量评估方法对应的操作。
根据本发明上述实施例提供的方案，通过获取在待评估多媒体传输过程中根据配置参数抓取的数据作为训练数据，在线训练评估模型，无需进行离线数据训练再部署的繁琐过程，提高了模型训练的灵活性，并且相比使用单一评估模型评估多媒体质量，以组合评估系统的方式输出质量分数，能够更真实地反映多媒体的质量。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例一提供的多媒体质量评估方法的流程图；
图2示出了本发明实施例一提供的多媒体质量评估方法中的组合评估系统结构示意图；
图3示出了本发明实施例二提供的多媒体质量评估方法的流程图；
图4示出了本发明实施例三提供的多媒体质量评估方法的流程图；
图5示出了本发明实施例三提供的多媒体质量评估方法中的应用场景示意图；
图6示出了本发明实施例提供的多媒体质量评估装置的结构示意图；
图7示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
实施例一
图1示出了本发明实施例一提供的多媒体质量评估方法的流程图。如图1 所示，该方法包括以下步骤：
步骤S110、获取待评估多媒体的特征数据作为训练数据；其中，特征数据为在待评估多媒体传输过程中根据配置参数抓取的数据。
本实施例的执行主体可以为服务器，该服务器中集成了本发明实施例公开的多媒体质量评估装置，该装置可以采用软件或硬件的方式实现。
其中，待评估多媒体可以为音频、视频、图像中的任意一种。特征数据为在待评估多媒体传输过程中根据配置参数抓取的数据，具体的，由客户端或转发节点(例如，转发服务器)在发送待评估多媒体过程中，根据配置参数抓取数据并上报至本实施例的执行主体。
其中，配置参数为业务人员配置，包括客户端埋点数据、客户端性能参数和转发节点性能参数中至少一种。
其中，客户端埋点数据可根据业务人员对关键播放事件的数据采集上报至本实施例的执行主体，关键播放事件具体包括视频卡顿、加载时延、关键帧丢失、重传、音视频不同步等中的任意一种事件，可配置客户端埋点数据包括卡顿时长、单位时间丢帧数、单位时间关键帧重传数量、音视频偏差时间等埋点质量参数中的至少一种。
客户端性能参数可配置分辨率、视频下载速率、帧率、缓冲时长、关键帧间隔等数据参数中的至少一种，一般可由客户端的软件SDK API获取，由配置文件灵活组合生效。
转发节点性能参数的配置，可灵活调整转发节点的数据采集组合，转发节点性能参数可包括带宽、丢包率、时延、上/下行速率等网络指标参数中的至少一种。
步骤S120、对于每个单一评估模型，根据对应的可用训练数据进行训练，并将各单一评估模型进行组合作为组合评估系统。
其中，组合评估系统包括至少一个单一评估模型，当包含多个单一评估模型时，多个单一评估模型分别对应不同类型的评估模型，例如，全参考质量评估模型、网络质量评估模型和事件评估模型，基于不同的评估模型，在训练时使用的训练数据也不同。对于全参考质量评估模型其可用的训练数据为多媒体数据流，对于网络质量评估模型其可用的训练数据为网络指标参数，对于事件评估模型其可用的训练数据为埋点质量参数。
其中，单一评估模型可以为随机森林、梯度下降树(Gradient Boosting DecisionTree，GBDT)GBDT、XGBoost(eXtreme Gradient Boosting，)、深度神经网络(Deep NeuralNetworks，DNN)中的任意一种。
步骤S130、将特征数据输入组合评估系统，基于组合评估系统输出的评分确定待评估多媒体的最终评分。
其中，组合评估系统中的各单一评估模型均有各自的权重，最终评分为基于各单一评估模型的权重确定的分数。具体的，将多媒体的特征数据输入更新后的组合评估系统，按照不同模型的权重，输出多媒体质量评估分数。例如，各单一评估模型的输出分数乘以对应的权重相加即为最终评分。
如图2所示，以视频为例，组合评估系统包括全参考质量评估模型、网络质量评估模型和事件评估模型等，将视频流输入全参考质量评估模型，将网络指标参数输入网络质量评估模型，以及将埋点质量参数输入事件评估模型，全参考质量评估模型、网络质量评估模型和事件评估模型分别对应权重θ1、θ2和θ3，根据全参考质量评估模型、网络质量评估模型和事件评估模型各自权重和各自输出的分数最终确定视频的质量评分。
本实施例通过获取在待评估多媒体传输过程中根据配置参数抓取的数据作为训练数据，在线训练评估模型，无需进行离线数据训练再部署的繁琐过程，提高了模型训练的灵活性，并且相比使用单一评估模型评估多媒体质量，以组合评估系统的方式输出质量分数，能够更真实地反映多媒体的质量。
在一个可选实施例中，步骤S130具体包括：基于组合评估系统输出的评分与设置的主观评测分数的差距调整组合评估系统中各单一评估模型的权重，通过调整后的组合评估系统输出待评估多媒体的最终评分。
具体的，组合评估系统中的单一评估模型可使用随机森林、GBDT、xgboost、 DNN等模型结构进行质量分数的回归预测，不同的模型输入不同的数据流特征向量(具体参数上述实施例)，从而得出不同的回归预测值，在实施工程中可由业务人员自行组合，包括但不限于全参考质量评估模型、网络质量评估模型、事件评估模型等。以视频为例，最终的视频质量输出为：
Figure BDA0003253227580000051
其中，n为组合评估系统中单一评估模型的数量，x为输入每个单一评估模型的数据流的特征向量，fi(x)即为每个单一评估模型的评估回归值。
此外，可以根据实际需求，使用人工评估对应的主观评测分数，优化合评估系统中单一评估模型的权重。其中，对应的一阶误差值Loss计算如下：
Figure BDA0003253227580000061
具体实施过程中还可使用二阶均方差等误差计算方法。根据上述的Loss 计算方式，可以使用梯度下降等方式调整所有单一评估模型的权重θi，从而减小组合评估系统输出的评分与主观评测分数的误差。
以一阶误差值Loss为例，主观评测分数
Figure BDA0003253227580000062
为用户针对某一项指标的主观评测的得分，或用户针对视频流呈现的整体评分。举例而言，若第i 个单一评估模型负责网络质量的评估，则
Figure BDA0003253227580000063
可为用户对网络性能的主观评测值，若第i个单一模型无用户可感知的表现，例如针对应用的音视频流转发过程中类似关键帧丢失、重传等埋点事件，则
Figure BDA0003253227580000064
可为用户对呈现的视频质量的整体评分。总而言之，ypositive即为组合评估系统需要拟合的目标值，则权重θi的更新如下式：
Figure BDA0003253227580000065
其中，Loss即为组合评估系统与主观评测的误差函数，θi按照梯度下降的方式更新，用于缩小组合评估系统的拟合评估值即输出的评分与主观评测分数的误差。
特别地，当组合评估系统冷启动阶段或者输出的评分与用户主观观看的主观评测分数误差较大时，需要重新分配每个单一评估模型的权重，用于动态减小组合评估系统与主观评测分数的误差。实施形式可以是业务人员针对不同特征指标进行主观评测打分，使用已有标注好主观评测分数的音视频流特征数据集对组合评估系统进行校正。对于组合评估系统在特征数据发生配置变化的情况，只会更新新增/删除特征所涉及到的单一评估模型。。
在一个可选实施例中，步骤S120具体包括：
对于训练数据有变化的已训练单一评估模型，根据变化后的可用训练数据重新训练；对于训练数据无变化的已训练单一评估模型，无需再次训练。
具体的，当组合评估系统为已训练系统时即系统中的各单一评估模型均已训练，则当输入已训练单一评估模型的训练数据发生变化时，根据变化后的可用训练数据重新训练。例如，更新、或新增、或删除变化特征所对应的单一评估模型的结构与参数。
其中，训练数据包括标注数据特征和无标注数据特征，对于标注数据特征，单一评估模型可使用随机森林、GBDT、xgboost、DNN等模型结构进行质量分数的回归预测。例如，以GBDT、随机森林为例的树形回归模型，在配置导致的数据特征改变时，以流式的方式将新的特征向量组合为小批次训练模型，具体实施方式参见下述可选实施例。对于无标注数据，单一评估模型可按照无监督的学习方法获得异常划分边界，通过计算埋点数据的离群度反馈到质量评分的输出，具体实施方式参见下述可选实施例。
在一个可选实施例中，步骤S120具体包括：对于可用训练数据中有标注的新特征数据，根据新特征数据和预设函数确定标注评分；根据新特征数据和标注评分对已训练单一评估模型进行重新训练。
对于标注数据特征，新特征数据的输出值映射可根据多媒体业务人员的配置信息动态调整。具体而言，以音视频为例，配置的输入特征x可以是音视频转发过程中的网络延迟/波动、丢包率、丢帧率、分辨率等指标，标注输出质量分数y可按函数式关系y＝f(x)映射至得分区间[0,100]。
例如，网络延迟与音视频质量分数呈负相关，即低网络延迟获得较高的质量得分，具体实施过程中可使用但不限于反比例相关的函数f(x)＝1/x标注分数，例如网络延迟0.02s，则可得分y＝50，网络延迟0.1s，则可得分y＝10；同理，分辨率等指标与视频质量呈正相关关系，即相同网络条件下分辨率高的音视频流可获得较高质量分数y，因此可使用但不限于正比例相关的函数进行分数标注。
基于此，上报埋点音视频流数据特征包含了输入特征x和标注评分y，针对动态配置的此类数据特征，可以使用随机森林、GBDT、xgboost、DNN等模型结构，有如下增量学习训练方法：根据实时带有标记的流式数据，动态更新或重新计算每颗树的分裂点，从而获取对新特征数据的回归预测能力。针对新的回归类特征，可以在原有决策树结构的基础上，根据新特征的数据内容，增加新的判决分裂点，针对新特征的分裂点选取可基于下式：
Figure BDA0003253227580000081
其中，xi为第i个新增数据特征，可以是网络延迟/波动、丢包率、丢帧率、分辨率等指标，yi是第i个新特征数据与其他特征组成的特征向量对应的标签值，具体实施为业务人员在采集阶段配置的分数映射函数y＝f(x)获得，例如某一包含网络延迟特征xi的特征向量对应评估值yi＝90.01；j为新特征数据的最佳分割点；X1(i,j)与X2(i,j)分别为决策点j左右的数据集合，即X1(i,j) ＝{x|xi<j}，X2(i,j)＝{x|xi≥j}；c1与c2则是X1(i,j)与X2(i,j)集合的平均值。根据上式，可以将新特征数据xi以分割点j进行划分，若新特征数据的分裂点处于叶子节点，则可将X1(i,j)与X2(i,j)的集合元素对应的均值，作为新特征数据变量影响下的回归预测值。
在一个可选实施例中，步骤S120具体包括：根据新特征数据和标注评分重新确定已训练单一评估模型结构；使用新特征数据拟合已训练单一评估模型的原始输出函数输出的残差，并根据残差确定已训练单一评估模型的最终输出函数。
例如，以上述步骤中的函数f(x)为例，在含有新特征数据时，需要更新树的结构，例如增加或减少树的数量和深度。举例来说，将新特征数据用于拟合对应的单一评估模型输出的残差。例如，原有单一评估模型输出为f(x)，输出残差为Δf，其中x为特征向量输入，则用新特征数据xnew拟合Δf，记做Δf‘，则最终的单一评估模型的输出为f＝θoldf(x)+θnewΔf‘，其中θold与θnew分别代表新旧特征数据对应的回归子树权重。
在一个可选实施例中，步骤S120具体包括：对于可用训练数据中无标注的新特征数据，以新特征数据与聚类点之间的距离作为已训练单一评估模型的输入，根据距离和预设函数确定已训练单一评估模型的输出。
对于无标注数据，单一评估模型可按照无监督的学习方法获得异常划分边界，通过计算埋点数据的离群度反馈到质量评分的输出。具体而言，以音视频为例，将新特征数据作为输入特征向量
Figure BDA0003253227580000091
可包括但不限于音视频转发过程中的单位时间内的视频帧丢失数、关键帧重传数量、卡顿频次等，此类数据无标注信息，当业务人员增量配置此类数据特征时，单一评估模型可以是无监督聚类类型的异常检测模型。具体实施过程中，以客户端侧卡顿特征为例，单位时间内客户端音视频流的卡顿频次小于1为正常视频流，因此，正常数据流下可获取正常卡顿特征数据的聚类点x′≤1，客户端侧针对单位时间卡顿频次的输出x远大于1时，可认定为音视频异常，单一评测模型将输出较低质量评分。具体实施过程，可使用但不限于线性函数关系，可形式化表示为：
y＝f(x)＝100-γ(x-x′),
其中，x′为正常卡顿数据的聚合点，由采集到的音视频流特征通过无监督的聚类方法学习获取，正常音视频流的聚点x′应满足x′≤1；x为某次埋点采集数据，x-x′即为当前采集值的离群距离，γ为比例参数，用于调整离群距离反应到质量评分输出的尺度。通过上式，可将非标注的音视频流特征转化为评测得分。
当对应的输入特征向量
Figure BDA0003253227580000092
为多维数据时，即业务人员可在卡顿的基础上配置关键帧重传次数、客户端侧视频帧丢失数量等特征，可依据上式，调整离群尺度x-x′为所有输入特征离群尺度的加权平均值。同时，可依据实际情况，调整未标注的数据特征向评测分数的映射函数f(x)。
实施例二
图3示出了本发明实施例二提供的多媒体质量评估方法的流程图。如图3 所示，该方法包括以下步骤：
步骤S210、获取在待评估多媒体传输过程中根据配置参数抓取的数据，并进行数据清洗提取特征数据。
步骤S220、对特征数据进行分类，将分类后的特征数据输入组合评估系统。
例如，可分为多媒体数据、埋点质量参数、网络指标参数等。
步骤S230、确定分类后的特征数据是否发生变化，若发生变化则执行步骤S240，若未发生变化，则执行步骤S250。
步骤S240、加载对应的单一评估模型，根据变化的特征数据优化更新该单一评估模型，执行步骤S250。
步骤S250、根据分类后的特征数据，确定对应的单一评估模型，分别将每一类特征数据输入对应的单一评估模型。
步骤S260、根据各单一评估模型输出的评分和各自的权重确定初始评分，基于初始评分与设置的主观评测分数的差距调整组合评估系统中各单一评估模型的权重，通过调整后的组合评估系统输出最终评分。
本实施例通过能够根据人工感觉评测的主观评测分数动态调整比例参数，让组合评估系统的输出贴近真实的人体感观的评测分数，提高评分准确性。
实施例三
图4示出了本发明实施例三提供的多媒体质量评估方法的流程图。本实施例适用于如图5所示的应用场景，该应用场景包括客户端、转发服务器和业务后端服务器。如图4所示，该方法包括以下步骤：
步骤S310、业务人员配置待收集的参数，客户端和转发服务器热更配置参数。
其中，配置参数包括客户端埋点数据、客户端性能参数和转发节点性能参数中至少一种，客户端埋点数据、客户端性能参数和转发节点性能参数具体参见上述实施例一中的相关描述。
具体的，业务人员配置新的评估参考数据即待收集的参数，并由业务后端服务器接收并处理，包括客户端埋点数据配置和转发服务器性能参数配置。业务后端服务器收到业务人员的配置更新后，弹性调整数据特征维度，当配置上报的数据特征增多时，扩容特征向量，反之则回收多余维度特征的存储空间，同时使用特征优选、编码器等方式将原始数据转化为用于单一评估模型训练的特征集合。
客户端和转发服务器接收配置参数，更新数据采样。当删减采样数据时，将停止对旧数据的采集；当增加采样数据时，对应实体实例化新的数据采集对象，并按配置新的数据收集对象。客户端和转发服务器，按照上报规则将数据传入业务后端服务器处理。
步骤S320、视频流转发过程中，客户端和转发服务器根据配置参数抓取并向业务后端服务器上报对应数据，由业务后端服务器处理并把每次上报数据按规则整理为训练数据。
步骤S330、载入已有组合评估系统，基于收集的训练数据，训练更新组合评估系统中每个单一评估模型。
步骤S340、将特征数据输入更新后的组合评估系统，按照不同单一评估模型的权重，输出音视频质量评估分数。
步骤S350、根据系统输出的评估分数与主观评测分数的误差，动态调整各单一评估模型的权重，减少与主观评测分数的差距，并定时重复步骤S320～步骤S350)直至音视频流停止而结束。
实施例四
图6示出了本发明实施例四提供的多媒体质量评估的结构图。如图6所示，该装置包括：数据抓取模块41、模型训练模块42和评分模块43；其中，
数据抓取模块41用于获取待评估多媒体的特征数据作为训练数据；其中，所述特征数据为在所述待评估多媒体传输过程中根据配置参数抓取的数据；
模型训练模块42用于对于每个单一评估模型，根据对应的可用训练数据进行训练，并将各单一评估模型进行组合作为组合评估系统；
评分模块43用于将所述特征数据输入所述组合评估系统，基于所述组合评估系统输出的评分确定所述待评估多媒体的最终评分。
进一步的，所述评分模块43具体用于：基于所述组合评估系统输出的评分与设置的主观评测分数的差距调整所述组合评估系统中各单一评估模型的权重，通过调整后的组合评估系统输出所述待评估多媒体的最终评分。
进一步的，所述模型训练模块42具体用于：对于训练数据有变化的已训练单一评估模型，根据变化后的可用训练数据重新训练；对于训练数据无变化的已训练单一评估模型，无需再次训练。
进一步的，所述模型训练模块42具体用于：对于可用训练数据中有标注的新特征数据，根据所述新特征数据和预设函数确定标注评分；根据所述新特征数据和所述标注评分对所述已训练单一评估模型进行重新训练。
进一步的，所述模型训练模块42具体用于：根据所述新特征数据和所述标注评分重新确定所述已训练单一评估模型结构；使用所述新特征数据拟合所述已训练单一评估模型的原始输出函数输出的残差，并根据所述残差确定所述已训练单一评估模型的最终输出函数。
进一步的，所述模型训练模块42具体用于：对于可用训练数据中无标注的新特征数据，以新特征数据与聚类点之间的距离作为所述已训练单一评估模型的输入，根据所述距离和预设函数确定所述已训练单一评估模型的输出。
进一步的，所述多媒体为音频和/或视频。
本发明实施例所述的多媒体质量评估装置用于执行上述实施例所述的多媒体质量评估方法，其工作原理与技术效果类似，这里不再赘述。
实施例五
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多媒体质量评估方法。
实施例六
图7示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图7所示，该计算设备可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、以及通信总线。
其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口，用于与其它设备比如客户端或其它服务器等的网元通信。处理器，用于执行程序，具体可以执行上述用于计算设备的多媒体质量评估方法实施例中的相关步骤。
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-vola memory)，例如至少一个磁盘存储器。
程序具体可以用于使得处理器执行上述任意方法实施例中的多媒体质量评估方法。程序中各步骤的具体实现可以参见上述多媒体质量评估方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序 (例如，计算机程序和计算机程序产品)。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种多媒体质量评估方法，其特征在于，包括：
获取待评估多媒体的特征数据作为训练数据；其中，所述特征数据为在所述待评估多媒体传输过程中根据配置参数抓取的数据；
对于每个单一评估模型，根据对应的可用训练数据进行训练，并将各单一评估模型进行组合作为组合评估系统；
将所述特征数据输入所述组合评估系统，基于所述组合评估系统输出的评分确定所述待评估多媒体的最终评分。
2.根据权利要求1所述的方法，其特征在于，所述基于所述组合评估系统输出的评分确定所述待评估多媒体的最终评分，包括：
基于所述组合评估系统输出的评分与设置的主观评测分数的差距调整所述组合评估系统中各单一评估模型的权重，通过调整后的组合评估系统输出所述待评估多媒体的最终评分。
3.根据权利要求1所述的方法，其特征在于，所述对于每个单一评估模型，根据对应的可用训练数据进行训练，包括：
对于训练数据有变化的已训练单一评估模型，根据变化后的可用训练数据重新训练；对于训练数据无变化的已训练单一评估模型，无需再次训练。
4.根据权利要求3所述的方法，其特征在于，所述对于训练数据有变化的已训练单一评估模型，根据变化后的可用训练数据重新训练，包括：
对于可用训练数据中有标注的新特征数据，根据所述新特征数据和预设函数确定标注评分；
根据所述新特征数据和所述标注评分对所述已训练单一评估模型进行重新训练。
5.根据权利要求4所述的方法，其特征在于，所述根据所述新特征数据和所述标注评分对所述已训练单一评估模型进行重新训练，包括：
根据所述新特征数据和所述标注评分重新确定所述已训练单一评估模型结构；
使用所述新特征数据拟合所述已训练单一评估模型的原始输出函数输出的残差，并根据所述残差确定所述已训练单一评估模型的最终输出函数。
6.根据权利要求3所述的方法，其特征在于，所述对于训练数据有变化的已训练单一评估模型，根据变化后的可用训练数据重新训练，包括：
对于可用训练数据中无标注的新特征数据，以新特征数据与聚类点之间的距离作为所述已训练单一评估模型的输入，根据所述距离和预设函数确定所述已训练单一评估模型的输出。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述多媒体为音频和/或视频。
8.一种多媒体质量评估装置，其特征在于，包括：
数据抓取模块，用于获取待评估多媒体的特征数据作为训练数据；其中，所述特征数据为在所述待评估多媒体传输过程中根据配置参数抓取的数据；
模型训练模块，用于对于每个单一评估模型，根据对应的可用训练数据进行训练，并将各单一评估模型进行组合作为组合评估系统；
评分模块，用于将所述特征数据输入所述组合评估系统，基于所述组合评估系统输出的评分确定所述待评估多媒体的最终评分。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的多媒体质量评估方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的多媒体质量评估方法对应的操作。
CN202111052346.2A 2021-09-08 2021-09-08 多媒体质量评估方法、装置、设备及存储介质 Active CN113784115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111052346.2A CN113784115B (zh) 2021-09-08 2021-09-08 多媒体质量评估方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111052346.2A CN113784115B (zh) 2021-09-08 2021-09-08 多媒体质量评估方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113784115A true CN113784115A (zh) 2021-12-10
CN113784115B CN113784115B (zh) 2023-04-11

Family

ID=78842039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111052346.2A Active CN113784115B (zh) 2021-09-08 2021-09-08 多媒体质量评估方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113784115B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958467A (zh) * 2019-11-21 2020-04-03 清华大学 视频质量预测方法和装置及电子设备
CN111314691A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频通话质量评估方法和装置
CN112183946A (zh) * 2020-09-07 2021-01-05 腾讯音乐娱乐科技（深圳）有限公司 多媒体内容评估方法、装置及其训练方法
CN112672143A (zh) * 2020-12-21 2021-04-16 北京金山云网络技术有限公司 视频质量的评估方法、装置及服务器
CN112733796A (zh) * 2021-01-22 2021-04-30 华侨大学 一种体育运动质量的评估方法、装置、设备，存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314691A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频通话质量评估方法和装置
CN110958467A (zh) * 2019-11-21 2020-04-03 清华大学 视频质量预测方法和装置及电子设备
CN112183946A (zh) * 2020-09-07 2021-01-05 腾讯音乐娱乐科技（深圳）有限公司 多媒体内容评估方法、装置及其训练方法
CN112672143A (zh) * 2020-12-21 2021-04-16 北京金山云网络技术有限公司 视频质量的评估方法、装置及服务器
CN112733796A (zh) * 2021-01-22 2021-04-30 华侨大学 一种体育运动质量的评估方法、装置、设备，存储介质

Also Published As

Publication number Publication date
CN113784115B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN109902708B (zh) 一种推荐模型训练方法及相关装置
US11238310B2 (en) Training data acquisition method and device, server and storage medium
CN109344884B (zh) 媒体信息分类方法、训练图片分类模型的方法及装置
JP7347202B2 (ja) 分類モデルを訓練する装置と方法及び分類モデルを用いた分類装置
CN110554958B (zh) 图数据库测试方法、系统、设备和存储介质
US20200234144A1 (en) Generating training datasets for training neural networks
CN112001274B (zh) 人群密度确定方法、装置、存储介质和处理器
WO2019091402A1 (zh) 年龄预估方法和装置
US20230153622A1 (en) Method, Apparatus, and Computing Device for Updating AI Model, and Storage Medium
CN110147745A (zh) 一种视频关键帧检测方法及装置
CN109743356B (zh) 工业互联网数据采集方法及装置、可读存储介质和终端
CN109815988B (zh) 模型生成方法、分类方法、装置及计算机可读存储介质
CN110909868A (zh) 基于图神经网络模型的节点表示方法和装置
CN113706472B (zh) 公路路面病害检测方法、装置、设备及存储介质
CN108764348B (zh) 基于多个数据源的数据采集方法及系统
CN111159241B (zh) 一种点击转化预估方法及装置
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN115051929A (zh) 基于自监督目标感知神经网络的网络故障预测方法及装置
CN117078670B (zh) 一种云相框的生产控制系统
CN113784115B (zh) 多媒体质量评估方法、装置、设备及存储介质
JP2020064364A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN114580517A (zh) 一种图像识别模型的确定方法及装置
CN115866235A (zh) 视频质量评估方法、装置、电子设备及存储介质
CN112465055A (zh) 一种基于卷积神经网络的网络故障诊断方法
CN113822454A (zh) 切片投诉处理资源的预估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant