CN104702666A - 用户体验质量确定方法及系统 - Google Patents

Abstract

本发明实施例提供了一种用户体验质量确定方法及系统，可以使用获得的多个网络状态下的网络数据对神经网络计算模型进行训练和测试，在当前训练模型通过测试后，将从网络中采集的网络质量参数输入到通过测试的当前训练模型中，计算得出用户体验质量。由于经过训练且测试通过的神经网络计算模型可以根据从网络中采集的网络质量参数计算得到用户体验质量，因此本发明在得到通过测试后的神经网络计算模型后，无需通过用户对体验质量进行评分来得到用户体验质量。因此，本发明也减少了获得用户体验质量过程中给用户带来的干扰，也不易受用户配合度的影响。

Description

用户体验质量确定方法及系统

技术领域

本发明涉及计算机网络技术领域，特别是涉及用户体验质量确定方法及系统。

背景技术

随着信息技术的发展，人们对网络和信息的需求呈现爆炸式的增长，也对网络质量有着更高的要求。

用户体验质量(QoE，Quality of Experience)相对于服务质量(QoS，Quality of Service)而言，更能体现用户对网络质量的实际感受，也更能影响用户对网络的访问行为。因此运营商多通过用户体验质量来评价网络质量并对所提供的服务进行改进。当前阶段，运营商需要花费大量的人力，通过向用户发送调查问卷，让用户对体验质量进行评分的方式来获得用户体验质量。这种通过人工调查的方式虽然收集了大量的数据，但在每次获得用户体验质量时，仍需要向用户发送调查问卷，让用户对体验质量进行评分。这无疑给用户带来了干扰，同时，这种每次都需要用户评分的方式也易受用户配合度影响，获得难度较大。

发明内容

本发明实施例的目的在于提供一种用户体验质量确定方法及系统，以无需用户对体验质量进行评分即可得到用户体验质量。

为达到上述目的，本发明实施例公开了一种用户体验质量确定方法，应用于服务器中，所述方法包括：数据收集的步骤、模型训练的步骤、模型测试的步骤和模型应用的步骤；

其中，所述数据收集的步骤包括：

获得多个网络状态下的网络数据，所述网络数据包括：网络质量参数及用户对网络状态的评分；

将所获得的多个网络状态至少划分为第一状态组和第二状态组，所述第一状态组中网络状态的数量大于所述第二状态组中网络状态的数量；

其中，所述模型训练的步骤包括：

选择所述第一状态组中的一个网络状态下的网络数据作为当前训练数据，将预设的神经网络计算模型作为当前训练模型，其中，所述当前训练模型的输入量为所述网络质量参数，所述当前训练模型的输出量为用户体验质量；

将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

获得当前训练模型计算得出的用户体验质量；

获得所述计算得出的用户体验质量与当前训练数据中的用户对网络状态的评分之间的训练误差；

将所述训练误差与第一预设误差阈值进行比较，如果所述训练误差不大于所述第一预设误差阈值，则执行所述模型测试的步骤对进行训练后的当前训练模型进行测试，如果所述训练误差大于所述第一预设误差阈值，则判断所获得的训练误差的收敛次数是否位于预设的次数区间中，如果是，则执行所述模型测试的步骤对进行训练后的当前训练模型进行测试，否则，对当前训练模型进行调整，选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续执行将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

其中，所述模型测试的步骤包括：

依次将所述第二状态组中的各网络状态作为当前测试状态，将当前测试状态下的网络数据作为当前测试数据，将当前测试数据中的网络质量参数输入进行训练后的当前训练模型中以对训练后的当前训练模型进行测试；

获得进行训练后的当前训练模型计算得出的用户体验质量；

获得该计算得出的用户体验质量与当前测试数据中的用户对网络状态的评分之间的测试误差；

分别将所述第二状态组中各网络状态对应的测试误差与第二预设误差阈值进行比较，获得比较结果；

判断所述比较结果是否满足预设的测试通过条件，如果是，则将进行训练后的当前训练模型作为对网络的用户体验质量计算模型，否则继续执行所述选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续执行将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练的步骤；

其中，所述模型应用的步骤包括：

从网络中采集第一网络状态下的网络质量参数；

将所采集的网络质量参数输入所述模型测试的步骤中所确定的对网络的用户体验质量计算模型中，计算获得所述第一网络状态下的用户体验质量。

可选的，所述预设的测试通过条件为：

不大于所述第二预设误差阈值的测试误差的数量不低于第一数量；

或者，不大于所述第二预设误差阈值的测试差值的数量占所述第二状态组中所有网络状态对应的测试差值的总数量的比例不低于第一比例。

可选的，所述网络质量参数包括：客观网络参数，所述客观网络参数包括：网络状况、业务质量和终端质量。

可选的，所述网络质量参数还包括：主观网络参数，所述主观网络参数包括：先前用户体验质量、业务体验经历、自身背景、身心状态和期望中的一种或多种；

从网络中采集第一网络状态下的主观网络参数的方式包括：

接收用户输入的第一网络状态下的主观网络参数；

和/或，

通过监控用户的操作行为，获得第一网络状态下的主观网络参数。

可选的，在当前训练数据与上一训练数据均对应同一用户，且该当前训练数据的产生时间与上一训练数据的产生时间之间的间隔小于预设时间间隔时，所述当前训练数据中的主观网络参数包括先前用户体验质量，且所述先前用户体验质量为上一训练数据中的网络质量参数输入训练模型后计算得出的用户体验质量。

可选的，所述对当前训练模型进行调整，包括：

计算获得当前训练数据对应的训练误差对当前训练模型中各神经元的偏导数；

对各神经元：根据该神经元的偏导数调整该神经元的连接权值。

可选的，所述根据该神经元的偏导数调整该神经元的连接权值，包括：

根据该神经元的偏导数的正负确定该神经元的连接权值的调整方向；

按照所确定的调整方向调整该神经元的连接权值，其中，该神经元的连接权值的调整量为该神经元的偏导数的绝对值。

可选的，所述预设的神经网络计算模型包括输入层、隐含层和输出层，在所述客观网络参数包括网络状况、业务质量和终端质量，且所述主观网络参数包括先前用户体验质量、业务体验经历、自身背景、身心状态和期望时：

所述输入层的输入参数为：其中，所述x₁(k)至所述x₅(k)分别为所述先前用户体验质量、所述业务体验经历、所述自身背景、所述身心状态和所述期望，所述x₆(k)至所述x₈(k)分别为所述网络状况、所述业务质量和所述终端质量；

所述输出层的输出参数为：

所述获得当前训练模型计算得出的用户体验质量，包括：

通过如下公式根据所述输入层的输入参数计算得到所述输出层的输出参数yo(k)：

$h{i}_1\left(k\right)=\underset{j=1}{\overset{5}{\mathrm{\Σ}}}W{i}_{j1}{x}_j\left(k\right)-b_1$

$h{i}_2\left(k\right)=\underset{j=6}{\overset{8}{\mathrm{\Σ}}}W{i}_{j2}{x}_j\left(k\right)-b_2$

ho₁(k)＝f(hi₁(k))

ho₂(k)＝f(hi₂(k))

yi(k)＝Wo₁ho₁+Wo₂ho₂-b_o

yo(k)＝f(yi(k))

其中，Wi为所述输入层与所述隐含层的连接权值，Wo为所述隐含层与所述输出层的连接权值，b₁为主观网络参数的阈值，b₁为客观网络参数的阈值，b_h为隐含层各神经元的阈值，b_o为输出层各神经元的阈值。

一种用户体验质量确定系统，应用于服务器中，所述系统包括：数据收集单元、模型训练单元、模型测试单元和模型应用单元，

其中，所述数据收集单元，用于获得多个网络状态下的网络数据，所述网络数据包括：网络质量参数及用户对网络状态的评分；将所获得的多个网络状态至少划分为第一状态组和第二状态组，所述第一状态组中网络状态的数量大于所述第二状态组中网络状态的数量；

其中，所述模型训练单元，用于选择所述第一状态组中的一个网络状态下的网络数据作为当前训练数据，将预设的神经网络计算模型作为当前训练模型，其中，所述当前训练模型的输入量为所述网络质量参数，所述当前训练模型的输出量为用户体验质量；将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；获得当前训练模型计算得出的用户体验质量；获得所述计算得出的用户体验质量与当前训练数据中的用户对网络状态的评分之间的训练误差；将所述训练误差与第一预设误差阈值进行比较，如果所述训练误差不大于所述第一预设误差阈值，则触发所述模型测试单元对进行训练后的当前训练模型进行测试，如果所述训练误差大于所述第一预设误差阈值，则判断所获得的训练误差的收敛次数是否位于预设的次数区间中，如果是，则触发所述模型测试单元对进行训练后的当前训练模型进行测试，否则，对当前训练模型进行调整，选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

其中，所述模型测试单元，用于依次将所述第二状态组中的各网络状态作为当前测试状态，将当前测试状态下的网络数据作为当前测试数据，将当前测试数据中的网络质量参数输入进行训练后的当前训练模型中以对训练后的当前训练模型进行测试；获得进行训练后的当前训练模型计算得出的用户体验质量；获得该计算得出的用户体验质量与当前测试数据中的用户对网络状态的评分之间的测试误差；分别将所述第二状态组中各网络状态对应的测试误差与第二预设误差阈值进行比较，获得比较结果；判断所述比较结果是否满足预设的测试通过条件，如果是，则将进行训练后的当前训练模型作为对网络的用户体验质量计算模型，否则触发所述模型训练单元继续选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

其中，所述模型应用单元，用于从网络中采集第一网络状态下的网络质量参数；将所采集的网络质量参数输入所述模型测试单元所确定的对网络的用户体验质量计算模型中，计算获得所述第一网络状态下的用户体验质量。

可选的，所述网络质量参数包括：客观网络参数，所述客观网络参数包括：网络状况、业务质量和终端质量。

本发明实施例提供的一种用户体验质量确定方法及系统，可以使用获得的多个网络状态下的网络数据对神经网络计算模型进行训练和测试，在当前训练模型通过测试后，将从网络中采集的网络质量参数输入到通过测试的当前训练模型中，计算得出用户体验质量。由于经过训练且测试通过的神经网络计算模型可以根据从网络中采集的网络质量参数计算得到用户体验质量，因此本发明在得到通过测试后的神经网络计算模型后，无需通过用户对体验质量进行评分来得到用户体验质量。因此，本发明也减少了用户体验质量获得过程中给用户带来的干扰，也不易受用户配合度的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用户体验质量确定方法的流程图；

图2为本发明实施例提供的神经网络计算模型的结构示意图；

图3为本发明实施例提供的一种用户体验质量确定系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种用户体验质量确定方法，应用于服务器中，该方法可以包括：数据收集的步骤、模型训练的步骤、模型测试的步骤和模型应用的步骤；

如图1所示，数据收集的步骤可以包括：

S101、获得多个网络状态下的网络数据，所述网络数据包括：网络质量参数及用户对网络状态的评分；

其中，所述网络质量参数可以包括：客观网络参数，所述客观网络参数包括：网络状况、业务质量和终端质量。

可选的，所述网络质量参数还可以包括：主观网络参数，所述主观网络参数包括：先前用户体验质量、业务体验经历、自身背景、身心状态和期望中的一种或多种。

下面对各网络质量参数进行说明：

网络状况：基础网络设施的稳定和性能的良好是保障业务质量的基础。具体的，可以从网络对业务的端到端的QoS保障、网络传输与连接能力、网络覆盖能力等方面提取网络状况。

业务质量：业务质量在评价用户体验时是影响较大的一项因素，一项业务内容足不足够吸引用户，使用业务会使用户付出多大的代价，业务自身会不会产生使用不便等等问题都直接影响着用户的评价。具体的，可以从业务内容、业务花销(包括时间和价格)、业务自身的性能指标等方面提取业务质量。

终端质量：用户终端的质量直接影响着业务向观众的呈现的效果。终端的一些特性，屏幕分辨率、屏幕大小、舒适度、人性化设计功能等都可以作为终端质量。

自身背景：用户的不同自身背景会影响其对业务的主观判断。例如受教育程度较好的用户对一些业务的时延可能具有更好的忍受力，而对在视频资源的丰富度要求有着更高要求。具体的，可以通过用户输入的身份信息(如用户账号对应的个人简介等)来获得自身背景。

身心状态：一个用户的身心状态会不同程度的影响其对业务的主观评价。一个身体健康、心情愉悦的用户个人更可能对一项业务给出相对较好的评价。具体的，可以通过监控用户的操作行为来获得用户的身心状态，例如用户通过其账号更新了状态为：“今天好高兴”，则可以确定用户的身心状态。

期望：用户在使用业务前可能会对业务质量抱有不同的期望，而不同的期望将会影响用户的对业务的主观评价。一个对某项业务抱有更高期望的用户(如一个被亲友推荐使用某项业务的用户)会对业务体验的要求更为严格。

业务体验经历：不同的用户都有过不同的业务体验，之前的业务体验会对下一次的网络体验造成影响。例如经常使用微信的用户会希望其他交互软件也具有实时语音对讲功能，因而其他交互软件的语音功能缺失会造成用户主观上对网络的不满意。可以通过获得用户输入的对其他业务的业务体验经历或监控用户在其他业务上的业务体验经历来获得用户的业务体验经历。

先前用户体验质量：在一定时间段内，用户的先前用户体验质量将在一定程度上影响该用户在后对网络的体验，因此本发明将用户的先前用户体验质量作为训练模型的输入量之一可以使得神经网络计算模型更加完善，得出的用户体验质量也更加准确。

其中，S101中的网络数据可以为历史调查中所记录的数据。

在S101获得网络数据后，还可以对网络数据进行一致化处理、无量纲化处理和去噪处理。

S102、将所获得的多个网络状态至少划分为第一状态组和第二状态组，所述第一状态组中网络状态的数量大于所述第二状态组中网络状态的数量；

其中，第一状态组中各网络状态下的网络数据可以在进行模型训练时使用，第二状态组中各网络状态下的网络数据可以在进行模型测试时使用。用于模型训练的第一状态组中的网络状态数据较多，可以使得模型训练更加充分。

如图1所示，模型训练的步骤可以包括：

S201、选择所述第一状态组中的一个网络状态下的网络数据作为当前训练数据，将预设的神经网络计算模型作为当前训练模型，其中，所述当前训练模型的输入量为所述网络质量参数，所述当前训练模型的输出量为用户体验质量；

S202、将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

S203、获得当前训练模型计算得出的用户体验质量；

在当前训练数据与上一训练数据均对应同一用户，且该当前训练数据的产生时间与上一训练数据的产生时间之间的间隔小于预设时间间隔时，所述当前训练数据中的主观网络参数包括先前用户体验质量，且所述先前用户体验质量为上一训练数据中的网络质量参数输入训练模型后计算得出的用户体验质量。

在一定时间段内，用户的先前用户体验质量将在一定程度上影响该用户在后对网络的体验，因此本发明将用户的先前用户体验质量作为训练模型的输入量之一可以使得神经网络计算模型更加完善，得出的用户体验质量也更加准确。

S204、获得所述计算得出的用户体验质量与当前训练数据中的用户对网络状态的评分之间的训练误差；

其中，训练误差的计算方式有多种，如相减取绝对值、将标准差作为训练误差等。

S205、将所述训练误差与第一预设误差阈值进行比较，如果所述训练误差不大于所述第一预设误差阈值，则执行所述模型测试的步骤对进行训练后的当前训练模型进行测试，如果所述训练误差大于所述第一预设误差阈值，则执行S206；

具体的，如果所述训练误差不大于所述第一预设误差阈值，可以执行所述模型测试的步骤中的S301。

S206、判断所获得的训练误差的收敛次数是否位于预设的次数区间中，如果是，则执行所述模型测试的步骤对进行训练后的当前训练模型进行测试，否则，执行S207；

具体的，如果所获得的训练误差的收敛次数位于预设的次数区间中，可以执行所述模型测试的步骤中的S301。

S207、对当前训练模型进行调整，选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续执行S202；

可以理解的是，当计算出的用户体验质量的训练误差较大，且不满足预设收敛次数要求时，可以继续输入第一状态组中其他网络状态下的网络数据进行训练。

其中，所述对当前训练模型进行调整，可以包括：

计算获得当前训练数据对应的训练误差对当前训练模型中各神经元的偏导数；

对各神经元：根据该神经元的偏导数调整该神经元的连接权值。

具体的，所述根据该神经元的偏导数调整该神经元的连接权值，可以包括：

根据该神经元的偏导数的正负确定该神经元的连接权值的调整方向；

按照所确定的调整方向调整该神经元的连接权值，其中，该神经元的连接权值的调整量为该神经元的偏导数的绝对值。

如图1所示，模型测试的步骤可以包括：

S301、依次将所述第二状态组中的各网络状态作为当前测试状态，将当前测试状态下的网络数据作为当前测试数据，将当前测试数据中的网络质量参数输入进行训练后的当前训练模型中以对训练后的当前训练模型进行测试；

由于训练后的当前训练模型的稳定性无法确定，因此需要通过测试来进行验证，在验证通过后，才可以将该当前训练模型确定为对网络的用户体验质量计算模型进行使用。

S302、获得进行训练后的当前训练模型计算得出的用户体验质量；

S303、获得该计算得出的用户体验质量与当前测试数据中的用户对网络状态的评分之间的测试误差；

S304、分别将所述第二状态组中各网络状态对应的测试误差与第二预设误差阈值进行比较，获得比较结果；

S305、判断所述比较结果是否满足预设的测试通过条件，如果是，则执行S306，否则继续执行S207；

在比较结果未满足预设的测试通过条件时，可以继续返回S207对当前训练模型进行训练。

其中，所述预设的测试通过条件可以为：

不大于所述第二预设误差阈值的测试误差的数量不低于第一数量；

或者，不大于所述第二预设误差阈值的测试差值的数量占所述第二状态组中所有网络状态对应的测试差值的总数量的比例不低于第一比例。

其中，第一预设误差阈值和第二预设误差阈值可以相同。

S306、将进行训练后的当前训练模型作为对网络的用户体验质量计算模型；

如图1所示，模型应用的步骤可以包括：

S401、从网络中采集第一网络状态下的网络质量参数；

具体的，S401可以通过监控用户操作行为、监控网络数据等方式获得网络质量参数。

S402、将所采集的网络质量参数输入所述模型测试的步骤中所确定的对网络的用户体验质量计算模型中，计算获得所述第一网络状态下的用户体验质量。

本发明实施例提供的一种用户体验质量确定方法，可以使用获得的多个网络状态下的网络数据对神经网络计算模型进行训练和测试，在当前训练模型通过测试后，将从网络中采集的网络质量参数输入到通过测试的当前训练模型中，计算得出用户体验质量。由于经过训练且测试通过的神经网络计算模型可以根据从网络中采集的网络质量参数计算得到用户体验质量，因此本发明在得到通过测试后的神经网络计算模型后，无需再通过用户对体验质量进行评分来得到用户体验质量。因此，本发明也减少了用户体验质量获得过程中给用户带来的干扰，也不易受用户配合度的影响。

下面公开本发明的用户体验质量确定方法中进行模型训练的一种实施方式：

步骤一、定义神经网络计算模型的结构，如图2所示：

神经网络计算模型可以分为三层：输入层、隐含层和输出层。

其中，输入层包括八个变量：先前用户体验质量x₁、业务体验经历x₂、自身背景x₃、身心状态x₄、期望x₅、网络状况x₆、业务质量x₇和终端质量x₈。其中，隐含层中还包括有去噪模块，用于对先前用户体验质量x₁、业务体验经历x₂、自身背景x₃、身心状态x₄、期望x₅中的不良数据等进行去除。

输入层中包括有数据反馈开关，该数据反馈开关用于控制上一次计算得到的QoE是否作为先前用户体验质量x₁输入此次的计算过程。

隐含层可以包括两个变量：主观因素和客观因素。

输出层可以包含一个变量：计算得到的QoE值。

神经网络计算模型的所有变量定义如下：

输入向量 $\stackrel{\‾}{x}=(x_1,x_2,x_3,x_4,x_5,x_6,x_7,x_8)$

隐含层输入向量：

隐含层输出向量

输出层输入向量

输出层输出向量

期望输出向量

输入层与隐含层的连接权值：Wi

隐含层与输出层的连接权值：Wo

隐含层各神经元的阈值：b_h

输出层各神经元的阈值：b_o

样本数据个数：k＝1，2，...，m

激活函数：输入：net＝W₁x₁+W₂x₂+......+W_nx_n

输出： $y=f\left(\mathrm{net}\right)=\frac{1}{1+e^{-\mathrm{net}}}$

误差函数： $e_c=\frac{1}{2}{(d_o\left(k\right)-\mathrm{yo}\left(k\right))}^2$

步骤二、进行神经网络计算模型初始化：

给各连接权值分别赋一个区问(-1，1)内的随机数，设定第一预设误差阈值和第二预设误差阈值均为误差函数e_limit，给定计算精度值ε，预设的次数区间为(N，M]。

步骤三、随机选取第k个输入样本及对应期望输出：

$\stackrel{\‾}{x\left(k\right)}=(x_1\left(k\right),x_2\left(k\right),\·\·\·,x_8\left(k\right))$ 公式103.1

$\stackrel{\‾}{d_o\left(k\right)}=d_o\left(k\right)$ 公式103.2

步骤四、通过如下公式根据输入层的输入参数计算得到所述输出层的输出参数yo(k)：

$h{i}_1\left(k\right)=\underset{j=1}{\overset{5}{\mathrm{\Σ}}}W{i}_{j1}{x}_j\left(k\right)-b_1$ 公式104.1

$h{i}_2\left(k\right)=\underset{j=6}{\overset{8}{\mathrm{\Σ}}}W{i}_{j2}{x}_j\left(k\right)-b_2$ 公式104.2

ho₁(k)＝f(hi₁(k))    公式104.3

ho₂(k)＝f(hi₂(k))    公式104.4

yi(k)＝Wo₁ho₁+Wo₂ho₂-b_o    公式104.5

yo(k)＝f(yi(k))    公式104.6

其中，b₁为主观网络参数的阈值，b₁为客观网络参数的阈值，b_h隐含层各神经元的阈值，b_o为输出层各神经元的阈值。

步骤五、利用网络期望输出和实际输出，计算训练误差并与误差函数比较，如果训练误差不大于误差函数，则进行模型测试。如果训练误差大于误差函数，判断训练误差的收敛次数是否位于预设的次数区间(N，M]中，如果是，则进行模型测试；否则计算各神经元的偏导数并继续选择其他输入样本及对应期望输出队神经网络计算模型进行训练。

具体的，通过如下公式计算输出层各神经元的偏导数δo(k)：

$\frac{\∂e_c}{\∂W{o}_1}=\frac{\∂e_c}{\∂\mathrm{yi}}\·\frac{\∂\mathrm{yi}}{\∂W{o}_1}$ 公式105.1

$\frac{\∂\mathrm{yi}}{\∂W{o}_1}=\frac{\∂(W{o}_{1}h{o}_1\left(k\right)+W{o}_{2}h{o}_2\left(k\right)-b_o)}{\∂W{o}_1}=h{o}_1\left(k\right)$ 公式105.2

$\frac{\∂\mathrm{yi}}{\∂W{o}_2}=\frac{\∂(W{o}_{1}h{o}_1\left(k\right)+W{o}_{2}h{o}_2\left(k\right)-b_o)}{\∂W{o}_2}=h{o}_2\left(k\right)$ 公式105.3

$\begin{array}{c}\frac{\∂e_c}{\∂\mathrm{yi}}=\frac{\∂\left(\frac{1}{2}{(d_o\left(k\right)-\mathrm{yo}\left(k\right))}^2\right)}{\∂W{o}_1}=-(d_o\left(k\right)-\mathrm{yo}\left(k\right))y{o}^{\′}\left(k\right)\\ =-(d_o\left(k\right)-\mathrm{yo}\left(k\right))f^{\′}\left(\mathrm{yi}\left(k\right)\right)\stackrel{\mathrm{\Δ}}{=}-\mathrm{\δo}\left(k\right)\end{array}$ 公式105.4

综合公式105.1、公式105.2、公式105.3和公式105.4，可以得到公式105.5和公式105.6：

$\frac{\∂e_c}{\∂{\mathrm{Wo}}_1}=-\mathrm{\δo}\left(k\right)\·h{o}_1\left(k\right)$ 公式105.5

$\frac{\∂e_c}{\∂{\mathrm{Wo}}_2}=-\mathrm{\δo}\left(k\right)\·h{o}_2\left(k\right)$ 公式105.6

具体的，利用隐含层到输出层的连接权值、输出层的δo(k)和隐含层的输出计算误差函数对隐含层各神经元的偏导数δh(k)：

$\frac{\∂e_c}{\∂\mathrm{Wi}}=\frac{\∂e_c}{\∂\mathrm{hi}\left(k\right)}\·\frac{\∂\mathrm{hi}\left(k\right)}{\∂\mathrm{Wi}}$ 公式106.1

当1≤i≤5时

$\frac{\∂\mathrm{hi}\left(k\right)}{\∂{\mathrm{Wi}}_{i1}}=\frac{\∂(\underset{i=6}{\overset{8}{\mathrm{\Σ}}}W{i}_{i1}{x}_i\left(k\right)-b_h)}{\∂W{i}_{i1}}=x_i\left(k\right)$ 公式106.2

$\begin{array}{c}\frac{\∂e_c}{\∂{\mathrm{hi}}_1\left(k\right)}=\frac{\∂\left(\frac{1}{2}{(d_o\left(k\right)-\mathrm{yo}\left(k\right))}^2\right)}{\∂h{o}_1\left(k\right)}\·\frac{\∂h{o}_1\left(k\right)}{\∂h{i}_1\left(k\right)}\\ =-\mathrm{\δo}\left(k\right){\mathrm{Wo}}_1\·f^{\′}\left(h{i}_1\left(k\right)\right)\stackrel{\mathrm{\Δ}}{=}-\mathrm{\δ}{h}_1\left(k\right)\end{array}$ 公式106.3

综合公式106.2和公式106.3，可得公式106.4

$\frac{\∂e_c}{\∂{\mathrm{Wi}}_{i1}\left(k\right)}=-\mathrm{\δ}{h}_1\left(k\right)\·x_i\left(k\right)$ 公式106.4

同理，当6≤i≤8时，可得公式106.5、公式106.6和公式106.7

$\frac{\∂\mathrm{hi}\left(k\right)}{\∂{\mathrm{Wi}}_{i2}}=\frac{\∂(\underset{i=6}{\overset{8}{\mathrm{\Σ}}}W{i}_{i2}{x}_i\left(k\right)-b_h)}{\∂W{i}_{i2}}=x_i\left(k\right)$ 公式106.5

$\begin{array}{c}\frac{\∂e_c}{\∂h{i}_2\left(k\right)}=\frac{\∂\left(\frac{1}{2}{(d_o\left(k\right)-\mathrm{yo}\left(k\right))}^2\right)}{\∂h{o}_2\left(k\right)}\·\frac{\∂h{o}_2\left(k\right)}{\∂h{i}_2\left(k\right)}\\ =-\mathrm{\δo}\left(k\right){\mathrm{Wo}}_2\·f^{\′}\left(h{i}_2\left(k\right)\right)\stackrel{\mathrm{\Δ}}{=}-\mathrm{\δ}{h}_2\left(k\right)\end{array}$ 公式106.6

$\frac{\∂e_c}{\∂{\mathrm{Wi}}_{i2}\left(k\right)}=-\mathrm{\δ}{h}_2\left(k\right)\·x_i\left(k\right)$ 公式106.7

步骤六、利用输出层各神经元的δo(k)和隐含层各神经元的输出来修正连接权值Wo₁，Wo₂：

$\mathrm{\Δ}{\mathrm{Wo}}_1\left(k\right)=-\mathrm{\μ}\frac{\∂e_c}{\∂{\mathrm{Wo}}_1}=\mathrm{\μ\δo}\left(k\right)h{o}_1\left(k\right)$ 公式107.1

$\mathrm{\Δ}{\mathrm{Wo}}_2\left(k\right)=-\mathrm{\μ}\frac{\∂e_c}{\∂{\mathrm{Wo}}_2}=\mathrm{\μ\δo}\left(k\right)h{o}_2\left(k\right)$ 公式107.2

${\mathrm{Wo}}_2^{N+1}={\mathrm{Wo}}_2^N+\mathrm{\Δ}{\mathrm{Wo}}_2\left(k\right)$ 公式107.3

${\mathrm{Wo}}_2^{N+1}={\mathrm{Wo}}_2^N+\mathrm{\Δ}{\mathrm{Wo}}_2\left(k\right)$ 公式107.4

步骤七、利用隐含层各神经元的和输入层各神经元的输入修正连接权：

$\mathrm{\Δ}{\mathrm{Wi}}_{\mathrm{vd}}\left(k\right)=-\mathrm{\μ}\frac{\∂e_c}{\∂{\mathrm{Wi}}_{\mathrm{vd}}}=-\mathrm{\μ}\frac{\∂e_c}{\∂h{i}_d\left(k\right)}\frac{\∂h{i}_d\left(k\right)}{\∂{\mathrm{Wi}}_{\mathrm{vd}}}\mathrm{\μ\δ}{h}_d\left(k\right)x_v\left(k\right),\left\{\begin{array}{c}v=1~5,d=1\\ v=6~8,d=2\end{array}\right.$

公式108.1

${\mathrm{Wi}}_{\mathrm{vd}}^{N+1}={\mathrm{Wi}}_{\mathrm{vd}}^N+\mathrm{\Δ}{\mathrm{Wi}}_{\mathrm{vd}}\left(k\right)$ 公式108.2

本领域技术人员可以根据本发明公开的模型训练过程不经创造性劳动即可得到与模型训练过程对应的模型测试过程的实施方式。

当通过多组数据确定了可以计算用户体验质量的多个神经网络计算模型时，可以通过计算全局误差来选择全局误差小的一个神经网络计算模型作为所要使用的模型。全局误差的计算公式可以为：

$E=\frac{1}{2m}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{(d_o\left(k\right)-\mathrm{yo}\left(k\right))}^2$ 公式109.1

与图1所示方法实施例相对应，本发明还提供了一种用户体验质量确定系统。

如图3所示，本发明实施例提供的一种用户体验质量确定系统，应用于服务器中，该系统可以包括：数据收集单元100、模型训练单元200、模型测试单元300和模型应用单元400，

其中，所述数据收集单元100，用于获得多个网络状态下的网络数据，所述网络数据包括：网络质量参数及用户对网络状态的评分；将所获得的多个网络状态至少划分为第一状态组和第二状态组，所述第一状态组中网络状态的数量大于所述第二状态组中网络状态的数量；

其中，所述网络质量参数可以包括：客观网络参数，所述客观网络参数包括：网络状况、业务质量和终端质量。

可选的，所述网络质量参数还可以包括：主观网络参数，所述主观网络参数包括：先前用户体验质量、业务体验经历、自身背景、身心状态和期望中的一种或多种。

其中，数据收集单元100中的网络数据可以为历史调查中所记录的数据。

在数据收集单元100获得网络数据后，还可以对网络数据进行一致化处理、无量纲化处理和去噪处理。

其中，第一状态组中各网络状态下的网络数据可以在进行模型训练时使用，第二状态组中各网络状态下的网络数据可以在进行模型测试时使用。用于模型训练的第一状态组中的网络状态数据较多，可以使得模型训练更加充分。

其中，所述模型训练单元200，用于选择所述第一状态组中的一个网络状态下的网络数据作为当前训练数据，将预设的神经网络计算模型作为当前训练模型，其中，所述当前训练模型的输入量为所述网络质量参数，所述当前训练模型的输出量为用户体验质量；将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；获得当前训练模型计算得出的用户体验质量；获得所述计算得出的用户体验质量与当前训练数据中的用户对网络状态的评分之间的训练误差；将所述训练误差与第一预设误差阈值进行比较，如果所述训练误差不大于所述第一预设误差阈值，则触发所述模型测试单元300对进行训练后的当前训练模型进行测试，如果所述训练误差大于所述第一预设误差阈值，则判断所获得的训练误差的收敛次数是否位于预设的次数区间中，如果是，则触发所述模型测试单元300对进行训练后的当前训练模型进行测试，否则，对当前训练模型进行调整，选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

在当前训练数据与上一训练数据均对应同一用户，且该当前训练数据的产生时间与上一训练数据的产生时间之间的间隔小于预设时间间隔时，所述当前训练数据中的主观网络参数包括先前用户体验质量，且所述先前用户体验质量为上一训练数据中的网络质量参数输入训练模型后计算得出的用户体验质量。

在一定时间段内，用户的先前用户体验质量将在一定程度上影响该用户在后来对网络使用时的体验，因此本发明将用户的先前用户体验质量作为训练模型的输入量之一可以使得神经网络计算模型更加完善，得出的用户体验质量也更加准确。

其中，训练误差的计算方式有多种，如相减取绝对值、将标准差作为训练误差等。

其中，对当前训练模型进行调整的方式，可以包括：

计算获得当前训练数据对应的训练误差对当前训练模型中各神经元的偏导数；

对各神经元：根据该神经元的偏导数调整该神经元的连接权值。

具体的，根据该神经元的偏导数调整该神经元的连接权值的方式，可以包括：

根据该神经元的偏导数的正负确定该神经元的连接权值的调整方向；

按照所确定的调整方向调整该神经元的连接权值，其中，该神经元的连接权值的调整量为该神经元的偏导数的绝对值。

其中，所述模型测试单元300，用于依次将所述第二状态组中的各网络状态作为当前测试状态，将当前测试状态下的网络数据作为当前测试数据，将当前测试数据中的网络质量参数输入进行训练后的当前训练模型中以对训练后的当前训练模型进行测试；获得进行训练后的当前训练模型计算得出的用户体验质量；获得该计算得出的用户体验质量与当前测试数据中的用户对网络状态的评分之间的测试误差；分别将所述第二状态组中各网络状态对应的测试误差与第二预设误差阈值进行比较，获得比较结果；判断所述比较结果是否满足预设的测试通过条件，如果是，则将进行训练后的当前训练模型作为对网络的用户体验质量计算模型，否则触发所述模型训练单元200继续选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

由于训练后的当前训练模型的稳定性无法确定，因此需要通过测试来进行验证，在验证通过后，才可以将该当前训练模型确定为对网络的用户体验质量计算模型进行使用。

其中，所述预设的测试通过条件可以为：

不大于所述第二预设误差阈值的测试误差的数量不低于第一数量；

或者，不大于所述第二预设误差阈值的测试差值的数量占所述第二状态组中所有网络状态对应的测试差值的总数量的比例不低于第一比例。

其中，第一预设误差阈值和第二预设误差阈值可以相同。

其中，所述模型应用单元400，用于从网络中采集第一网络状态下的网络质量参数；将所采集的网络质量参数输入所述模型测试单元300所确定的对网络的用户体验质量计算模型中，计算获得所述第一网络状态下的用户体验质量。

本发明实施例提供的一种用户体验质量确定系统，可以使用获得的多个网络状态下的网络数据对神经网络计算模型进行训练和测试，在当前训练模型通过测试后，将从网络中采集的网络质量参数输入通过测试的当前训练模型中，计算得出用户体验质量。由于经过训练且测试通过的神经网络计算模型可以根据从网络中采集的网络质量参数计算得到用户体验质量，因此本发明在得到通过测试后的神经网络计算模型后，无需再向用户对体验质量进行评分来得到用户体验质量。因此，本发明也减少了用户体验质量获得过程中给用户带来的干扰，也不易受用户配合度影响。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种用户体验质量确定方法，其特征在于，应用于服务器中，所述方法包括：数据收集的步骤、模型训练的步骤、模型测试的步骤和模型应用的步骤；

其中，所述数据收集的步骤包括：

获得多个网络状态下的网络数据，所述网络数据包括：网络质量参数及用户对网络状态的评分；

将所获得的多个网络状态至少划分为第一状态组和第二状态组，所述第一状态组中网络状态的数量大于所述第二状态组中网络状态的数量；

其中，所述模型训练的步骤包括：

选择所述第一状态组中的一个网络状态下的网络数据作为当前训练数据，将预设的神经网络计算模型作为当前训练模型，其中，所述当前训练模型的输入量为所述网络质量参数，所述当前训练模型的输出量为用户体验质量；

将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

获得当前训练模型计算得出的用户体验质量；

获得所述计算得出的用户体验质量与当前训练数据中的用户对网络状态的评分之间的训练误差；

将所述训练误差与第一预设误差阈值进行比较，如果所述训练误差不大于所述第一预设误差阈值，则执行所述模型测试的步骤对进行训练后的当前训练模型进行测试，如果所述训练误差大于所述第一预设误差阈值，则判断所获得的训练误差的收敛次数是否位于预设的次数区间中，如果是，则执行所述模型测试的步骤对进行训练后的当前训练模型进行测试，否则，对当前训练模型进行调整，选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续执行将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

其中，所述模型测试的步骤包括：

依次将所述第二状态组中的各网络状态作为当前测试状态，将当前测试状态下的网络数据作为当前测试数据，将当前测试数据中的网络质量参数输入进行训练后的当前训练模型中以对训练后的当前训练模型进行测试；

获得进行训练后的当前训练模型计算得出的用户体验质量；

获得该计算得出的用户体验质量与当前测试数据中的用户对网络状态的评分之间的测试误差；

分别将所述第二状态组中各网络状态对应的测试误差与第二预设误差阈值进行比较，获得比较结果；

判断所述比较结果是否满足预设的测试通过条件，如果是，则将进行训练后的当前训练模型作为对网络的用户体验质量计算模型，否则继续执行所述选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续执行将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练的步骤；

其中，所述模型应用的步骤包括：

从网络中采集第一网络状态下的网络质量参数；

将所采集的网络质量参数输入所述模型测试的步骤中所确定的对网络的用户体验质量计算模型中，计算获得所述第一网络状态下的用户体验质量。

2.根据权利要求1所述的方法，其特征在于，所述预设的测试通过条件为：

不大于所述第二预设误差阈值的测试误差的数量不低于第一数量；

或者，不大于所述第二预设误差阈值的测试差值的数量占所述第二状态组中所有网络状态对应的测试差值的总数量的比例不低于第一比例。

3.根据权利要求1或2所述的方法，其特征在于，所述网络质量参数包括：客观网络参数，所述客观网络参数包括：网络状况、业务质量和终端质量。

4.根据权利要求3所述的方法，其特征在于，所述网络质量参数还包括：主观网络参数，所述主观网络参数包括：先前用户体验质量、业务体验经历、自身背景、身心状态和期望中的一种或多种；

从网络中采集第一网络状态下的主观网络参数的方式包括：

接收用户输入的第一网络状态下的主观网络参数；

和/或，

通过监控用户的操作行为，获得第一网络状态下的主观网络参数。

5.根据权利要求4所述的方法，其特征在于，在当前训练数据与上一训练数据均对应同一用户，且该当前训练数据的产生时间与上一训练数据的产生时间之间的间隔小于预设时间间隔时，所述当前训练数据中的主观网络参数包括先前用户体验质量，且所述先前用户体验质量为上一训练数据中的网络质量参数输入训练模型后计算得出的用户体验质量。

6.根据权利要求1所述的方法，其特征在于，所述对当前训练模型进行调整，包括：

计算获得当前训练数据对应的训练误差对当前训练模型中各神经元的偏导数；

对各神经元：根据该神经元的偏导数调整该神经元的连接权值。

7.根据权利要求6所述的方法，其特征在于，所述根据该神经元的偏导数调整该神经元的连接权值，包括：

根据该神经元的偏导数的正负确定该神经元的连接权值的调整方向；

按照所确定的调整方向调整该神经元的连接权值，其中，该神经元的连接权值的调整量为该神经元的偏导数的绝对值。

8.根据权利要求4所述的方法，其特征在于，所述预设的神经网络计算模型包括输入层、隐含层和输出层，在所述客观网络参数包括网络状况、业务质量和终端质量，且所述主观网络参数包括先前用户体验质量、业务体验经历、自身背景、身心状态和期望时：

所述输入层的输入参数为：其中，所述x₁(k)至所述x₅(k)分别为所述先前用户体验质量、所述业务体验经历、所述自身背景、所述身心状态和所述期望，所述x₆(k)至所述x₈(k)分别为所述网络状况、所述业务质量和所述终端质量；

所述输出层的输出参数为：

所述获得当前训练模型计算得出的用户体验质量，包括：

通过如下公式根据所述输入层的输入参数计算得到所述输出层的输出参数yo(k)：

${\mathrm{hi}}_1\left(k\right)=\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{\mathrm{Wi}}_{j1}{x}_j\left(k\right)-b_1$

${\mathrm{hi}}_2\left(k\right)=\underset{j=6}{\overset{8}{\mathrm{\Σ}}}{\mathrm{Wi}}_{j2}{x}_j\left(k\right)-b_2$

ho₁(k)＝f(hi₁(k))

ho₂(k)＝f(hi₂(k))

yi(k)＝Wo₁ho₁+Wo₂ho₂-b。

yo(k)＝f(yi(k))

其中，Wi为所述输入层与所述隐含层的连接权值，Wo为所述隐含层与所述输出层的连接权值，b₁为主观网络参数的阈值，b₁为客观网络参数的阈值，b_h为隐含层各神经元的阈值，b_o为输出层各神经元的阈值。

9.一种用户体验质量确定系统，其特征在于，应用于服务器中，所述系统包括：数据收集单元、模型训练单元、模型测试单元和模型应用单元，

其中，所述数据收集单元，用于获得多个网络状态下的网络数据，所述网络数据包括：网络质量参数及用户对网络状态的评分；将所获得的多个网络状态至少划分为第一状态组和第二状态组，所述第一状态组中网络状态的数量大于所述第二状态组中网络状态的数量；

其中，所述模型训练单元，用于选择所述第一状态组中的一个网络状态下的网络数据作为当前训练数据，将预设的神经网络计算模型作为当前训练模型，其中，所述当前训练模型的输入量为所述网络质量参数，所述当前训练模型的输出量为用户体验质量；将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；获得当前训练模型计算得出的用户体验质量；获得所述计算得出的用户体验质量与当前训练数据中的用户对网络状态的评分之间的训练误差；将所述训练误差与第一预设误差阈值进行比较，如果所述训练误差不大于所述第一预设误差阈值，则触发所述模型测试单元对进行训练后的当前训练模型进行测试，如果所述训练误差大于所述第一预设误差阈值，则判断所获得的训练误差的收敛次数是否位于预设的次数区间中，如果是，则触发所述模型测试单元对进行训练后的当前训练模型进行测试，否则，对当前训练模型进行调整，选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

其中，所述模型测试单元，用于依次将所述第二状态组中的各网络状态作为当前测试状态，将当前测试状态下的网络数据作为当前测试数据，将当前测试数据中的网络质量参数输入进行训练后的当前训练模型中以对训练后的当前训练模型进行测试；获得进行训练后的当前训练模型计算得出的用户体验质量；获得该计算得出的用户体验质量与当前测试数据中的用户对网络状态的评分之间的测试误差；分别将所述第二状态组中各网络状态对应的测试误差与第二预设误差阈值进行比较，获得比较结果；判断所述比较结果是否满足预设的测试通过条件，如果是，则将进行训练后的当前训练模型作为对网络的用户体验质量计算模型，否则触发所述模型训练单元继续选择所述第一状态组中的剩余网络状态中一个网络状态下的网络数据作为当前训练数据并继续将当前训练数据中的网络质量参数输入当前训练模型中以对当前训练模型进行训练；

其中，所述模型应用单元，用于从网络中采集第一网络状态下的网络质量参数；将所采集的网络质量参数输入所述模型测试单元所确定的对网络的用户体验质量计算模型中，计算获得所述第一网络状态下的用户体验质量。

10.根据权利要求9所述的系统，其特征在于，所述网络质量参数包括：客观网络参数，所述客观网络参数包括：网络状况、业务质量和终端质量。