CN118735360A - 模型训练方法、行为质量评价方法及装置、设备和产品 - Google Patents

模型训练方法、行为质量评价方法及装置、设备和产品 Download PDF

Info

Publication number
CN118735360A
CN118735360A CN202411096090.9A CN202411096090A CN118735360A CN 118735360 A CN118735360 A CN 118735360A CN 202411096090 A CN202411096090 A CN 202411096090A CN 118735360 A CN118735360 A CN 118735360A
Authority
CN
China
Prior art keywords
model
behavior
training
data
output result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411096090.9A
Other languages
English (en)
Inventor
刘钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Original Assignee
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Technology Innovation Center, China Telecom Corp Ltd filed Critical China Telecom Technology Innovation Center
Priority to CN202411096090.9A priority Critical patent/CN118735360A/zh
Publication of CN118735360A publication Critical patent/CN118735360A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开是关于一种模型训练方法、行为质量评价方法及装置、电子设备以及计算机程序产品，涉及机器学习技术领域。该方法包括：获取业务人员的历史服务行为数据，历史服务行为数据包括多个行为特征数据与行为质量评分；根据行为特征数据与行为质量评分，构建模型输入数据集；获取预先构建的初始模型，初始模型包括至少一基学习器与元学习器；基于模型输入数据集对基学习器进行模型训练，得到基学习器的输出结果；基于验证集输出结果与测试集输出结果，对元学习器进行模型训练，得到行为质量评价模型。本公开基于集成学习构建模型结构，有效提高模型输出结果的准确性与泛化性；且对多维度特征进行模型训练，可以更科学准确地量化服务行为质量。

Description

模型训练方法、行为质量评价方法及装置、设备和产品
技术领域
本公开涉及机器学习技术领域，具体而言，涉及一种模型训练方法、行为质量评价方法、模型训练装置、行为质量评价装置、电子设备以及计算机程序产品。
背景技术
运营商日常维护工作主要是针对通信网络末梢的一线业务进行维护，是保障客户业务质量、提升客户满意度的重要工作之一，因此，运营商对维护质量的管控是维护工作流程中的一项重要环节。除维护的业务质量外，运维人员服务行为也是影响客户感知以及维护质量的重要因素之一，提升人员服务行为质量，进而在一定程度上提高整体维护质量，同时使得运维人员的服务行为评价也能够作为工作成效的重要参考指标。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种模型训练方法、行为质量评价方法、模型训练装置、行为质量评价装置、电子设备以及计算机程序产品，进而至少在一定程度上克服相关方案中无法对业务人员的服务行为质量进行有效评价的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本公开的第一方面，提供一种模型训练方法，包括：获取业务人员的历史服务行为数据，所述历史服务行为数据包括多个行为特征数据与行为质量评分；根据所述行为特征数据与所述行为质量评分，构建模型输入数据集；获取预先构建的初始模型，所述初始模型包括至少一基学习器与元学习器；基于所述模型输入数据集对所述基学习器进行模型训练，得到所述基学习器的输出结果，所述输出结果包括验证集输出结果与测试集输出结果；基于所述验证集输出结果与所述测试集输出结果，对所述元学习器进行模型训练，得到行为质量评价模型。
在本公开的一种示例性实施方案中，所述根据所述行为特征数据与所述行为质量评分，构建模型输入数据集，包括：根据所述行为特征数据与所述行为质量评分，构建行为质量评价样本集，所述行为质量评价样本集包括多个行为质量评价样本；对所述行为质量评价样本集进行划分处理，得到训练样本集与测试样本集；对所述多个行为质量评价样本进行标准化处理，得到标准化的特征数据集；对所述特征数据集进行特征选择处理，得到模型输入特征；基于所述模型输入特征、所述训练样本集与测试样本集，构建所述模型输入数据集。
在本公开的一种示例性实施方案中，所述对所述特征数据集进行特征选择处理，得到模型输入特征，包括：确定所述特征数据集对应的输出结果类别以及结果类别数量；确定所述特征数据集中各所述行为质量评价样本对应的样本所属类别概率；基于所述结果类别数量与所述样本所属类别概率，计算所述特征数据集的基尼系数；根据所述基尼系数对所述特征数据集进行特征选择处理，得到所述模型输入特征。
在本公开的一种示例性实施方案中，所述基于所述模型输入数据集对所述基学习器进行模型训练，得到所述基学习器的输出结果，包括：基于所述模型输入数据集确定模型训练数据集与模型测试数据集；对所述模型训练数据集进行等比例划分，得到k个训练数据子集，所述k个训练数据子集包括训练数据集与验证数据集；基于所述训练数据集与所述验证数据集，分别对各所述基学习器进行模型训练，得到各所述基学习器对应的验证集输出结果；根据所述模型测试数据集在多个轮次下的基学习器预测输出结果与训练次数，确定所述基学习器的测试集输出结果。
在本公开的一种示例性实施方案中，所述基于所述训练数据集与所述验证数据集，分别对各所述基学习器进行模型训练，得到各所述基学习器对应的验证集输出结果，包括：对各所述基学习器逐一执行下述步骤：从所述k个训练数据子集中选取k-1个训练数据子集作为所述训练数据集，并将剩余的所述训练数据子集作为所述验证数据集；根据所述训练数据集与所述验证数据集对所述基学习器进行模型训练，得到所述基学习器在本轮训练中的单次验证集输出结果；基于多个所述单次验证集输出结果，生成所述验证集输出结果。
在本公开的一种示例性实施方案中，所述基于所述验证集输出结果与所述测试集输出结果，对所述元学习器进行模型训练，得到行为质量评价模型，包括：确定基学习器的权重；基于所述基学习器的权重与所述验证集输出结果，确定验证集加权输出结果；基于所述基学习器的权重与所述测试集输出结果，确定测试集加权输出结果；将所述验证集加权输出结果作为所述元学习器的训练集输入数据，结合所述行为质量评分对所述元学习器进行模型训练；将所述测试集加权输出结果作为所述元学习器的测试集输入数据，得到所述元学习器输出的测试集预测结果，以根据所述测试集预测结果与所述行为质量评分确定所述行为质量评价模型。
在本公开的一种示例性实施方案中，所述确定基学习器的权重，包括：将所述验证集输出结果与所述行为质量评分进行误差分析对比，得到误差评价指标值，所述误差评价指标值包括均方根误差、平均绝对百分比误差、平均绝对误差与决定系数中的一种或多种；根据所述误差评价指标值构建所述基学习器的评价矩阵，所述评价矩阵包括各所述基学习器对应的多个所述误差评价指标值；基于所述评价矩阵，分别计算各所述误差评价指标值对应的评价因子权重；根据所述评价因子权重，确定所述基学习器的熵值；基于所述基学习器的熵值，确定所述基学习器的权重。
在本公开的一种示例性实施方案中，所述行为特征数据基于服务行为特征生成，所述服务行为特征包括电子围栏进出次数、规划路径校验重合率、里程数差值校验、作业质量达标率、用户满意度测评得分与超出时间限制次数中的一种或多种。
根据本公开的第二方面，提供一种行为质量评价方法，包括：获取业务人员的服务行为数据，以及预先训练的行为质量评价模型，所述行为质量评价模型是采用上述任意一项所述的模型训练方法训练得到；将所述服务行为数据输入至所述行为质量评价模型，得到行为质量预测评分；获取预设的质量评价等级，以及所述质量评价等级的等级划分阈值；根据所述行为质量预测评分、所述等级划分阈值与所述质量评价等级，确定所述服务行为数据对应的评价等级结果。
在本公开的一种示例性实施方案中，上述方法还包括：响应于阈值更新指令，基于所述阈值更新指令调整所述等级划分阈值，得到更新后的等级划分阈值；根据所述更新后的等级划分阈值，确定新增服务行为数据对应的评价等级结果。
根据本公开的第三方面，提供一种模型训练装置，包括：样本数据获取模块，用于获取业务人员的历史服务行为数据，所述历史服务行为数据包括多个行为特征数据与行为质量评分；数据集构建模块，用于根据所述行为特征数据与所述行为质量评分，构建模型输入数据集；初始模型获取模块，用于获取预先构建的初始模型，所述初始模型包括至少一基学习器与元学习器；第一模型训练模块，用于基于所述模型输入数据集对所述基学习器进行模型训练，得到所述基学习器的输出结果，所述输出结果包括验证集输出结果与测试集输出结果；第二模型训练模块，用于基于所述验证集输出结果与所述测试集输出结果，对所述元学习器进行模型训练，得到行为质量评价模型。
在本公开的一种示例性实施方案中，所述数据集构建模块包括数据集构建单元，用于：根据所述行为特征数据与所述行为质量评分，构建行为质量评价样本集，所述行为质量评价样本集包括多个行为质量评价样本；对所述行为质量评价样本集进行划分处理，得到训练样本集与测试样本集；对所述多个行为质量评价样本进行标准化处理，得到标准化的特征数据集；对所述特征数据集进行特征选择处理，得到模型输入特征；基于所述模型输入特征、所述训练样本集与测试样本集，构建所述模型输入数据集。
在本公开的一种示例性实施方案中，所述数据集构建单元包括特征选择子单元，用于：确定所述特征数据集对应的输出结果类别以及结果类别数量；确定所述特征数据集中各所述行为质量评价样本对应的样本所属类别概率；基于所述结果类别数量与所述样本所属类别概率，计算所述特征数据集的基尼系数；根据所述基尼系数对所述特征数据集进行特征选择处理，得到所述模型输入特征。
在本公开的一种示例性实施方案中，所述第一模型训练模块包括第一模型训练单元，用于：基于所述模型输入数据集确定模型训练数据集与模型测试数据集；对所述模型训练数据集进行等比例划分，得到k个训练数据子集，所述k个训练数据子集包括训练数据集与验证数据集；基于所述训练数据集与所述验证数据集，分别对各所述基学习器进行模型训练，得到各所述基学习器对应的验证集输出结果；根据所述模型测试数据集在多个轮次下的基学习器预测输出结果与训练次数，确定所述基学习器的测试集输出结果。
在本公开的一种示例性实施方案中，所述第一模型训练单元包括第一模型训练子单元，用于：对各所述基学习器逐一执行下述步骤：从所述k个训练数据子集中选取k-1个训练数据子集作为所述训练数据集，并将剩余的所述训练数据子集作为所述验证数据集；根据所述训练数据集与所述验证数据集对所述基学习器进行模型训练，得到所述基学习器在本轮训练中的单次验证集输出结果；基于多个所述单次验证集输出结果，生成所述验证集输出结果。
在本公开的一种示例性实施方案中，所述第二模型训练模块包括第二模型训练单元，用于：确定基学习器的权重；基于所述基学习器的权重与所述验证集输出结果，确定验证集加权输出结果；基于所述基学习器的权重与所述测试集输出结果，确定测试集加权输出结果；将所述验证集加权输出结果作为所述元学习器的训练集输入数据，结合所述行为质量评分对所述元学习器进行模型训练；将所述测试集加权输出结果作为所述元学习器的测试集输入数据，得到所述元学习器输出的测试集预测结果，以根据所述测试集预测结果与所述行为质量评分确定所述行为质量评价模型。
在本公开的一种示例性实施方案中，所述第二模型训练单元包括权重计算子单元，用于：将所述验证集输出结果与所述行为质量评分进行误差分析对比，得到误差评价指标值，所述误差评价指标值包括均方根误差、平均绝对百分比误差、平均绝对误差与决定系数中的一种或多种；根据所述误差评价指标值构建所述基学习器的评价矩阵，所述评价矩阵包括各所述基学习器对应的多个所述误差评价指标值；基于所述评价矩阵，分别计算各所述误差评价指标值对应的评价因子权重；根据所述评价因子权重，确定所述基学习器的熵值；基于所述基学习器的熵值，确定所述基学习器的权重。
根据本公开的第四方面，提供一种行为质量评价装置，包括：数据获取模块，用于获取业务人员的服务行为数据，以及预先构建的行为质量评价模型，所述行为质量评价模型是采用上述任意一项所述的模型训练方法训练得到；预测评分确定模块，用于将所述服务行为数据输入至所述行为质量评价模型，得到行为质量预测评分；阈值获取模块，用于获取预设的质量评价等级，以及所述质量评价等级的等级划分阈值；结果确定模块，用于根据所述行为质量预测评分、所述等级划分阈值与所述质量评价等级，确定所述服务行为数据对应的评价等级结果。
在本公开的一种示例性实施方案中，所述行为质量评价装置还包括阈值更新模块，用于：响应于阈值更新指令，基于所述阈值更新指令调整所述等级划分阈值，得到更新后的等级划分阈值；根据所述更新后的等级划分阈值，确定新增服务行为数据对应的评价等级结果。
根据本公开的第五方面，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的模型训练方法，或实现根据上述任意一项所述的行为质量评价方法。
根据本公开实施例的第六方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意一项所述的模型训练方法，或实现根据上述任意一项所述的行为质量评价方法。
本公开提供的技术方案可以包括以下有益效果：
本公开的示例性实施例中的模型训练方法，一方面，基于行为特征数据构建模型输入数据集，使得模型可以学习到多维度特征，从多维度特征角度可以更科学、准确地量化服务行为质量。另一方面，基于集成学习构建模型结构，并对模型进行训练得到行为质量评价模型，相较于基础模型可以有效提高模型输出结果的准确性以及泛化性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出了根据本公开的示例性实施方式的模型训练方法的流程图；
图2示意性示出了根据本公开的示例性实施方式的k折交叉验证的Stacking集成学习模型训练过程图；
图3示意性示出了根据本公开的示例性实施方式的行为质量评价方法的流程图；
图4示意性示出了根据本公开的示例性实施方式的服务行为质量等级评价图；
图5示意性示出了根据本公开的示例性实施方式的基于Stacking集成学习的服务行为质量评价方法的整体流程图；
图6示意性示出了根据本公开的示例性实施方式的模型训练装置的方框图；
图7示意性示出了根据本公开的示例性实施方式的行为质量评价装置的方框图；
图8示意性示出了根据本公开一示例性实施例的电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
对于运营商日常维护工作而言，运维人员的服务行为质量评价是一项重要的工作内容，相关方案中主要是以客户满意度这一单一指标对运维业务质量以及运维人员工作质量统一进行评价，缺少对运维人员服务行为质量的直接评价方法和评价维度，以及将运维人员服务行为的质量共同作为维护质量管控的参考因素。因此，客观、科学地量化运维人员的服务行为质量就成为了待解决的重点、难点问题。
基于此，在本示例实施例中，首先提供了一种模型训练方法，可以利用服务器来实现本公开的模型训练方法，也可以利用终端设备来实现本公开所述的方法，其中，本公开中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(PersonalDigital Assistant，PDA)等移动终端，以及诸如台式计算机等固定终端。图1示意性示出了根据本公开的一些实施例的模型训练方法流程的示意图。参考图1，该模型训练方法可以包括以下步骤：
步骤S110，获取业务人员的历史服务行为数据，历史服务行为数据包括多个行为特征数据与行为质量评分。
根据本公开的一些示例性实施例，业务人员可以是为客户提供服务的工作人员，例如，业务人员可以是运维人员。业务人员提供服务后，被服务客户可以根据本次服务的满意度反馈对应的质量评价分数。历史服务行为数据可以是基于业务人员已经完成的服务行为所生成的数据，该数据中包括行为特征数据以及与具体服务行为匹配的质量评价分数。行为特征数据可以是根据业务人员的相关服务行为特征指标的具体数值所生成的数据。行为质量评分可以是业务人员的服务行为质量对应的评价分数。
获取多名业务人员在完成多次服务行为后所生成的历史服务行为数据，历史服务行为数据可以包括业务人员在服务提供过程中的行为特征数据，以及相应的行为质量评分。行为特征数据可以由一个或多个服务行为特征的具体数值组成。
步骤S120，根据行为特征数据与行为质量评分，构建模型输入数据集。
根据本公开的一些示例性实施例，模型输入数据集可以是由多个行为质量评价样本组成的集合。
在获取到历史服务行为数据后，将一位业务人员单次提供服务行为所涉及到的特征数据以及行为质量评分作为一个数据样本，基于历史服务行为数据构建多个数据样本，将构建得到的多个数据样本组成的集合作为模型输入数据集。
步骤S130，获取预先构建的初始模型，初始模型包括至少一基学习器与元学习器。
根据本公开的一些示例性实施例，初始模型可以是初始构建的模型结构，初始模型是一种基于集成学习算法构建得到的模型结构。基学习器(Base-Learner)是基础层中的模型，指用于构建集成模型的单个弱学习器。元学习器(Meta-Learner)是元层中的模型，对所有任务上的训练经验进行归纳总结。元学习器总结任务经验进行任务之间的共性学习，同时指导基学习器对新任务进行特征学习。
获取预先构建的初始模型，本公开的初始模型是基于集成学习算法构建得到的模型结构，将多种不同的算法进行组合可以提高模型健壮性和结果准确性，例如，初始模型的算法结构分为两层，第一层为多个基学习器，第二层为一个元学习器。
步骤S140，基于模型输入数据集对基学习器进行模型训练，得到基学习器的输出结果，输出结果包括验证集输出结果与测试集输出结果。
根据本公开的一些示例性实施例，输出结果可以是采用模型输入数据集对基学习器进行模型训练后得到的输出结果。验证集输出结果可以是对基学习器进行模型训练后，基学习器对训练集数据中的验证集进行预测处理得到的输出结果。测试集输出结果可以是对基学习器进行模型训练后，基学习器对测试集数据进行预测处理得到的输出结果。
在得到模型输入数据集后，将模型输入数据集作为初始模型的输入数据，对基学习器进行模型训练，得到基学习器的输出结果。在采用模型输入数据集对基学习器进行模型训练时，将模型输入数据集分为训练集(包括验证集)和测试集两部分，在完成对基学习器的多轮次训练后，得到基学习器对应的验证集输出结果与测试集输出结果。
步骤S150，基于验证集输出结果与测试集输出结果，对元学习器进行模型训练，得到行为质量评价模型。
根据本公开的一些示例性实施例，行为质量评价模型可以是用于执行服务行为质量评价任务的网络模型。服务行为质量可以用于表征业务人员为客户提供服务时所产生的一系列行为的优劣程度。
将多个基学习器的验证集输出结果和测试集输出结果分别作为元学习器训练集和测试集的输入数据，结合原始的模型输入数据集的输出标签(即行为质量评分)对元学习器进行训练。具体训练过程为：将基学习器的验证集输出结果作为元学习器的训练集特征输入数据，对元学习器进行模型训练，将基学习器的测试集输出结果作为元学习器的测试集特征输入数据，以此来验证元学习器模型的有效性。
根据本示例实施例中的模型训练方法，一方面，基于行为特征数据构建模型输入数据集，使得模型可以学习到多维度特征，从多维度特征角度可以更科学、准确地量化服务行为质量。另一方面，基于集成学习构建模型结构，并对模型进行训练得到行为质量评价模型，相较于基础模型可以有效提高模型输出结果的准确性以及泛化性。
下面，将对本示例实施例中的模型训练方法进行进一步的说明。
在本公开的一种示例性实施方案中，对于步骤S120，根据行为特征数据与行为质量评分，构建模型输入数据集，包括：根据行为特征数据与行为质量评分，构建行为质量评价样本集，行为质量评价样本集包括多个行为质量评价样本；对行为质量评价样本集进行划分处理，得到训练样本集与测试样本集；对多个行为质量评价样本进行标准化处理，得到标准化的特征数据集；对特征数据集进行特征选择处理，得到模型输入特征；基于模型输入特征、训练样本集与测试样本集，构建模型输入数据集。
其中，行为质量评价样本集可以是由行为特征数据与其对应的行为质量评分组成的样本构成的集合，行为质量评价样本集由多个行为质量评价样本组成。训练样本集可以用于确定行为特征数据与行为质量评分之间的非线性关系。测试样本集可以用于验证模型的准确性与有效性。行为质量评价样本可以是由一位业务人员单次的服务行为涉及到的特征数据与对应的行为质量评分组成。模型输入特征可以是经过特征选择处理后得到的特征子集，模型输入特征可以用于构建模型输入数据集。
根据获取到的行为特征数据与行为质量评分，构建行为质量评价样本集，将一位业务人员单次提供服务所涉及到的行为特征数据以及行为质量评分作为一个数据样本，即行为质量评价样本。因此，行为质量评价样本集中包含多个行为质量评价样本，具体的，可以将维护服务过程的行为特征数据作为模型训练的特征输入，将服务的行为质量评分作为标签输出。
进一步地，将行为质量评价样本集进行划分处理，得到训练样本集与测试样本集；其中，训练样本集用以确定行为特征数据与质量评分之间的非线性关系，测试样本集用以验证模型的准确性以及有效性。
为了降低模型训练时的计算复杂度，可以进一步对行为质量评价样本集进行特征选择处理：先对多个行为质量评价样本进行标准化处理，得到标准化的特征数据集；然后对标准化的特征数据集进行特征选择处理，得到模型输入特征，模型输入特征可以是服务行为特征的特征子集，例如模型输入特征可以是全部的服务行为特征，还可以是服务行为特征的一部分。
在确定出模型输入特征后，将基于模型输入特征、训练样本集与测试样本集，构建模型输入数据集。例如，从训练样本集中选取模型输入特征对应的数据，与模型输出标签(即行为质量评分)组合，得到模型输入的训练样本集；从测试样本集中选取模型输入特征对应的数据，与模型输出标签组合，生成模型输入的测试样本集。
通过上述方式，在模型训练之前对多维特征进行特征选择，以构建得到模型输入数据集，可以降低模型训练的计算复杂度，减少模型运行时间。
在本公开的一种示例性实施方案中，行为特征数据基于服务行为特征生成，服务行为特征包括电子围栏进出次数、规划路径校验重合率、里程数差值校验、作业质量达标率、用户满意度测评得分与超出时间限制次数中的一种或多种。
其中，服务行为特征可以是业务人员在提供服务过程中对应的行为特征。
业务人员从接到服务任务到完成工作过程中涉及到多项既定行为，与客户是否存在直接接触均在一定程度上影响行为质量评价结果，本公开选择多项相关指标从多个角度客观、科学地量化评价业务人员服务工作全流程的行为质量。本实施例以运维人员执行维护任务为例，对服务行为特征进行说明，服务行为特征包括下述内容：
(1)电子围栏进出次数：根据运维人员维护任务所在地理位置等运维工作中涉及到的必要地点，在合理周边范围内形成专属电子地图围栏，统计运维人员电子围栏进出次数可作为服务行为质量评价特征之一。
(2)规划路径校验重合率：根据维护任务地理位置、紧急程度以及时限要求等多重因素，针对多项维护任务智能化形成完成顺序以及运维人员行驶最优路径，计算运维人员实际行驶路线与规划路径重合率可作为服务行为质量评价特征之一。
(3)里程数差值校验：根据智能规划的多项维护任务最优行驶路径，同时可计算得到运维人员完成维护任务需要行驶的总里程数，计算运维人员实际行驶里程数与规划里程数差值的绝对值可作为服务行为质量评价特征之一。
(4)作业质量达标率：运维人员完成维护工作后需要现场检测业务质量，设定多项业务质量专业指标验收维护工作效果，计算多项业务指标平均达标率可作为运维人员服务行为质量评价特征之一。
(5)客户满意度测评得分：在运维人员完成维护工作且通过业务质量专业检测后，需要客户综合考量运维人员服务行为以及维护后业务质量，客户满意度测评得分可作为运维人员行为质量评价特征之一。
(6)超出时间限制次数：在运维工作处理流程中，涉及多个与客户交互环节，要求运维人员在时间限制内完成相关既定行为，统计超出时间限制次数可作为运维人员维护工作过程中行为质量评价特征之一。
本公开基于运维人员在服务维护过程中所涉及的参数确定服务行为特征，从多维特征角度对行为质量评分进行判定能够更科学、准确地量化评价运维人员维护工作全流程的服务行为质量。
在本公开的一种示例性实施方案中，对特征数据集进行特征选择处理，得到模型输入特征，包括：确定特征数据集对应的输出结果类别以及结果类别数量；确定特征数据集中各行为质量评价样本对应的样本所属类别概率；基于结果类别数量与样本所属类别概率，计算特征数据集的基尼系数；根据基尼系数对特征数据集进行特征选择处理，得到模型输入特征。
其中，输出结果类别可以是特征数据集可能对应的输出结果的类别，输出结果类别可以预先设定。结果类别数量可以是输出结果类别的具体数量。样本所属类别概率可以是某一行为质量评价样本属于某一输出结果类别的概率。基尼系数(Gini)：基尼不纯系数，表示在样本集合中一个随机选中的样本被分错的概率，基尼系数可以用于对不同服务行为特征的重要程度进行定量分析。基尼系数越小，表明该特征属性的分类预测能力越强，与分类结果关联性越高。
在得到经过数据标准化处理后的特征数据集后，可以利用随机森林算法评估多维特征与等级标签之间的相关性，具体如下：确定特征数据集对应的输出结果类别以及结果类别数量，由于特征数据集中包含输出标签，输出标签可以是行为质量评分所处的等级，例如，根据行为质量评分的分值大小，可以将输出标签划分为“优秀”、“良好”和“及格”等多个结果等级，每个结果等级属于同一个输出结果类别，此时，结果类别数量为3个。
进而，确定特征数据集中每个行为质量评价样本属于某一输出结果类别的概率，即样本所属类别概率。根据结果类别数量与样本所属类别概率，计算特征数据集的基尼系数，Gini系数的计算方式如公式1所示。
式中，Z表示特征数据集；GiNi(Z)表示特征数据集的基尼系数；N表示特征数据集中的结果类别数量，pn可以表示某一样本属于第n类输出结果类别的概率。
基于Gini系数对不同特征的重要性进行定量分析，Gini系数越小，则表明该特征属性的分类预测能力越强、关联性越高，根据Gini系数排序筛选重要性高的特征进行模型训练，因此，经过特征选择处理得到的模型输入特征是服务行为特征的特征子集。通过特征选择处理，可以适当降低模型的输入特征维度，降低模型训练时的计算复杂度，提高算法准确性，且有效防止过拟合。
需要说明的是，在本公开的一些其他示例性实施例中，还可以选用其他特征选择算法进行特征选择，本公开对此不作任何特殊限定。
在本公开的一种示例性实施方案中，对于步骤S140，基于模型输入数据集对基学习器进行模型训练，得到基学习器的输出结果，包括：基于模型输入数据集确定模型训练数据集与模型测试数据集；对模型训练数据集进行等比例划分，得到k个训练数据子集，k个训练数据子集包括训练数据集与验证数据集；基于训练数据集与验证数据集，分别对各基学习器进行模型训练，得到各基学习器对应的验证集输出结果；根据模型测试数据集在多个轮次下的基学习器预测输出结果与训练次数，确定基学习器的测试集输出结果。
其中，模型训练数据集与模型测试数据集可以是对模型输入数据集进行划分得到的数据集。模型训练数据集可以是根据模型输入特征与训练样本集生成的数据集。模型测试数据集可以是根据模型输入特征与测试样本集生成的数据集。训练数据子集可以是对模型训练数据集进行等比例划分得到的数据子集。基学习器预测输出结果可以是基学习器在不同训练轮次下针对模型测试数据集对应的预测输出结果。训练次数可以是针对基学习器的模型训练次数。
本公开的初始模型可以是堆叠泛化(Stacking)集成模型，Stacking集成模型是一种机器学习集成算法构建的模型，它用于将多种不同的算法进行组合以提高模型健壮性和结果准确性。本公开的算法结构分为两层，第一层为多个基学习器，第二层为一个元学习器。例如，选择梯度提升回归树、随机森林、支持向量机等作为Stacking集成学习模型的第一层基学习器，选择逻辑回归模型作为第二层元学习器。
基于模型输入数据集确定模型训练数据集与模型测试数据集；对模型训练数据集进行等比例划分，得到k个训练数据子集，k个训练数据子集由训练数据集与验证数据集组成；基于训练数据集与验证数据集，分别对各基学习器进行模型训练，得到各基学习器对应的验证集输出结果(即图2中的验证集预测结果)；根据模型测试数据集在多个轮次下的基学习器预测输出结果与训练次数，确定基学习器的测试集输出结果(即图2中的测试集预测结果)。
本公开利用Stacking集成学习算法构建用于执行服务行为质量评价任务的初始模型，以随机森林特征筛选后的模型输入特征确定模型输入数据集，将行为质量评分作为模型输出结果。对初始模型的训练过程可以分为两个过程，第一个过程是对多个基学习器进行训练，第二个过程是对元学习器进行训练。
对多个基学习器进行训练的具体过程为：采用k折交叉验证方式对模型进行训练，参考图2，图2示意性示出了根据本公开的示例性实施方式的k折交叉验证的Stacking集成学习模型训练过程图。从图2中可知，将模型输入数据集划分为模型训练数据集D与模型测试数据集M。在模型训练过程中，对模型训练数据集D进行等比例划分，划分为k个子集，即得到k个训练数据子集。例如，Stacking集成学习模型包含T个基学习器h(x)＝{h1(x),…,hi(x),…,hT(x)}，以及一个元学习器H(x)，将模型训练数据集D等比例划分为k个子集，即k个训练数据子集分别为D1、D2、…、Dk，进而对k个训练数据子集进行进一步划分，得到训练数据集与验证数据集。
采用包含训练数据集与验证数据集的k个训练数据子集对多个基学习器逐一进行训练，如对每个基学习器进行k次训练，得到各基学习器对应的验证集输出结果与测试集输出结果。以对基学习器h1(x)的训练过程为例，在完成k次训练后，可得基学习器h1(x)训练预测验证集的输出结果为p1；在完成k次训练后，基学习器h1(x)预测得到的模型测试数据集M的输出结果可以是k次训练输出结果的均值，如基学习器h1(x)第j次训练模型预测得到的模型测试数据集M的输出结果为q1j，则基学习器的测试集输出结果是
对于基学习器h2(x),…,hT(x)，重复上述训练步骤，可以分别得到其余T-1个基学习器输出的验证集输出结果{p2,p3,…,pT}以及测试集输出结果{q2,q3,…,qT}。在得到基学习器的输出结果后，将多个基学习器模型验证集输出结果和测试集输出结果分别作为元学习器训练集和测试集的输入数据，结合模型输入数据集中的输出标签对元学习器进行训练。通过采用集成学习算法构建模型，相较于普通模型，可以有效提高模型输出结果的准确以及泛化性。
在本公开的一种示例性实施方案中，基于训练数据集与验证数据集，分别对各基学习器进行模型训练，得到各基学习器对应的验证集输出结果，包括：对各基学习器逐一执行下述步骤：从k个训练数据子集中选取k-1个训练数据子集作为训练数据集，并将剩余的训练数据子集作为验证数据集；根据训练数据集与验证数据集对基学习器进行模型训练，得到基学习器在本轮训练中的单次验证集输出结果；基于多个单次验证集输出结果，生成验证集输出结果。
其中，训练数据集可以是用于对基学习器单次训练所使用的数据集。验证数据集可以是用于验证基学习器的训练效果的数据集。单次验证集输出结果可以是采用训练数据集对基学习器的训练过程中，本轮次训练过程中模型预测得到的验证集的输出结果。
Stacking集成学习模型包含T个基学习器，本实施例以基学习器h1(x)为例，对采用k折交叉验证方式对基学习器进行模型训练的过程进行说明。继续参考图2，针对基学习器h1(x)要进行k次训练，每次训练之前，从k份训练数据子集中不重复地选取k-1份训练数据子集作为训练数据集对基学习器进行训练，并将剩余的1份训练数据子集作为验证数据集，基学习器h1(x)第j次训练模型预测得到的验证集的输出结果，即基学习器在本轮训练中的单次验证集输出结果为p1j。
在完成k次训练后，获取基学习器在k次训练过程中生成的单次验证集输出结果，即图2中一次训练过程中基学习器输出的验证集预测结果，根据k次单次验证集输出结果生成验证集输出结果，具体的，验证集输出结果为p1＝{p11,p12,…,p1j,…,p1k}。通过k折交叉验证方式进行模型训练，可以避免模型过拟合。
在本公开的一种示例性实施方案中，对于步骤S150，基于验证集输出结果与测试集输出结果，对元学习器进行模型训练，得到行为质量评价模型，包括：确定基学习器的权重；基于基学习器的权重与验证集输出结果，确定验证集加权输出结果；基于基学习器的权重与测试集输出结果，确定测试集加权输出结果；将验证集加权输出结果作为元学习器的训练集输入数据，结合行为质量评分对元学习器进行模型训练；将测试集加权输出结果作为元学习器的测试集输入数据，得到元学习器输出的测试集预测结果，以根据测试集预测结果与行为质量评分确定行为质量评价模型。
其中，基学习器的权重可以用于体现不同基学习器的重要程度，基学习器的权重可以是对基学习器的验证集预测输出结果与真实标签值之间进行误差分析对比后得到的。验证集加权输出结果可以是根据基学习器的权重与验证集输出结果计算得到的加权结果。测试集加权输出结果可以是根据基学习器的权重与测试集输出结果计算得到的加权结果。训练集输入数据可以是作为元学习器的训练集特征输入数据，对元学习器的进行模型训练的数据。测试集输入数据可以是作为元学习器的测试集特征输入数据，以验证元学习器模型有效性的数据。
在基于验证集输出结果与测试集输出结果，对元学习器进行模型训练之前，为了充分发挥最优模型的最大性能，本公开还引入了基学习器的权值分配策略，确定不同基学习器的权重，将不同基学习器的权重作为该基学习器输出的验证集输出结果与测试集输出结果的加权权重。
在得到基学习器的权重后，基于基学习器的权重对多个基学习器的验证集输出结果进行加权计算，得到对应的验证集加权输出结果；以及基于基学习器的权重对测试集输出结果进行加权计算，得到测试集加权输出结果。将上述得到验证集加权输出结果与测试集加权输出结果分别作为元学习器的训练集以及测试集的特征输入，原始的模型输入数据集的行为质量评分作为标签输出，对元学习器进行训练，完成模型构建。
将基学习器的验证集加权输出结果作为元学习器的训练集输入数据，对元学习器进行模型训练；将基学习器的测试集加权输出结果作为元学习器的测试集输入数据，以此来验证元学习器模型的有效性。
在本公开的一种示例性实施方案中，确定基学习器的权重，包括：将验证集输出结果与行为质量评分进行误差分析对比，得到误差评价指标值，误差评价指标值包括均方根误差、平均绝对百分比误差、平均绝对误差与决定系数中的一种或多种；根据误差评价指标值构建基学习器的评价矩阵，评价矩阵包括各基学习器对应的多个误差评价指标值；基于评价矩阵，分别计算各误差评价指标值对应的评价因子权重；根据评价因子权重，确定基学习器的熵值；基于基学习器的熵值，确定基学习器的权重。
其中，行为质量评分可以是模型输入数据集中样本数据对应的结果输出标签。误差评价指标值可以是用于评价验证集输出结果与真实的输出标签值(行为质量评分)之间的误差结果的指标值。评价矩阵可以是由多个基学习器对应的多个误差评价指标值组成的矩阵。评价因子权重可以是某一基学习器的某一误差评价指标值对应的权重。
在模型训练过程中，根据基学习器的验证集数据误差结果，并利用熵值法对多个基学习器进行权重调整，以充分发挥模型的最大性能。具体的，对基学习器的验证集输出结果与模型训练数据集中的真实标签值(即行为质量评分)进行误差分析，计算两者之间的均方根误差(Root Mean Squard Error，RMSE)、平均绝对百分比误差(Mean AbsolutePercentage Error，MAPE)、平均绝对误差(Mean Absolute Error，MAE)、决定系数(R-Square，R2)等m个误差分析结果，作为误差评价指标值。
误差评价指标值的计算公式如公式2-公式5所示。
其中，RMSE是验证集输出结果与真实标签值之间的均方根误差；z为验证集样本数量，yi为样本真实值，为基学习器预测值，为真实值均值；MAPE是验证集输出结果与真实标签值之间的平均绝对百分比误差；MAE是验证集输出结果与真实标签值之间的平均绝对误差；R2是验证集输出结果与真实标签值之间的决定系数。
在得到上述误差评价指标值后，根据误差评价指标值构建基学习器的评价矩阵，利用熵值法构建m×T的基学习器评价矩阵x，评价矩阵x由各基学习器对应的多个误差评价指标值组成，具体如公式6所示。
其中，x表示评价矩阵；xij是第j个基学习器的第i个误差评价指标值。
对于构建得到的评价矩阵，计算评价矩阵中各误差评价指标值对应的评判因子权重Pij，具体如公式7所示。
其中，Pij是误差评价指标值xij对应的评判因子权重；xij是第j个基学习器的第i个误差评价指标值；m表示误差评价指标的数量。
根据评判因子权重Pij计算每个基学习器的熵值Ej，具体如公式8所示。
其中，Ej表示第j个基学习器的熵值；Pij是误差评价指标值xij对应的评判因子权重；m表示误差评价指标的数量。
根据每个基学习器的熵值计算各个基学习器的权重Wj，如公式9所示。
其中，Ej表示第j个基学习器的熵值；Wj是第j个基学习器的权重；T表示模型中基学习器的数量。
根据熵值法计算得到各基学习器的权重后，根据各基学习器的权重为各基学习器的验证集输出结果和测试集输出结果赋予相应的权重，生成基学习器的验证集加权输出结果P(即图2中的训练集数据P)和测试集加权输出结果Q(即图2中的测试集数据Q)，具体如公式10-公式11所示。
其中，Wj是第j个基学习器的权重；P是验证集加权输出结果；pj为第j个基学习器验证集输出结果；Q是测试集加权输出结果；qj为第j个基学习器测试集输出结果。
通过对基学习器的验证集预测输出结果与真实标签值进行误差分析，利用熵值法计算权重以体现不同基学习器之间的重要程度，提高训练效果好的基学习器的权重，降低训练效果差的基学习器的权重，从而提高模型的预测精度。
综上所述，本公开的模型训练方法，获取业务人员的历史服务行为数据，历史服务行为数据包括多个行为特征数据与行为质量评分；根据行为特征数据与行为质量评分，构建模型输入数据集；获取预先构建的初始模型，初始模型包括至少一基学习器与元学习器；基于模型输入数据集对基学习器进行模型训练，得到基学习器的输出结果，输出结果包括验证集输出结果与测试集输出结果；基于验证集输出结果与测试集输出结果，对元学习器进行模型训练，得到行为质量评价模型。一方面，基于多个行为特征数据构建模型输入数据集，使得模型可以学习到多维度特征，从多维度特征角度可以更科学、准确地量化服务行为质量；同时，通过在训练前对多维特征进行特征选择，可以降低算法训练时的计算复杂度，减少模型运行时间。另一方面，基于集成学习构建模型结构，并对模型进行训练得到行为质量评价模型，相较于基础模型可以有效提高模型输出结果的准确性以及泛化性，采用k折交叉验证方式进行模型训练，能够避免模型过拟合。又一方面，在模型训练过程中，根据验证集数据误差结果对多个基学习器模型进行权重调整，可以充分发挥模型的最大性能。
另外，在本示例实施例中，还提供了一种行为质量评价方法，可以利用服务器来实现本公开的行为质量评价方法，也可以利用终端设备来实现本公开所述的方法，图3示意性示出了根据本公开的一些实施例的行为质量评价方法流程的示意图。参考图3，该行为质量评价方法可以包括以下步骤：
步骤S310，获取业务人员的服务行为数据，以及预先训练的行为质量评价模型，行为质量评价模型是采用模型训练方法训练得到。
根据本公开的一些示例性实施例，服务行为数据可以是当前待进行质量评价处理的行为数据。
对于业务人员为客户提供服务行为所生成的服务行为数据，可以采用上述训练得到的行为质量评价模型，对服务行为数据进行质量评价处理。
步骤S320，将服务行为数据输入至行为质量评价模型，得到行为质量预测评分。
根据本公开的一些示例性实施例，将获取到的服务行为数据输入至预先训练的行为质量评价模型中，行为质量评价模型对上述服务行为数据进行质量评价处理，并输出对应的行为质量预测评分。
步骤S330，获取预设的质量评价等级，以及所述质量评价等级的等级划分阈值。
根据本公开的一些示例性实施例，由于行为质量评价模型输出的是服务行为数据的具体数值，为了进一步确定服务行为数据所对应的质量评价等级，可以获取预先配置的等级划分阈值与质量评价等级。根据行为质量预测评分以及等级划分阈值确定其所属阈值区间，给出对应的服务行为质量等级评价结果，如“优秀”或“良好”或“合格”。
参考图4，图4示意性示出了根据本公开的示例性实施方式的服务行为质量等级评价图。对于模型训练过程中，行为质量评价样本集中包含的所有业务人员，上述业务人员的服务行为质量评分排名前30％评价等级为“优秀”，前30％最低分值确定为优秀阈值，评分排名前30％-60％评价等级为“良好”，前60％最低分值确定为良好阈值，评分排名后40％评价等级为“合格”。
步骤S340，根据行为质量预测评分、等级划分阈值与质量评价等级，确定服务行为数据对应的评价等级结果。
根据本公开的一些示例性实施例，在模型输出行为质量预测评分后，将行为质量预测评分分别与优秀阈值和良好阈值进行比较，判定评分所属的等级区间，进而得到该服务行为数据的评价等级结果。参考图5，图5示意性示出了根据本公开的示例性实施方式的基于Stacking集成学习的服务行为质量评价方法的整体流程图。在步骤S510中，将获取到的服务行为数据输入至预先训练的行为质量评价模型中，由模型输出行为质量预测评分。
将得到的行为质量预测评分与等级划分阈值进行对比，在步骤S520中，判断行为质量预测评分是否大于优秀等级阈值；如果是，则在步骤S530中，输出服务行为预测评价等级为“优秀”。如果行为质量预测评分小于或等于优秀等级阈值，则在步骤S540中，判断行为质量预测评分是否大于良好等级阈值；如果是，则在步骤S550中，输出服务行为预测评价等级为“良好”。如果行为质量预测评分小于或等于良好等级阈值，则在步骤S560中，输出服务行为预测评价等级为“合格”。
将上述输出结果作为该条服务行为数据对应的评价等级结果，在确定业务人员的质量评价等级时，可以记录并存储每位业务人员每次服务的行为质量评分，了解每位运维人员以及整体人员维护服务情况。
根据本示例实施例中的行为质量评价方法，一方面，利用模型输出行为质量预测评分，结合预设的等级划分阈值可以确定出服务行为数据的等级评价结果。另一方面，通过确定出业务人员的评价等级结果，可以了解个人与整体人员的服务行为质量情况，更加合理的加强对业务人员服务质量的管控，提供服务工作质量。
下面，将对本示例实施例中的行为质量评价方法进行进一步的说明。
在本公开的一种示例性实施方案中，响应于阈值更新指令，基于阈值更新指令调整等级划分阈值，得到更新后的等级划分阈值；根据更新后的等级划分阈值，确定新增服务行为数据对应的评价等级结果。
其中，新增服务行为数据可以是在等级划分阈值更新后，新产生的服务行为数据。当整体业务人员的行为质量评分情况发生变化时，可以动态调整预先配置的等级划分阈值，或对等级划分阈值与质量评价等级二者进行共同调整。继续参考图5，在步骤S570中，检测是否满足阈值更新条件，当满足阈值更新条件时，自动生成阈值更新指令，响应于该阈值更新指令，对等级划分阈值进行调整，在步骤S580中，更新优秀阈值和良好阈值；在其他一些实施例中，还可以对预先配置的质量评价等级进行调整，如将当前包含“优秀”或“良好”或“合格”的质量评价等级，调整为“优秀”或“良好”或“一般”或“合格”等。
在等级划分阈值和/或和质量评价等级更新完成后，基于更新后的等级划分阈值，对后续新增的服务行为数据进行质量评价，得到对应的评价等级结果。通过根据整体业务人员的服务行为质量情况，周期性动态化调节等级划分阈值，可以及时了解个人以及整体人员的服务行为质量情况，可以更合理地加强对运维人员服务行为质量的管控，全面提高运维工作质量。
综上所述，本公开的行为质量评价方法，获取业务人员的服务行为数据，以及预先训练的行为质量评价模型，行为质量评价模型是采用上述任意一项的模型训练方法训练得到；将服务行为数据输入至行为质量评价模型，得到行为质量预测评分；获取预设的质量评价等级，以及所述质量评价等级的等级划分阈值；根据行为质量预测评分、等级划分阈值与质量评价等级，确定服务行为数据对应的评价等级结果。一方面，利用模型输出行为质量预测评分，结合预设的等级划分阈值可以确定出服务行为数据的等级评价结果。另一方面，通过确定出业务人员的评价等级结果，可以了解个人与整体人员的服务行为质量情况，通过周期性动态化调节等级划分阈值，更加合理的加强对业务人员服务质量的管控，提供服务工作质量。
需要说明的是，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
此外，在本示例实施例中，还提供了一种模型训练装置。参考图6，该模型训练装置600可以包括：样本数据获取模块610，数据集构建模块620，初始模型获取模块630，第一模型训练模块640以及第二模型训练模块650。
具体的，样本数据获取模块610，用于获取业务人员的历史服务行为数据，历史服务行为数据包括多个行为特征数据与行为质量评分；数据集构建模块620，用于根据行为特征数据与行为质量评分，构建模型输入数据集；初始模型获取模块630，用于获取预先构建的初始模型，初始模型包括至少一基学习器与元学习器；第一模型训练模块640，用于基于模型输入数据集对基学习器进行模型训练，得到基学习器的输出结果，输出结果包括验证集输出结果与测试集输出结果；第二模型训练模块650，用于基于验证集输出结果与测试集输出结果，对元学习器进行模型训练，得到行为质量评价模型。
在本公开的一种示例性实施方案中，数据集构建模块620包括数据集构建单元，用于：根据行为特征数据与行为质量评分，构建行为质量评价样本集，行为质量评价样本集包括多个行为质量评价样本；对行为质量评价样本集进行划分处理，得到训练样本集与测试样本集；对多个行为质量评价样本进行标准化处理，得到标准化的特征数据集；对特征数据集进行特征选择处理，得到模型输入特征；基于模型输入特征、训练样本集与测试样本集，构建模型输入数据集。
在本公开的一种示例性实施方案中，数据集构建单元包括特征选择子单元，用于：确定特征数据集对应的输出结果类别以及结果类别数量；确定特征数据集中各行为质量评价样本对应的样本所属类别概率；基于结果类别数量与样本所属类别概率，计算特征数据集的基尼系数；根据基尼系数对特征数据集进行特征选择处理，得到模型输入特征。
在本公开的一种示例性实施方案中，第一模型训练模块640包括第一模型训练单元，用于：基于模型输入数据集确定模型训练数据集与模型测试数据集；对模型训练数据集进行等比例划分，得到k个训练数据子集，k个训练数据子集包括训练数据集与验证数据集；基于训练数据集与验证数据集，分别对各基学习器进行模型训练，得到各基学习器对应的验证集输出结果；根据模型测试数据集在多个轮次下的基学习器预测输出结果与训练次数，确定基学习器的测试集输出结果。
在本公开的一种示例性实施方案中，第一模型训练单元包括第一模型训练子单元，用于：对各基学习器逐一执行下述步骤：从k个训练数据子集中选取k-1个训练数据子集作为训练数据集，并将剩余的训练数据子集作为验证数据集；根据训练数据集与验证数据集对基学习器进行模型训练，得到基学习器在本轮训练中的单次验证集输出结果；基于多个单次验证集输出结果，生成验证集输出结果。
在本公开的一种示例性实施方案中，第二模型训练模块650包括第二模型训练单元，用于：确定基学习器的权重；基于基学习器的权重与验证集输出结果，确定验证集加权输出结果；基于基学习器的权重与测试集输出结果，确定测试集加权输出结果；将验证集加权输出结果作为元学习器的训练集输入数据，结合行为质量评分对元学习器进行模型训练；将测试集加权输出结果作为元学习器的测试集输入数据，得到元学习器输出的测试集预测结果，以根据测试集预测结果与行为质量评分确定行为质量评价模型。
在本公开的一种示例性实施方案中，第二模型训练单元包括权重计算子单元，用于：将验证集输出结果与行为质量评分进行误差分析对比，得到误差评价指标值，误差评价指标值包括均方根误差、平均绝对百分比误差、平均绝对误差与决定系数中的一种或多种；根据误差评价指标值构建基学习器的评价矩阵，评价矩阵包括各基学习器对应的多个误差评价指标值；基于评价矩阵，分别计算各误差评价指标值对应的评价因子权重；根据评价因子权重，确定基学习器的熵值；基于基学习器的熵值，确定基学习器的权重。
此外，在本示例实施例中，还提供了一种行为质量评价装置。参考图7，该行为质量评价装置700可以包括：数据获取模块710，预测评分确定模块720，阈值获取模块730以及结果确定模块740。
具体的，数据获取模块710，用于获取业务人员的服务行为数据，以及预先构建的行为质量评价模型，行为质量评价模型是采用上述任意一项的模型训练方法训练得到；预测评分确定模块720，用于将服务行为数据输入至行为质量评价模型，得到行为质量预测评分；阈值获取模块730，用于获取预设的质量评价等级，以及所述质量评价等级的等级划分阈值；结果确定模块740，用于根据行为质量预测评分、等级划分阈值与质量评价等级，确定服务行为数据对应的评价等级结果。
在本公开的一种示例性实施方案中，行为质量评价装置700还包括阈值更新模块，用于：响应于阈值更新指令，基于阈值更新指令调整等级划分阈值，得到更新后的等级划分阈值；根据更新后的等级划分阈值，确定新增服务行为数据对应的评价等级结果。
上述中各模型训练装置、行为质量评价装置的虚拟模块的具体细节已经在对应的模型训练方法、行为质量评价方法中进行了详细的描述，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
应当注意，尽管在上文详细描述中提及了模型训练装置、行为质量评价装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供一种计算机程序产品。计算机程序产品包括计算机程序，计算机程序被处理器执行时实现上述模型训练方法、行为质量评价方法。
在一种实施方式中，计算机程序产品可以是包含计算机程序的有形产品，如存储有计算机程序的计算机可读存储介质。可读存储介质可以是基于电、磁、光、电磁、红外线等信号的存储介质，包括但不限于：随机存取存储器(RAM)，只读存储器(ROM)，磁带，软盘，闪存(Flash)，机械硬盘(HDD)，固态硬盘(SSD)，等等。示例性的，计算机程序产品可以实现为存储有计算机程序的非易失性存储介质，如只读存储器，与非门闪存(Nand Flash)等。
在一种实施方式中，计算机程序产品可以是包含计算机程序的无形产品。示例性的，计算机程序产品可以实现为虚拟数字产品，如存储有计算机程序的可执行文件，安装包等数字文件。
计算机程序的代码可以通过一种或多种程序设计语言来编写。程序设计语言如C语言、Java、C++等。程序代码可以完全地在用户计算设备上执行，或者部分地在用户计算设备上执行，或者作为一个独立的软件包执行，或者部分在用户计算设备上部分在远程计算设备上执行，或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，如局域网(LAN)、广域网(WAN)等，连接到用户计算设备，或者，可以连接到外部计算设备(例如通过运营商提供的因特网连接)。
计算机程序可以通过电、磁、光、电磁、红外线等信号承载或传输。电子设备可以将承载计算机程序的信号转换为数字信号，进而运行计算机程序。当计算机程序在电子设备上运行时，其代码用于使电子设备执行(更具体地，可以使电子设备的处理器执行)本公开各种示例性实施方式的方法步骤，如可以执行上述模型训练方法、行为质量评价方法。
本公开的示例性实施方式还提供一种电子设备，电子设备可以包括处理器与存储器。存储器存储有处理器的可执行指令，如可以是计算机程序。处理器通过执行该可执行指令来执行本公开各种示例性实施方式的方法步骤。此外，电子设备还可以包括显示器，以用于显示图形用户界面。
下面参考图8，以通用计算设备的形式对电子设备进行示例性说明。应当理解，图8显示的电子设备800仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来限制。
如图8所示，电子设备800可以包括：处理器810、存储器820、总线830、I/O(输入/输出)接口840、网络适配器850、显示器860。
存储器820可以包括易失性存储器，例如RAM 821、缓存单元822，还可以包括非易失性存储器，例如ROM 823。存储器820还可以包括一个或多个程序模块824，这样的程序模块824包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。例如，程序模块824可以包括上述装置中的各模块。
处理器810可以包括一个或多个处理单元，例如：处理器810可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。
处理器810可用于执行存储器820中存储的可执行指令，如可以执行上述模型训练方法，或行为质量评价方法。总线830用于实现电子设备800的不同组件之间的连接，可以包括数据总线、地址总线和控制总线。
电子设备800可以通过I/O接口840与一个或多个外部设备900(例如键盘、鼠标、外置控制器等)进行通信。
电子设备800可以通过网络适配器850与一个或者多个网络通信，例如网络适配器850可以提供如3G/4G/5G等移动通信解决方案，或者提供如无线局域网、蓝牙、近场通信等无线通信解决方案。网络适配器850可以通过总线830与电子设备800的其它模块通信。电子设备800可以通过显示器860显示图形用户界面，如显示服务行为数据的评价等级结果的界面等。
尽管图8中未示出，还可以在电子设备800中设置其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

Claims (14)

1.一种模型训练方法，其特征在于，包括：
获取业务人员的历史服务行为数据，所述历史服务行为数据包括多个行为特征数据与行为质量评分；
根据所述行为特征数据与所述行为质量评分，构建模型输入数据集；
获取预先构建的初始模型，所述初始模型包括至少一基学习器与元学习器；
基于所述模型输入数据集对所述基学习器进行模型训练，得到所述基学习器的输出结果，所述输出结果包括验证集输出结果与测试集输出结果；
基于所述验证集输出结果与所述测试集输出结果，对所述元学习器进行模型训练，得到行为质量评价模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述行为特征数据与所述行为质量评分，构建模型输入数据集，包括：
根据所述行为特征数据与所述行为质量评分，构建行为质量评价样本集，所述行为质量评价样本集包括多个行为质量评价样本；
对所述行为质量评价样本集进行划分处理，得到训练样本集与测试样本集；
对所述多个行为质量评价样本进行标准化处理，得到标准化的特征数据集；
对所述特征数据集进行特征选择处理，得到模型输入特征；
基于所述模型输入特征、所述训练样本集与测试样本集，构建所述模型输入数据集。
3.根据权利要求2所述的方法，其特征在于，所述对所述特征数据集进行特征选择处理，得到模型输入特征，包括：
确定所述特征数据集对应的输出结果类别以及结果类别数量；
确定所述特征数据集中各所述行为质量评价样本对应的样本所属类别概率；
基于所述结果类别数量与所述样本所属类别概率，计算所述特征数据集的基尼系数；
根据所述基尼系数对所述特征数据集进行特征选择处理，得到所述模型输入特征。
4.根据权利要求1所述的方法，其特征在于，所述基于所述模型输入数据集对所述基学习器进行模型训练，得到所述基学习器的输出结果，包括：
基于所述模型输入数据集确定模型训练数据集与模型测试数据集；
对所述模型训练数据集进行等比例划分，得到k个训练数据子集，所述k个训练数据子集包括训练数据集与验证数据集；
基于所述训练数据集与所述验证数据集，分别对各所述基学习器进行模型训练，得到各所述基学习器对应的验证集输出结果；
根据所述模型测试数据集在多个轮次下的基学习器预测输出结果与训练次数，确定所述基学习器的测试集输出结果。
5.根据权利要求4所述的方法，其特征在于，所述基于所述训练数据集与所述验证数据集，分别对各所述基学习器进行模型训练，得到各所述基学习器对应的验证集输出结果，包括：
对各所述基学习器逐一执行下述步骤：
从所述k个训练数据子集中选取k-1个训练数据子集作为所述训练数据集，并将剩余的所述训练数据子集作为所述验证数据集；
根据所述训练数据集与所述验证数据集对所述基学习器进行模型训练，得到所述基学习器在本轮训练中的单次验证集输出结果；
基于多个所述单次验证集输出结果，生成所述验证集输出结果。
6.根据权利要求1所述的方法，其特征在于，所述基于所述验证集输出结果与所述测试集输出结果，对所述元学习器进行模型训练，得到行为质量评价模型，包括：
确定所述基学习器的权重；
基于所述基学习器的权重与所述验证集输出结果，确定验证集加权输出结果；
基于所述基学习器的权重与所述测试集输出结果，确定测试集加权输出结果；
将所述验证集加权输出结果作为所述元学习器的训练集输入数据，结合所述行为质量评分对所述元学习器进行模型训练；
将所述测试集加权输出结果作为所述元学习器的测试集输入数据，得到所述元学习器输出的测试集预测结果，以根据所述测试集预测结果与所述行为质量评分确定所述行为质量评价模型。
7.根据权利要求6所述的方法，其特征在于，所述确定所述基学习器的权重，包括：
将所述验证集输出结果与所述行为质量评分进行误差分析对比，得到误差评价指标值，所述误差评价指标值包括均方根误差、平均绝对百分比误差、平均绝对误差与决定系数中的一种或多种；
根据所述误差评价指标值构建所述基学习器的评价矩阵，所述评价矩阵包括各所述基学习器对应的多个所述误差评价指标值；
基于所述评价矩阵，分别计算各所述误差评价指标值对应的评价因子权重；
根据所述评价因子权重，确定所述基学习器的熵值；
基于所述基学习器的熵值，确定所述基学习器的权重。
8.根据权利要求1-7任意一项所述的方法，其特征在于，所述行为特征数据基于服务行为特征生成，所述服务行为特征包括电子围栏进出次数、规划路径校验重合率、里程数差值校验、作业质量达标率、用户满意度测评得分与超出时间限制次数中的一种或多种。
9.一种行为质量评价方法，其特征在于，包括：
获取业务人员的服务行为数据，以及预先训练的行为质量评价模型，所述行为质量评价模型是采用权利要求1-8中任意一项所述的模型训练方法训练得到；
将所述服务行为数据输入至所述行为质量评价模型，得到行为质量预测评分；
获取预设的质量评价等级，以及所述质量评价等级的等级划分阈值；
根据所述行为质量预测评分、所述等级划分阈值与所述质量评价等级，确定所述服务行为数据对应的评价等级结果。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
响应于阈值更新指令，基于所述阈值更新指令调整所述等级划分阈值，得到更新后的等级划分阈值；
根据所述更新后的等级划分阈值，确定新增服务行为数据对应的评价等级结果。
11.一种模型训练装置，其特征在于，包括：
样本数据获取模块，用于获取业务人员的历史服务行为数据，所述历史服务行为数据包括多个行为特征数据与行为质量评分；
数据集构建模块，用于根据所述行为特征数据与所述行为质量评分，构建模型输入数据集；
初始模型获取模块，用于获取预先构建的初始模型，所述初始模型包括至少一基学习器与元学习器；
第一模型训练模块，用于基于所述模型输入数据集对所述基学习器进行模型训练，得到所述基学习器的输出结果，所述输出结果包括验证集输出结果与测试集输出结果；
第二模型训练模块，用于基于所述验证集输出结果与所述测试集输出结果，对所述元学习器进行模型训练，得到行为质量评价模型。
12.一种行为质量评价装置，其特征在于，包括：
数据获取模块，用于获取业务人员的服务行为数据，以及预先训练的行为质量评价模型，所述行为质量评价模型是采用权利要求1-8中任意一项所述的模型训练方法训练得到；
预测评分确定模块，用于将所述服务行为数据输入至所述行为质量评价模型，得到行为质量预测评分；
阈值获取模块，用于获取预设的质量评价等级，以及所述质量评价等级的等级划分阈值；
结果确定模块，用于根据所述行为质量预测评分、所述等级划分阈值与所述质量评价等级，确定所述服务行为数据对应的评价等级结果。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至8中任一项所述的模型训练方法，或实现如权利要求9或10所述的行为质量评价方法。
14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的模型训练方法，或实现如权利要求9或10所述的行为质量评价方法。
CN202411096090.9A 2024-08-09 2024-08-09 模型训练方法、行为质量评价方法及装置、设备和产品 Pending CN118735360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411096090.9A CN118735360A (zh) 2024-08-09 2024-08-09 模型训练方法、行为质量评价方法及装置、设备和产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411096090.9A CN118735360A (zh) 2024-08-09 2024-08-09 模型训练方法、行为质量评价方法及装置、设备和产品

Publications (1)

Publication Number Publication Date
CN118735360A true CN118735360A (zh) 2024-10-01

Family

ID=92845875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411096090.9A Pending CN118735360A (zh) 2024-08-09 2024-08-09 模型训练方法、行为质量评价方法及装置、设备和产品

Country Status (1)

Country Link
CN (1) CN118735360A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119228217A (zh) * 2024-10-15 2024-12-31 中国建筑科学研究院有限公司 一种基于量化模型的室内环境质量评价方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119228217A (zh) * 2024-10-15 2024-12-31 中国建筑科学研究院有限公司 一种基于量化模型的室内环境质量评价方法及系统

Similar Documents

Publication Publication Date Title
CN110070391B (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN110781406B (zh) 一种基于变分自动编码器的社交网络用户多属性推断方法
CN106095942B (zh) 强变量提取方法及装置
CN112785005B (zh) 多目标任务的辅助决策方法、装置、计算机设备及介质
CN113672797A (zh) 一种内容推荐方法及装置
CN118735360A (zh) 模型训练方法、行为质量评价方法及装置、设备和产品
CN117993952A (zh) 一种基于大数据的智慧客户关系管理方法及系统
US20230267302A1 (en) Large-Scale Architecture Search in Graph Neural Networks via Synthetic Data
CN111126629A (zh) 模型的生成方法、刷单行为识别方法、系统、设备和介质
CN118797305A (zh) 机房能效评估方法、装置、介质、产品及设备
CN118365211A (zh) 数据质量的评估方法、装置、设备、存储介质和产品
CN116401601B (zh) 基于逻辑回归模型的停电敏感用户处置方法
US20240184812A1 (en) Distributed active learning in natural language processing for determining resource metrics
CN117194779A (zh) 基于人工智能的营销系统优化方法、装置及设备
CN116681467A (zh) 基于改进woa算法的销量预测方法及其相关设备
CN116805182A (zh) 工业增加值增速预测方法、系统、电子设备及存储介质
CN115641198A (zh) 用户运营方法、装置、电子设备和存储介质
CN116977010A (zh) 业务推荐模型的构建、业务推荐方法及装置
CN110956528B (zh) 一种电商平台的推荐方法及系统
CN114547416A (zh) 一种媒体资源排序方法及电子设备
CN118797277B (zh) 基于大语言模型的社交媒体用户真伪预测方法及装置
CN118760984B (zh) 突发事件应急预案数据匹配方法、装置和计算机设备
CN116975621A (zh) 模型稳定性监测方法、装置和计算机设备
CN115630224A (zh) 信息推送模型构建方法、装置、计算机设备和存储介质
CN117874619A (zh) 客服评分模型的构建方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination