CN116304025A - 一种基于人工智能技术的客服智能打标方法及系统 - Google Patents

一种基于人工智能技术的客服智能打标方法及系统 Download PDF

Info

Publication number
CN116304025A
CN116304025A CN202310135275.5A CN202310135275A CN116304025A CN 116304025 A CN116304025 A CN 116304025A CN 202310135275 A CN202310135275 A CN 202310135275A CN 116304025 A CN116304025 A CN 116304025A
Authority
CN
China
Prior art keywords
model
marking
training
work order
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310135275.5A
Other languages
English (en)
Inventor
丁常坤
夏兵
程磊
汪睿卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kedaduochuang Cloud Technology Co ltd
Original Assignee
Kedaduochuang Cloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kedaduochuang Cloud Technology Co ltd filed Critical Kedaduochuang Cloud Technology Co ltd
Priority to CN202310135275.5A priority Critical patent/CN116304025A/zh
Publication of CN116304025A publication Critical patent/CN116304025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种基于人工智能技术的客服智能打标方法及系统，该智能打标方法包括：S1：基于FastText算法构建智能打标模型；S2：基于业务需求，配置模型训练规则，包括模型训练超参数和性能度量方案的设计；S3：训练智能打标模型，测试模型打标性能，若满足预设指标则发布上线；S4：配置模型运营管理规则，并基于后续业务中产生的未正确打标工单持续迭代优化模型，S5：模型运营及打标结果输出。本发明应用广泛，普遍适用于各种行业客服尤，基于FastText算法构建并训练智能打标模型，实现对工单的高效、准确打标，可实现增量式训练，通过配置模型运营管理规则，可在模型上线后基于业务中积累的工单文本数据实现模型的版本更新，持续对模型迭代优化，便于维护。

Description

一种基于人工智能技术的客服智能打标方法及系统
技术领域
本发明涉及自然语言处理技术领域，具体涉及一种基于人工智能技术的客服智能打标方法及系统。
背景技术
在线客服是当前包括通信运营商在内的诸多行业向客户提供咨询、投诉和申办等业务的重要渠道。客服工单是客户诉求的重要载体，通过工单打标深入分析客服工单是实现持续提升客服能力、高效解决客户问题和提升客户感知的重要手段，也为业务中工单的流转和分派提供了重要依据。运营商领域客服工单标签类别繁多，人工点选打标会耗费较多时间，且极易出现错误打标。近年来，人工智能领域相关技术在自然语言处理领域有诸多成功应用。
目前现有技术中存在工单标签类别繁多，传统人工打标的方式效率低下，人工进行大量重复的打标工作易出现主观误判的情况，大量客服工单数据没有得到规范管理和充分利用。
鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。
发明内容
为解决上述技术缺陷，本发明提供一种基于人工智能技术的客服智能打标方法和系统。
一种基于人工智能技术的客服智能打标方法，包括以下步骤：
S1：构建智能打标模型
分析实际业务场景，将工单打标抽象为文本分类任务，对历史工单文本进行数据预处理，得到待打标工单文本，基于FastText算法构建工单智能打标模型；
S2：配置模型训练规则
基于业务需求，创建模型训练任务并配置模型训练规则，模型训练规则的配置包括训练超参数配置和性能度量方案设计；
S3：训练智能打标模型
将步骤S1中的待打标工单文本对应正确分类标签，制作标准数据集，并划分训练集和测试集；导入训练集工单文本数据，依据超参数配置训练模型，基于性能度量方案对模型进行性能测试，判断是否满足预设指标，若不满足预设指标则调整超参数，并重新进行模型训练，若满足预设指标则将模型发布上线；
S4：配置模型运营管理规则
模型运营管理规则的配置包括自动优化任务配置和模型版本管理两个方面，自动优化任务是基于模型实际上线运营中的打标性能和后续业务的需求对模型进行自动迭代优化，模型版本管理是通过管理模型历史版本，对模型的演变过程进行记录和维护；
S5：模型运营及打标结果输出
模型运营过程中，对工单进行打标并输出标签置信度，基于标签置信度，模型展示推荐标签，若未正确打标，则基于未正确打标工单通过自动优化任务持续迭代优化模型；若正确打标，则同步打标结果。
进一步的，步骤S1中对历史工单文本进行数据预处理具体包括以下内容：
收集、添加业务专有词至专有词表，业务专有词为行业专业词、业务名称和产品名；
使用分词工具将原始待打标工单文本转换成词粒度的表示形式，导入专有词表中的业务专有词作为用户自定义词典，避免业务专有词在分词过程中被误分；
对分词后的待打标工单文本进行清洗，去除特殊字符、数字和其他对打标无意义、无关的停用词；
使用TF-IDF算法提取待打标工单文本中的关键特征词，构建表征原始文本的关键子句。
进一步的，步骤S1中基于FastText算法构建打标模型具体包括以下内容：
基于FastText算法构建智能打标模型，FastText算法包括输入层、隐藏层和输出层，其中：
输入层将表征工单文本的关键子句转换为多个固定维度的特征词向量，并引入N-gram特征，使得语义信息更加充分；
隐藏层将特征词向量进行平均池化操作，获得表征该工单文本的特征向量；
输出层对工单文本的特征向量进行非线性变换，随后利用softmax函数计算工单文本对应各标签类别的概率即标签置信度。
进一步的，步骤S2中配置模型训练规则包括以下内容：
S21：训练超参数配置
训练超参数包括学习率、训练轮次和数据集划分比例，训练超参数配置基于算法原理和训练数据分布，使模型高效学习文本特征，避免出现过拟合、欠拟合和训练时间过长情况，所述训练超参数通过手动调节和自动寻优进行调整；
S22：性能度量设计
性能度量包括打标准确率、召回率和精确率，设定性能度量的阈值应符合实际业务对打标准确率、召回率、精确率指标的需求。
进一步的，步骤S4中自动优化任务配置包括以下内容：
自动优化任务基于实际业务需求和实际业务变化定义训练超参数和模型迭代优化的触发条件，若实际业务场景中的打标标签分类发生变动或者模型无法满足后续运营中的打标准确率要求时，自动优化任务通过预先配置标准模板或者进行人工干预调整的方式进行模型迭代优化。
进一步的，步骤S4中版本管理包括以下内容：
版本管理对模型运营过程中生成的改进及其优化过程进行跟踪、记录和维护，模型运营过程中经授权的用户具有对模型进行检索、访问、调用和发布上线的权限。
进一步的，步骤S5中推送打标结果具体包括以下内容：
模型输出各标签类别的标签置信度，基于标签置信度返回工单文本的打标结果，并基于标签置信度展示多条推荐标签供快速选择，判断是否正确打标，若正确标签未在推荐标签内，则支持人工在全量打标分类列表中进行手动修正，并记录该未正确打标工单内容和人工修正标签供模型后续自动优化；若正确标签全部在推荐标签内，则上传打标结果供后续工单归档和分析。
一种采用上述的智能打标方法的打标系统，包括以下模块：
智能打标模型构建模块：用于根据实际业务场景，对历史工单文本进行预处理，得到待打标工单文本，并基于FastText算法构建智能打标模型；
模型训练规则配置模块：用于根据业务需求配置模型训练规则，其中包括训练超参数配置和模型性能度量方案设计；
智能打标模型训练模块：用于依据超参数配置训练智能打标模型，并基于性能度量方案对智能打标模型进行性能测试；
模型运营管理规则配置模块：用于对模型进行自动迭代优化，并对模型历史版本进行管理；
模型运营及打标结果输出模块：用于对待打标工单进行打标并输出标签置信度，依据标签置信度展示推荐标签，判断是否打标正确，并基于未正确打标工单持续迭代优化模型。
进一步的，所述模型运营管理规则配置模块包括：
自动优化任务配置子模块：用于基于模型实际上线运营中的打标性能和后续业务的需求对模型进行自动迭代优化。
进一步的，所述模型运营管理规则配置模块还包括：
模型版本管理子模块：用于对智能打标模型的历史版本进行管理，实现对模型运营过程中生成的改进及其优化过程进行跟踪、记录和维护。
与现有技术比较本发明的有益效果在于：
1、本发明的智能打标方法应用广泛，普遍适用于各种行业客服尤其是运营商领域的多种业务场景；
2、本发明基于FastText算法构建并训练智能打标模型，实现对工单的高效、准确打标，能显著提高工单打标的工作效率和打标质量且大幅降低企业人力成本；
3、本发明中的智能打标方法可实现增量式训练，增量式训练体现在模型运营管理流程中，是模型迭代优化的一种形式，增量式训练首先加载待更新模型作为预训练模型；随后基于业务中积累的工单文本和人工修正的标签划分训练集和测试集，并对模型进行微调；基于增量式训练保留了原始模型中的信息，并以较低的时间成本学习新数据中的知识，获得更适用的新模型，实现模型的持续迭代更新，在不损失此前参数学习的情况下高效训练新的打标模型，适用于业务变更背景下的标签调整；
4、本发明的智能打标方法通过配置模型运营管理规则，模型运营管理规则中包括自动优化任务配置和版本管理两个方面，可在模型上线后基于业务中积累的工单文本数据实现模型的版本更新，持续对模型迭代优化，且对模型的演变过程进行记录和维护。
附图说明
图1为本发明中模型运营管理流程图；
图2为本发明中客服智能打标流程图；
图3为本发明中FastText模型结构图。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。
现有技术中的工单标签类别繁多，传统人工打标的方式效率低下，人工进行大量重复的打标工作易出现主观误判，随着用户基数的不断增长使得对工单打标的需求相应提高，造成企业运营成本居高不下，大量客服工单数据没有得到规范管理和充分利用。为针对上述技术缺陷，本发明基于FastText算法构建并训练智能打标模型，实现对工单的高效、准确打标；并通过配置模型自动优化任务在模型运营中自动收集误打标工单，进行自动迭代优化，持续提高模型打标准确率。
本发明中提及的方法应用广泛，普遍适用于各种行业客服尤其是运营商领域的多种业务场景，能显著提高工单打标的工作效率和打标质量且大幅降低企业人力成本。
实施例1
如图1所示，本实施例所述的一种基于人工智能技术的客服智能打标方法，包括以下步骤：
S1：构建智能打标模型
分析实际业务场景，将工单打标抽象为文本分类任务，对历史工单文本进行数据预处理，制作标准数据集，并划分训练集和测试集，基于FastText算法构建工单智能打标模型；
S2：创建模型训练任务，配置模型训练规则
基于业务需求，创建模型训练任务，配置模型训练规则，其中模型训练规则配置包括训练超参数配置和性能度量方案设计；
S3：训练智能打标模型
将步骤S1中的待打标工单文本对应正确分类标签，制作标准数据集，并划分训练集和测试集；导入训练集工单文本数据，依据超参数配置训练模型，基于性能度量方案对模型进行性能测试，判断是否满足预设指标，若不满足预设指标则调整超参数，并重新进行模型训练，若满足预设指标则将模型发布上线；
S4：模型运营管理规则配置
模型运营管理规则的配置包括自动优化任务配置和模型版本管理两个方面，自动优化任务是基于模型实际上线运营中的打标性能和后续业务的需求对模型进行自动迭代优化，模型版本管理是通过管理模型历史版本，对模型的演变过程进行记录和维护，易于回溯；
S5：模型运营及打标结果输出
运营过程中，模型输出标签置信度，基于标签置信度返回工单文本的打标结果，并基于输出的标签置信度展示多条推荐标签供快速选择，判断是否正确打标，若未正确打标，则基于未正确打标工单持续迭代优化模型；若正确打标，则上传打标结果供后续工单归档和分析。
具体地，如图2所示，步骤S1中对历史工单文本进行数据预处理包括以下内容：
收集、添加业务专有词至专有词表，业务专有词如行业专业词、业务名称和产品名等；
使用jieba分词工具将原始待打标工单文本转换成词粒度的表示形式，导入专有词表中的业务专有词作为用户自定义词典，避免业务专有词在分词过程中被误分；
对分词后的待打标工单文本进行清洗，去除特殊字符、数字和其他对打标无意义、无关的停用词；
使用词频-逆文本频率算法即TF-IDF算法提取待打标工单文本中的关键特征词，构建表征原始文本的关键子句。
具体的，步骤S1中对基于FastText算法构建打标模型包括以下过程：
使用词频-逆文本频率算法即TF-IDF算法提取待打标工单文本中的关键特征词，构建表征原始文本的关键子句，过程如下：
TF-IDF算法的基本思想是，一个词对某一文本区分度的贡献与其在该文本中出现的次数呈正相关关系，与其在数据集所有文本中出现的次数呈负相关关系，TF-IDF值的计算公式如下：
Figure BDA0004085220600000061
Figure BDA0004085220600000062
TF-IDF＝TFw×IDFw (3)
其中，公式(1)为词频(TF)计算公式，Nw表示某一文本中词w出现的次数，N为该文本的总次数；公式(2)为逆向文本频率(IDF)计算公式，Y表示数据集中文本数量，Yw表示包含词w的文本数量；TF与IDF的乘积即该词的TF-IDF值，如式(3)所示。词对应的TF-IDF值越大表明该词对于表征当前文本的重要性越大，越能与其他文本区分；TF-IDF值越小则表明该词为高频低区分度词，对区分当前文本的贡献越小。
利用TF-IDF算法对清洗后的待打标工单文本进行处理，在其输入模型前对其长度进行判断，若超出设定阈值则使用TF-IDF算法提取表征该工单文本的关键特征词，并按照权重进行排序，抽取固定数量关键特征词构成关键子句。
基于FastText算法构建智能打标模型，具体过程如下：
如图3所示，FastText算法是一种快速高效的文本分类模型，其结构主要有三层，分别是输入层、隐藏层和输出层。
其中，输入层中利用类CBOW词向量模型将表征工单文本的关键子句转换为多个固定维度的特征词向量，并引入N-gram特征，使得语义信息更加充分。
隐藏层中将输入层输出的特征词向量进行平均池化操作，获得表征该工单文本的特征向量，如式(4)所示：
Figure BDA0004085220600000063
其中Xi表示由输入层输出的特征词向量，共n个，V表示文本的特征向量。
输出层对工单文本的特征向量进行非线性变换，随后利用softmax函数计算工单文本对应各标签类别的概率即标签置信度。
具体的，输出层中使用sigmoid函数对隐藏层输出的工单文本的特征向量V进行非线性变换，随后使用softmax函数计算工单文本对应各标签类别的概率即标签置信度，分别如式(5)、(6)所示：
z＝sigmoid(WoV) (5)
L＝softmax(z) (6)
其中Wo表示输出层权重，z表示非线性变换的输出，L表示softmax函数的输出，即对应各标签类别的置信度。
具体的，步骤S2中创建模型训练任务，配置模型训练规则包括以下内容：
基于业务需求，创建模型训练任务，配置模型训练规则，其中模型训练规则配置包括训练超参数配置和性能度量方案设计；
其中，训练超参数包括学习率(learning rate)、训练轮次(epoch)和数据集划分比例等，超参数支持手动调节和自动寻优；
性能度量包括精确率(precision)、召回率(recall)和精确率(accuracy)等，如式(7)、(8)、(9)所示，设定阈值应满足模型上线运营需求。
Figure BDA0004085220600000071
Figure BDA0004085220600000072
Figure BDA0004085220600000073
上式指标计算均基于某一标签类，其中，TP表示某一标签类中正确预测的文本数量；FP表示某一标签类中错误将他类预测为当前类的文本数量；FN表示某一标签类中错误将当前类预测为他类的文本数量；TN表示某一标签类中正确识别的非当前类文本数量；TP、FP、FN和TN的和为测试工单文本总数。
具体的，步骤S4中自动优化任务配置包括以下内容：
自动优化任务基于实际业务需求和实际业务变化定义训练超参数和模型迭代优化的触发条件，如实际业务场景中的打标标签分类发生变动或模型无法满足后续运营中的打标准确率要求时，自动优化任务预先配置标准模板或者进行人工干预调整。
具体的，步骤S4中模型版本管理包括以下内容：
模型版本管理对模型运营过程中生成的改进及其优化过程进行跟踪、记录和维护，模型运营中经授权的用户具有对模型进行检索、访问、调用和发布上线的权限。
具体的，步骤S5模型运营及打标结果输出包括以下内容：
模型运营过程中，基于FastText算法输出各类标签的标签置信度，并基于标签置信度逆序排序返回工单文本的打标结果，随后基于输出的标签置信度展示3-5条推荐打标标签，供投诉处理人员可从中快速选择；如正确标签未在推荐标签内，支持人工在全量打标分类列表中进行手动修正，并记录该未正确打标工单内容和人工修正标签供模型后续自动优化，将优化后的模型发布上线，再次进行打标；若正确标签均在推荐标签内，则上传打标结果供后续工单归档和分析。
其中，全量打标分类列表指由所有打标类别构成的列表；若业务所需的类别为树状层次结构，全量打标列表中的打标类别由各层次标签唯一确定。
该打标方法的具体实现原理是通过将工单打标抽象为文本分类任务，基于FastText算法构建智能打标模型；基于业务需求，配置模型训练规则，包括模型训练超参数和性能度量方案的设计；拉取历史工单进行文本预处理，制作标准数据集并划分训练集和测试集；训练智能打标模型，测试模型打标性能，若满足预设指标则发布上线；配置模型运营管理规则，并基于后续业务中产生的未正确打标工单持续迭代优化模型。
实施例2
为执行上述实施例的一种基于人工智能技术的客服智能打标方法，本实施例提供一种客服智能打标系统。
该智能打标系统包括以下模块：
智能打标模型构建模块：用于根据实际业务场景，对历史工单文本进行预处理，并基于FastText算法构建智能打标模型；
模型训练规则配置模块：用于配置模型训练规则，其中包括训练超参数的配置和模型性能度量的设计；
智能打标模型训练模块：用于依据超参数配置训练智能打标模型，并基于性能度量方案对智能打标模型进行性能测试；
模型运营管理规则配置模块：用于对模型进行自动迭代优化，并对模型历史版本进行管理；
打标结果处理模块：用于依据模型返回的标签置信度返回推荐标签，并基于未正确打标工单持续迭代优化模型。
其中，所述模型运营管理规则配置模块至少包括以下子模块：
自动优化任务配置模块：用于基于模型实际上线运营中的打标性能和后续业务的需求对模型进行自动迭代优化。
模型版本管理模块：用于对智能打标模型的历史版本进行管理，易于回溯。
本发明提供了一种基于人工智能技术的客服智能打标方法及系统，基于FastText算法构建并训练智能打标模型，实现对工单的高效、准确打标；通过配置模型自动优化任务在模型运营中自动收集误打标工单，并进行自动的迭代优化，持续提高模型打标准确率。
以上所述仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (10)

1.一种基于人工智能技术的客服智能打标方法，其特征在于，包括以下步骤：
S1：构建智能打标模型
分析实际业务场景，将工单打标抽象为文本分类任务，对历史工单文本进行数据预处理，得到待打标工单文本，基于FastText算法构建工单智能打标模型；
S2：配置模型训练规则
基于业务需求，创建模型训练任务并配置模型训练规则，模型训练规则的配置包括训练超参数配置和性能度量方案设计；
S3：训练智能打标模型
将步骤S1中的待打标工单文本对应正确分类标签，制作标准数据集，并划分训练集和测试集；导入训练集工单文本数据，依据超参数配置训练模型，基于性能度量方案对模型进行性能测试，判断是否满足预设指标，若不满足预设指标则调整超参数，并重新进行模型训练，若满足预设指标则将模型发布上线；
S4：配置模型运营管理规则
模型运营管理规则的配置包括自动优化任务配置和模型版本管理两个方面，所述自动优化任务是基于模型实际上线运营中的打标性能和后续业务的需求对模型进行自动迭代优化，所述模型版本管理是通过管理模型历史版本，对模型的演变过程进行记录和维护；
S5：模型运营及打标结果输出
模型运营过程中，对待打标工单进行打标并输出标签置信度，基于标签置信度，模型展示推荐标签，若未正确打标，则基于未正确打标工单通过自动优化任务持续迭代优化模型，若正确打标，则同步打标结果。
2.如权利要求1所述的基于人工智能技术的客服智能打标方法，其特征在于，步骤S1中对历史工单文本进行数据预处理具体包括以下内容：
收集、添加业务专有词至专有词表，业务专有词为行业专业词、业务名称和产品名；
使用分词工具将原始待打标工单文本转换成词粒度的表示形式，导入专有词表中的业务专有词作为用户自定义词典，避免业务专有词在分词过程中被误分；
对分词后的待打标工单文本进行清洗，去除特殊字符、数字和其他对打标无意义、无关的停用词；
使用TF-IDF算法提取待打标工单文本中的关键特征词，构建表征原始文本的关键子句。
3.如权利要求1所述的基于人工智能技术的客服智能打标方法，其特征在于，步骤S1中基于FastText算法构建打标模型具体包括以下内容：
基于FastText算法构建智能打标模型，FastText算法包括输入层、隐藏层和输出层，其中：
输入层将表征工单文本的关键子句转换为多个固定维度的特征词向量，并引入N-gram特征，使得语义信息更加充分；
隐藏层将特征词向量进行平均池化操作，获得表征该工单文本的特征向量；
输出层对工单文本的特征向量进行非线性变换，随后利用softmax函数计算工单文本对应各标签类别的概率即标签置信度。
4.如权利要求1所述的基于人工智能技术的客服智能打标方法，其特征在于，步骤S2中配置模型训练规则包括以下内容：
S21：训练超参数配置
训练超参数包括学习率、训练轮次和数据集划分比例，训练超参数配置基于算法原理和训练数据分布，使模型高效学习文本特征，避免出现过拟合、欠拟合和训练时间过长情况，所述训练超参数通过手动调节和自动寻优进行调整；
S22：性能度量设计
性能度量包括打标准确率、召回率和精确率，设定性能度量的阈值应符合实际业务对打标准确率、召回率、精确率指标的需求。
5.如权利要求1所述的基于人工智能技术的客服智能打标方法，其特征在于，步骤S4中自动优化任务配置包括以下内容：
自动优化任务基于实际业务需求和实际业务变化定义训练超参数和模型迭代优化的触发条件，若实际业务场景中的打标标签分类发生变动或者模型无法满足后续运营中的打标准确率要求时，自动优化任务通过预先配置标准模板或者进行人工干预调整的方式进行模型迭代优化。
6.如权利要求1所述的基于人工智能技术的客服智能打标方法，其特征在于，步骤S4中版本管理包括以下内容：
版本管理对模型运营过程中生成的改进及其优化过程进行跟踪、记录和维护，模型运营过程中经授权的用户具有对模型进行检索、访问、调用和发布上线的权限。
7.如权利要求1所述的基于人工智能技术的客服智能打标方法，其特征在于，步骤S5中推送打标结果具体包括以下内容：
模型输出各标签类别的标签置信度，基于标签置信度返回工单文本的打标结果，并基于标签置信度展示多条推荐标签供快速选择，判断是否正确打标，若正确标签未在推荐标签内，则支持人工在全量打标分类列表中进行手动修正，并记录该未正确打标工单内容和人工修正标签供模型后续自动优化；若正确标签全部在推荐标签内，则上传打标结果供后续工单归档和分析。
8.一种采用如权利要求1-7任一项所述的智能打标方法的打标系统，其特征在于，包括以下模块：
智能打标模型构建模块：用于根据实际业务场景，对历史工单文本进行预处理，得到待打标工单文本，并基于FastText算法构建智能打标模型；
模型训练规则配置模块：用于根据业务需求配置模型训练规则，其中包括训练超参数配置和模型性能度量方案设计；
智能打标模型训练模块：用于依据超参数配置训练智能打标模型，并基于性能度量方案对智能打标模型进行性能测试；
模型运营管理规则配置模块：用于对模型进行自动迭代优化，并对模型历史版本进行管理；
模型运营及打标结果输出模块：用于对待打标工单进行打标并输出标签置信度，依据标签置信度展示推荐标签，判断是否打标正确，并基于未正确打标工单持续迭代优化模型。
9.一种采用如权利要求8所述的智能打标系统，其特征在于，所述模型运营管理规则配置模块包括：
自动优化任务配置子模块：用于基于模型实际上线运营中的打标性能和后续业务的需求对模型进行自动迭代优化。
10.一种采用如权利要求9所述的智能打标系统，其特征在于，所述模型运营管理规则配置模块还包括：
模型版本管理子模块：用于对智能打标模型的历史版本进行管理，实现对模型运营过程中生成的改进及其优化过程进行跟踪、记录和维护。
CN202310135275.5A 2023-02-09 2023-02-09 一种基于人工智能技术的客服智能打标方法及系统 Pending CN116304025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310135275.5A CN116304025A (zh) 2023-02-09 2023-02-09 一种基于人工智能技术的客服智能打标方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310135275.5A CN116304025A (zh) 2023-02-09 2023-02-09 一种基于人工智能技术的客服智能打标方法及系统

Publications (1)

Publication Number Publication Date
CN116304025A true CN116304025A (zh) 2023-06-23

Family

ID=86812359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310135275.5A Pending CN116304025A (zh) 2023-02-09 2023-02-09 一种基于人工智能技术的客服智能打标方法及系统

Country Status (1)

Country Link
CN (1) CN116304025A (zh)

Similar Documents

Publication Publication Date Title
CN113434688B (zh) 用于舆情分类模型训练的数据处理方法和装置
CN117787569B (zh) 一种智能辅助评标方法及系统
CN116777148B (zh) 一种基于数据分析的服务工单智能分配处理系统
CN117668205B (zh) 智慧物流客服处理方法、系统、设备及存储介质
CN111126629B (zh) 模型的生成方法、刷单行为识别方法、系统、设备和介质
CN113672732A (zh) 用于对业务数据进行分类的方法和设备
CN116342167A (zh) 基于序列标注命名实体识别的智能成本度量方法和装置
CN115827886A (zh) 电网一体化调度运行管理智能语音客服系统
CN118037469B (zh) 基于大数据的财务管理系统
CN116542800A (zh) 基于云端ai技术的智能化财务报表分析系统
CN114356924A (zh) 用于从结构化文档提取数据的方法和设备
CN117971808A (zh) 企业数据标准层次关系智能构建方法
CN117911079A (zh) 一种个性化商户营销智能推荐方法和系统
CN117435489A (zh) 基于需求文档自动分析软件功能点方法及系统
CN117216221A (zh) 一种基于知识图谱的智能问答系统及构建方法
CN116304025A (zh) 一种基于人工智能技术的客服智能打标方法及系统
CN115936748A (zh) 一种商业大数据分析方法及系统
CN111353291B (zh) 一种基于投诉工单训练文本计算最佳标注集的方法及系统
CN118349663B (zh) 一种基于logistic算法的多语言智能问答管理系统及方法
CN117876104B (zh) 一种基于ai语言模型的智能信贷管控方法及系统
CN117993876B (zh) 一种简历评估系统、方法、装置和介质
CN117251605B (zh) 基于深度学习的多源数据查询方法及系统
CN118626771A (zh) 基于多源数据信息数字化管理系统及方法
CN117875706A (zh) 一种基于ai的评级工艺数字化管理方法
Vithana Automated rule generation for complex event processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination