CN114118531A - 一种基于工单文本信息感知的业务预测方法及系统 - Google Patents

一种基于工单文本信息感知的业务预测方法及系统 Download PDF

Info

Publication number
CN114118531A
CN114118531A CN202111304927.0A CN202111304927A CN114118531A CN 114118531 A CN114118531 A CN 114118531A CN 202111304927 A CN202111304927 A CN 202111304927A CN 114118531 A CN114118531 A CN 114118531A
Authority
CN
China
Prior art keywords
work order
text information
data
information
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111304927.0A
Other languages
English (en)
Inventor
汤琳琳
韩圣亚
刘荫
尹明立
殷齐林
于航
黄振
朱韶松
郑海杰
王高洲
牛德玲
崔晓东
付本娟
石鑫磊
刘强
李正浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202111304927.0A priority Critical patent/CN114118531A/zh
Publication of CN114118531A publication Critical patent/CN114118531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Water Supply & Treatment (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于工单文本信息感知的业务预测方法及系统，包括：获取待预测的电力客服数据；基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；其中，业务预测模型的构建过程包括：对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得局部向量表示；捕获数据间的全局时序依赖，获得综合向量表示；构建业务预测模型，对业务预测模型进行训练。本发明使用一维卷积网络和自注意力机制对工单数据中的文本信息进行充分的挖掘，从而提高业务预测的准确性。

Description

一种基于工单文本信息感知的业务预测方法及系统
技术领域
本发明涉及电力客服业务预测技术领域，尤其涉及一种基于工单文本信息感知的业务预测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
电力客户服务系统在提升服务质量、改善服务形象等方面发挥着非常重要的作用。业务预测是电力客户服务系统规划建设的重要依据，准确的业务预测能够更好地了解各个业务的发展趋势，提高精细化管理水平，降低整体运营成本，对保证高水平的客户服务质量和服务水平发挥着重要的决策作用。因此，如何根据历史数据进行业务预测是目前一个热点。通过业务预测，实现对重点业务模式和构成的分析定位，实现客服数据的多维分析，预测一段时间内各项业务的变化情况，实现客服工作“提前准备”与“精准发力”。
目前，人工智能技术被广泛的应用到电力客户服务的各个业务中。通过将人工智能和大数据技术应用于电力客户服务系统中，充分利用历史数据预测未来趋势，为电力客服系统及业务提高辅助研判作用。尽管这些方法在电力客服的业务研究方面取得了不错的效果，但是却难以充分地捕获客服数据中隐藏的语义信息以及数据之间的依赖关系，从而导致预测结果并不准确。
发明内容
为了解决上述问题，本发明提出了一种基于工单文本信息感知的业务预测方法及系统，使用一维卷积网络(1D-CNN，1-Dimensional Convolutional Neural Networks)和自注意力机制(Self-Attention)对工单数据中的文本信息进行充分的挖掘，并利用Transformer模型来捕获工单序列的全局时序依赖，对工单数据进行充分的表示学习，从而提高业务预测的准确性。
在一些实施方式中，采用如下技术方案：
一种基于工单文本信息感知的业务预测方法，包括：
获取待预测的电力客服数据；基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；
其中，所述业务预测模型的构建过程包括：
对电力客服历史数据并进行预处理，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
对于所述嵌入向量，采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；
基于所述局部向量表示，采用Transformer模型来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示；
基于所述综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
作为进一步地方案，获取电力客服历史数据，所述电力客服历史数据包括：历史工单数据和客户信息，其中，历史工单数据包括工单标题、工单描述和工单解决方案。
作为进一步地方案，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量，具体包括：
将历史工单数据中的各种文本信息进行向量化，生成工单标题序列L、工单描述序列D和解决方案序列S；
对工单中的文本信息进行嵌入表示学习，分别得到相应的嵌入向量。
作为进一步地方案，所述嵌入向量具体包括：
EL＝LWL
ED＝DWD
ES＝SWS
其中，EL、ED、ES分别表示工单标题序列L的嵌入向量、工单描述序列D的嵌入向量和解决方案序列S的嵌入向量；WL、WD、WS分别表示工单标题序列L、工单描述序列D和解决方案序列S的权重向量。
作为进一步地方案，获得工单文本信息的局部向量表示，具体包括：
采用一维卷积和自注意力机制来对工单文本进行局部信息挖掘，分别得到工单标题序列L的局部信息表示向量，工单描述序列D的局部信息表示向量和解决方案序列S的局部信息表示向量；
将获得的文本上下文局部信息采用张量拼接操作与归一化操作进行融合，获得工单数据的局部信息表示。
作为进一步地方案，采用Transformer来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示Out，具体包括：
Out＝softmax(FC(Transformer(LN(DP(FC(Cat(L,D,S,P,C)))))))
其中，L为生成工单标题序列，D为工单描述序列，S为解决方案序列；P表示客户的动态偏好信息，C为工单数据的局部信息表示；Cat()表示张量拼接操作，FC()表示全连接操作，DP()表示深度学习模型的dropout操作，LN()表示归一化操作，softmax()表示的激活映射函数。
作为进一步地方案，将得到预测结果与实际结果进行对比，将对比结果反馈至预测模型，不断优化数据的权重值。
在另一些实施方式中，采用如下技术方案：
一种基于工单文本信息感知的业务预测系统，包括：
数据获取模块，用于获取待预测的电力客服数据；
业务预测模块，用于基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；
其中，所述业务预测模型的构建过程包括：
对电力客服历史数据并进行预处理，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
对于所述嵌入向量，采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；
基于所述局部向量表示，采用Transformer来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示；
基于所述综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
在另一些实施方式中，采用如下技术方案：
一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的基于工单文本信息感知的业务预测方法。
在另一些实施方式中，采用如下技术方案：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于工单文本信息感知的业务预测方法。
与现有技术相比，本发明的有益效果是：
(1)本发明以历史电力客服数据为基础，利用嵌入向量将工单文本转换为信息嵌入向量，并引入一维卷积神经网络来挖掘工单文本数据的局部信息，同时利用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；根据获得的局部信息表示向量，利用Transformer来捕获工单文本信息的全局时序依赖，对工单数据将进行充分的表示学习，从而提高业务预测的性能。
本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
图1为本发明实施例提供的业务预测方法的整体流程图；
图2为本发明实施例提供的以融合工单文本信息和Transformer为核心的数据流处理过程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了一种基于工单文本信息感知的业务预测方法，参照图1，具体包括如下过程：
(1)对海量电力信息进行相关电力客服数据的采集，所述电力客服数据包含历史工单数据、客户信息等，对获取的客服数据预处理，包含数据清洗、缺失数据补全、数据定义并存储。
具体地，基于某电力公司186客服系统中获取的客服数据，包括从2021年1月1日到2021年6月31日17729名客户共计97568条工单数据，其中业务种类60类。该数据中包含工单标题、工单描述、客户偏好信息和对应的解决方案等数据信息。
(2)对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
本实施中，客服数据由工单标题、工单描述、工单解决方案和客户信息这四部分信息组成。工单的标题信息、描述信息和解决方案信息属于文本信息，而客户信息属于数值型信息。
将工单数据中的各种文本信息进行向量化，生成工单标题序列
Figure BDA0003339757960000061
工单描述序列
Figure BDA0003339757960000062
和解决方案序列
Figure BDA0003339757960000063
其中M，N，U分别表示的是标题序列、描述序列和解决方案序列中，最长语句的单词数量。
Figure BDA0003339757960000064
表示客户的动态偏好信息，T，V分别表示该客户的工单数目和客户偏好信息的特征数目。
首先对工单中的文本信息进行嵌入表示学习，方式如下：
EL＝LWL
ED＝DWD
Es＝SWS
其中，
Figure BDA0003339757960000071
Figure BDA0003339757960000072
EL、ED、ES分别表示工单标题序列L的嵌入向量、工单描述序列D的嵌入向量和解决方案序列S的嵌入向量；WL、WD、WS分别表示工单标题序列L、工单描述序列D和解决方案序列S的权重向量，dembedding表示的是嵌入维度，M，N，U分别表示的是标题序列、描述序列和解决方案序列中，最长语句的单词数量；T表示该客户的工单数目。
(3)对于所述的工单标题、工单描述信息和解决方案的嵌入向量，首先采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；然后使用Transformer模型将客户动态的偏好信息与工单上下文信息进行融合，捕获工单数据的全局时序依赖，最终进行客户服务业务预测，如图2所示。其中，Transformer模型是一种深度学习模型。
①基于获得的嵌入向量，采用一维卷积和自注意力机制来对工单文本进行局部信息挖掘，方式如下：
CL＝SA(CD(DP(FC(EL))))
CD＝SA(CD(DP(FC(ED))))
CS＝SA(CD(DP(FC(ES))))
其中，CL代表的是工单标题序列L的局部信息表示向量，CD代表的是工单描述序列D的局部信息表示向量，CS代表的是解决方案序列S的局部信息表示向量；FC表示全连接层；DP表示深度学习模型的dropout操作，本实施设置dropout＝0.5。CD与SA分别表示一维卷积操作和自注意力操作。
其中，FC()，CD()，SA()的表示如下：
FC(X)＝max(0,XWFC+bFC)
CD(X)＝Conv1D(X,kernelsize＝2,kernelnumber＝dembedding)
Figure BDA0003339757960000081
其中，
Figure BDA0003339757960000082
表示层的输入，
Figure BDA0003339757960000083
Figure BDA0003339757960000084
WFC表示的是全连接操作中的权重向量，bFC表示的是全连接操作中的偏置矩阵，dembedding表示是嵌入维度，kernelsize表示的是卷积核的大小，kernelnumber表示的是卷积核的数量。
②然后，将获得的文本上下文信息进行融合，获得工单数据的局部信息表示：
C＝LN(Cat(CL,CD,CS))
其中Cat()和LN()分别表示的是张量拼接操作与归一化操作。
③基于获得的数据局部信息表示，采用Transformer来捕获数据间的全局时序依赖，从而获得工单数据的综合向量表示Out：
Out＝softmax(FC(Transformer(LN(DP(FC(Cat(L,D,S,P,C)))))))
其中Transformer的实现过程如下：
Q＝K＝V＝X
Figure BDA0003339757960000085
MultiHead(Q,K,V)＝Concat(Head1,Head2,…,Headn)WO
Transformer-Block(X)
＝LN(FFN(LN(MultiHead(Q,K,V)+X))+LN(MultiHead(Q,K,V)+X))
其中，
Figure BDA0003339757960000091
表示Transformer的输入；WQ,WK,WV,WO均代表的是权重参数矩阵，FFN()表示一层前馈神经网络；FC()表示的是全连接操作；softmax()表示的激活映射函数。
Q、K、V表示的Transformer模型机制中的查询向量，Head1,Head2,…,Headn分别表示的是经过注意力操作得到的头注意力向量表示，Multihead(Q,K,V)表示的是将头注意力向量表示进行拼接操作得到的多头注意力向量表示，Transformer-Block(X)表示是Transformer计算模块。
(4)基于获得的工单数据的综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
获取待预测的电力客服数据；基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；本实施例中，业务预测的结果是预测属于哪个业务。业务分类包括用电采集、员工报销、生产管理等业务。
对待检测样本进行电力客服业务预测，输入softmax层进行结果预测：
Y＝softmax(FC(Out))
其中，
Figure BDA0003339757960000092
表示最终的业务预测结果；FC()表示的是全连接操作；softmax()表示的激活映射函数；N_Class表示的是业务种类。
对待测试样本进行电力客服业务预测，将预测结果进行推送，并与实际用情况进行结果对比，本实施例采用准确性、Micro F1、Macro F1、AUROC和AUPRC来作为业务预测方法的评价指标，对比结果如表1所示。
表1业务预测方法对比情况
模型 准确性 Micro F1 Macro F1 AUROC AUPRC
MLP 0.8076 0.1376 0.004 0.896 0.1079
RNN 0.9002 0.5273 0.0977 0.9509 0.5993
LSTM 0.8243 0.388 0.0418 0.9268 0.395
GRU 0.9251 0.5702 0.1155 0.9625 0.6482
BiGRU 0.8985 0.5536 0.1042 0.9595 0.6291
GRU-Att 0.9281 0.5973 0.1222 0.9652 0.6844
Conv-GRU 0.9148 0.462 0.0733 0.9456 0.4929
Conv-BiGRU 0.909 0.4405 0.067 0.9451 0.4662
Transformer-E 0.9742 0.8016 0.2395 0.9845 0.8817
本专利方法 0.9883 0.8486 0.3569 0.9871 0.9202
基于表1中的结果可得，本实施例所提出的业务预测方法的性能优于其他方法。
实施例二
在一个或多个实施方式中，公开了一种基于工单文本信息感知的业务预测系统，包括：
数据获取模块，用于获取待预测的电力客服数据；
业务预测模块，用于基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；
其中，所述业务预测模型的构建过程包括：
对电力客服历史数据并进行预处理，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
对于所述嵌入向量，采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；
基于所述局部向量表示，采用Transformer来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示；
基于所述综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
作为可选的实施例，还包括：
反馈更新模块，其用于模型训练完成后，输出实验样本集的预测结果，与实际情况进行对比，反馈更新底层数据信息，不断优化数据的权重值，从而不断完善电力客服业务预测。
作为可选的实施例，还包括：
预处理模块，其用于对海量电力客服数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义以及规范化处理。
需要说明的是，上述各模块的具体实现过程已经在实施例一中进行了说明，此处不再详述。
实施例三
在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于工单文本信息感知的业务预测方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例四
在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的基于工单文本信息感知的业务预测方法。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于工单文本信息感知的业务预测方法，其特征在于，包括：
获取待预测的电力客服数据；基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；
其中，所述业务预测模型的构建过程包括：
对电力客服历史数据并进行预处理，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
对于所述嵌入向量，采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；
基于所述局部向量表示，采用Transformer模型来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示；
基于所述综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
2.如权利要求1所述的一种基于工单文本信息感知的业务预测方法，其特征在于，获取电力客服历史数据，所述电力客服历史数据包括：历史工单数据和客户信息，其中，历史工单数据包括工单标题、工单描述和工单解决方案。
3.如权利要求1所述的一种基于工单文本信息感知的业务预测方法，其特征在于，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量，具体包括：
将历史工单数据中的各种文本信息进行向量化，生成工单标题序列L、工单描述序列D和解决方案序列S；
对工单中的文本信息进行嵌入表示学习，分别得到相应的嵌入向量。
4.如权利要求3所述的一种基于工单文本信息感知的业务预测方法，其特征在于，所述嵌入向量具体包括：
EL＝LWL
ED＝DWD
ES＝SWS
其中，EL、ED、ES分别表示工单标题序列L的嵌入向量、工单描述序列D的嵌入向量和解决方案序列S的嵌入向量；WL、WD、WS分别表示工单标题序列L、工单描述序列D和解决方案序列S的权重向量。
5.如权利要求1所述的一种基于工单文本信息感知的业务预测方法，其特征在于，获得工单文本信息的局部向量表示，具体包括：
采用一维卷积和自注意力机制来对工单文本进行局部信息挖掘，分别得到工单标题序列L的局部信息表示向量，工单描述序列D的局部信息表示向量和解决方案序列S的局部信息表示向量；
将获得的文本上下文局部信息采用张量拼接操作与归一化操作进行融合，获得工单数据的局部信息表示。
6.如权利要求1所述的一种基于工单文本信息感知的业务预测方法，其特征在于，采用Transformer来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示Out，具体包括：
Out＝softmax(FC(Transformer(LN(DP(FC(Cat(L，D，S，P，C)))))))
其中，L为生成工单标题序列，D为工单描述序列，S为解决方案序列；P表示客户的动态偏好信息，C为工单数据的局部信息表示；Cat()表示张量拼接操作，FC()表示全连接操作，DP()表示深度学习模型的dropout操作，LN()表示归一化操作，softmax()表示的激活映射函数。
7.如权利要求1所述的一种基于工单文本信息感知的业务预测方法，其特征在于，将得到预测结果与实际结果进行对比，将对比结果反馈至预测模型，不断优化数据的权重值。
8.一种基于工单文本信息感知的业务预测系统，其特征在于，包括：
数据获取模块，用于获取待预测的电力客服数据；
业务预测模块，用于基于所述客服数据，利用训练好的业务预测模型，得到业务预测结果；
其中，所述业务预测模型的构建过程包括：
对电力客服历史数据并进行预处理，对预处理后的电力客服历史数据中的工单文本信息进行嵌入表示学习，得到工单文本信息的嵌入向量；
对于所述嵌入向量，采用一维卷积来学习局部信息，并采用自注意力机制来捕获局部信息之间依赖关系，从而获得工单文本信息的局部向量表示；
基于所述局部向量表示，采用Transformer来捕获数据间的全局时序依赖，获得工单文本信息的综合向量表示；
基于所述综合表示向量，构建softmax函数业务预测模型，对所述业务预测模型进行训练。
9.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-7任一项所述的基于工单文本信息感知的业务预测方法。
10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-7任一项所述的基于工单文本信息感知的业务预测方法。
CN202111304927.0A 2021-11-05 2021-11-05 一种基于工单文本信息感知的业务预测方法及系统 Pending CN114118531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111304927.0A CN114118531A (zh) 2021-11-05 2021-11-05 一种基于工单文本信息感知的业务预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111304927.0A CN114118531A (zh) 2021-11-05 2021-11-05 一种基于工单文本信息感知的业务预测方法及系统

Publications (1)

Publication Number Publication Date
CN114118531A true CN114118531A (zh) 2022-03-01

Family

ID=80380880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111304927.0A Pending CN114118531A (zh) 2021-11-05 2021-11-05 一种基于工单文本信息感知的业务预测方法及系统

Country Status (1)

Country Link
CN (1) CN114118531A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925904A (zh) * 2021-01-27 2021-06-08 天津大学 一种基于Tucker分解的轻量级文本分类方法
CN113435627A (zh) * 2021-05-27 2021-09-24 国网冀北电力有限公司计量中心 基于工单轨迹信息的电力客户投诉预测方法及装置
CN113449182A (zh) * 2021-06-09 2021-09-28 山东大学 一种知识信息个性化推荐方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925904A (zh) * 2021-01-27 2021-06-08 天津大学 一种基于Tucker分解的轻量级文本分类方法
CN113435627A (zh) * 2021-05-27 2021-09-24 国网冀北电力有限公司计量中心 基于工单轨迹信息的电力客户投诉预测方法及装置
CN113449182A (zh) * 2021-06-09 2021-09-28 山东大学 一种知识信息个性化推荐方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴茂贵等: "深入浅出Embedding 原理解析与应用实践", 机械工业出版社, pages: 248 - 251 *

Similar Documents

Publication Publication Date Title
US20220328037A1 (en) System and method for neural network orchestration
CN111079985B (zh) 一种基于bert并融合可区分属性特征的刑事案件刑期预测方法
JPH07295989A (ja) データを解析するためのインタプリタを形成する装置
CN110083836B (zh) 一种文本预测结果的关键证据抽取方法
CN113742733B (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN111626821A (zh) 基于集成特征选择实现客户分类的产品推荐方法及系统
Bilal et al. Auto-prep: efficient and automated data preprocessing pipeline
CN116257759A (zh) 一种深度神经网络模型的结构化数据智能分类分级系统
CN116150367A (zh) 一种基于方面的情感分析方法及系统
Matos et al. A comparison of data-driven approaches for mobile marketing user conversion prediction
CN117271701A (zh) 一种基于tggat和cnn的系统运行异常事件关系抽取方法及系统
CN112749238A (zh) 搜索排序方法、装置、电子设备以及计算机可读存储介质
Shankar et al. Analyzing attrition and performance of an employee using machine learning techniques
US20220405623A1 (en) Explainable artificial intelligence in computing environment
CN114118531A (zh) 一种基于工单文本信息感知的业务预测方法及系统
CN114357284A (zh) 基于深度学习的众包任务个性化推荐方法和系统
CN114662652A (zh) 一种基于多模态信息学习的专家推荐方法
CN114020901A (zh) 一种结合主题挖掘和情感分析的金融舆情分析方法
Righi et al. Integration of survey data and big data for finite population inference in official statistics: statistical challenges and practical applications
Roelands et al. Classifying businesses by economic activity using web-based text mining
Jindal et al. Ensemble Based-Cross Project Defect Prediction
Levich et al. Utilizing the omnipresent: Incorporating digital documents into predictive process monitoring using deep neural networks
CN117668205B (zh) 智慧物流客服处理方法、系统、设备及存储介质
Goel et al. An optimized approach for class imbalance problem in heterogeneous cross project defect prediction
KR102135098B1 (ko) 세종실록을 이용한 정책 자문 서비스 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination