CN116089607A - 智能应答文本分类的方法、装置、电子设备及存储介质 - Google Patents

智能应答文本分类的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116089607A
CN116089607A CN202211515977.8A CN202211515977A CN116089607A CN 116089607 A CN116089607 A CN 116089607A CN 202211515977 A CN202211515977 A CN 202211515977A CN 116089607 A CN116089607 A CN 116089607A
Authority
CN
China
Prior art keywords
network
word
gcn
net
mhsp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211515977.8A
Other languages
English (en)
Inventor
周晓辉
王华超
陈诣文
张寅�
付薇薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Best Tone Information Service Corp Ltd
Original Assignee
Best Tone Information Service Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Best Tone Information Service Corp Ltd filed Critical Best Tone Information Service Corp Ltd
Priority to CN202211515977.8A priority Critical patent/CN116089607A/zh
Publication of CN116089607A publication Critical patent/CN116089607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3335—Syntactic pre-processing, e.g. stopword elimination, stemming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种智能应答文本分类的方法、装置、电子设备及存储介质。智能应答文本分类方法包括步骤：S1、数据处理，对经过ASR转换后的数据进行ETL工程，选取通话数据，进而得到模型所需的原始语料数据集；S2、文本构图，对原始语料数据集进行包括标点符号处理和除停用词的标准化处理，使用one‑hot对单词、文档及实体进行编码，形成初始图；S3、模型构建，基于特征投影网络Fpnet优化图卷积神经网络，采用多头边节点池化方法改进图卷积网络，形成多头边池化图卷积网络MHSP‑GCN架构，然后将MHSP‑GCN替换Fpnet中的共性特征学习网络C‑net和特征投影网络P‑net，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的分类特征，从而提升智能应答文本分类任务的准确性。

Description

智能应答文本分类的方法、装置、电子设备及存储介质
技术领域
本发明涉及通信领域，具体而言，涉及一种基于特征投影网络优化图卷积模型的智能应答文本分类的方法、装置、电子设备及存储介质。
背景技术
在通信运营商云改数转的引领下，智能应答业务快速发展，用户数量屡创新高，智能应答每天产生大量数据，文本的分类与深度处理日趋重要。
传统的文本分类方法主要分为两类：一是基于词典的数据分类，将数据与建立的词典库进行比对从而进行分类；二是基于机器学习的数据文本分类，该方法常常依赖于人工设计的特征，并且文本表示存在着稀疏、高维度的问题。目前存在特征工程的基础上使用朴素贝叶斯、余弦相似度等分类模型进行普通文本分类。但是，智能应答进行文本分类任务时与普通文本分类任务有一定的区别：一是这些数据涉及类别广泛，且都为自动语音识别技术(ASR，Automatic Speech Recognition)转换成的自然语言文本，主要以短文本数据为主，语义稀疏、模糊、缺乏上下文的场景；二是智能应答产生的文本存在类别不均衡的特征，少数几个场景的文本数量极多，存在长尾现象。
针对上述问题，目前尚未发现有效的解决方案。因此，亟需研发一种能够有效提升智能应答文本分类准确率的方法。
发明内容
本发明要解决的技术问题是现有的文本分类方法对智能应答文本分类正确率低的问题。
为解决上述技术问题，根据本发明的一个方面，提供一种智能应答文本分类的方法，其包括如下步骤：S1、数据处理，基于智能应答全场景语料数据，对经过ASR(AutomaticSpeech Recognition，自动语音识别技术)转换后的数据进行包括数据清洗、转换的ETL(Extraction抽取，Transformation转换，Loading加载)工程，选取包括通话ID、通话内容、通话角色、通话场景类别、通话开始时间、通话结束时间的数据，进而得到模型所需的原始语料数据集；S2、文本构图，对原始语料数据集进行包括标点符号处理和除停用词的标准化处理，使用one-hot对单词、文档及实体进行编码，形成初始图，其中，运用词共现构建词与词之间的边及词与实体之间的边，运用词频和词语的文档频率建立词节点和文档节点之间的边；单词表示为顶点，词共现表示为边进行构图，记为：G＝(V,E)，其中V表示节点，E表示边；S3、模型构建，基于特征投影网络(Fpnet)优化图卷积神经网络，采用多头边节点池化方法改进图卷积网络，形成多头边池化图卷积网络(MHSP-GCN)架构，然后将MHSP-GCN替换Fpnet中的共性特征学习网络(C-net)和特征投影网络(P-net)，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的在向量空间中对类别指向更加明确的分类特征，从而提升智能应答文本分类任务的准确性。
根据本发明的实施例，步骤S2可包括如下步骤：S21、获取原始语料数据，采用仿射法在保持数据完整性的前提下，去除标点符号和停用词，使其表现出更好的随机属性；S22、使用one-hot对单词、文档及实体进行编码，形成初始图；S23、运用词共现构建词与词之间的边及词与实体之间的边；S24、运用词频和词语的文档频率建立词节点和文档节点之间的边；S25、将单词表示为顶点，词共现表示为边进行构图。
根据本发明的实施例，步骤S3可包括如下步骤：S31、针对步骤S2中构建的图数据，同时输入多头池化图卷积(MHSP-GCN)P-net网络、多头池化图卷积(MHSP-GCN)C-net网络和多头边节点池化层；S32、MHSP-GCN网络的P-net网络和C-net网络经过一层GCN卷积计算层，然后经过残差连接层计算残差，并对残差进行加权操作处理；S33、P-net网络经过第二层GCN卷积计算层，输出特征投影Fp；C-net网络经过第二层GCN卷积计算层，输出共性特征投影Fc；S34、采用特征投影的方式融合特征投影Fp和共性特征投影Fc；S35、经过全连接层输出分类类别。
根据本发明的实施例，步骤S2中可采用文档中的词共现(文档-单词边)，整个语料库中的词共现(单词-单词边)及知识库中的词共现(单词-实体边/文档-实体边)在各节点之间构建边，其中，针对文档-单词和文档-实体的边的权重，采用BM25算法进行计算词和文档相关性，其计算公式如下:
Figure BDA0003971947220000031
Figure BDA0003971947220000032
其中，|D|为文档总数，|j:Wj∈Dj|表示包含Wi的文档数，K1,b为协调因子，分别设为2、0.75；fi为词Wi在文档中出现的次数；DL维度的长度；
Figure BDA0003971947220000036
为索引文档的平均长度。
根据本发明的实施例，步骤S2中，为了利用全局词共现信息，通过点互信息算法PMI(Pointwise Mutual Information)来计算单词-单词节点和实体-单词节点之间的权重，计算词关联度量；PMI是一种词关联度量方法，统计2个词语在文本中同时出现的概率，概率越大，其相关性就越紧密，关联度越高；其中，PMI计算公式如下：
Figure BDA0003971947220000033
P(w1)＝win(w1)/ws    (4)
P(w1&w2)＝win(w1,w2)/ws       (5)
其中，ws表示滑动窗口总数，win(w1,w2)表示同时包含词w1和词w2的滑动窗口个数，win(w1)表示仅包含词w的滑动窗口个数。
根据本发明的实施例，步骤S2中，当节点i和节点j表示单词或知识实体时，其边的权值可采用PMI计算；当计算文档-单词或文档-知识实体节点所构边的权值时，可采用BM25算法；当节点构成自环时，权值可设置为1.0；其他情况下权值可为0；从而边的权值表达式如下：
Figure BDA0003971947220000034
将构建好的图输入一个2层的GCN网络中，通过softmax分类器进行预测，采用的交叉熵函数进行计算。表达式如下：
H(l+1)＝ReLU(D1/2AD-1/2H(l)W(l))      (7)
Figure BDA0003971947220000037
Figure BDA0003971947220000035
其中，式子中0和1分别得到2层GCN的节点表示，W(l)表示第l层的权重矩阵，A表示邻接矩阵，D为A的度矩阵，H(l)表示特征向量矩阵，
Figure BDA0003971947220000038
为第i个节点真实标签，L为损失函数。
根据本发明的实施例，步骤S3可采用多头边池化图卷积网络和Fpnet融合的方式构建模型，将MHSP-GCN替换Fpnet中的共性特征学习网络(C-net)和特征投影网络(P-net)，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的分类特征Fp'，特征Fp'在向量空间中对类别指向更加明确；其中，模型网络分为多头边池化图卷积网络特征投影网络P-net(MHSP-GCN P-net)和多头边池化图卷积网络共性特征提取网络C-net(MHSP-GCN C-net)的两个网络；所述两个网络在结构上相同，但是参数上并不共享；MHSP-GCN C-net中加入GRL反转层后和MHSP-GCN P-net的输出结果一样，如式(10)(11)所示，模型的输出层都使用Softmax归一化激活函数，如式子(12)(13)所示，双网络使用交叉熵损失函数计算：
YP＝Softmax(fP) (10)
Figure BDA0003971947220000041
LossP＝CrossEntropy(Ytruth,YP) (12)
LossC＝CrossEntropy(Ytruth,YC) (13)
在反向传播过程中MHSP-GCN P-net网络参数和MHSP-GCN C-net网络参数并不共享，LossC反向传播只更新MHSP-GCN C-net网络参数，LossP反向传播只更新MHSP-GCN P-net网络参数；MHSP-GCN C-net中虽然同样使用softmax和交叉熵损失函数，但是由于在反向传播时候MHSP-GCN C-net模块中GRL层进行梯度反转，因此LossC的值会逐渐变大；进行LossC计算和反向传播只是为让神经网络得到共性特征；MHSP-GCN P-net模块中LossP为最终整个模型预测分类损失承数值，YP值为整个特征投影优化的MHSP-GCN网络的最终预测输出。
根据本发明的第二个方面，提供一种智能应答文本分类的装置，包括：数据处理模块，所述数据处理模块用于基于智能应答全场景语料数据，对经过ASR转换后的数据进行包括数据清洗、转换的ETL工程，选取包括通话ID、通话内容、通话角色、通话场景类别、通话开始时间、通话结束时间的数据，进而得到模型所需的原始语料数据集；文本构图模块，所述文本构图模块对原始语料数据集进行包括标点符号处理和除停用词的标准化处理，使用one-hot对单词、文档及实体进行编码，形成初始图，其中，运用词共现构建词与词之间的边及词与实体之间的边，运用词频和词语的文档频率建立词节点和文档节点之间的边；单词表示为顶点，词共现表示为边进行构图；模型构建模块，所述模型构建模块基于特征投影网络(Fpnet)优化图卷积神经网络，采用多头边节点池化方法改进图卷积网络，形成多头边池化图卷积网络(MHSP-GCN)架构，然后将MHSP-GCN替换Fpnet中的共性特征学习网络(C-net)和特征投影网络(P-net)，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的在向量空间中对类别指向更加明确的分类特征，从而提升智能应答文本分类任务的准确性。
根据本发明的第三个方面，提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的智能应答文本分类程序，智能应答文本分类程序被处理器执行时实现上述的智能应答文本分类方法的步骤。
根据本发明的第四个方面，提供一种计算机存储介质，其中，计算机存储介质上存储有智能应答文本分类程序，智能应答文本分类程序被处理器执行时实现上述的智能应答文本分类方法的步骤。
与现有技术相比，本发明的实施例所提供的技术方案至少可实现如下有益效果：
本发明采用一种特征投影网络优化图卷积模型的文本分类方法，针对智能应答文本语料特征，发明了一种基于特征投影网络优化图卷积模型的智能应答文本分类方法。该方法首先通过具备增强重要节点的多头边池化方法改进图卷积神经网络，用于提取文本全局信息和重要信息特征，然后借助具备文本增强能力的特征投影网络(FP-net，FeatureProjection Net)改进表征学习，有效地提升文本分类效果和性能。有效提升智能应答文本分类方法的准确率，提升服务质量，挖掘数据潜在价值。具备广泛的应用场景和商业价值。
本发明通过不舍弃不重要节点，同时选择重要节点来增强其表示学习，定义MHSP-GCN结构，丰富的链接有效地关联了节点(包括稀疏的)，从而可以有效地表示这些节点，获得全局信息。
本发明提出的MHSP-GCN网络引入了多头边池化来增强重要节点的表示学习。这些选择和增强的节点包含更鲜明的特征，可以使分类更加准确。
本发明提出的MHSP-GCN是基于GCN的网络结构创新，具有更强的覆盖所有数据的能力。当应用于短文本分类时，它可以为长尾(稀疏)词提供一定程度的关注。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。
图1是示出根据本发明实施例的智能应答业务建模方法流程图。
图2是示出根据本发明实施例的智能应答语料文本构图示意图。
图3是示出根据本发明实施例的基于特征投影的MHSP-GCN流程图。
图4是示出根据本发明实施例的特征投影Fpnet网络结构示意图。
图5是示出根据本发明实施例的多头边池化图卷积网络MHSP-GCN结构示意图。
图6是示出根据本发明实施例的多头边节点池化向量表示示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。
图1是示出根据本发明实施例的智能应答业务建模方法流程图，图2是示出根据本发明实施例的智能应答语料文本构图示意图。
如图1所示，智能应答文本分类的方法包括如下步骤：
S1、数据处理，基于智能应答全场景语料数据，对经过ASR(Automatic SpeechRecognition，自动语音识别技术)转换后的数据进行包括数据清洗、转换的ETL(Extraction抽取，Transformation转换，Loading加载)工程，选取包括通话ID、通话内容、通话角色、通话场景类别、通话开始时间、通话结束时间的数据，进而得到模型所需的原始语料数据集。
S2、文本构图，对原始语料数据集进行包括标点符号处理和除停用词的标准化处理，使用one-hot对单词、文档及实体进行编码，形成初始图，其中，运用词共现构建词与词之间的边及词与实体之间的边，运用词频和词语的文档频率建立词节点和文档节点之间的边；单词表示为顶点，词共现表示为边进行构图，记为：G＝(V,E)，其中V表示节点，E表示边，如图2所示，图中W为单词节点、T为文档节点、E为实体边节点。
S3、模型构建，基于特征投影网络(Fpnet)优化图卷积神经网络，采用多头边节点池化方法改进图卷积网络，形成多头边池化图卷积网络(MHSP-GCN)架构，然后将MHSP-GCN替换Fpnet中的共性特征学习网络(C-net)和特征投影网络(P-net)，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的分类特征Fp′，特征Fp′在向量空间中对类别指向更加明确，从而提升智能应答文本分类任务的准确性。
本发明采用一种特征投影网络优化图卷积模型的文本分类方法，针对智能应答文本语料特征，发明了一种基于特征投影网络优化图卷积模型的智能应答文本分类方法。该方法首先通过具备增强重要节点的多头边池化方法改进图卷积神经网络，用于提取文本全局信息和重要信息特征，然后借助具备文本增强能力的特征投影网络(FP-net，FeatureProjection Net)改进表征学习，有效地提升文本分类效果和性能。有效提升智能应答文本分类方法的准确率，提升服务质量，挖掘数据潜在价值。具备广泛的应用场景和商业价值。
根据本发明的一个或一些实施例，步骤S2包括如下步骤：S21、获取原始语料数据，采用仿射法在保持数据完整性的前提下，去除标点符号和停用词，使其表现出更好的随机属性；S22、使用one-hot对单词、文档及实体进行编码，形成初始图；S23、运用词共现构建词与词之间的边及词与实体之间的边；S24、运用词频和词语的文档频率建立词节点和文档节点之间的边；S25、将单词表示为顶点，词共现表示为边进行构图。
图3是示出根据本发明实施例的基于特征投影的MHSP-GCN流程图。
如图3所示，步骤S3包括如下步骤：S31、针对步骤S2中构建的图数据，同时输入多头池化图卷积(MHSP-GCN)P-net网络、多头池化图卷积(MHSP-GCN)C-net网络和多头边节点池化层；S32、MHSP-GCN网络的P-net网络和C-net网络经过一层GCN卷积计算层，然后经过残差连接层计算残差，并对残差进行加权操作处理；S33、P-net网络经过第二层GCN卷积计算层，输出特征投影Fp；C-net网络经过第二层GCN卷积计算层，输出共性特征投影Fc；S34、采用特征投影的方式融合特征投影Fp和共性特征投影Fc；S35、经过全连接层输出分类类别。
本发明提出的MHSP-GCN网络引入了多头边池化来增强重要节点的表示学习。这些选择和增强的节点包含更鲜明的特征，可以使分类更加准确。
根据本发明的一个或一些实施例，步骤S2中采用文档中的词共现(文档-单词边)，整个语料库中的词共现(单词-单词边)及知识库中的词共现(单词-实体边/文档-实体边)在各节点之间构建边，其中，针对文档-单词和文档-实体的边的权重，采用BM25算法进行计算词和文档相关性，其计算公式如下:
Figure BDA0003971947220000081
Figure BDA0003971947220000082
其中，|D|为文档总数，|j:Wj∈Dj|表示包含Wi的文档数，K1,b为协调因子，分别设为2、0.75；fi为词Wi在文档中出现的次数；DL维度的长度；
Figure BDA0003971947220000085
为索引文档的平均长度。
根据本发明的一个或一些实施例，步骤S2中，为了利用全局词共现信息，通过点互信息算法PMI(Pointwise Mutual Information)来计算单词-单词节点和实体-单词节点之间的权重，计算词关联度量；PMI是一种词关联度量方法，统计2个词语在文本中同时出现的概率，概率越大，其相关性就越紧密，关联度越高；其中，PMI计算公式如下：
Figure BDA0003971947220000083
P(w1)＝win(w1)/ws     (4)
P(w1&w2)＝win(w1,w2)/ws        (5)
其中，ws表示滑动窗口总数，win(w1,w2)表示同时包含词w1和词w2的滑动窗口个数，win(w1)表示仅包含词w的滑动窗口个数。
根据本发明的一个或一些实施例，步骤S2中，当节点i和节点j表示单词或知识实体时，其边的权值采用PMI计算；当计算文档-单词或文档-知识实体节点所构边的权值时，采用BM25算法；当节点构成自环时，权值设置为1.0；其他情况下权值为0；从而边的权值表达式如下：
Figure BDA0003971947220000084
将构建好的图输入一个2层的GCN网络中，通过softmax分类器进行预测，采用的交叉熵函数进行计算。表达式如下：
H(l+1)＝ReLU(D12AD-12H(l)W(l)) (7)
Figure BDA0003971947220000091
Figure BDA0003971947220000092
其中，，式子中0和1分别得到2层GCN的节点表示，W(l)表示第l层的权重矩阵，A表示邻接矩阵，D为A的度矩阵，H(l)表示特征向量矩阵，
Figure BDA0003971947220000093
为第i个节点真实标签，L为损失函数。
图4是示出根据本发明实施例的特征投影(Fpnet)网络结构示意图。
如图4所示，特征投影网络(Fpnet)是一种文本增强的神经网络结构，其嵌入逆向梯度层(Gradient Reversl Layer，GRL)实现分类文本多个类别的共性特征，借助特征投影改进表征学习，有效地提升文本分类效果。Fpnet由两个子网络组成：右边为共性特征学习网络(Common feature learning network,C-net)；左边为特征投影网络(Projecttionnetwork,P-net)，其主要重点在于使用神经网络P-net和神经网络C-net双网络训练不同的任务，两个网络结构虽然相同，但并不共享参数，其中C-net中加入梯度反转层GRL，P-net中加入特征投影层OPL，通过将学习到的输入文本的信息向量投影到更具区分性的语义空间中来消除共同特征的影响。Fpnet网络结果如图4所示。
图5是示出根据本发明实施例的多头边池化图卷积网络(MHSP-GCN)结构示意图。
如图5所示，池化是通过节点选择来减少参数的大小以生成更小的表示(类似下采样方法)。然而，我们提出在不舍弃不重要节点，同步选择重要节点来增强其表示学习，定义多头边池化图卷积网络(MHSP-GCN)结构，如图5所示。MHSP-GCN结构采用GCN卷积计算层来提取特征。从上到下，第一个GCN卷积计算层用于聚合与中心节点直接相邻的(1阶)节点信息。第二个GCN卷积计算层用于聚合2阶相邻节点的信息。多头边池化是我们提出的池化层，用于评估和选择重要节点。在池化过程中可能会丢失未选中节点信息，残差连接层用于恢复他们的信息，加权操作用于根据多头边节点池化计算的注意力分数对节点进行加权。
本发明通过不舍弃不重要节点，同时选择重要节点来增强其表示学习，定义MHSP-GCN结构，丰富的链接有效地关联了节点(包括稀疏的)，从而可以有效地表示这些节点，获得全局信息。
图6是示出根据本发明实施例的多头边节点池化向量表示示意图。
多头边节点池化的目的是正确选择重要节点，减少非重要节点的影响。引入了自我注意机制来对节点进行评分。使用可学习的投影向量计算节点分数，表示如图6所示。
根据本发明的一个或一些实施例，步骤S3采用多头边池化图卷积网络和Fpnet融合的方式构建模型，将MHSP-GCN替换Fpnet中的共性特征学习网络(C-net)和特征投影网络(P-net)，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的分类特征Fp′，特征Fp′在向量空间中对类别指向更加明确；其中，模型网络分为多头边池化图卷积网络特征投影网络P-net(MHSP-GCN P-net)和多头边池化图卷积网络共性特征提取网络C-net(MHSP-GCN C-net)的两个网络；所述两个网络在结构上相同，但是参数上并不共享；MHSP-GCN C-net中加入GRL反转层后和MHSP-GCN P-net的输出结果一样，如式(10)(11)所示，模型的输出层都使用Softmax归一化激活函数，如式子(12)(13)所示，双网络使用交叉熵损失函数计算：
Figure BDA0003971947220000101
Figure BDA0003971947220000102
LossP＝CrossEntropy(Ytruth,YP)     (12)
LossC＝CrossEntropy(Ytruth,YC)     (13)
在反向传播过程中MHSP-GCN P-net网络参数和MHSP-GCN C-net网络参数并不共享，LossC反向传播只更新MHSP-GCN C-net网络参数，LossP反向传播只更新MHSP-GCN P-net网络参数；MHSP-GCN C-net中虽然同样使用softmax和交叉熵损失函数，但是由于在反向传播时候MHSP-GCN C-net模块中GRL层进行梯度反转，因此LossC的值会逐渐变大；进行LossC计算和反向传播只是为让神经网络得到共性特征；MHSP-GCN P-net模块中LossP为最终整个模型预测分类损失承数值，YP值为整个特征投影优化的MHSP-GCN网络的最终预测输出。
本发明提出的MHSP-GCN是基于GCN的网络结构创新，具有更强的覆盖所有数据的能力。当应用于短文本分类时，它可以为长尾(稀疏)词提供一定程度的关注。
根据本发明的第二个方面，提供一种智能应答文本分类的装置，其包括：数据处理模块、文本构图模块和模型构建模块。
数据处理模块用于基于智能应答全场景语料数据，对经过ASR转换后的数据进行包括数据清洗、转换的ETL工程，选取包括通话ID、通话内容、通话角色、通话场景类别、通话开始时间、通话结束时间的数据，进而得到模型所需的原始语料数据集。
文本构图模块对原始语料数据集进行包括标点符号处理和除停用词的标准化处理，使用one-hot对单词、文档及实体进行编码，形成初始图，其中，运用词共现构建词与词之间的边及词与实体之间的边，运用词频和词语的文档频率建立词节点和文档节点之间的边；单词表示为顶点，词共现表示为边进行构图。
模型构建模块基于特征投影网络(Fpnet)优化图卷积神经网络，采用多头边节点池化方法改进图卷积网络，形成多头边池化图卷积网络(MHSP-GCN)架构，然后将MHSP-GCN替换Fpnet中的共性特征学习网络(C-net)和特征投影网络(P-net)，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的分类特征Fp′，特征Fp′在向量空间中对类别指向更加明确，从而提升智能应答文本分类任务的准确性。
将本技术方案在智能应答中的应用过程如下：
用户B办理通信助理业务；
主叫用户A给用户B打电话时漏接，由智能应答机器人代接；
主叫用户A和智能应答机器人沟通了关于取快递的业务场景；
对话过程由智能应答的ASR(Automatic Speech Recognition，自动语音识别)、NLP(Natural Language Processing，自然语言处理)、TTS(Text To Speech语音合成)、语音网关等关键组件提供；
通话中，由本技术方案特征投影优化的MHSP-GCN模型进行场景识别，应答流程指向对应的对话流程；
通过短信、微信消息把录音文件、应答文本、通话摘要文本推送给用户B；
用户B通过推送通知进行后期的话务处理。
根据本发明的又一方面，提供一种智能应答文本分类的设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的智能应答文本分类程序，智能应答文本分类程序被处理器执行时实现上述的智能应答文本分类方法的步骤。
根据本发明还提供一种计算机存储介质。
计算机存储介质上存储有智能应答文本分类程序，智能应答文本分类程序被处理器执行时实现上述的智能应答文本分类方法的步骤。
其中，在所述处理器上运行的智能应答文本分类程序被执行时所实现的方法可参照本发明智能应答文本分类方法各个实施例，此处不再赘述。
本发明还提供一种计算机程序产品。
本发明计算机程序产品包括智能应答文本分类程序，所述智能应答文本分类程序被处理器执行时实现如上所述的智能应答文本分类方法的步骤。
其中，在所述处理器上运行的智能应答文本分类程序被执行时所实现的方法可参照本发明智能应答文本分类方法各个实施例，此处不再赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅是本发明的示范性实施方式，而非用于限制本发明的保护范围，本发明的保护范围由所附的权利要求确定。

Claims (10)

1.一种智能应答文本分类的方法，包括如下步骤：
S1、数据处理，基于智能应答全场景语料数据，对经过ASR转换后的数据进行包括数据清洗、转换的ETL工程，选取包括通话ID、通话内容、通话角色、通话场景类别、通话开始时间、通话结束时间的数据，进而得到模型所需的原始语料数据集；
S2、文本构图，对原始语料数据集进行包括标点符号处理和除停用词的标准化处理，使用one-hot对单词、文档及实体进行编码，形成初始图，
其中，运用词共现构建词与词之间的边及词与实体之间的边，运用词频和词语的文档频率建立词节点和文档节点之间的边；单词表示为顶点，词共现表示为边进行构图；
S3、模型构建，基于特征投影网络(Fpnet)优化图卷积神经网络，采用多头边节点池化方法改进图卷积网络，形成多头边池化图卷积网络(MHSP-GCN)架构，然后将MHSP-GCN替换Fpnet中的共性特征学习网络(C-net)和特征投影网络(P-net)，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的在向量空间中对类别指向更加明确的分类特征，从而提升智能应答文本分类任务的准确性。
2.如权利要求1所述的方法，其中，步骤S2包括如下步骤：
S21、获取原始语料数据，采用仿射法在保持数据完整性的前提下，去除标点符号和停用词，使其表现出更好的随机属性；
S22、使用one-hot对单词、文档及实体进行编码，形成初始图；
S23、运用词共现构建词与词之间的边及词与实体之间的边；
S24、运用词频和词语的文档频率建立词节点和文档节点之间的边；
S25、将单词表示为顶点，词共现表示为边进行构图。
3.如权利要求1所述的方法，其中，步骤S3包括如下步骤：
S31、针对步骤S2中构建的图数据，同时输入多头池化图卷积(MHSP-GCN)P-net网络、多头池化图卷积(MHSP-GCN)C-net网络和多头边节点池化层；
S32、MHSP-GCN网络的P-net网络和C-net网络经过一层GCN卷积计算层，然后经过残差连接层计算残差，并对残差进行加权操作处理；
S33、P-net网络经过第二层GCN卷积计算层，输出特征投影Fp；C-net网络经过第二层GCN卷积计算层，输出共性特征投影Fc；
S34、采用特征投影的方式融合特征投影Fp和共性特征投影Fc；
S35、经过全连接层输出分类类别。
4.如权利要求1所述的方法，其中，步骤S2中采用文档中的文档-单词边的词共现，整个语料库中的单词-单词边的词共现及知识库中的单词-实体边/文档-实体边的词共现，在各节点之间构建边，
其中，针对文档-单词和文档-实体的边的权重，采用BM25算法进行计算词和文档相关性，其计算公式如下:
Figure FDA0003971947210000021
Figure FDA0003971947210000022
其中，|D|为文档总数，|j:Wj∈Dj|表示包含Wi的文档数，K1,b为协调因子，分别设为2、0.75；fi为词Wi在文档中出现的次数；DL维度的长度；
Figure FDA0003971947210000023
为索引文档的平均长度。
5.如权利要求4所述的方法，其中，步骤S2中，为了利用全局词共现信息，通过点互信息算法PMI来计算单词-单词节点和实体-单词节点之间的权重，计算词关联度量；PMI是一种词关联度量方法，统计2个词语在文本中同时出现的概率，概率越大，其相关性就越紧密，关联度越高；其中，PMI计算公式如下：
Figure FDA0003971947210000024
P(w1)＝win(w1)/ws       (4)
P(w1&w2)＝win(w1,w2)/ws     (5)
其中，ws表示滑动窗口总数，win(w1,w2)表示同时包含词w1和词w2的滑动窗口个数，win(w1)表示仅包含词w的滑动窗口个数。
6.如权利要求5所述的方法，其中，步骤S2中，当节点i和节点j表示单词或知识实体时，其边的权值采用PMI计算；当计算文档-单词或文档-知识实体节点所构边的权值时，采用BM25算法；当节点构成自环时，权值设置为1.0；其他情况下权值为0；从而边的权值表达式如下：
Figure FDA0003971947210000031
将构建好的图输入一个2层的GCN网络中，通过softmax分类器进行预测，采用的交叉熵函数进行计算。表达式如下：
H(l+1)＝ReLU(D12AD-12H(l)W(l)) (7)
Figure FDA0003971947210000032
Figure FDA0003971947210000033
其中，式子中0和1分别得到2层GCN的节点表示，W(l)表示第l层的权重矩阵，A表示邻接矩阵，D为A的度矩阵，H(l)表示特征向量矩阵，
Figure FDA0003971947210000034
为第i个节点真实标签，L为损失函数。
7.如权利要求6所述的方法，其中，步骤S3采用多头边池化图卷积网络和Fpnet融合的方式构建模型，将MHSP-GCN替换Fpnet中的共性特征学习网络(C-net)和特征投影网络(P-net)，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的分类特征Fp'，特征Fp'在向量空间中对类别指向更加明确；
其中，模型网络分为多头边池化图卷积网络特征投影网络P-net(MHSP-GCN P-net)和多头边池化图卷积网络共性特征提取网络C-net(MHSP-GCN C-net)的两个网络；所述两个网络在结构上相同，但是参数上并不共享；MHSP-GCN C-net中加入GRL反转层后和MHSP-GCNP-net的输出结果一样，如式(10)(11)所示，模型的输出层都使用Softmax归一化激活函数，如式子(12)(13)所示，双网络使用交叉熵损失函数计算：
Figure FDA0003971947210000035
Figure FDA0003971947210000036
LossP＝CrossEntropy(Ytruth,YP) (12)
LossC＝CrossEntropy(Ytruth,YC) (13)
在反向传播过程中MHSP-GCN P-net网络参数和MHSP-GCN C-net网络参数并不共享，LossC反向传播只更新MHSP-GCN C-net网络参数，LossP反向传播只更新MHSP-GCN P-net网络参数；MHSP-GCN C-net中虽然同样使用softmax和交叉熵损失函数，但是由于在反向传播时候MHSP-GCN C-net模块中GRL层进行梯度反转，因此LossC的值会逐渐变大；进行LossC计算和反向传播只是为让神经网络得到共性特征；MHSP-GCN P-net模块中LossP为最终整个模型预测分类损失承数值，YP值为整个特征投影优化的MHSP-GCN网络的最终预测输出。
8.一种智能应答文本分类的装置，包括：
数据处理模块，所述数据处理模块用于基于智能应答全场景语料数据，对经过ASR转换后的数据进行包括数据清洗、转换的ETL工程，选取包括通话ID、通话内容、通话角色、通话场景类别、通话开始时间、通话结束时间的数据，进而得到模型所需的原始语料数据集；
文本构图模块，所述文本构图模块对原始语料数据集进行包括标点符号处理和除停用词的标准化处理，使用one-hot对单词、文档及实体进行编码，形成初始图，
其中，运用词共现构建词与词之间的边及词与实体之间的边，运用词频和词语的文档频率建立词节点和文档节点之间的边；单词表示为顶点，词共现表示为边进行构图；
模型构建模块，所述模型构建模块基于特征投影网络(Fpnet)优化图卷积神经网络，采用多头边节点池化方法改进图卷积网络，形成多头边池化图卷积网络(MHSP-GCN)架构，然后将MHSP-GCN替换Fpnet中的共性特征学习网络(C-net)和特征投影网络(P-net)，通过特征投影网络OPL让原始特征Fp和共享特征Fc进行正交投影计算得到更纯的在向量空间中对类别指向更加明确的分类特征，从而提升智能应答文本分类任务的准确性。
9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的智能应答文本分类程序，所述智能应答文本分类程序被所述处理器执行时实现如权利要求1至7中任一项所述的智能应答文本分类方法的步骤。
10.一种计算机存储介质，其中，所述计算机存储介质上存储有智能应答文本分类程序，所述智能应答文本分类程序被处理器执行时实现如权利要求1至7中任一项所述的智能应答文本分类方法的步骤。
CN202211515977.8A 2022-11-30 2022-11-30 智能应答文本分类的方法、装置、电子设备及存储介质 Pending CN116089607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211515977.8A CN116089607A (zh) 2022-11-30 2022-11-30 智能应答文本分类的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211515977.8A CN116089607A (zh) 2022-11-30 2022-11-30 智能应答文本分类的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116089607A true CN116089607A (zh) 2023-05-09

Family

ID=86209151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211515977.8A Pending CN116089607A (zh) 2022-11-30 2022-11-30 智能应答文本分类的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116089607A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236343A (zh) * 2023-11-15 2023-12-15 江西师范大学 基于语言特征解释器和对比学习的自动可读性评估方法
CN117909910A (zh) * 2024-03-19 2024-04-19 成都工业学院 基于图注意力网络的系统异常日志自动检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236343A (zh) * 2023-11-15 2023-12-15 江西师范大学 基于语言特征解释器和对比学习的自动可读性评估方法
CN117236343B (zh) * 2023-11-15 2024-03-12 江西师范大学 基于语言特征解释器和对比学习的自动可读性评估方法
CN117909910A (zh) * 2024-03-19 2024-04-19 成都工业学院 基于图注意力网络的系统异常日志自动检测方法

Similar Documents

Publication Publication Date Title
CN116089607A (zh) 智能应答文本分类的方法、装置、电子设备及存储介质
CN113255755A (zh) 一种基于异质融合网络的多模态情感分类方法
CN112633010A (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN113220886A (zh) 文本分类方法、文本分类模型训练方法及相关设备
CN114969316B (zh) 一种文本数据处理方法、装置、设备以及介质
CN114419642A (zh) 一种文档图像中键值对信息的抽取方法、装置及系统
CN112364242B (zh) 针对上下文感知型的图卷积推荐系统
CN111767697B (zh) 文本处理方法、装置、计算机设备以及存储介质
CN111914061B (zh) 文本分类主动学习的基于半径的不确定度采样方法和系统
CN110597968A (zh) 一种回复选择方法及装置
CN110347853B (zh) 一种基于循环神经网络的图像哈希码生成方法
CN115964568A (zh) 一种基于边缘缓存的个性化推荐方法
CN114036298B (zh) 一种基于图卷积神经网络与词向量的节点分类方法
CN115269836A (zh) 意图识别方法及装置
CN111581392A (zh) 一种基于语句通顺度的自动作文评分计算方法
CN112084338B (zh) 一种文档自动归类方法、系统、计算机设备及存储介质
CN113627550A (zh) 一种基于多模态融合的图文情感分析方法
CN114461943B (zh) 基于深度学习的多源poi语义匹配方法、装置及其存储介质
CN115952836A (zh) 一种预训练方法及相关方法和设备
CN115495579A (zh) 5g通信助理文本分类的方法、装置、电子设备及存储介质
CN112016004B (zh) 一种基于多粒度信息融合的职务犯罪筛查系统及方法
CN112559750A (zh) 文本数据的分类方法、装置、非易失性存储介质、处理器
CN113988052A (zh) 一种基于图扰动策略的事件检测方法及装置
CN113157892A (zh) 用户意图处理方法、装置、计算机设备及存储介质
CN115687607A (zh) 文本标签识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination