CN113076424A - 一种面向不平衡文本分类数据的数据增强方法及系统 - Google Patents
一种面向不平衡文本分类数据的数据增强方法及系统 Download PDFInfo
- Publication number
- CN113076424A CN113076424A CN202110441775.2A CN202110441775A CN113076424A CN 113076424 A CN113076424 A CN 113076424A CN 202110441775 A CN202110441775 A CN 202110441775A CN 113076424 A CN113076424 A CN 113076424A
- Authority
- CN
- China
- Prior art keywords
- data
- text
- sample
- data set
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000004140 cleaning Methods 0.000 claims abstract description 20
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000005406 washing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供面向不平衡文本分类数据的数据增强方法及系统，包括数据清洗；文本预处理；先验信息统计；向量化；融入上下文信息；结构化自注意力机制；隐空间数据增强；训练模型；本发明采用融合类别先验信息的Mixup数据增强技术，能在隐状态空间合成样本，有效扩增用于文本分类的不平衡数据集中少样本类别的数据量，明显改善模型的泛化性能，显著提高模型在该类数据集上的正确率、精确率、召回率和F1值等评价指标；加入改进后的Mixup数据增强技术的模型进行训练，模型分类器能增强对数据集中少样本类别的分类准确率；适用于缓解用于文本分类的数据集中存在的数据不平衡问题，也适用于提高该类数据集中少样本类别的分类准确率的情形。
Description
技术领域
本发明涉及一种面向不平衡文本分类数据的数据增强方法及系统，属于自然语言处理技术领域。
背景技术
随着互联网的快速发展以及各类智能终端的普及，网络上每天都会产生大量的文本数据，已经出现了“信息爆炸”的现象。此外，政府机构、各种社会组织团体的信息化建设日趋完善，一定层度上也丰富了网络世界的信息种类。网络中存在着来自社交媒体网站、电商平台、政府门户网站等的新闻、舆情、购物评论、法律文书等等形式多样的文本。在大数据时代如何利用网络世界纷繁复杂的信息，“沙里淘金”挖掘出潜在价值的信息，对于更好的服务于社会生产生活至关重要。
文本分类是自然语言处理领域的一个重要研究课题，相关研究最早可以追溯到利用专家规则进行分类。它的应用非常广泛，例如：垃圾邮件分类、新闻分类、词性标注、评论情感分类、自动问答等。如上所述，目前网络世界信息多样，研究人员在采用人工智能技术并利用从网络世界获取到的数据构建的数据集进行模型训练时，往往面临着很多问题。例如，目前很多领域构建的和文本有关的数据集就存在着严重的数据不平衡现象。在自然界中，长尾分布是比正态分布更为广泛存在的一种随机变量的分布。将数据集中的样本按照类别数量降序排列，可以从绘制出的样本类别分布图中直观的看到这种“长尾分布”现象。这种具有长尾分布的数据集存在着严重的数据不平衡问题。在传统的分类和识别任务中，训练数据的分布往往都会进行人工均衡，即不同类别的样本数量无显著差异。但“长尾分布”的趋势在从自然科学到社会科学的各个领域都是存在的，直接用长尾数据训练模型，往往会造成分类器对头部数据过拟合，在预测时往往忽略尾部类别的问题。
目前有很多研究人员关注到了数据集存在的数据不平衡问题。例如，在图像处理领域，Zhang等人提出了Mixup数据增强的方法从训练集中随机抽取图像样本并通过线性混合操作来合成新的图像样本，有效地改进了小样本图像分类的性能。而在文本分类领域，Hu等人就罪名预测任务中的数据集存在的数据不平衡问题，构建了联合罪名预测和法律属性预测的多任分类模型来提高低频罪名的预测性能。
在文本分类领域，本方法及系统关注到相关数据集中也存在着严重的数据不平衡问题。为了提高现有各种模型对少样本类别数据预测性能，本方法及系统采用了融合类别先验信息的Mixup数据增强方法来缓解“长尾分布”带来的不利影响。
发明内容
本发明提供了一种面向不平衡文本分类数据的数据增强方法及系统，以用于如何解决文本分类任务中现有模型对数据集中少样本类别的预测性能不佳以及数据不平衡问题，以便于扩增具有长尾分布的数据集中少样本类别的数据，改善模型的泛化性能，提高模型的各类评价指标的预测性能。
本发明的技术方案是：第一方面，本发明提供一种面向不平衡文本分类数据的数据增强方法，所述方法依次对待处理的存在数据不平衡问题的数据集经过如下处理：数据清洗、文本预处理、先验信息统计、向量化、融入上下文信息、结构化自注意力机制和隐空间数据增强。
作为本发明的进一步方案，所述方法包括以下步骤：
Step1、数据清洗：首先将待处理的存在数据不平衡问题的数据集中的数据以一种固定的格式存储；其次，进行去重、去噪处理，清洗后仍以一种固定的格式存储；
Step2、文本预处理：对数据清洗后样本的文本表示进行分词和词性标注；然后依据具体的文本分类任务具有的特性，对文本中的标点符号、数字、时间、地址、专有名词有选择的进行预处理；
Step3、先验信息统计：筛选出数据集中包含的所有类别的标签，对各类标签进行数字化编号；统计数据集中各类别样本的频率，计算每类样本的占比作为类别先验信息；
Step4、向量化：在批次训练过程中，将一个批次样本的文本表示输入嵌入层获取词嵌入；
Step5、融入上下文信息：在将样本的文本表示向量化后采用编码器将其中每个词都融入上下文信息；
Step6、结构化自注意力机制：得到了具有上下文语义的词序列的隐状态表示后，再采用结构化自注意力机制来计算文本的多个侧面的向量表示；
Step7、隐空间数据增强：经过以上的Step1-Step6处理后，在批次训练过程中随机抽取批次内的两对样本，利用它们所属类别样本的先验信息先后计算类别混合因子和标签混合因子，在此之后，再计算隐空间中的合成样本。
作为本发明的进一步方案，所述数据清洗包括将数据集中数据包括样本及其标签存储为格式化数据；数据清洗中的去重具体是指去除数据集中存在的重复冗余数据；数据清洗中的去噪具体是指去除数据集中的噪声数据，噪声数据包括空数据、残缺数据、无用数据、低信息量数据。
作为本发明的进一步方案，所述文本预处理包括对每个样本的文本表示进行分词和词性标注；文本中的数字包括金额、重量、年龄、含量、手机号、车牌号、银行账号；专有名词包括品牌名、人名地名组织机构名。
作为本发明的进一步方案，所述先验信息统计包括对数据集中每类样本的占比计算，将每类样本的占比作为先验信息在批次训练过程中计算类别混合因子和标签混合因子，进而指导隐空间中少样本类别的数据增强过程。
作为本发明的进一步方案，所述向量化包括一个批次内各样本经过嵌入层获取各个词语的向量化表示过程，这里的嵌入层使用预训练词向量，包括word2vec、glove。
作为本发明的进一步方案，所述结构化自注意力机制包括从多个侧面捕捉分类细节的向量表示。
作为本发明的进一步方案，所述隐空间数据增强中，按公式(1)来计算隐空间中的合成样本；
其中，f(*)为将文本编码为向量的神经网络，λ∈[0,1]为样本的混合因子，由Beta(α,α)分布采样得到，α为超参数，λy∈[0,1]为标签的混合因子，(xi,yi)和(xj,yj)是从一个批次中随机抽取的样本对；
公式(1)中标签的混合因子λy需要在计算类别的混合因子λp后再结合样本的混合因子λ进行计算，计算方法如公式(2)所示：
而类别的混合因子λp的计算参照公式(3)，其中2对样本的先验信息p(xi)、p(xj)的计算在先验信息统计中已经完成；
第二方面，本发明还提供一种面向不平衡文本分类数据的数据增强系统，该系统包括用于执行上述第一方面的方法的模块。
本发明的有益效果是：
与已有的从多任务联合学习和融入外部知识的方法不同，本发明从数据增强的角度来改进模型对数据不平衡的泛化性能。本发明没有引入辅助任务，也无需额外的人工标注，且编码阶段并不依赖具体的编码器，但能简单有效地实现数据增强，提高模型对少样本类别的分类准确率。
附图说明
图1是本发明实施例一中面向不平衡文本分类数据的数据增强方法及系统的流程示意图；
图2是本发明实施例一中构建的面向不平衡文本分类数据的数据增强系统的模型架构图。
具体实施方式
实施例1：如图1-2所示，第一方面，本发明提供的一种面向不平衡文本分类数据的数据增强方法，所述方法包括以下步骤：
Step1、数据清洗：首先将待处理的存在数据不平衡问题的数据集中的数据以一种固定的格式存储；其次，进行去重、去噪处理，清洗后仍以一种固定的格式存储；
Step2、文本预处理：对数据清洗后样本的文本表示进行分词和词性标注；然后依据具体的文本分类任务具有的特性，对文本中的标点符号、数字、时间、地址、专有名词等有选择的进行预处理；
Step3、先验信息统计：筛选出数据集中包含的所有类别的标签，对各类标签进行数字化编号；统计数据集中各类别样本的频率，计算每类样本的占比作为类别先验信息；
Step4、向量化：在小批次训练过程中，将一个批次样本的文本表示输入嵌入层(Embedding Layer)获取词嵌入(Word Embedding)；
Step5、融入上下文信息：在将样本的文本表示向量化后采用编码器将其中每个词都融入上下文信息；
Step6、结构化自注意力机制：得到了具有上下文语义的词序列的隐状态表示后，再采用结构化自注意力机制来计算文本的多个侧面的向量表示；
Step7、隐空间数据增强：经过以上的Step1-Step6处理后，在批次训练过程中随机抽取批次内的两对样本，利用它们所属类别样本的先验信息先后计算类别混合因子和标签混合因子，在此之后，再计算隐空间中的合成样本。
作为本发明的进一步方案，本发明还可以包括如下步骤：
Step8、训练模型：构建面向不平衡文本分类数据的数据增强模型，并将增强后的合成样本加入模型进行训练；
基于以上Step1～Step7的步骤即可实现在隐空间中利用先验信息引导的Mixup技术对少样本类别数据进行数据增强，进而缓解在文本分类时存在的数据不平衡问题。该方法不依赖特定的编码器，将步骤Step7处理后的数据输入线性层和Softmax激活函数即可实现文本分类。
作为本发明的进一步方案，所述数据清洗包括将数据集中数据包括样本及其标签存储为格式化数据(注：这里的数据集不限于公共数据集，存储格式也不限于.json、.txt)；去重具体是指去除数据集中存在的重复冗余数据；去噪具体是指去除数据集中的噪声数据，噪声数据包括但不限于空数据、残缺数据、无用数据、低信息量数据。
作为本发明的进一步方案，所述文本预处理包括对每个样本的文本表示进行分词和词性标注(注：这里的分词和词性标注工具包括但不限于Jieba、THULAC、LTP)；文本中的数字包括金额、重量、年龄、含量、手机号、车牌号、银行账号等；专有名词包括品牌名、人名地名组织机构名等。
作为本发明的进一步方案，所述先验信息统计包括对数据集中每类样本的占比计算，这里假设数据集的数据量足够大，每类样本的占比已经可以近似代替它们出现的概率。将每类样本的占比作为先验信息在小批次训练过程中计算类别混合因子和标签混合因子，进而指导隐空间中少样本类别的数据增强过程。
作为本发明的进一步方案，所述向量化包括一个批次内各样本经过嵌入层获取各个词语的向量化表示过程，这里的嵌入层使用预训练词向量，包括但不限于word2vec、glove。
作为本发明的进一步方案，所述结构化自注意力机制包括从多个侧面捕捉分类细节的向量表示。
作为本发明的进一步方案，融入上下文信息包括的编码过程用到的编码器包括但不限于LSTM、GRU；
作为本发明的进一步方案，结构化自注意力机制包括从多个侧面捕捉分类细节的向量表示。样本的文本表示中各个句子中不同词语的重要性不同，它们所携带的信息对分类器的贡献大小不同，通过注意力机制从不同侧面捕捉到的细节向量表示对提高模型的分类性能有重要作用；
作为本发明的进一步方案，所述隐空间数据增强中，按公式(1)来计算隐空间中的合成样本；
其中，f(*)为将文本编码为向量的神经网络，λ∈[0,1]为样本的混合因子，由Beta(α,α)分布采样得到，α为超参数，λy∈[0,1]为标签的混合因子，(xi,yi)和(xj,yj)是从一个批次中随机抽取的样本对；
为了能在训练过程中通过Mixup扩增少样本类别的数据，本方法通过融合各类别样本的先验信息来指导Mixup数据增强为少样本类别赋予更大的合成因子，使得合成样本的标签更偏向于少样本类别。为了得到公式中(1)中标签的混合因子λy需要在计算类别的混合因子λp后再结合样本的混合因子λ进行计算，计算方法如公式(2)所示：
而类别的混合因子λp的计算参照公式(3)，其中2对样本的先验信息p(xi)、p(xj)的计算在先验信息统计的计算中已经完成；
作为本发明的进一步方案，在所述Step8中，面向不平衡文本分类数据的数据增强系统的具体结构可以包括如下：
第一层为嵌入层。将文本的词序列输入到嵌入层得到词序列的向量表示；
第二层为编码层。编码层采用双向长短时记忆网络(Bi-LSTM)实现，以词序列的向量表示为输入计算词语在上下文中的向量表示；
第三层为自注意力层。将融入上下文语义信息的隐状态表示作为注意力层的输入，利用两层感知机计算得到该层的注意力权重矩阵A，计算过程如公式(4)所示，接下来将词序列的隐状态表示H和注意力权重矩阵A相乘得到文本的矩阵表示Z，如公式(5)所示，然后将矩阵Z中的r个向量拼接得到文本的向量表示z；
A＝softmax(Ws2tanh(Ws1HΤ)) (4)
Z＝AH (5)
第四层为隐空间数据增强层。在模型训练过程中，从一个批次内随机抽取2对样本，按照公式(1)来得到隐状态空间中的合成样本。公式中的f(*)为前三层的将文本编码为向量的神经网络，λ为样本的混合因子，由Beta(α,α)分布采样得到，而标签的混合因子的计算参见公式(2)和公式(3)。
第五层为分类层。该层以第三层和第四层产生的输出作为输入，经由线性层和softmax激活函数预测各罪名的概率，如公式(6)所示。
作为本发明的进一步方案，分类层的输出单元数为数据集中样本标签数。
作为本发明的进一步方案，在所述步骤Step8中，训练模型还可以具体包括具体设置：
Step8.1、预处理
样本的词序列最大词序列长度设为500；
词频低于5的词被视为未知词；
Step8.2、嵌入层
词嵌入的维度设为100；
Step8.3、编码层
嵌入层和Bi-LSTM层的dropout分别设为0.3和0.1；
Step8.4、注意力层
注意力层机制的数目设为24；
注意力层的维度设为64；
Step8.5、隐空间数据增强层
样本的混合因子λ由参数α＝150的Beta(α,α)分布采样得到；
Step8.6、小批次梯度训练
模型采用Adam梯度下降算法，初始学习率设为0.001，β1＝0.9，β2＝0.999，ε＝e-8最大训练轮次设为50，批次大小设为256；
第二方面，下面为本发明系统实施例，本发明实施例还提供一种面向不平衡文本分类数据的数据增强系统，该系统包括用于执行上述第一方面的方法的模块。
数据清洗模块，用于将待处理的存在数据不平衡问题的数据集中的数据以一种固定的格式存储；其次，进行去重、去噪处理，清洗后仍以一种固定的格式存储；
文本预处理模块，用于对数据清洗后样本的文本表示进行分词和词性标注；然后依据具体的文本分类任务具有的特性，对文本中的标点符号、数字、时间、地址、专有名词有选择的进行预处理；
先验信息统计模块，用于筛选出数据集中包含的所有类别的标签，对各类标签进行数字化编号；统计数据集中各类别样本的频率，计算每类样本的占比作为类别先验信息；
向量化模块，用于在批次训练过程中，将一个批次样本的文本表示输入嵌入层获取词嵌入；
融入上下文信息模块，用于在将样本的文本表示向量化后采用编码器将其中每个词都融入上下文信息；
结构化自注意力机制模块，用于在得到了具有上下文语义的词序列的隐状态表示后，采用结构化自注意力机制来计算文本的多个侧面的向量表示；
还用于利用结合融入了上下文信息的隐状态得到每个样本的整个文本的向量表示；
隐空间数据增强模块，用于在小批次训练过程中随机抽取批次内的两对样本，利用它们所属类别样本的先验信息先后计算类别混合因子和标签混合因子，在此之后，再按公式(1)来计算隐空间中的合成样本；
在一种可行的实施方式中，本实施例的系统还包括：
训练模型模块，用于构建面向不平衡文本分类数据的数据增强模型，并将增强后的合成样本加入模型进行训练；
在一种可行的实施方式中，本实施例的系统还包括：中央处理模块，用于和其他模块进行通讯，协调完成相关动作；
所述数据清洗模块、文本预处理模块、先验信息计算模块、向量化模块、融合上下文信息模块、结构化自注意力机制模块、隐空间数据增强模块和训练模型模块均与中央处理模块连接。
在一种可行的实施方式中，所述数据清洗模块，具体用于：
将数据集中数据包括样本及其标签存储为格式化数据；数据清洗中的去重具体是指去除数据集中存在的重复冗余数据；数据清洗中的去噪具体是指去除数据集中的噪声数据，噪声数据包括空数据、残缺数据、无用数据、低信息量数据。
在一种可行的实施方式中，所述文本预处理模块，具体用于：
对每个样本的文本表示进行分词和词性标注；文本中的数字包括金额、重量、年龄、含量、手机号、车牌号、银行账号；专有名词包括品牌名、人名地名组织机构名。
在一种可行的实施方式中，所述先验信息统计模块，具体用于：
对数据集中每类样本的占比计算，将每类样本的占比作为先验信息在批次训练过程中计算类别混合因子和标签混合因子，进而指导隐空间中少样本类别的数据增强过程。
在一种可行的实施方式中，所述向量化模块，具体用于：
将一个批次内各样本经过嵌入层获取各个词语的向量化表示，这里的嵌入层使用预训练词向量，包括word2vec、glove。
在一种可行的实施方式中，所述结构化自注意力机制模块，具体用于：
从多个侧面捕捉分类细节的向量表示。
在一种可行的实施方式中，所述隐空间数据增强模块，具体用于：
按公式(1)来计算隐空间中的合成样本；
其中，f(*)为将文本编码为向量的神经网络，λ∈[0,1]为样本的混合因子，由Beta(α,α)分布采样得到，α为超参数，λy∈[0,1]为标签的混合因子，(xi,yi)和(xj,yj)是从一个批次中随机抽取的样本对；
公式(1)中标签的混合因子λy需要在计算类别的混合因子λp后再结合样本的混合因子λ进行计算，计算方法如公式(2)所示：
而类别的混合因子λp的计算参照公式(3)，其中2对样本的先验信息p(xi)、p(xj)的计算在先验信息统计中已经完成；
综上所述，上述实施例的一种面向不平衡文本分类数据的数据增强方法及系统，采用融合类别先验信息的Mixup数据增强技术，它能在隐状态空间中合成样本，有效地扩增用于文本分类的不平衡数据集中少样本类别的数据量，明显地改善模型的泛化性能，也显著地提高模型在该类数据集上的正确率、精确率、召回率和F1值等评价指标；采用加入改进后的Mixup数据增强技术的模型进行训练，模型分类器能增强对数据集中少样本类别的分类准确率；适用于缓解用于文本分类的数据集中存在的数据不平衡问题，也适用于提高该类数据集中少样本类别的分类准确率的情形。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (9)
1.一种面向不平衡文本分类数据的数据增强方法，其特征在于：所述方法依次对待处理的存在数据不平衡问题的数据集经过如下处理：数据清洗、文本预处理、先验信息统计、向量化、融入上下文信息、结构化自注意力机制和隐空间数据增强。
2.根据权利要求1所述的一种面向不平衡文本分类数据的数据增强方法，其特征在于：所述方法包括以下步骤：
Step1、数据清洗：首先将待处理的存在数据不平衡问题的数据集中的数据以一种固定的格式存储；其次，进行去重、去噪处理，清洗后仍以一种固定的格式存储；
Step2、文本预处理：对数据清洗后样本的文本表示进行分词和词性标注；然后依据具体的文本分类任务具有的特性，对文本中的标点符号、数字、时间、地址、专有名词有选择的进行预处理；
Step3、先验信息统计：筛选出数据集中包含的所有类别的标签，对各类标签进行数字化编号；统计数据集中各类别样本的频率，计算每类样本的占比作为类别先验信息；
Step4、向量化：在批次训练过程中，将一个批次样本的文本表示输入嵌入层获取词嵌入；
Step5、融入上下文信息：在将样本的文本表示向量化后采用编码器将其中每个词都融入上下文信息；
Step6、结构化自注意力机制：得到了具有上下文语义的词序列的隐状态表示后，再采用结构化自注意力机制来计算文本的多个侧面的向量表示；
Step7、隐空间数据增强：经过以上的Step1-Step6处理后，在批次训练过程中随机抽取批次内的两对样本，利用它们所属类别样本的先验信息先后计算类别混合因子和标签混合因子，在此之后，再计算隐空间中的合成样本。
3.根据权利要求1所述的一种面向不平衡文本分类数据的数据增强方法，其特征在于：所述数据清洗包括将数据集中数据包括样本及其标签存储为格式化数据；数据清洗中的去重具体是指去除数据集中存在的重复冗余数据；数据清洗中的去噪具体是指去除数据集中的噪声数据，噪声数据包括空数据、残缺数据、无用数据、低信息量数据。
4.根据权利要求1所述的一种面向不平衡文本分类数据的数据增强方法，其特征在于：所述文本预处理包括对每个样本的文本表示进行分词和词性标注；文本中的数字包括金额、重量、年龄、含量、手机号、车牌号、银行账号；专有名词包括品牌名、人名地名组织机构名。
5.根据权利要求1所述的一种面向不平衡文本分类数据的数据增强方法，其特征在于：所述先验信息统计包括对数据集中每类样本的占比计算，将每类样本的占比作为先验信息在批次训练过程中计算类别混合因子和标签混合因子，进而指导隐空间中少样本类别的数据增强过程。
6.根据权利要求1所述的一种面向不平衡文本分类数据的数据增强方法，其特征在于：所述向量化包括一个批次内各样本经过嵌入层获取各个词语的向量化表示过程，这里的嵌入层使用预训练词向量，包括word2vec、glove。
7.根据权利要求1所述的一种面向不平衡文本分类数据的数据增强方法，其特征在于：所述结构化自注意力机制包括从多个侧面捕捉分类细节的向量表示。
8.根据权利要求1所述的一种面向不平衡文本分类数据的数据增强方法，其特征在于：所述隐空间数据增强中，按公式(1)来计算隐空间中的合成样本；
其中，f(*)为将文本编码为向量的神经网络，λ∈[0,1]为样本的混合因子，由Beta(α,α)分布采样得到，α为超参数，λy∈[0,1]为标签的混合因子，(xi,yi)和(xj,yj)是从一个批次中随机抽取的样本对；
公式(1)中标签的混合因子λy需要在计算类别的混合因子λp后再结合样本的混合因子λ进行计算，计算方法如公式(2)所示：
而类别的混合因子λp的计算参照公式(3)，其中2对样本的先验信息p(xi)、p(xj)的计算在先验信息统计中已经完成；
9.一种面向不平衡文本分类数据的数据增强系统，其特征在于，包括用于执行如权利要求1-8任一项权利要求所述的方法的模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110441775.2A CN113076424A (zh) | 2021-04-23 | 2021-04-23 | 一种面向不平衡文本分类数据的数据增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110441775.2A CN113076424A (zh) | 2021-04-23 | 2021-04-23 | 一种面向不平衡文本分类数据的数据增强方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113076424A true CN113076424A (zh) | 2021-07-06 |
Family
ID=76618537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110441775.2A Pending CN113076424A (zh) | 2021-04-23 | 2021-04-23 | 一种面向不平衡文本分类数据的数据增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113076424A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115455177A (zh) * | 2022-08-02 | 2022-12-09 | 淮阴工学院 | 基于混合样本空间的不平衡化工文本数据增强方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909164A (zh) * | 2019-11-22 | 2020-03-24 | 科大国创软件股份有限公司 | 一种基于卷积神经网络的文本增强语义分类方法及系统 |
-
2021
- 2021-04-23 CN CN202110441775.2A patent/CN113076424A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909164A (zh) * | 2019-11-22 | 2020-03-24 | 科大国创软件股份有限公司 | 一种基于卷积神经网络的文本增强语义分类方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 线岩团 等: "融合类别先验Mixup数据增强的罪名预测方法", 《自动化学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115455177A (zh) * | 2022-08-02 | 2022-12-09 | 淮阴工学院 | 基于混合样本空间的不平衡化工文本数据增强方法及装置 |
| CN115455177B (zh) * | 2022-08-02 | 2023-07-21 | 淮阴工学院 | 基于混合样本空间的不平衡化工文本数据增强方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113255755B (zh) | 一种基于异质融合网络的多模态情感分类方法 | |
| CN107832400A (zh) | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 | |
| CN109284506A (zh) | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 | |
| CN112732916B (zh) | 一种基于bert的多特征融合模糊文本分类系统 | |
| KR20190063978A (ko) | 비정형 데이터의 카테고리 자동분류 방법 | |
| CN115952291B (zh) | 基于多头自注意力及lstm的金融舆情分类方法及系统 | |
| CN112256866A (zh) | 一种基于深度学习的文本细粒度情感分析方法 | |
| CN112561718A (zh) | 基于BiLSTM权重共享的案件微博评价对象情感倾向性分析方法 | |
| CN114969304A (zh) | 基于要素图注意力的案件舆情多文档生成式摘要方法 | |
| CN112749274A (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
| CN115952292B (zh) | 多标签分类方法、装置及计算机可读介质 | |
| CN113312480A (zh) | 基于图卷积网络的科技论文层级多标签分类方法及设备 | |
| CN113987187A (zh) | 基于多标签嵌入的舆情文本分类方法、系统、终端及介质 | |
| CN115408525A (zh) | 基于多层级标签的信访文本分类方法、装置、设备及介质 | |
| CN114372475A (zh) | 一种基于RoBERTa模型的网络舆情情感分析方法及系统 | |
| CN116029305A (zh) | 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质 | |
| CN116578705A (zh) | 基于预训练语言模型与集成神经网络的微博情感分类方法 | |
| CN108595466B (zh) | 一种互联网信息过滤以及互联网用户信息和网帖结构分析方法 | |
| CN113806528A (zh) | 一种基于bert模型的话题检测方法、设备及存储介质 | |
| CN113076424A (zh) | 一种面向不平衡文本分类数据的数据增强方法及系统 | |
| CN111581379A (zh) | 一种基于作文扣题度的自动作文评分计算方法 | |
| CN113535945B (zh) | 文本类别的识别方法、装置、设备及计算机可读存储介质 | |
| CN114020901A (zh) | 一种结合主题挖掘和情感分析的金融舆情分析方法 | |
| CN114626367A (zh) | 基于新闻文章内容的情感分析方法、系统、设备及介质 | |
| CN113761123A (zh) | 关键词获取的方法、装置、计算设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210706 |
|
| RJ01 | Rejection of invention patent application after publication |