CN113011163A - 基于深度学习模型的复合文本多分类方法及系统 - Google Patents

基于深度学习模型的复合文本多分类方法及系统 Download PDF

Info

Publication number
CN113011163A
CN113011163A CN202110222535.3A CN202110222535A CN113011163A CN 113011163 A CN113011163 A CN 113011163A CN 202110222535 A CN202110222535 A CN 202110222535A CN 113011163 A CN113011163 A CN 113011163A
Authority
CN
China
Prior art keywords
text
word
layer
model
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110222535.3A
Other languages
English (en)
Inventor
卜佑军
孙嘉
陈博
张桥
王方玉
张鹏
周锟
伊鹏
马海龙
胡宇翔
李锦玲
张稣荣
路祥雨
张进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Network Communication and Security Zijinshan Laboratory
Original Assignee
Information Engineering University of PLA Strategic Support Force
Network Communication and Security Zijinshan Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force , Network Communication and Security Zijinshan Laboratory filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202110222535.3A priority Critical patent/CN113011163A/zh
Publication of CN113011163A publication Critical patent/CN113011163A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于自然语言处理技术领域，特别涉及一种基于深度学习模型的复合文本多分类方法及系统，包含：将复合文本转换至词语粒度级的文本表示，对转换后的词语粒度级文本表示进行预处理，并通过词嵌入方法表示为词向量；将词向量作为深度学习模型输入，通过模型CNN卷积层提取文本特征，选取卷积后向量，并保留全局部分序列关联信息，通过模型self‑attention层为文本特征向量附加权重并进行等长向量序列拼接，利用模型LSTM循环层提取文本特征向量；通过模型池化层对文本特征向量进行平均化操作，并利用softmax分类器获取输入的文本类别概率，依据概率大小来获取文本分类结果。本发明可解决复合文本精确多分类问题，满足自然语言文本多分类预测识别的实际应用。

Description

基于深度学习模型的复合文本多分类方法及系统
技术领域
本发明属于自然语言处理技术领域，特别涉及一种基于深度学习模型的复合文本多分类方法及系统，通过复合深度学习模型CNN、LSTM、self-attention对文本进行多分类预测。
背景技术
文本分类是自然语言处理中关键且基础的任务之一，其常见的方法有传统的机器学习分类模型如朴素贝叶斯、支持向量机、逻辑回归等，以及演变至目前一系列基于深度学习的分类模型，主要包括CNN、LSTM、attention等。
Text-CNN实现简单，支持并行，其主要的特点是局部感知和权值共享。局部感知使模型每次只需要感知较小的局部地区，降低参数量的同时提高拟合能力。权值共享使一些基本特征可以重复利用，提高神经网络训练效果。Attention机制原理是从从大量信息中筛选并聚焦在更为有效的信息上，聚焦的过程体现在权重系数的计算上。LSTM循环神经网络是一种以序列数据为输入来进行建模的深度学习模型，相比于其它神经网络模型，LSTM能更有效的处理序列信息，是NLP中常用的模型。在文本分类的实际应用中，CNN模型简单、训练速度快，效果可观，但可解释性不强，在调优模型时很难根据训练结果针对性调整具体特征，不易对每个特征重要度进行评估；Attention机制中能无视词之间的举例直接计算依赖关系，能够学习句子内部结构，实现简单且可并行计算，但进行权重计算时需要计算每个特征向量之间相关性，当特征向量较多时计算量较高；LSTM能够有效处理序列信息，但不够直观缺乏可解释性。
发明内容
为此，本发明提供一种基于深度学习模型的复合文本多分类方法及系统，采用CNN、LSTM、attention三种深度学习模型来组成用于解决文本精确多分类的复合学习模型，以满足自然语言文本多分类预测识别的实际应用。
按照本发明所提供的设计方案，提供一种基于深度学习模型的复合文本多分类方法，包含：
将复合文本转换至词语粒度级的文本表示，对转换后的词语粒度级文本表示进行预处理，并通过词嵌入方法表示为词向量；
将词向量作为已训练的深度学习模型的输入，通过模型中CNN卷积层提取文本特征，选取卷积后的向量，并保留全局部分序列关联信息，通过模型中self-attention层为文本特征向量附加权重并进行等长向量序列拼接，利用模型中LSTM循环层提取文本特征向量；通过模型池化层对文本特征向量进行平均化操作，并利用softmax分类器获取输入的文本类别概率，依据概率大小来获取文本分类结果。
作为本发明基于深度学习模型的复合文本多分类方法，进一步地，针对复合文本，以词典为基本切分方法，根据文本语言特征、语序特征及结构特征，使用分词系统进行不同级别分词。
作为本发明基于深度学习模型的复合文本多分类方法，进一步地，针对复合文本进行特征分析，以基于字典匹配的分词方法为基础，并结合词频统计和语义理解分词将复合文本划分至词语粒度级。
作为本发明基于深度学习模型的复合文本多分类方法，进一步地，预处理中，针对词语粒度级的文本表示，通过加载停止词词典去除停止词，利用TF-IDF词频统计去除所有类别内高频词，并利用Word2Vec词嵌入方法表示为多维词向量，其中，高频词为词频大于设定值的词语。
作为本发明基于深度学习模型的复合文本多分类方法，进一步地，CNN卷积层中，使用不同卷积窗口对输入的词向量进行卷积操作，以不同视野宽度提取文本特征。
作为本发明基于深度学习模型的复合文本多分类方法，进一步地，利用模型Top-K池化层从卷积操作提取的文本特征向量中选取前K个代表性特征向量，从不定长的卷积层输出截取订场序列，并保留部分序列关联信息。
作为本发明基于深度学习模型的复合文本多分类方法，进一步地，self-attention层中，针对输入的特征向量序列，通过计算选定特征向量与其余特征向量相关度来确定该选定特征向量相对整体文本表示的贡献度，并对其附加权重，通过拼接操作将词向量拼接为表示文本的特征向量。
作为本发明基于深度学习模型的复合文本多分类方法，进一步地，深度学习模型中，利用单层LSTM循环层对输入的特征向量矩阵进行单层循环学习并输出文本特征向量。
作为本发明基于深度学习模型的复合文本多分类方法，进一步地，将经过平均化处理的文本特征向量输入至softmax分类器来获取类别分布概率，并选取概率最大的类别作为最终分类预测结果。
进一步地，基于上述的方法，本发明还提供一种基于深度学习模型的复合文本多分类系统，包含：数据预处理模块和分类预测模块，其中，
数据预处理模块，用于将复合文本转换至词语粒度级的文本表示，对转换后的词语粒度级文本表示进行预处理，并通过词嵌入方法表示为词向量；
分类预测模块，用于将词向量作为已训练的深度学习模型的输入，通过模型中CNN卷积层提取文本特征，选取卷积后的向量，并保留全局部分序列关联信息，通过模型中self-attention层为文本特征向量附加权重并进行等长向量序列拼接，利用模型中LSTM循环层提取文本特征向量；通过模型池化层对文本特征向量进行平均化操作，并利用softmax分类器获取输入的文本类别概率，依据概率大小来获取文本分类结果。
本发明的有益效果：
本发明复合CNN、Self-attention、LSTM三种模型，可以发挥彼此优势，互相弥补不足：可以通过self-attention机制解决CNN、LSTM可解释性差的问题，有效评估每个特征向量对分类结果的贡献；通过CNN卷积的机制可以使Self-attention关注到局部序列特征之间的依赖关系，不需要计算每个特征向量之间的相关性；通过LSTM处理序列信息的优势，解决CNN卷积、池化操作丢失文本序列顺序、位置关系的问题。根据文本特征适用分词系统，构建输入层，使用Word2Vec将分词结果数值化，通过CNN卷积层的多种类型卷积窗口提取特征向量序列，通过self-attention层对特征向量进行权重计算，通过LSTM循环层对特征向量进行非线性变换与映射，进而通过softmax分类器映射到概率空间判断文本类别，提升文本多分类效率和精确度，具有较好应用前景。
附图说明：
图1为实施例中文本预处理流程示意；
图2为实施例中卷积操作流程示意；
图3为实施例中附加权重流程示意；
图4为实施例中分类输出流程示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
针对如何进行文本精确多分类的情形，本发明实施例，提供一种基于深度学习模型的复合文本多分类方法，包含：将复合文本转换至词语粒度级的文本表示，对转换后的词语粒度级文本表示进行预处理，并通过词嵌入方法表示为词向量；将词向量作为已训练的深度学习模型的输入，通过模型中CNN卷积层提取文本特征，选取卷积后的向量，并保留全局部分序列关联信息，通过模型中self-attention层为文本特征向量附加权重并进行等长向量序列拼接，利用模型中LSTM循环层提取文本特征向量；通过模型池化层对文本特征向量进行平均化操作，并利用softmax分类器获取输入的文本类别概率，依据概率大小来获取文本分类结果。
CNN中主要有两种类型的网络层，分别是卷积层和池化/采样层(Pooling)。卷积层的作用是提取图像的各种特征，模型中一般使用多个不同尺寸的卷积核且一般卷积核只进行一维的滑动，即卷积核的宽度与词向量的维度等宽，卷积核的高度是利用的局部词序的长度。卷积窗口值是一个超参数，需要在任务中调试，一般选取2-8之间的值。Text-CNN模型的池化层(Pooling)，也称为欠采样或下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。主要有最大池化(Max Pooling)和平均池化(AveragePooling)。Attention机制将原输入信息可以看做一系列的<Key,Value>数据对构成，然后在给出一个Query查询操作时，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，所以可以划分为两个过程：第一个过程是根据Query和Key计算权重系数，第二个过程根据权重系数对Value进行加权求和，而第一个过程又可以细分为两个阶段，第一个阶段根据Query和Key计算两者的相似性或者相关性，求相似性方法有点乘，权重，余弦相似性等，第二个阶段对第一阶段的原始分值进行归一化处理。Self-Attention是Attention的特殊形式，自注意模型中query、key和value是相等的，需要在序列内部构建Attention，寻找序列内部的联系。例如输入一个句子，句子里的每个词都要和该句子中的所有词进行Attention计算，目的是学习句子内部的词依赖关系，捕获句子的内部结构。LSTM循环层中设置多个神经单元，一个神经循环单元中存储先前输入的状态，并与当前输入相结合，从而保持当前输入与先前输入的关系，即序列中的相互依赖关系。其描述当前状态的循环递归公式可以定义如下：
ht＝f(ht-1,xt)
其中，ht是t时刻的状态，ht-1是前一时刻的状态，xt是当前的输入，前一刻的状态是前一刻的输入经过神经元转换过后的状态。本案通过复合CNN、Self-attention、LSTM三种模型，可以发挥彼此优势，互相弥补不足：可以通过self-attention机制解决CNN、LSTM可解释性差的问题，有效评估每个特征向量对分类结果的贡献；通过CNN卷积的机制可以使Self-attention关注到局部序列特征之间的依赖关系，不需要计算每个特征向量之间的相关性；通过LSTM处理序列信息的优势，解决CNN卷积、池化操作丢失文本序列顺序、位置关系的问题；提升深度学习模型在文本分类识别中的应用。
作为本发明实施例中基于深度学习模型的复合文本多分类方法，进一步地，针对复合文本，以词典为基本切分方法，根据文本语言特征、语序特征及结构特征，使用分词系统进行不同级别分词。
参见图1所示，针对具体输入文本，以词典为基本切分方法，根据文本语言特征、语序特征、结构特征等信息，使用JieBa、HanLP等分词系统进行不同级别分词。HanLP分词系统适用于需要抽取摘要、提取关键词的长文本，以及需要拼音、繁简转换的文本和需要命名实体识别进行区分的文本；JieBa分词适用于精确切分文本词汇的文本，或者进行最小粒度级切分词语以理解表示的文本。通过加载停止词词典，针对切分后的词语去除停止词。可根据TF-IDF词频统计方法，去除在所有类别内词频较高的高频词。
使用将筛选后的词以one-hot编码形式输入Word2Vec词嵌入模型，输出表示为n维稠密，连续的实数向量[a1,a2,a3,...,an]，并使相似的词映射到相似的空间位置。
作为本发明实施例中基于深度学习模型的复合文本多分类方法，进一步地，CNN卷积层中，使用不同卷积窗口对输入的词向量进行卷积操作，以不同视野宽度提取文本特征。
参见图2所示，使用多种不同类型的卷积核，卷积词向量，得到局部相关的特征向量序列。使用宽度为词向量，高度分别2、3的数量各为1的卷积窗口进行步长为2的卷积操作，得到特征向量序列分别为：
[[a1,a2],[a3,a4],...,[an-1,an]]→[b1,b2,...,bn/2]
[[a1,a2,a3],[a3,a4,a5],...,[an-2,an-1,an]]→[d1,d2,...,dn/3]
其中，各个经过映射和变换的特征向量之间维持着一定的序列顺序和位置关系。
作为本发明实施例中基于深度学习模型的复合文本多分类方法，进一步地，利用模型Top-K池化层从卷积操作提取的文本特征向量中选取前K个代表性特征向量，从不定长的卷积层输出截取订场序列，并保留部分序列关联信息。进一步地，self-attention层中，针对输入的特征向量序列，通过计算选定特征向量与其余特征向量相关度来确定该选定特征向量相对整体文本表示的贡献度，并对其附加权重，通过拼接操作将词向量拼接为表示文本的特征向量。
参见图3所示，TOP-K池化层选取k个卷积后的特征向量，并保留全局部分序列关联信息。配置TOP-2池化层，每种类型选取2两个最大文本相关性特征向量：
[bx,by]；[di,dk]
其中，bx和by之间维持着局部的序列顺序和位置关系，di,dk之间同样维持着局部的序列顺序和位置关系。
self-attention层，为特征向量计算并附加部分序列信息中的权重。在self-attention中，输入数据对<Key,Value>以及查询Query来自同一输入矩阵：
Figure BDA0002955224420000061
X*WK＝K；X*WV＝V；X*WQ＝Q
Figure BDA0002955224420000062
其中，X为self-attention层的输入序列，WK、WV、WQ是模型训练过程中学习的合适参数，softmax是将矩阵点乘后的结果归一化为概率分布，
Figure BDA0002955224420000071
是为防止其结果过大设置的尺度标度，dk是Key和Query向量的维度，C是self-attention层输出附加权重后的特征向量矩阵。
作为本发明实施例中基于深度学习模型的复合文本多分类方法，进一步地，深度学习模型中，利用单层LSTM循环层对输入的特征向量矩阵进行单层循环学习并输出文本特征向量。进一步地，将经过平均化处理的文本特征向量输入至softmax分类器来获取类别分布概率，并选取概率最大的类别作为最终分类预测结果。
参见图4所示，单层LSTM循环层，输入C1、C2特征向量矩阵，经过单层循环学习，得到输出特征向量：
Figure BDA0002955224420000072
Mean pooling层，对循环学习后的文本特征向量文进行平均化操作：
Figure BDA0002955224420000073
将经特征工程变换处理的的特征向量输入soft-max分类器，得到一个类别分布概率，以概率最大的类别作为最终分类。
进一步地，基于上述的方法，本发明实施例还提供一种基于深度学习模型的复合文本多分类系统，包含：数据预处理模块和分类预测模块，其中，
数据预处理模块，用于将复合文本转换至词语粒度级的文本表示，对转换后的词语粒度级文本表示进行预处理，并通过词嵌入方法表示为词向量；
分类预测模块，用于将词向量作为已训练的深度学习模型的输入，通过模型中CNN卷积层提取文本特征，选取卷积后的向量，并保留全局部分序列关联信息，通过模型中self-attention层为文本特征向量附加权重并进行等长向量序列拼接，利用模型中LSTM循环层提取文本特征向量；通过模型池化层对文本特征向量进行平均化操作，并利用softmax分类器获取输入的文本类别概率，依据概率大小来获取文本分类结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如：只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于深度学习模型的复合文本多分类方法，其特征在于，包含：
将复合文本转换至词语粒度级的文本表示，对转换后的词语粒度级文本表示进行预处理，并通过词嵌入方法表示为词向量；
将词向量作为已训练的深度学习模型的输入，通过模型中CNN卷积层提取文本特征，选取卷积后的向量，并保留全局部分序列关联信息，通过模型中self-attention层为文本特征向量附加权重并进行等长向量序列拼接，利用模型中LSTM循环层提取文本特征向量；通过模型池化层对文本特征向量进行平均化操作，并利用softmax分类器获取输入的文本类别概率，依据概率大小来获取文本分类结果。
2.根据权利要求1所述的基于深度学习模型的复合文本多分类方法，其特征在于，针对复合文本，以词典为基本切分方法，根据文本语言特征、语序特征及结构特征，使用分词系统进行不同级别分词。
3.根据权利要求1所述的基于深度学习模型的复合文本多分类方法，其特征在于，针对复合文本进行特征分析，以基于字典匹配的分词方法为基础，并结合词频统计和语义理解分词将复合文本划分至词语粒度级。
4.根据权利要求1或2或3所述的基于深度学习模型的复合文本多分类方法，其特征在于，预处理中，针对词语粒度级的文本表示，通过加载停止词词典去除停止词，利用TF-IDF词频统计去除所有类别内高频词，并利用Word2Vec词嵌入方法表示为多维词向量，其中，高频词为词频大于设定值的词语。
5.根据权利要求1所述的基于深度学习模型的复合文本多分类方法，其特征在于，CNN卷积层中，使用不同卷积窗口对输入的词向量进行卷积操作，以不同视野宽度提取文本特征。
6.根据权利要求1所述的基于深度学习模型的复合文本多分类方法，其特征在于，利用模型Top-K池化层从卷积操作提取的文本特征向量中选取前K个代表性特征向量，从不定长的卷积层输出截取订场序列，并保留部分序列关联信息。
7.根据权利要求6所述的基于深度学习模型的复合文本多分类方法，其特征在于，self-attention层中，针对输入的特征向量序列，通过计算选定特征向量与其余特征向量相关度来确定该选定特征向量相对整体文本表示的贡献度，并对其附加权重，通过拼接操作将词向量拼接为表示文本的特征向量。
8.根据权利要求1所述的基于深度学习模型的复合文本多分类方法，其特征在于，深度学习模型中，利用单层LSTM循环层对输入的特征向量矩阵进行单层循环学习并输出文本特征向量。
9.根据权利要求1所述的基于深度学习模型的复合文本多分类方法，其特征在于，将经过平均化处理的文本特征向量输入至softmax分类器来获取类别分布概率，并选取概率最大的类别作为最终分类预测结果。
10.一种基于深度学习模型的复合文本多分类系统，其特征在于，包含：数据预处理模块和分类预测模块，其中，
数据预处理模块，用于将复合文本转换至词语粒度级的文本表示，对转换后的词语粒度级文本表示进行预处理，并通过词嵌入方法表示为词向量；
分类预测模块，用于将词向量作为已训练的深度学习模型的输入，通过模型中CNN卷积层提取文本特征，选取卷积后的向量，并保留全局部分序列关联信息，通过模型中self-attention层为文本特征向量附加权重并进行等长向量序列拼接，利用模型中LSTM循环层提取文本特征向量；通过模型池化层对文本特征向量进行平均化操作，并利用softmax分类器获取输入的文本类别概率，依据概率大小来获取文本分类结果。
CN202110222535.3A 2021-02-27 2021-02-27 基于深度学习模型的复合文本多分类方法及系统 Pending CN113011163A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110222535.3A CN113011163A (zh) 2021-02-27 2021-02-27 基于深度学习模型的复合文本多分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110222535.3A CN113011163A (zh) 2021-02-27 2021-02-27 基于深度学习模型的复合文本多分类方法及系统

Publications (1)

Publication Number Publication Date
CN113011163A true CN113011163A (zh) 2021-06-22

Family

ID=76386753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110222535.3A Pending CN113011163A (zh) 2021-02-27 2021-02-27 基于深度学习模型的复合文本多分类方法及系统

Country Status (1)

Country Link
CN (1) CN113011163A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251574A (zh) * 2023-11-02 2023-12-19 北京信息科技大学 一种基于多特征数据融合的文本分类提取方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251574A (zh) * 2023-11-02 2023-12-19 北京信息科技大学 一种基于多特征数据融合的文本分类提取方法及系统
CN117251574B (zh) * 2023-11-02 2024-04-26 北京信息科技大学 一种基于多特征数据融合的文本分类提取方法及系统

Similar Documents

Publication Publication Date Title
US10296846B2 (en) Adapted domain specific class means classifier
He et al. Half-quadratic-based iterative minimization for robust sparse representation
Hofmann The cluster-abstraction model: Unsupervised learning of topic hierarchies from text data
CN109359725B (zh) 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质
US20160253597A1 (en) Content-aware domain adaptation for cross-domain classification
US11288324B2 (en) Chart question answering
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
CN110188827B (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
Shamsolmoali et al. High-dimensional multimedia classification using deep CNN and extended residual units
CN112163114B (zh) 一种基于特征融合的图像检索方法
CN115222998B (zh) 一种图像分类方法
CN116610778A (zh) 基于跨模态全局与局部注意力机制的双向图文匹配方法
CN112784884A (zh) 一种医学图像分类方法、系统、介质及电子终端
Han et al. L-Net: lightweight and fast object detector-based ShuffleNetV2
CN112786160A (zh) 基于图神经网络的多图片输入的多标签胃镜图片分类方法
CN112541083A (zh) 一种基于主动学习混合神经网络的文本分类方法
CN111782804A (zh) 基于TextCNN同分布文本数据选择方法、系统及存储介质
CN114881173A (zh) 基于自注意力机制的简历分类方法和装置
CN116932686B (zh) 主题挖掘方法、装置、电子设备及存储介质
CN113011163A (zh) 基于深度学习模型的复合文本多分类方法及系统
CN117271701A (zh) 一种基于tggat和cnn的系统运行异常事件关系抽取方法及系统
CN116884067A (zh) 一种基于改进的隐式语义数据增强的微表情识别方法
CN111460817A (zh) 一种刑事法律文书相关法条的推荐方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination