CN113420154B - 基于层次注意的分层多标签文本分类模型的构建方法 - Google Patents

基于层次注意的分层多标签文本分类模型的构建方法 Download PDF

Info

Publication number
CN113420154B
CN113420154B CN202110978563.8A CN202110978563A CN113420154B CN 113420154 B CN113420154 B CN 113420154B CN 202110978563 A CN202110978563 A CN 202110978563A CN 113420154 B CN113420154 B CN 113420154B
Authority
CN
China
Prior art keywords
text
representation
category
layer
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110978563.8A
Other languages
English (en)
Other versions
CN113420154A (zh
Inventor
王炜
杨瀚
翁文生
党博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN202110978563.8A priority Critical patent/CN113420154B/zh
Publication of CN113420154A publication Critical patent/CN113420154A/zh
Application granted granted Critical
Publication of CN113420154B publication Critical patent/CN113420154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于层次注意的分层多标签文本分类模型的构建方法，包括步骤：S1，构建多层级文本分类体系，将文本标签拆分为向量矩阵的形式；S2，将文本内容以文本为单位构建文本内容的向量矩阵；S3，计算文本‑类别注意力矩阵、文本‑类别表示；S4，生成统一文本表示和文本类别预测；S5，计算语义表示；S6，重复递归S3至S5，以获得每一文本全部的统一的文本表示和文本类别预测，用神经网络的方式训练模型以获得能够准确预测出文本相应类别的文本分类模型；本发明解决了有层级结构的文本分类问题，从而提升了文本分类预测的准确性。

Description

基于层次注意的分层多标签文本分类模型的构建方法
技术领域
本发明涉及文本自动分类领域，更为具体的，涉及一种基于层次注意的分层多标签文本分类模型的构建方法。
背景技术
分层多标签文本分类（HMTC）是一个基础但巨有挑战性的任务，是大量的应用程序（例如专利注释），在层次结构中，文档被分配到多个存储类别。文档的不同层级间的类别往往具有很强的依赖关系。然而，大多数的分层多标签文本分类任务的研究使用分类器来处理或者同时分解所有的问题转化为一组平面多标签分类子问题，忽略了文本与层级结构的关联与层次结构不同层次之间的依赖关系。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于层次注意的分层多标签文本分类模型的构建方法，解决了有层级结构的文本分类问题，从而提升了文本分类预测的准确性等。
本发明的目的是通过以下方案实现的：
一种基于层次注意的分层多标签文本分类模型的构建方法，包括：
S1，根据文本数据的标签构建相应的多层级文本分类体系，再将每一文本数据的标签以层级为单位拆分为向量矩阵的形式；
S2，将步骤S1中已经将标签拆分为向量矩阵的文本，将其文本内容通过分词和向量化的形式，以文本为单位构建文本内容的向量矩阵；
S3，基于步骤S2得到的文本内容的向量矩阵以及文本的第h-1层语义表示，分别计 算第h层的文本-类别注意力矩阵和文本-类别表示；其中，
Figure 185131DEST_PATH_IMAGE001
，
Figure 305534DEST_PATH_IMAGE002
为正整数，
Figure 554113DEST_PATH_IMAGE003
为所构建 的多层级文本分类体系的最大层级，当h=1时，第h-1层语义表示为全1向量矩阵；
S4，基于步骤S3计算得到的第h层的文本-类别表示，通过整合文本的第h-1层语义表示，生成第h层的统一文本表示和文本类别预测；
S5，基于步骤S3计算得到的第h层的文本-类别注意力矩阵以及步骤S4生成的第h层的文本类别预测，计算获得用于第h+1层的语义表示；
S6，从h=1开始，将对于每一层的步骤S3至步骤S5合称为一个递归层，重复递归步骤S3至步骤S5，最终获得每一文本从第一层至第n层全部的统一文本表示和文本类别预测，根据文本类别预测和实际的文本类别，用神经网络的方式训练模型以获得能够准确预测出文本相应类别的文本分类模型。
进一步地，在步骤S1中，包括子步骤：
S11，确定文本的分类体系，该分类体系包括每一层级的类别和不同层级的类别之间的隶属关系；
S12，根据步骤S11确定的分类体系，获取每个类别的文本；
S13，将文本的类别进行向量表示。
进一步地，在步骤S2中，包括子步骤：
S21，将文本内容以单词的形式，使用向量化将文本单词嵌入到一个向量矩阵中；
S22，将步骤S21得到的向量矩阵，学习每个单词的隐表示，作为文本的统一表示。
进一步地，在步骤S3中，包括子步骤：
S31，将文本的前一级语义表示
Figure 685009DEST_PATH_IMAGE004
与数据化文本内容
Figure 968223DEST_PATH_IMAGE005
作处理，得到第
Figure 259527DEST_PATH_IMAGE006
层包含前 一级语义信息的文档表示
Figure 729823DEST_PATH_IMAGE007
；
S32，将由步骤S31得到的包含前一级语义信息的文档表示
Figure 646832DEST_PATH_IMAGE007
进行激活，得到激活 结果
Figure 784552DEST_PATH_IMAGE008
；
S33，由步骤S32得到的激活结果
Figure 246758DEST_PATH_IMAGE008
与本层标签表示
Figure 453617DEST_PATH_IMAGE009
计算处理后得到文本-类别 注意力矩阵
Figure 659470DEST_PATH_IMAGE010
；
S34，根据步骤S33得到的文本-类别注意力矩阵
Figure 651697DEST_PATH_IMAGE010
计算得到文本-类别表示
Figure 284804DEST_PATH_IMAGE011
。
进一步地，在步骤S4中，包括子步骤：
S41，利用初始化权重矩阵
Figure 510118DEST_PATH_IMAGE012
对步骤S3中计算得到的文本-类别表示
Figure 988503DEST_PATH_IMAGE011
处理后得 到统一文本表示
Figure 100816DEST_PATH_IMAGE013
；
S42，由步骤S41得到的统一文本表示
Figure 904824DEST_PATH_IMAGE013
进行处理后得到文本类别预测
Figure 351855DEST_PATH_IMAGE014
。
进一步地，在步骤S5中，包括子步骤：
S51，由步骤S33得到的文本-类别注意力矩阵
Figure 633931DEST_PATH_IMAGE010
以及步骤S42得到的文本类别预 测
Figure 600750DEST_PATH_IMAGE014
计算后得到表示具有文本语义表征的加权注意分数
Figure 90506DEST_PATH_IMAGE015
；
S52，对步骤S51得到的加权注意分数
Figure 509986DEST_PATH_IMAGE015
通过计算后得到用于下一级的语义表示
Figure 595754DEST_PATH_IMAGE016
。
进一步地，步骤S13中所述将文本的类别进行向量表示包括步骤：使用向量化方法将第n层的标签嵌入到一个向量矩阵中。
进一步地，在步骤S31中的所述处理包括哈达玛积计算处理；在步骤33中的所述计算处理包括乘并做归一化处理；在步骤34中的所述计算包括对类别求平均值。
进一步地，在步骤S41中的处理包括使用非线性激活函数进行激活处理；在步骤 S42中的处理包括通过初始化权重矩阵
Figure 417080DEST_PATH_IMAGE017
对统一文本表示
Figure 77737DEST_PATH_IMAGE013
使用sigmoid函数进行激活处 理。
进一步地，在步骤S51中的计算包括哈达玛积计算；在步骤S52中的所述计算包括平均池操作计算。
本发明的有益效果包括：
本发明解决了有层级结构的文本分类问题，从而提升了文本分类预测的准确性；具体的，在本发明实施例构建的模型中，开发了一个基于层次注意的递归层，以自顶向下的方式对层次结构不同层次之间的依赖关系进行建模；本发明实施例还提出了一种层次注意策略来捕捉文本与层次结构之间的关联并且设计了一种混合方法，它能够在对整个层次结构中的所有类别进行精确分类的同时预测每个层次的类别，与通常的分层方式不同，本发明实施例能够统合层级间的语义信息，继承上一级中所包含的语义信息并传递到下一层中，解决了有层级结构的文本分类问题，从而提升了文本分类预测的准确性。
附图说明
图1为本发明实施例的方法步骤流程图；
图2为本发明实施例的三层级分类体系结构示意图；图2中的粗线代表新闻文本的分类体系的一级类别划分示意，图2中的细线代表一级类别下的二级类别划分示意和二级类别下的三级类别划分示意。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
如图1~图2所示，一种基于层次注意的分层多标签文本分类模型的构建方法，包括：
步骤S1，根据文本数据的标签构建相应的多层级文本分类体系，再将每一文本数据的标签以层级为单位拆分为向量矩阵的形式；
步骤S2，将步骤S1中已经将标签拆分为向量矩阵的文本，将其文本内容通过分词和向量化的形式，以文本为单位构建文本内容的向量矩阵；
步骤S3，基于步骤S2得到的文本内容的向量矩阵以及文本的第h-1层语义表示，分 别计算第h层的文本-类别注意力矩阵和文本-类别表示；其中，
Figure 984513DEST_PATH_IMAGE001
，
Figure 873972DEST_PATH_IMAGE002
为正整数，
Figure 815383DEST_PATH_IMAGE003
为所 构建的多层级文本分类体系的最大层级，当h=1时，第h-1层语义表示为全1向量矩阵；
步骤S4，基于步骤S3计算得到的第h层的文本-类别表示，通过整合文本的第h-1层语义表示，生成第h层的统一文本表示和文本类别预测；
步骤S5，基于步骤S3计算得到的第h层的文本-类别注意力矩阵以及步骤S4生成的第h层的文本类别预测，计算获得用于第h+1层的语义表示；
步骤S6，从h=1开始，将对于每一层的步骤S3至步骤S5合称为一个递归层，重复递归步骤S3至步骤S5，最终获得每一文本从第一层至第n层全部的统一文本表示和文本类别预测，根据文本类别预测和实际的文本类别，用神经网络的方式训练模型以获得能够准确预测出文本相应类别的文本分类模型。
在上述实施例的步骤S1中，在一个多层级的文本分类体系中，将任一文本以层级为单位拆分为向量矩阵的形式。
在可选的实施方式中，在步骤S1中，包括子步骤：
S11，确定文本的分类体系，该分类体系采用多层级类别表示，包括每一层级的类别和不同层级的类别之间的隶属关系；
S12，根据步骤S11确定的分类体系，获取每个类别的文本；
S13，将文本的类别进行向量表示。
在可选的实施方式中，在步骤S13中，包括子步骤：使用word2vec将第n层的标签嵌 入到一个d维的向量矩阵
Figure 646942DEST_PATH_IMAGE018
中，其中
Figure 775435DEST_PATH_IMAGE018
为一个的矩阵，
Figure 468584DEST_PATH_IMAGE019
为第n层所含标签个数。
在可选的实施方式中，在步骤S2中，包括子步骤：
S21，将文本内容以单词的形式，使用向量化将文本单词嵌入到一个向量矩阵中； 在该步骤中，使用word2vec将文本单词嵌入于一个
Figure 254049DEST_PATH_IMAGE020
矩阵 ，其中
Figure 7242DEST_PATH_IMAGE021
为设定的向量维数参 数，
Figure 888610DEST_PATH_IMAGE022
为文本包含的单词个数；
S22，将步骤S21得到的向量矩阵，学习每个单词的隐表示，作为文本的统一表示； 在该步骤中，将步骤S21得到的向量矩阵使用 Bi-LSTM方法，学习每个单词的隐表示，得到
Figure 119871DEST_PATH_IMAGE023
矩阵
Figure 19563DEST_PATH_IMAGE005
，作为文本的统一表示，其中
Figure 678078DEST_PATH_IMAGE024
为单向LSTM中隐式层长度。其公式如下：
Figure DEST_PATH_IMAGE025
Figure 515584DEST_PATH_IMAGE026
Figure DEST_PATH_IMAGE027
Figure 268645DEST_PATH_IMAGE028
表示文本在第n个单词处的向前隐式向量，
Figure DEST_PATH_IMAGE029
表示文本在第n个单词处的向后隐 式向量，
Figure 491685DEST_PATH_IMAGE030
表示文本在第n-1个单词处的向前隐式向量，
Figure 321100DEST_PATH_IMAGE031
表示文本的第n个单词的词向 量。
在可选的实施方式中，在步骤S3中，包括子步骤：
S31，将文本的前一级语义表示
Figure 177061DEST_PATH_IMAGE004
与数据化文本内容
Figure 750125DEST_PATH_IMAGE005
作处理，得到第
Figure 358829DEST_PATH_IMAGE006
层包含前 一级语义信息的文档表示
Figure 624726DEST_PATH_IMAGE007
；在该步骤中，将文本的前一级语义表示
Figure 702403DEST_PATH_IMAGE004
与数据化文本内 容
Figure 344737DEST_PATH_IMAGE005
作哈达玛积处理，得到第
Figure 73528DEST_PATH_IMAGE006
层包含前一级语义信息的文档表示
Figure 510325DEST_PATH_IMAGE007
，其公式如下：
Figure 809719DEST_PATH_IMAGE032
S32，将由步骤S31得到的包含前一级语义信息的文档表示
Figure 239433DEST_PATH_IMAGE007
进行激活，得到激活 结果
Figure 573462DEST_PATH_IMAGE008
；在该步骤中，将由步骤S31得到的包含前一级语义信息的文档表示
Figure 181161DEST_PATH_IMAGE007
，将其进行转 置后，以随机产生的
Figure 967851DEST_PATH_IMAGE033
初始化权重矩阵，
Figure 935676DEST_PATH_IMAGE034
作为激活函数对
Figure DEST_PATH_IMAGE035
进行激活，得到无偏激活 结果
Figure 858633DEST_PATH_IMAGE008
，其公式如下：
Figure 637233DEST_PATH_IMAGE036
S33，由步骤S32得到的激活结果
Figure 154628DEST_PATH_IMAGE008
与本层标签表示
Figure 676876DEST_PATH_IMAGE009
计算处理后得到文本-类别 注意力矩阵
Figure 985497DEST_PATH_IMAGE010
；在该步骤中，由步骤S32得到的激活结果
Figure 184266DEST_PATH_IMAGE008
与本层标签表示
Figure 945549DEST_PATH_IMAGE009
点乘并做归 一化处理后得到文本-类别注意力矩阵
Figure 5909DEST_PATH_IMAGE010
，其公式如下：
Figure 169037DEST_PATH_IMAGE037
S34，根据步骤S33得到的文本-类别注意力矩阵
Figure 538707DEST_PATH_IMAGE010
，通过点乘文本语义表示
Figure 52865DEST_PATH_IMAGE038
，得 到整个第h层的关联文本类别表示，再通过对类别求平均值计算得到文本-类别表示
Figure 651337DEST_PATH_IMAGE011
，其 计算公式如下：
Figure 918239DEST_PATH_IMAGE039
其中，
Figure 475122DEST_PATH_IMAGE040
是第h层语义信息的文档表示。
在可选的实施方式中，在步骤S4中，包括子步骤：
S41，利用初始化权重矩阵
Figure 210997DEST_PATH_IMAGE012
对步骤S3中计算得到的文本-类别表示
Figure 878739DEST_PATH_IMAGE011
处理后得 到文本的统一表示
Figure 148DEST_PATH_IMAGE013
；在该步骤中，利用初始化权重矩阵
Figure 727932DEST_PATH_IMAGE012
对步骤S3中计算得到的文本- 类别表示
Figure 685524DEST_PATH_IMAGE011
，使用一非线性激活函数对其进行激活处理后得到文本的统一表示
Figure 891377DEST_PATH_IMAGE013
，其公式 如下：
Figure 132872DEST_PATH_IMAGE041
其中
Figure 31557DEST_PATH_IMAGE042
为对应的偏置向量；
S42，由步骤S41得到的文本的统一表示
Figure 210866DEST_PATH_IMAGE013
进行处理后得到文本的分类预测
Figure 469678DEST_PATH_IMAGE014
。在 该步骤中，由步骤S41得到的文本的统一表示
Figure 581990DEST_PATH_IMAGE013
，通过初始化权重矩阵
Figure 385998DEST_PATH_IMAGE017
对其使用sigmoid 函数进行激活，得到文本的分类预测
Figure 583762DEST_PATH_IMAGE014
，其公式如下：
Figure 115106DEST_PATH_IMAGE043
其中
Figure 81925DEST_PATH_IMAGE044
为对应的偏置向量。
在可选的实施方式中，在步骤S5中，包括子步骤：
S51，由步骤S33得到的文本-类别注意力矩阵
Figure 56834DEST_PATH_IMAGE010
以及步骤S42得到的分类预测
Figure 741893DEST_PATH_IMAGE014
计算后得到表示具有文本语义表征的加权注意分数
Figure 348367DEST_PATH_IMAGE015
；在该步骤中，由步骤S33得到的文 本-类别注意力矩阵
Figure 904113DEST_PATH_IMAGE010
以及步骤S42得到的分类预测
Figure 315503DEST_PATH_IMAGE014
，通过哈达玛积计算得到表示具有 文本语义表征的加权注意分数
Figure 471547DEST_PATH_IMAGE015
；其公式如下：
Figure DEST_PATH_IMAGE045
其中，
Figure 564268DEST_PATH_IMAGE046
函数是一个将
Figure 505679DEST_PATH_IMAGE014
增广为
Figure 71658DEST_PATH_IMAGE010
的方法；
S52，对步骤S51得到的加权注意分数
Figure 465731DEST_PATH_IMAGE015
通过计算后得到用于下一级的语义表示
Figure 893301DEST_PATH_IMAGE016
。在该步骤中，对步骤S51得到的加权注意分数
Figure 938486DEST_PATH_IMAGE015
通过平均池操作后得到用于下一级的 语义表示
Figure 691679DEST_PATH_IMAGE016
，其公式如下：
Figure 307468DEST_PATH_IMAGE047
Figure 538729DEST_PATH_IMAGE048
综上，本发明的模型构建过程解决了以下关键问题：1、在理解每个文档的语义时捕捉了文本和层次结构之间的联系；2、考虑了不同的层次结构中的层次间的关系（即一个范畴的性质不仅受其父范畴的影响，而且还将影响其子类别）；3、实现了预测每个级别，同时在整个层次中对所有类别进行分类。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种基于层次注意的分层多标签文本分类模型的构建方法，其特征在于，包括步骤：
S1，根据文本数据的标签构建相应的多层级文本分类体系，再将每一文本数据的标签以层级为单位拆分为向量矩阵的形式；在步骤S1中，包括子步骤：
S11，确定文本的分类体系，该分类体系包括每一层级的类别和不同层级的类别之间的隶属关系；
S12，根据步骤S11确定的分类体系，获取每个类别的文本；
S13，将文本的类别进行向量表示；
S2，将步骤S1中已经将标签拆分为向量矩阵的文本，将其文本内容通过分词和向量化的形式，以文本为单位构建文本内容的向量矩阵；在步骤S2中，包括子步骤：
S21，将文本内容以单词的形式，使用向量化将文本单词嵌入到一个向量矩阵中；
S22，将步骤S21得到的向量矩阵，学习每个单词的隐表示，作为文本的统一表示；
S3，基于步骤S2得到的文本内容的向量矩阵以及文本的第h-1层语义表示，分别计算第h层的文本-类别注意力矩阵和文本-类别表示；其中，
Figure DEST_PATH_IMAGE001
，
Figure DEST_PATH_IMAGE002
为正整数，
Figure DEST_PATH_IMAGE003
为所构建的多层级文本分类体系的最大层级，当h=1时，第h-1层语义表示为全1向量矩阵；在步骤S3中，包括子步骤：
S31，将文本的前一级语义表示
Figure DEST_PATH_IMAGE004
与数据化文本内容
Figure DEST_PATH_IMAGE005
作处理，得到第
Figure DEST_PATH_IMAGE006
层包含前一级语义信息的文档表示
Figure DEST_PATH_IMAGE007
；
S32，将由步骤S31得到的包含前一级语义信息的文档表示
Figure 824719DEST_PATH_IMAGE007
进行激活，得到激活结果
Figure DEST_PATH_IMAGE008
；
S33，由步骤S32得到的激活结果
Figure 679542DEST_PATH_IMAGE008
与本层标签表示
Figure DEST_PATH_IMAGE009
计算处理后得到文本-类别注意力矩阵
Figure DEST_PATH_IMAGE010
；
S34，根据步骤S33得到的文本-类别注意力矩阵
Figure 131383DEST_PATH_IMAGE010
计算得到文本-类别表示
Figure DEST_PATH_IMAGE011
；
S4，基于步骤S3计算得到的第h层的文本-类别表示，通过整合文本的第h-1层语义表示，生成第h层的统一文本表示和文本类别预测；在步骤S4中，包括子步骤：
S41，利用初始化权重矩阵
Figure DEST_PATH_IMAGE012
对步骤S3中计算得到的文本-类别表示
Figure 166073DEST_PATH_IMAGE011
处理后得到统一文本表示
Figure DEST_PATH_IMAGE013
；
S42，由步骤S41得到的统一文本表示
Figure 183708DEST_PATH_IMAGE013
进行处理后得到文本类别预测
Figure DEST_PATH_IMAGE014
；
S5，基于步骤S3计算得到的第h层的文本-类别注意力矩阵以及步骤S4生成的第h层的文本类别预测，计算获得用于第h+1层的语义表示；在步骤S5中，包括子步骤：
S51，由步骤S33得到的文本-类别注意力矩阵
Figure 943853DEST_PATH_IMAGE010
以及步骤S42得到的文本类别预测
Figure 384455DEST_PATH_IMAGE014
计算后得到表示具有文本语义表征的加权注意分数
Figure DEST_PATH_IMAGE015
；
S52，对步骤S51得到的加权注意分数
Figure 521039DEST_PATH_IMAGE015
通过计算后得到用于下一级的语义表示
Figure DEST_PATH_IMAGE016
；
S6，从h=1开始，将对于每一层的步骤S3至步骤S5合称为一个递归层，重复递归步骤S3至步骤S5，最终获得每一文本从第一层至第n层全部的统一文本表示和文本类别预测，根据文本类别预测和实际的文本类别，用神经网络的方式训练模型以获得能够准确预测出文本相应类别的文本分类模型。
2.根据权利要求1所述的基于层次注意的分层多标签文本分类模型的构建方法，其特征在于，步骤S13中所述将文本的类别进行向量表示包括步骤：使用向量化方法将第n层的标签嵌入到一个向量矩阵中。
3.根据权利要求1所述的基于层次注意的分层多标签文本分类模型的构建方法，其特征在于，在步骤S31中的所述处理包括哈达玛积计算处理；在步骤33中的所述计算处理包括乘并做归一化处理；在步骤34中的所述计算包括对类别求平均值。
4.根据权利要求1所述的基于层次注意的分层多标签文本分类模型的构建方法，其特征在于，在步骤S41中的处理包括使用非线性激活函数进行激活处理；在步骤S42中的处理包括通过初始化权重矩阵
Figure DEST_PATH_IMAGE017
对统一文本表示
Figure 596442DEST_PATH_IMAGE013
使用sigmoid函数进行激活处理。
5.根据权利要求1所述的基于层次注意的分层多标签文本分类模型的构建方法，其特征在于，在步骤S51中的计算包括哈达玛积计算；在步骤S52中的所述计算包括平均池操作计算。
CN202110978563.8A 2021-08-25 2021-08-25 基于层次注意的分层多标签文本分类模型的构建方法 Active CN113420154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110978563.8A CN113420154B (zh) 2021-08-25 2021-08-25 基于层次注意的分层多标签文本分类模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110978563.8A CN113420154B (zh) 2021-08-25 2021-08-25 基于层次注意的分层多标签文本分类模型的构建方法

Publications (2)

Publication Number Publication Date
CN113420154A CN113420154A (zh) 2021-09-21
CN113420154B true CN113420154B (zh) 2021-12-10

Family

ID=77719403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110978563.8A Active CN113420154B (zh) 2021-08-25 2021-08-25 基于层次注意的分层多标签文本分类模型的构建方法

Country Status (1)

Country Link
CN (1) CN113420154B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048525B (zh) * 2022-08-15 2022-12-13 有米科技股份有限公司 基于多元组的文本分类、文本分类模型训练的方法及装置
CN116187419B (zh) * 2023-04-25 2023-08-29 中国科学技术大学 一种基于文本组块的层级体系自动构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347839A (zh) * 2019-07-18 2019-10-18 湖南数定智能科技有限公司 一种基于生成式多任务学习模型的文本分类方法
CN110569353A (zh) * 2019-07-03 2019-12-13 重庆大学 一种基于注意力机制的Bi-LSTM的标签推荐方法
CN111428026A (zh) * 2020-02-20 2020-07-17 西安电子科技大学 一种多标签文本分类处理方法及系统、信息数据处理终端
CN112966127A (zh) * 2021-04-07 2021-06-15 北方民族大学 一种基于多层语义对齐的跨模态检索方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7958068B2 (en) * 2007-12-12 2011-06-07 International Business Machines Corporation Method and apparatus for model-shared subspace boosting for multi-label classification
CN109299273B (zh) * 2018-11-02 2020-06-23 广州语义科技有限公司 基于改进seq2seq模型的多源多标签文本分类方法及其系统
CN112732872B (zh) * 2021-01-12 2022-11-18 东南大学 面向生物医学文本的基于主题注意机制的多标签分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569353A (zh) * 2019-07-03 2019-12-13 重庆大学 一种基于注意力机制的Bi-LSTM的标签推荐方法
CN110347839A (zh) * 2019-07-18 2019-10-18 湖南数定智能科技有限公司 一种基于生成式多任务学习模型的文本分类方法
CN111428026A (zh) * 2020-02-20 2020-07-17 西安电子科技大学 一种多标签文本分类处理方法及系统、信息数据处理终端
CN112966127A (zh) * 2021-04-07 2021-06-15 北方民族大学 一种基于多层语义对齐的跨模态检索方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A new multi-instance multi-label learning approach for image and text classification;Yan K等;《Multimedia Tools and Applications》;20150528;第75卷(第13期);7875-7890 *
word2vec semantic representation inmultilabel classification for indonesian news article;Dyah Rahmawati等;《2016 international conference on advanced informatics：theory and application》;20160819;1-6 *
基于BERT-LEAM模型的食品安全法规问题多标签分类;郑丽敏等;《农业机械学报》;20210528;第52卷(第7期);244-250+158 *
基于主题-词向量的多粒度特征协同表达多义词研究;汪静等;《现代计算机》;20210705(第19期);19-24 *
多示例多标签学习在中文专利自动分类中的应用研究;包翔等;《图书情报工作》;20210420;第65卷(第8期);107-113 *

Also Published As

Publication number Publication date
CN113420154A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
JP7400007B2 (ja) 複数の言語タスク階層を通じてデータを処理するための深層ニューラルネットワークモデル
CN113761936B (zh) 一种基于多头自注意力机制的多任务篇章级事件抽取方法
CN110502749B (zh) 一种基于双层注意力机制与双向gru的文本关系抽取方法
CN109308318B (zh) 跨领域文本情感分类模型的训练方法、装置、设备及介质
CN113420154B (zh) 基于层次注意的分层多标签文本分类模型的构建方法
CN111274790B (zh) 基于句法依存图的篇章级事件嵌入方法及装置
Bagherzadeh et al. A review of various semi-supervised learning models with a deep learning and memory approach
Chen Model reprogramming: Resource-efficient cross-domain machine learning
CN111782768A (zh) 基于双曲空间表示和标签文本互动的细粒度实体识别方法
JP6291443B2 (ja) 接続関係推定装置、方法、及びプログラム
CN114896388A (zh) 一种基于混合注意力的层级多标签文本分类方法
CN112101031B (zh) 一种实体识别方法、终端设备及存储介质
CN113254675B (zh) 基于自适应少样本关系抽取的知识图谱构建方法
CN114925205B (zh) 基于对比学习的gcn-gru文本分类方法
CN113515632A (zh) 基于图路径知识萃取的文本分类方法
CN114881169A (zh) 使用随机特征损坏的自监督对比学习
CN111581379A (zh) 一种基于作文扣题度的自动作文评分计算方法
US20230376828A1 (en) Systems and methods for product retrieval
CN116049349A (zh) 基于多层次注意力和层次类别特征的小样本意图识别方法
CN111723301B (zh) 基于层次化主题偏好语义矩阵的关注关系识别及标注方法
Singhal et al. Universal quantitative steganalysis using deep residual networks
CN114817516A (zh) 零样本条件下基于逆向匹配的画像映射方法、装置和介质
CN113449517A (zh) 基于bert门控多窗口注意力网络模型的实体关系抽取方法
JP2016197289A (ja) パラメタ学習装置、類似度算出装置、方法、及びプログラム
Bourgeade From text to trust: a priori interpretability versus post hoc explainability in natural language processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant