CN113282753A - 标题文本数据分类方法及装置 - Google Patents

标题文本数据分类方法及装置 Download PDF

Info

Publication number
CN113282753A
CN113282753A CN202110643864.5A CN202110643864A CN113282753A CN 113282753 A CN113282753 A CN 113282753A CN 202110643864 A CN202110643864 A CN 202110643864A CN 113282753 A CN113282753 A CN 113282753A
Authority
CN
China
Prior art keywords
data
convolution
pooling
residual
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110643864.5A
Other languages
English (en)
Other versions
CN113282753B (zh
Inventor
徐晓健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202110643864.5A priority Critical patent/CN113282753B/zh
Publication of CN113282753A publication Critical patent/CN113282753A/zh
Application granted granted Critical
Publication of CN113282753B publication Critical patent/CN113282753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种标题文本数据分类方法及装置，可用于人工智能技术领域，其中方法包括：获得标题文本数据；将标题文本数据映射到高维空间，得到文本高维特征数据；将文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图；根据所述多个特征图，确定综合特征图；将综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，第二卷积神经网络模型包含多组残差池化结构，多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元；根据融合特征数据，进行标题文本数据分类。本发明可以进行标题文本数据分类，节省成本，提高分类效率。

Description

标题文本数据分类方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及标题文本数据分类方法及装置。
背景技术
手机银行APP作为重要对客渠道，在银行数字化转型中发挥着重要的作用。为进一步提升客户体验，手机银行加入了资讯功能，考虑到每天均会产生各种标题文本，为更好地管理标题文本，手机银行需要根据内容对标题文本进行分类。
考虑到资讯数据量，传统单纯依靠人工的方式进行标题文本数据分类成本高昂且效率低下。
因此，亟需一种可以克服上述问题的标题文本数据分类方案。
发明内容
本发明实施例提供一种标题文本数据分类方法，用以进行标题文本数据分类，节省成本，提高分类效率，该方法包括：
获得标题文本数据；
将所述标题文本数据映射到高维空间，得到文本高维特征数据；
将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；
根据所述多个特征图，确定综合特征图；
将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据；
根据所述融合特征数据，进行标题文本数据分类。
本发明实施例提供一种标题文本数据分类装置，用以进行标题文本数据分类，节省成本，提高分类效率，该装置包括：
数据获得模块，用于获得标题文本数据；
数据映射模块，用于将所述标题文本数据映射到高维空间，得到文本高维特征数据；
第一特征提取模块，用于将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；
特征确定模块，用于根据所述多个特征图，确定综合特征图；
第二特征提取模块，用于将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据；
数据分类模块，用于根据所述融合特征数据，进行标题文本数据分类。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述标题文本数据分类方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述标题文本数据分类方法的计算机程序。
本发明实施例通过获得标题文本数据；将所述标题文本数据映射到高维空间，得到文本高维特征数据；将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；根据所述多个特征图，确定综合特征图；将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据；根据所述融合特征数据，进行标题文本数据分类。本发明实施例首先将标题文本数据映射到高维空间，得到映射后的文本高维特征数据，使得语义信息相同的空间距离将变小，语义信息差异大的空间距离将变大，利于后续特征提取和分类，然后利用第一卷积神经网络模型得到综合特征图后，输入预先训练好的第二卷积神经网络模型，第二卷积神经网络模型包含多组残差池化结构，多组残差池化结构之间链式连接，池化单元既可以提取文本中最重要的信息，又可以充分考虑文本中的所有信息，信息提取能力更强，残差单元则对特征进一步进行特征提取，通过连续卷积，可以提取不同距离上文本间的语义信息，越往后的层每个位置融合的信息越多，最后一层提取的就是整个序列的语义信息，进一步提升了性能，从而有效提高分类的准确性，节省成本，提高分类效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中标题文本数据分类方法示意图；
图2为本发明实施例中将标题文本数据映射到高维空间方法示意图；
图3为本发明实施例中得到残差单元输出特征图方法示意图；
图4为本发明实施例中得到池化后的融合特征数据方法示意图；
图5为本发明实施例中标题文本数据分类装置结构图；
图6是本发明实施例的计算机设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
为了进行标题文本数据分类，节省成本，提高分类效率，本发明实施例提供一种标题文本数据分类方法，如图1所示，该方法可以包括：
步骤101、获得标题文本数据；
步骤102、将所述标题文本数据映射到高维空间，得到文本高维特征数据；
步骤103、将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；
步骤104、根据所述多个特征图，确定综合特征图；
步骤105、将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据；
步骤106、根据所述融合特征数据，进行标题文本数据分类。
由图1所示可以得知，本发明实施例通过获得标题文本数据；将所述标题文本数据映射到高维空间，得到文本高维特征数据；将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；根据所述多个特征图，确定综合特征图；将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据；根据所述融合特征数据，进行标题文本数据分类。本发明实施例首先将标题文本数据映射到高维空间，得到映射后的文本高维特征数据，使得语义信息相同的空间距离将变小，语义信息差异大的空间距离将变大，利于后续特征提取和分类，然后利用第一卷积神经网络模型得到综合特征图后，输入预先训练好的第二卷积神经网络模型，第二卷积神经网络模型包含多组残差池化结构，多组残差池化结构之间链式连接，池化单元既可以提取文本中最重要的信息，又可以充分考虑文本中的所有信息，信息提取能力更强，残差单元则对特征进一步进行特征提取，通过连续卷积，可以提取不同距离上文本间的语义信息，越往后的层每个位置融合的信息越多，最后一层提取的就是整个序列的语义信息，进一步提升了性能，从而有效提高分类的准确性，节省成本，提高分类效率。
实施例中，获得标题文本数据；将所述标题文本数据映射到高维空间，得到文本高维特征数据。
本实施例中，如图2所示，按如下方式将所述标题文本数据映射到高维空间：
步骤201、根据预先建立的词典，对标题文本数据进行独热编码处理，得到对应的文字向量；
步骤202、将所述文字向量输入预先训练好的神经网络模型中，输出文本高维特征数据。
具体实施时，假设标题文本类型为K，文本条数为N条，每条文本长度限制为L，则输入数据维度为[N，L]。预先建立的词典，设词典总数为I＝total(dict)，词典是由多个文字、符号组成的词库；映射特征的维度为M，用于完成映射过程的神经网络模型共有3层，输入层、隐层和输出层。输入层神经元数量为I，隐层神经元数量为M，输出层神经元数量为I。利用输入的标题文本数据对该神经网络进行训练，训练过程如下：1)训练数据为输入文本中的每个文字，以词典为基础对文字进行独热编码处理，得到对应的文字向量；2)选择文本中的某个文字，神经网络模型输入数据为该文字经过独热编码后的文字向量，其维度为I；3)该输入数据对应的标签为其相邻(前后相邻)文字的独热编码文字向量，维度为I；4)利用上述数据对神经网络进行训练；5)对输入文本中的所有文字同时进行2)、3)、4)步操作，得到训练好的神经网络模型。神经网络模型训练完成后，对于一个新输入的标题文本数据，只需要将其以训练神经网络的词典为基础进行独热编码，而后将其输入神经网络模型中，通过输入层和隐层进行计算后，即可得到映射后的特征。这里只需要利用输入层和隐层对输入文本进行处理即可，无需经过输出层处理。维度为[N，L]的输入数据经过上述映射后，得到数据维度为[N，L，M]的文本高维特征数据。将标题文本信息通过词向量的形式映射到高维空间，映射后的文本数据语义信息相同的空间距离将变小，语义信息差异大的空间距离将变大，进而利于后续特征提取和分类。
将标题文本数据映射到高维空间的目的是：1、提升计算效率，数据最开始输入的时候采用one-hot独热编码方式，这导致每个输入的维度将等于词典维度，当词典非常大时，每个数据的维度将非常多，数据量非常大，这会极大程度降低运算效率；2、将输入的低维稀疏向量透射为一个高维稠密向量，进一步提取特征；3、相似语义的文本在被映射到高维空间后，其距离会比较相近，语义差别较大的文本距离会变大，进而实现将相似特征合并，将不同特征的差异性放大。
实施例中，将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；根据所述多个特征图，确定综合特征图。
本实施例中，按如下方式对用于训练第一卷积神经网络模型的标题文本数据进行预处理：获得用于训练的标题文本数据，对标题文本数据中不完整的信息进行剔除并根据标题内容进行标签标注。
具体实施时，以第一卷积神经网络模型包含3个卷积层、每个卷积层中包含200个卷积核为例进行介绍。利用3个卷积层对文本进行处理提取文本特征，这里共有3个卷积层，每个卷积层中包含了200个卷积核，每个卷积核尺寸为[M，3]。对于第一个卷积层，经过映射的数据交换第二个和第三个维度后，输入到第一个卷积核中，其维度为[N，M，L]，分别利用200个卷积核对该输入进行卷积处理，卷积核沿地三个维度进行滑动，滑动步长为1，每个卷积核在卷积完成后得到经过卷积后的文本特征。200个卷积核完成卷积操作后，得到的文本特征维度为[N，200，L-2]；对于第二个卷积层和第三个卷积层，其输入均为映射后维度为[N，L，M]的输入，每个卷积层包含的卷积核数均为200，尺寸均为[M，3]，对2个卷积层重复上述计算操作，分别得到2个维度为[N，200，L-2]的输出。将3个卷积层卷积后得到的维度为[N，200，L-2]的3个特征图逐元素相加并求均值，得到综合特征图。
实施例中，将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据。
本实施例中，如图3所示，所述残差单元包含两个卷积层，每个卷积层包含多个卷积核；
将所述综合特征图输入残差单元，得到残差单元的输出特征图，包括：
步骤301、将所述综合特征图输入残差单元的第一个卷积层，利用第一个卷积层包含的多个卷积核对所述综合特征图进行滑动卷积处理，得到第一卷积结果；
步骤302、将得到的第一卷积结果输入第二个卷积层，利用第二个卷积层包含的多个卷积核对第一卷积结果进行滑动卷积处理，得到第二卷积结果；
步骤303、根据综合特征图和第二卷积结果，确定残差单元的输出特征图。
本实施例中，如图4所示，所述池化单元包含最大值池化单元和均值池化单元；
将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据，包括：
步骤401、将残差单元的输出特征图分别输入最大值池化单元和均值池化单元，得到最大值池化结果和均值池化结果；
步骤402、根据所述最大值池化结果和均值池化结果，确定池化后的融合特征数据。
实施例中，根据所述融合特征数据，进行标题文本数据分类。
本实施例中，根据所述融合特征数据，进行标题文本数据分类，包括：
将所述融合特征数据输入预先训练好的全连接层网络模型，进行标题文本数据分类。
具体实施时，将综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，通过残差池化结构对特征进行池化，池化单元后的结果维度为输入维度的一半。在整个第二卷积神经网络模型中，包含多组残差池化结构，多组残差池化结构之间链式连接，所有残差池化结构中的卷积层均由200个尺寸为3的卷积核构成，且每个卷积核的滑动步长为1。以第一组残差池化结构为例对计算过程进行说明，对于第一组残差池化结构，其输入为经过3个卷积层卷积后维度为[N，200，L-2]的综合特征图，该残差池化结构计算过程如下：1)将综合特征图输入到残差单元中的第一个卷积层中，该层包括200个[200，3]尺度的卷积核，利用这些卷积核沿数据第三个维度进行滑动卷积后，得到维度为[N，200，L-2]的第一卷积结果；2)将第一个卷积层输出的第一卷积结果输入到残差单元中的第二个卷积层中，该层包括200个[200，3]尺度的卷积核，利用这些卷积核沿数据第三个维度进行滑动卷积后，得到维度为[N，200，L-2]的第二卷积结果；3)将残差池化结构的维度为[N，200，L-2]的输入特征(综合特征图)与残差单元第二个卷积层输出的维度为[N，200，L-2]的输出特征(第二卷积结果)相加，得到残差单元的输出特征图；4)将残差单元输出的维度为[N，200，L-2]的特征图输入到池化单元中，对该输入沿第三个维度进行最大值池化，提取特征中最重要的特征，池化步长为2，得到维度为[N，200，(L-2)/2]的最大值池化结果；5)将残差单元输出的维度为[N,200,L-2]的特征图输入到池化单元中，对该输入沿第三个维度进行均值池化，提取所有特征信息，池化步长为2,得到维度为[N，200，(L-2)/2]的均值池化结果；6)将4)和5)得到的输出相加，得到池化单元最终的维度为[N，200，(L-2)/2]的输出特征；之后，重复残差池化结构直到文本中每个文字特征维度变为1。具体操作为，在第一组残差池化结构后面再接一组残差池化结构。其中，残差单元和池化单元结构、参数均与第一组残差池化结构一致。前一组残差池化结构的输出作为后一组残差池化结构的输入。对于第二组残差池化结构，其输入为第一组残差池化结构输出的维度为[N，200，(L-2)/2]的文本特征。对该特征重复第一组残差池化结构的计算过程，最终得到维度为[N，200，(L-2)/4]的输出；将该输出作为第三组残差池化结构的输入，重复上述操作，直到第(L-2)/2个残差池化结构为止，该模块最终输出文本特征维度为[N，200，1]的融合特征数据。残差池化结构中，池化单元对提取的文本特征分别进行最大值池化和均值池化，并将得到的2个结果进行拼接后得到最终的特征，这种方式既可以提取文本中最重要的信息，又可以充分考虑文本中的所有信息，信息提取能力更强；残差单元则对特征进一步进行特征提取，通过这样的连续卷积，可以提取不同距离上文本间的语义信息，越往后的层，每个位置融合的信息越多，最后一层提取的就是整个序列的语义信息，进一步提升了性能。对于上述搭建的模型，利用训练数据对模型进行训练后，将训练好的模型用于测试新的新闻资讯数据的分类结果。
本发明实施例既可以提取文本中最重要的信息，又可以充分考虑文本中的所有信息，对特征进一步进行特征提取，通过这样的连续卷积，可以提取不同距离上文本间的语义信息，越往后的层，每个位置融合的信息越多，最后一层提取的就是整个序列的语义信息，进一步提升了性能。通过卷积核提取文本特征，用法简单、使用便捷、高效，可节约大量时间成本、人力成本；使用中的数据处理机制可以充分提取文本中的特征，信息利用率更高，准确率更高。
基于同一发明构思，本发明实施例还提供了一种标题文本数据分类装置，如下面的实施例所述。由于这些解决问题的原理与标题文本数据分类方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图5为本发明实施例中标题文本数据分类装置的结构图，如图5所示，该装置包括：
数据获得模块501，用于获得标题文本数据；
数据映射模块502，用于将所述标题文本数据映射到高维空间，得到文本高维特征数据；
第一特征提取模块503，用于将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；
特征确定模块504，用于根据所述多个特征图，确定综合特征图；
第二特征提取模块505，用于将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据；
数据分类模块506，用于根据所述融合特征数据，进行标题文本数据分类。
一个实施例中，所述残差单元包含两个卷积层，每个卷积层包含多个卷积核；
第二特征提取模块505进一步用于：
将所述综合特征图输入残差单元的第一个卷积层，利用第一个卷积层包含的多个卷积核对所述综合特征图进行滑动卷积处理，得到第一卷积结果；
将得到的第一卷积结果输入第二个卷积层，利用第二个卷积层包含的多个卷积核对第一卷积结果进行滑动卷积处理，得到第二卷积结果；
根据综合特征图和第二卷积结果，确定残差单元的输出特征图。
一个实施例中，所述池化单元包含最大值池化单元和均值池化单元；
第二特征提取模块505进一步用于：
将残差单元的输出特征图分别输入最大值池化单元和均值池化单元，得到最大值池化结果和均值池化结果；
根据所述最大值池化结果和均值池化结果，确定池化后的融合特征数据。
一个实施例中，数据映射模块502进一步用于：
根据预先建立的词典，对标题文本数据进行独热编码处理，得到对应的文字向量；
将所述文字向量输入预先训练好的神经网络模型中，输出文本高维特征数据。
一个实施例中，数据分类模块506进一步用于：
将所述融合特征数据输入预先训练好的全连接层网络模型，进行标题文本数据分类。
综上所述，本发明实施例通过获得标题文本数据；将所述标题文本数据映射到高维空间，得到文本高维特征数据；将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；根据所述多个特征图，确定综合特征图；将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据；根据所述融合特征数据，进行标题文本数据分类。本发明实施例首先将标题文本数据映射到高维空间，得到映射后的文本高维特征数据，使得语义信息相同的空间距离将变小，语义信息差异大的空间距离将变大，利于后续特征提取和分类，然后利用第一卷积神经网络模型得到综合特征图后，输入预先训练好的第二卷积神经网络模型，第二卷积神经网络模型包含多组残差池化结构，多组残差池化结构之间链式连接，池化单元既可以提取文本中最重要的信息，又可以充分考虑文本中的所有信息，信息提取能力更强，残差单元则对特征进一步进行特征提取，通过连续卷积，可以提取不同距离上文本间的语义信息，越往后的层每个位置融合的信息越多，最后一层提取的就是整个序列的语义信息，进一步提升了性能，从而有效提高分类的准确性，节省成本，提高分类效率。
基于前述发明构思，如图6所示，本发明还提出了一种计算机设备600，包括存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序630，所述处理器620执行所述计算机程序630时实现前述标题文本数据分类方法。
基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述标题文本数据分类方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种标题文本数据分类方法，其特征在于，包括：
获得标题文本数据；
将所述标题文本数据映射到高维空间，得到文本高维特征数据；
将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；
根据所述多个特征图，确定综合特征图；
将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据；
根据所述融合特征数据，进行标题文本数据分类。
2.如权利要求1所述的标题文本数据分类方法，其特征在于，所述残差单元包含两个卷积层，每个卷积层包含多个卷积核；
将所述综合特征图输入残差单元，得到残差单元的输出特征图，包括：
将所述综合特征图输入残差单元的第一个卷积层，利用第一个卷积层包含的多个卷积核对所述综合特征图进行滑动卷积处理，得到第一卷积结果；
将得到的第一卷积结果输入第二个卷积层，利用第二个卷积层包含的多个卷积核对第一卷积结果进行滑动卷积处理，得到第二卷积结果；
根据综合特征图和第二卷积结果，确定残差单元的输出特征图。
3.如权利要求1所述的标题文本数据分类方法，其特征在于，所述池化单元包含最大值池化单元和均值池化单元；
将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据，包括：
将残差单元的输出特征图分别输入最大值池化单元和均值池化单元，得到最大值池化结果和均值池化结果；
根据所述最大值池化结果和均值池化结果，确定池化后的融合特征数据。
4.如权利要求1所述的标题文本数据分类方法，其特征在于，按如下方式将所述标题文本数据映射到高维空间：
根据预先建立的词典，对标题文本数据进行独热编码处理，得到对应的文字向量；
将所述文字向量输入预先训练好的神经网络模型中，输出文本高维特征数据。
5.如权利要求1所述的标题文本数据分类方法，其特征在于，根据所述融合特征数据，进行标题文本数据分类，包括：
将所述融合特征数据输入预先训练好的全连接层网络模型，进行标题文本数据分类。
6.一种标题文本数据分类装置，其特征在于，包括：
数据获得模块，用于获得标题文本数据；
数据映射模块，用于将所述标题文本数据映射到高维空间，得到文本高维特征数据；
第一特征提取模块，用于将所述文本高维特征数据输入预先训练好的第一卷积神经网络模型，输出多个特征图，其中，所述第一卷积神经网络模型包含多个卷积层，每个卷积层包含多个卷积核，将所述文本高维特征数据分别输入每个卷积层，利用卷积层包含的多个卷积核对所述文本高维特征数据进行滑动卷积处理；
特征确定模块，用于根据所述多个特征图，确定综合特征图；
第二特征提取模块，用于将所述综合特征图输入预先训练好的第二卷积神经网络模型，输出融合特征数据，其中，所述第二卷积神经网络模型包含多组残差池化结构，所述多组残差池化结构之间链式连接，每组残差池化结构包含残差单元和池化单元，将所述综合特征图输入残差单元，得到残差单元的输出特征图，将残差单元的输出特征图输入池化单元，输出池化后的融合特征数据；
数据分类模块，用于根据所述融合特征数据，进行标题文本数据分类。
7.如权利要求6所述的标题文本数据分类装置，其特征在于，所述残差单元包含两个卷积层，每个卷积层包含多个卷积核；
第二特征提取模块进一步用于：
将所述综合特征图输入残差单元的第一个卷积层，利用第一个卷积层包含的多个卷积核对所述综合特征图进行滑动卷积处理，得到第一卷积结果；
将得到的第一卷积结果输入第二个卷积层，利用第二个卷积层包含的多个卷积核对第一卷积结果进行滑动卷积处理，得到第二卷积结果；
根据综合特征图和第二卷积结果，确定残差单元的输出特征图。
8.如权利要求6所述的标题文本数据分类装置，其特征在于，所述池化单元包含最大值池化单元和均值池化单元；
第二特征提取模块进一步用于：
将残差单元的输出特征图分别输入最大值池化单元和均值池化单元，得到最大值池化结果和均值池化结果；
根据所述最大值池化结果和均值池化结果，确定池化后的融合特征数据。
9.如权利要求6所述的标题文本数据分类装置，其特征在于，数据映射模块进一步用于：
根据预先建立的词典，对标题文本数据进行独热编码处理，得到对应的文字向量；
将所述文字向量输入预先训练好的神经网络模型中，输出文本高维特征数据。
10.如权利要求6所述的标题文本数据分类装置，其特征在于，数据分类模块进一步用于：
将所述融合特征数据输入预先训练好的全连接层网络模型，进行标题文本数据分类。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述方法的计算机程序。
CN202110643864.5A 2021-06-09 2021-06-09 标题文本数据分类方法及装置 Active CN113282753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110643864.5A CN113282753B (zh) 2021-06-09 2021-06-09 标题文本数据分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110643864.5A CN113282753B (zh) 2021-06-09 2021-06-09 标题文本数据分类方法及装置

Publications (2)

Publication Number Publication Date
CN113282753A true CN113282753A (zh) 2021-08-20
CN113282753B CN113282753B (zh) 2024-07-19

Family

ID=77284021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110643864.5A Active CN113282753B (zh) 2021-06-09 2021-06-09 标题文本数据分类方法及装置

Country Status (1)

Country Link
CN (1) CN113282753B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114969439A (zh) * 2022-06-27 2022-08-30 北京爱奇艺科技有限公司 一种模型训练、信息检索方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921029A (zh) * 2018-06-04 2018-11-30 浙江大学 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法
CN110213244A (zh) * 2019-05-15 2019-09-06 杭州电子科技大学 一种基于时空特征融合的网络入侵检测方法
CN110832596A (zh) * 2017-10-16 2020-02-21 因美纳有限公司 基于深度学习的深度卷积神经网络训练方法
CN111159417A (zh) * 2020-04-07 2020-05-15 北京泰迪熊移动科技有限公司 文本内容关键信息的提取方法、装置、设备及存储介质
CN112597764A (zh) * 2020-12-23 2021-04-02 青岛海尔科技有限公司 文本分类方法及装置、存储介质、电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832596A (zh) * 2017-10-16 2020-02-21 因美纳有限公司 基于深度学习的深度卷积神经网络训练方法
CN108921029A (zh) * 2018-06-04 2018-11-30 浙江大学 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法
CN110213244A (zh) * 2019-05-15 2019-09-06 杭州电子科技大学 一种基于时空特征融合的网络入侵检测方法
CN111159417A (zh) * 2020-04-07 2020-05-15 北京泰迪熊移动科技有限公司 文本内容关键信息的提取方法、装置、设备及存储介质
CN112597764A (zh) * 2020-12-23 2021-04-02 青岛海尔科技有限公司 文本分类方法及装置、存储介质、电子装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114969439A (zh) * 2022-06-27 2022-08-30 北京爱奇艺科技有限公司 一种模型训练、信息检索方法及装置

Also Published As

Publication number Publication date
CN113282753B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN109918560B (zh) 一种基于搜索引擎的问答方法和装置
CN111858843B (zh) 一种文本分类方法及装置
CN110009430B (zh) 作弊用户检测方法、电子设备及计算机可读存储介质
CN111259144A (zh) 多模型融合文本匹配方法、装置、设备和存储介质
CN112732864B (zh) 一种基于稠密伪查询向量表示的文档检索方法
CN110955745B (zh) 一种基于深度学习的文本哈希检索方法
CN109933682B (zh) 一种基于语义与内容信息结合的图像哈希检索方法及系统
CN113496123B (zh) 谣言检测方法、装置、电子设备及存储介质
CN112182167B (zh) 一种文本匹配方法、装置、终端设备和存储介质
CN116958688A (zh) 一种基于YOLOv8网络的目标检测方法及系统
CN115374845A (zh) 商品信息推理方法和装置
CN113254646A (zh) 新闻资讯分类方法及装置
CN113553847A (zh) 用于对地址文本进行解析的方法、装置、系统和存储介质
CN114840642A (zh) 事件抽取方法、装置、设备及存储介质
CN113282753A (zh) 标题文本数据分类方法及装置
CN113704473A (zh) 基于长文本特征提取优化的媒体假新闻检测方法及系统
CN115526176A (zh) 文本识别方法及装置、电子设备、存储介质
CN117011943A (zh) 基于多尺度自注意力机制的解耦的3d网络的动作识别方法
CN113221546B (zh) 手机银行资讯数据处理方法及装置
CN114548325B (zh) 基于对偶对比学习的零样本关系抽取方法和系统
CN116756605A (zh) 一种基于ernie_cn-gru语步自动识别方法、系统、设备及介质
CN114818711B (zh) 基于神经网络的多信息融合命名实体识别方法
CN116070642A (zh) 一种基于表情嵌入的文本情感分析方法及相关装置
CN112287640B (zh) 一种基于中文字符结构的序列标注方法
CN113312903A (zh) 一种5g移动业务产品词库的构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant