CN114254106A - 文本分类方法、装置、设备及存储介质 - Google Patents

文本分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114254106A
CN114254106A CN202011027632.9A CN202011027632A CN114254106A CN 114254106 A CN114254106 A CN 114254106A CN 202011027632 A CN202011027632 A CN 202011027632A CN 114254106 A CN114254106 A CN 114254106A
Authority
CN
China
Prior art keywords
membrane potential
determining
moment
result
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011027632.9A
Other languages
English (en)
Inventor
张和辉
吴臻志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lynxi Technology Co Ltd
Original Assignee
Beijing Lynxi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lynxi Technology Co Ltd filed Critical Beijing Lynxi Technology Co Ltd
Priority to CN202011027632.9A priority Critical patent/CN114254106A/zh
Priority to PCT/CN2021/120138 priority patent/WO2022063202A1/zh
Publication of CN114254106A publication Critical patent/CN114254106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Neurology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开实施例公开了一种文本分类方法、装置、设备及存储介质。该方法包括：确定待分类文本中各词对应的词向量；将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；其中，神经元模型根据第i‑1时刻的输出结果与目标权重矩阵确定泄露系数，泄露系数用于确定神经元模型第i时刻的输出结果。本公开实施例的技术方案，实现了通过较少的计算资源对长序列文本的分类。

Description

文本分类方法、装置、设备及存储介质
技术领域
本发明实施例涉及自然语言处理技术领域，尤其涉及一种文本分类方法、装置、设备及存储介质。
背景技术
自然语言处理(Natural Language Processing，NLP)自兴起以来已有超越十几年的发展历史。在NLP领域中，长短期记忆网络(Long Short-Term Memory，LSTM)是处理NLP中普遍存在的动态输入序列问题的经典选择。
然而，相关技术中，需要通过较多的计算资源来实现对长序列文本进行分类。
发明内容
本公开提供一种文本分类方法、装置、设备及存储介质，以实现通过较少的计算资源即可对长序列文本进行分类。
第一方面，本公开实施例提供了一种文本分类方法，包括：
确定待分类文本中各词对应的词向量；
将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；
在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；
其中，神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄露系数，泄露系数用于确定神经元模型第i时刻的输出结果。
进一步地，词向量的信号类型包括脉冲信号类型和模拟信号类型。
进一步地，将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理，包括：
对于输入神经元模型的第i时刻的词向量，获取预训练的第一权重矩阵及第i-1时刻的膜电位信息；
根据第i时刻的词向量、第一权重矩阵以及第i-1时刻的膜电位信息，确定临时膜电位；
根据第i-1时刻的输出结果和目标权重矩阵，确定泄漏系数；
根据临时膜电位和预设阈值，确定第i时刻的发放结果以及重置膜电位；
根据重置膜电位以及泄露系数，确定第i时刻的膜电位信息。
进一步地，第i-1时刻的输出结果包括第i-1时刻的膜电位信息以及第i-1时刻的发放结果，
其中，根据第i-1时刻的输出结果和目标权重矩阵，确定泄漏系数，包括以下方式中的一种：
根据第i-1时刻的膜电位信息和目标权重矩阵，确定泄漏系数；
根据第i-1时刻的发放结果和目标权重矩阵，确定泄漏系数。
进一步地，目标权重矩阵包括第二权重矩阵和第三权重矩阵，
其中，根据第i-1时刻的膜电位信息和目标权重矩阵，确定泄漏系数，包括：
根据第i时刻的词向量以及第二权重矩阵，确定第一结果；
根据第i-1时刻的膜电位信息以及第三权重矩阵，确定第二结果；
根据第一结果、第二结果以及激活函数，确定泄漏系数。
进一步地，根据重置膜电位以及泄露系数，确定第i时刻的膜电位信息，包括：
根据所述重置膜电位以及所述泄露系数，确定第一膜电位信息；
根据所述第i-1时刻的膜电位信息以及所述泄露系数，确定第二膜电位信息；
根据所述第一膜电位信息以及所述第二膜电位信息，确定第i时刻的膜电位信息。
进一步地，根据临时膜电位和预设阈值，确定第i时刻的发放结果，包括以下方式中的一种：
根据临时膜电位、预设阈值以及模拟激活函数，确定第i时刻的发放结果，其中发放结果为模拟值；
若临时膜电位大于或等于预设阈值，则确定发放结果为1，若临时膜电位小于预设阈值，则确定发放结果为0，其中，发放结果为脉冲值。
进一步地，根据临时膜电位和预设阈值，确定第i时刻的重置膜电位，包括：
若临时膜电位大于或等于预设阈值，则将预设静息电位确定为重置膜电位；
若临时膜电位小于预设阈值，则将临时膜电位确定为重置膜电位。
进一步地，根据第i时刻的词向量、第一权重矩阵以及第i-1时刻的膜电位信息，确定临时膜电位，包括：
根据第i时刻的词向量以及第一权重矩阵进行积分运算，获得中间向量；
将中间向量与第i-1时刻的膜电位信息进行求和，获得临时膜电位。
第二方面，本公开实施例还提供了一种文本分类装置，该文本分类装置包括：
词向量确定模块，用于确定待分类文本中各词对应的词向量；
词向量处理模块，用于将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；
分类结果确定模块，用于在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；
其中，神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄漏系数，泄漏系数用于确定神经元模型第i时刻的输出结果。
第三方面，本公开实施例还提供了一种设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本公开任意实施例中提供的文本分类方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令由计算机处理器执行时用于执行如本公开任意实施例提供的文本分类方法。
本公开实施例通过确定待分类文本中各词对应的词向量；将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；其中，神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄露系数，泄露系数用于确定神经元模型第i时刻的输出结果。通过脉冲神经网络对待分类文本进行分类，脉冲神经网络具有低功耗、低存储需求等特点，降低了分类过程中所需的计算资源；神经元模型在对第i时刻输入的词向量进行处理时所使用的泄漏系数是根据第i-1时刻的输出结果与目标权重矩阵确定的，使得确定的待分类文本中任一词向量对应的输出结果与其之前词向量的输出结果之间的连接关系更加紧密，进而使得根据神经元模型输出结果确定的分类结果更为准确。实现了通过较少的计算资源在不会导致梯度消失与爆炸的情况下对长序列文本的分类。
附图说明
图1是本公开一示例性实施例中的一种文本分类方法的流程图；
图2是本公开一示例性实施例中的一种文本分类方法的流程图；
图3是本公开一示例性实施例中的一种确定临时膜电位的流程图；
图4是本公开一示例性实施例中的一种神经元模型的信息处理示意图；
图5是本公开一示例性实施例中的一种文本分类装置的结构示意图；
图6是本公开一示例性实施例中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。此外，在不冲突的情况下，本公开中的实施例及实施例中的特征可以互相组合。
图1为本公开一示例性实施例提供的一种文本分类方法的流程图，本实施例可适用于对长序列文本内容进行分类的情况，该方法可以由文本分类装置来执行，该文本分类装置可以由软件和/或硬件来实现，该文本分类装置可以配置在计算设备上，包括如下步骤：
S101、确定待分类文本中各词对应的词向量。
其中，待分类文本可理解为需要根据整体语义去判断文本所表述内容偏向的多个词的集合，可选的，待分类文本可为大数据情况下互联网中各类评论，如影视评论、音乐评论及购物评论等。词向量可理解为待分类文本中的用于构成待分类文本的单词的向量，该单词可为单字或多字，本公开实施例对此不进行限制。
一种可能的实现方式，获取需要进行文本分类的待分类文本，该待分类文本可为具有不同单词数的评论，根据待分类文本的语言类型采用不同的分词方法对待分类文本进行分词，将其划分为多个词向量。示例性的，若待分类文本为英文评论，则可通过按空格、按符号或词干提取等方式对待分类文本进行划分，将划分得到的每个单词作为一个词向量；若待分类文本为中文评论，则可通过基于词典匹配的方式、基于统计的方式或基于深度学习的方式等对待分类文本进行划分，将划分得到的每个词组作为一个词向量。
S102、将各词对应的词向量按照文本先后顺序输入脉冲神经网络中的神经元模型中处理。
其中，脉冲神经网络(Spiking Neuron Networks，SNN)可理解为从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按照不同的连接方式组成某种网络模型，以电脉冲的形式对输入数据进行编码，以实现对输入数据的处理，其可由一个或多个神经元模型构成。脉冲神经网络具有低功耗、高运算速度、低存储需求等特点，并且，相较于其他人工神经网络，其模拟神经元更加接近实际，且把时间信息的影响也考虑进其中。其中，神经元模型可以通过神经形态电路中的具有输入和输出的硬件处理单元来实现。
进一步地，词向量的信号类型包括脉冲信号类型和模拟信号类型。
进一步地，神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄漏系数，泄漏系数用于确定神经元模型第i时刻的输出结果。
其中，输出结果可理解为神经元模型对第i-1时刻输入的词向量进行处理后所得到的结果，该输出结果可以是膜电位信息也可以是根据不同词向量信号类型确定的发放结果。
目标权重矩阵可理解为通过训练样本进行训练以得到适应于使用环境的矩阵数值，目标权重矩阵在文本分类过程中可以不断进行训练，使得该权重矩阵更适用于文本分类的使用条件。泄漏系数可理解为用以模拟生物神经元在进行信息传递时膜电位信息损失的系数，以在对第i时刻的词向量进行处理时确定其膜电位信息的保留程度，进而确定出神经元模型在第i时刻的输出结果。
一种可能的实现方式，在对待分类文本进行划分得到多个词向量后，将得到的词向量按照文本的先后顺序依次输入脉冲神经网络，使脉冲神经网络中的神经元模型按照由先到后的时间顺序对依次输入的词向量进行处理。以第i时刻输入的词向量为例，将其输入神经元模型中得到一个处理结果，并获取神经元模型根据第i-1时刻输出结果与目标权重确定的针对于该词向量的泄漏系数，利用该泄漏系数确定上述处理结果的保留程度，并将经过泄漏系数处理的处理结果作为第i时刻的输出结果。
本公开实施例中，输入神经元模型的词向量信号类型既可是脉冲信号类型，也可是模拟信号类型，丰富了文本分类方法中神经元网络模型可处理信息的种类，同时引入依赖输入词向量的前一词向量的输出结果确定的泄漏系数，使得确定出的待分类文本中任一词向量对应的输出结果与其之前各词向量的输出结果之间的联系更加紧密，进而使得输入神经元模型进行处理的词向量的输出结果更为准确。
S103、在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果。
其中，分类结果可理解为根据待分类文本中所表达内容偏向确定出的结果，可包括正面和负面，示例性的，当待分类文本为一个电影影评时，可对该电影影评进行分类，得到的分类结果可说明该影评所表达的是夸赞该电影的正面看法，还是表达的时批评该电影的负面看法。
一种可能的实现方式，在当前词向量为待分类文本中的最后一个词向量时，说明待分类文本到当前时刻已全部输入脉冲神经网络中进行处理，且当前词向量在经由神经元模型处理后所得到的输出结果与整个待分类文本中的信息皆存在关联关系，将该输出结果输入全连接层进行处理后即可得到该待分类文本的分类结果。
本公开实施例通过确定待分类文本中各词对应的词向量；将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；其中，神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄露系数，泄露系数用于确定神经元模型第i时刻的输出结果。脉冲神经网络具有低功耗、高运算速度、低存储需求等特点，通过脉冲神经网络对待分类文本进行分类，能够降低分类过程中所需的计算资源，解决相关技术中，进行文本分类时，模型权重数量多、对计算资源需求高等问题。
神经元模型在对第i时刻输入的词向量进行处理时所使用的泄漏系数是根据第i-1时刻的输出结果与目标权重矩阵确定的，使得确定的待分类文本中任一词向量对应的输出结果与其之前词向量的输出结果之间的连接关系更加紧密，进而使得根据神经元模型输出结果确定的分类结果更为准确，并且，动态确定各时刻的泄露系数，能够有效解决长序列文本数据的梯度消失与爆炸的问题，实现了通过较少的计算资源在不会导致梯度消失与爆炸的情况下对长序列文本的分类，提高了长序列文本分类的速度，降低了长序列文本分类的功耗和存储需求。
图2为本公开一示例性实施例提供的一种文本分类方法的流程图。本实施例的技术方案在上述技术方案的基础上进一步细化，可以包括如下步骤：
S201、确定待分类文本中各词对应的词向量。
S202、对于输入神经元模型的第i时刻的词向量，获取预训练的第一权重矩阵及第i-1时刻的膜电位信息。
其中，预训练的第一权重矩阵可理解为根据训练样本进行训练得到的，用于处理输入词向量的权重系数矩阵。膜电位信息可理解为脉冲神经网络中用以表示词向量信息经神经元模型处理后所得的值，多个膜电位间根据时间关系可构成膜电位向量。
一种可能的实现方式，对于第i时刻输入神经元模型的词向量，为对其进行更为准确的处理，可以将其与前一时刻输入的词向量的处理结果相关联，故在第i时刻输入词向量时，获取预先训练的第一权重矩阵，以及第i-1时刻输入词向量经处理后所得到的膜电位信息。
S203、根据第i时刻的词向量、第一权重矩阵以及第i-1时刻的膜电位信息，确定临时膜电位。
其中，临时膜电位可理解为神经元由接收到输入词向量进行处理至得到处理结果中得到的一个中间值。
一种可能的实现方式，第一权重矩阵为用于处理词向量的一个需要训练的权重矩阵，根据第i时刻输入的词向量以及获取到的第一权重矩阵可以确定一个中间向量，结合中间向量以及第i-1时刻的膜电位信息即可确定第i时刻的词向量经神经元模型后的临时膜电位。
进一步地，图3为本公开一示例性实施例提供的一种确定临时膜电位的流程图，可以包括如下步骤：
S2031、根据第i时刻的词向量以及第一权重矩阵进行积分运算，获得中间向量。
一种可能的实现方式，根据神经元模型所需的数据类型确定第i时刻输入的词向量的信号类型，以及与信号类型对应的计算方法，本公开中的神经元模型所接收的词向量信号类型包括脉冲信号类型和模拟信号类型(浮点数、整数等)中的任一项，根据选择的信号类型不同，对第i时刻的词向量和第一权重矩阵进行矩阵乘法或卷积运算，即可得到中间向量。
示例性的，假设Xt用以表示第t时刻输入的词向量、W为设定的第一权重矩阵，It为对应于第t时刻的中间向量，则根据所需数据类型的不同，It的计算方式可如下所示：
Figure BDA0002702576830000111
即当所需数据类型为全连接(linear)形式时，对t时刻输入的词向量与第一权重矩阵进行矩阵相乘，得到中间向量；当所需数据类型为卷积(convolution)形式时，对t时刻输入的词向量与第一权重矩阵进行卷积运算，得到中间向量。
S2032、将中间向量与第i-1时刻的膜电位信息进行求和，获得临时膜电位。
接上述示例，假设
Figure BDA0002702576830000112
用以表示第t-1时刻的膜电位信息，
Figure BDA0002702576830000113
为对应于t时刻的临时膜电位，则
Figure BDA0002702576830000114
的计算方式可如下所示：
Figure BDA0002702576830000115
S204、根据第i-1时刻的输出结果和目标权重矩阵，确定泄漏系数。
其中，第i-1时刻的输出结果包括第i-1时刻的膜电位信息以及第i-1时刻的发放结果。
其中，发放结果可理解为词向量经神经元模型处理后得到的发放输出结果，根据输入的词向量的信号类型的不同，对应有不同的计算方式。
一种可能的实现方式，根据神经元模型所需的数据类型不同，其输入的信号类型可为脉冲信号类型也可为模拟信号类型，进而用于模拟生物神经元在进行信息传递时膜电位信息损失的泄漏系数的计算方式也存在不同，在对第i时刻输入的词向量进行处理时，需要通过第i-1时刻神经元模型输出结果确定的泄漏系数，由于神经元模型的输出结果可以为膜电位信息也可以是根据词向量信号类型确定的发放结果，故可根据信号类型的不同将膜电位信息或发放结果与目标权重矩阵进行矩阵乘法或卷积运算，并将运算结果代入激活函数最终得到根据第i-1时刻神经元模型输出结果确定的泄漏系数。
进一步地，若第i-1时刻的输出结果为第i-1时刻的发放结果，则可根据发放结果的信号类型，将发放结果与目标权重矩阵进行矩阵乘法或卷积运算，并将运算结果代入激活函数中，以得到应用于对第i时刻输入词向量进行处理时的，根据第i-1时刻发放结果确定的泄漏系数。
进一步地，若第i-1时刻的输出结果为第i-1时刻的膜电位信息，则根据第i-1时刻的膜电位信息和目标权重矩阵，确定泄漏系数。
其中，目标权重矩阵包括第二权重矩阵和第三权重矩阵。
其中，第二权重矩阵和第三权重矩阵可理解为脉冲神经网络中的两个不同的，通过训练得到的权重系数矩阵。
确定泄露系数的过程可以包括如下步骤：
S2041、根据第i时刻的词向量以及第二权重矩阵，确定第一结果。
一种可能的实现方式，根据第i时刻的词向量的信号类型，将第i时刻的词向量与第二权重矩阵进行矩阵乘法或卷积运算，并将运算结果确定为第一结果。
S2042、根据第i-1时刻的膜电位信息以及第三权重矩阵，确定第二结果。
一种可能的实现方式，选择的第i-1时刻的膜电位信息与输入的第i时刻的词向量的信号类型相同，将第i-1时刻的膜电位信息与第三权重矩阵进行矩阵乘法或卷积运算，并将运算结果确定为第二结果。
S2043、根据第一结果、第二结果以及激活函数，确定泄漏系数。
其中，激活函数可理解为一种在神经网络中经常使用到的非线性函数，使用非线性函数可以使得网络具备模拟非线性方程的能力，使得网络能够映射更加复杂的关系。可选的，在本公开中使用的激活函数可为Sigmoid函数，其为一个在深度学习中常见的S型函数，也成为了S型生长曲线，具有单增及反函数单增的性质。
一种可能的实现方式，将第一结果与第二结果累加，并将相加后得到的结果代入激活函数，得到映射到0-1之间的值，并将该值作为最终得到的泄漏系数，用以控制第i时刻膜电位信息的保留程度。
示例性的，假设Xt用以表示第t时刻输入的词向量，
Figure BDA0002702576830000131
用以表示第t-1时刻的膜电位信息，假设Win为第二权重矩阵，Wm为第三权重矩阵，α为泄漏系数，则α的计算方式可以如下所示：
Figure BDA0002702576830000132
S205、根据临时膜电位和预设阈值，确定第i时刻的发放结果。
其中，预设阈值可理解为一个预设的电位阈值。
一种可能的实现方式，可根据神经元模型中对词向量进行处理时需求的信号类型确定第i时刻的发放结果的信号类型，若需求的信号类型为模拟值，则可将临时膜电位与预设的电位阈值代入模拟激活函数中，通过将输入的临时膜电位与预设阈值映射至输出端得到模拟值形式的第i时刻的发放结果；若需求的信号类型为脉冲值，则比较临时膜电位与预设阈值的大小关系，当临时膜电位大于或等于预设阈值时，确定发放结果为1，当临时膜电位小于预设阈值时，确定发放结果为0。
接上述示例，假设Ft为第t时刻的信号类型为脉冲值，Vth为预设阈值，f(x,Vth)为模拟激活函数，Yt为第t时刻的发放结果，则Yt的计算方式可如下所示：
Figure BDA0002702576830000141
即当需要输出的发放结果为脉冲值时，则输出根据临时膜电位
Figure BDA0002702576830000142
与预设阈值Vth大小关系确定的Ft，当需要输出的发放结果为模拟值时，则将临时膜电位
Figure BDA0002702576830000143
与预设阈值Vth输入模拟激活函数中，并模拟激活函数的输出结果确定为发放结果。
其中，模拟激活函数f(x,Vth)可以与预设阈值电位相关(TR mode)，也可与预设阈值电位不相关(NTR mode)，即可表示为：
Figure BDA0002702576830000144
其中，激活函数Act(x)为一个非线性的函数。
S206、根据临时膜电位和预设阈值，确定第i时刻的重置膜电位。
其中，重置膜电位可理解为根据临时膜电位判断是否需要对第i时刻的临时膜电位进行重置后得到的电位值。
一种可能的实现方式，判断临时膜电位与预设阈值的大小关系，根据判断结果可确定发放结果中脉冲类型的方法结果，根据脉冲发放结果、临时膜电位以及预设静息电位即可确定第i时刻的重置膜电位。
进一步地，若临时膜电位大于或等于预设阈值，则将预设静息电位确定为重置膜电位；若临时膜电位小于预设阈值，则将临时膜电位确定为重置膜电位。
S207、根据重置膜电位以及泄漏系数，确定第i时刻的膜电位信息。
一种可能的实现方式，在根据临时膜电位确定好重置膜电位后，由于泄漏系数的大小为[0,1]范围内的值，则可求取重置膜电位与泄漏系数的第一乘积，并根据预先确定的一个预设的泄露常数，将第一乘积与泄露常数的和确定为第i时刻的膜电位信息。
进一步地，根据重置膜电位、第i-1时刻的膜电位信息以及泄漏系数，确定第i时刻的膜电位信息。
一种可能的实现方式，根据所述重置膜电位以及所述泄露系数，确定第一膜电位信息；
根据所述第i-1时刻的膜电位信息以及所述泄露系数，确定第二膜电位信息；
根据所述第一膜电位信息以及所述第二膜电位信息，确定第i时刻的膜电位信息。
例如，将重置膜电位与泄漏系数的乘积作为第一膜电位信息，求取一与泄漏系数的差值，并将该差值与第i-1时刻的膜电位信息的乘积作为第二膜电位信息，将第一膜电位信息与第二膜电位信息的和确定为第i时刻的膜电位信息。
接上述示例，假设第t时刻的重置膜电位可以用
Figure BDA0002702576830000153
表示，则第i时刻的膜电位信息可表示为：
Figure BDA0002702576830000151
可选的，假设预设的泄露常数为β，通过计算泄漏系数与重置膜电位的乘积与泄露常数的和确定当前细胞膜电位，可表示为：
Figure BDA0002702576830000152
S208、在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果。
一种可能的实现方式，在当前词向量为待分类文本中的最后一个词向量时，可认为待分类文本到当前时刻已切不输入脉冲神经网络中进行处理，且当前词向量在经由神经元模型处理后的结果与整个待分类文本中的各词向量信息均存在关联关系，可将其经过神经元模型处理后所得的输出结果输入全连接层中进行处理，并根据处理后的结果确定待分类文本的分类结果。
其中，全连接层可理解为其中每一个结点均与上一层的所有结点相连，用于将前边提取到的特征全部综合起来进行处理得到结果的神经网络中的“分类器”。
示例性的，图4为本公开一示例性实施例提供的一种神经元模型的信息处理示意图，第i时刻的脉冲信号类型或模拟信号类型的词向量，结合获取到的第i-1时刻的膜电位信息和预训练的第一权重矩阵得到第i时刻的临时膜电位；结合临时膜电位与预设阈值确定第i时刻的发放结果以及第i时刻的重置膜电位；结合获取到的第i时刻的词向量、第i-1时刻的输出结果以及目标权重矩阵，确定第i时刻的泄漏系数，其中，第i-1时刻的输出结果可包括第i-1时刻的膜电位信息或第i-1时刻的发放结果，目标权重矩阵可包括第二权重矩阵和第三权重矩阵，进一步地，根据第i时刻的词向量与第二权重矩阵确定第一结果，根据第i-1时刻的膜电位信息或发放结果与第三权重矩阵确定第二结果，根据第一结果与第二结果确定泄漏系数；结合重置膜电位以及泄漏系数，确定第i时刻的膜电位信息。
进一步地，下表1中为本公开一示例性实施例提供的一种不同神经元模型对于同样的IMDB(Internet Movie Database，互联网电影资料库)文本分类任务进行处理时的性能对比。
表1
Figure BDA0002702576830000161
Figure BDA0002702576830000171
其中，本公开所提供的神经元模型，由于输出结果与前项输出结果之间具有连接关系，模型可收敛，且具有较好的性能。
进一步地，下表2中为本公开一示例性实施例提供的一种不同神经元模型在相同输入(100)和输出(256)维度下，单个时间步的乘加次数与参数量的对比。
表2
本公开神经元模型 LSTM
参数量 77568 366592
乘次 77056 365312
加次 78212 365568
其表明本公开神经元模型相较于LSTM模型减少了约78.8％的计算量与参数量，其在应用于实际情况时可极大地节省计算资源与存储资源。进一步地，结合上述表1与表2的内容可知，本公开神经元模型虽然性能较之于LSTM模型稍差，但由于其所需计算资源远小于LSTM模型，故其综合性能远优于LSTM模型，本公开提供的神经元模型能够达到较好的收敛与降低功耗的效果。
本公开实施例的技术方案，通过第i-1时刻的神经元模型的输出结果和目标权重矩阵，确定泄漏系数，并根据泄漏系数以及第i时刻的重置膜电位，或根据泄漏系数、第i时刻的重置膜电位以及第i-1时刻的膜电位信息确定第i时刻的膜电位信息，当第i时刻为待分类文本中最后一个词向量对应的时刻时，根据其输出结果确定待分类文本的分类结果，使得确定的待分类文本中任一词向量对应的输出结果与其之前词向量的输出结果之间的连接关系更加紧密，进而使得根据神经元模型输出结果确定的分类结果更为准确，且脉冲神经网络具有低功耗、高运算速度、低存储需求等特点，通过脉冲神经网络对待分类文本进行分类，能够降低分类过程中所需的计算资源，提高分类效率。
图5为本公开一示例性实施例提供的一种文本分类装置的结构示意图，该文本分类装置包括：词向量确定模块31，词向量处理模块32和分类结果确定模块33。
其中，词向量确定模块31，用于确定待分类文本中各词对应的词向量；词向量处理模块32，用于将所述各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；分类结果确定模块33，用于在当前词向量为所述待分类文本中的最后一个词向量时，根据所述神经元模型的输出结果确定所述待分类文本的分类结果；其中，所述神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄漏系数，所述泄漏系数用于确定所述神经元模型第i时刻的输出结果。
本实施例的技术方案，解决了进行文本分类时，模型权重数量多、对计算资源需求高等问题，实现了通过较少的计算资源下对长序列文本的分类，增加了所得分类结果与输入内容间的联系，提高了长序列文本分类的速度，降低了长序列文本分类的功耗和存储需求。
进一步地，词向量的信号类型包括脉冲信号类型和模拟信号类型。
可选的，词向量处理模块32，包括：
信息获取单元，用于对于输入神经元模型的第i时刻的词向量，获取预训练的第一权重矩阵及第i-1时刻的膜电位信息。
临时膜电位确定单元，用于根据第i时刻的词向量、第一权重矩阵以及第i-1时刻的膜电位信息，确定临时膜电位。
泄漏系数确定单元，用于根据第i-1时刻的输出结果和目标权重矩阵，确定泄漏系数。
结果与电位确定单元，用于根据临时膜电位和预设阈值，确定第i时刻的发放结果以及重置膜电位。
膜电位信息确定单元，用于根据重置膜电位以及泄露系数，确定第i时刻的膜电位信息。
进一步地，第i-1时刻的输出结果包括第i-1时刻的膜电位信息以及第i-1时刻的发放结果，根据第i-1时刻的输出结果和目标权重矩阵，确定泄漏系数，包括以下方式中的一种：
根据第i-1时刻的膜电位信息和目标权重矩阵，确定泄漏系数；
根据第i-1时刻的发放结果和目标权重矩阵，确定泄漏系数。
进一步地，目标权重矩阵包括第二权重矩阵和第三权重矩阵，泄漏系数确定单元用于：根据第i时刻的词向量以及第二权重矩阵，确定第一结果；根据第i-1时刻的膜电位信息以及第三权重矩阵，确定第二结果；根据第一结果、第二结果以及激活函数，确定泄漏系数。
进一步地，膜电位信息确定单元用于：根据所述重置膜电位以及所述泄露系数，确定第一膜电位信息；根据所述第i-1时刻的膜电位信息以及所述泄露系数，确定第二膜电位信息；根据所述第一膜电位信息以及所述第二膜电位信息，确定第i时刻的膜电位信息。
进一步地，临时膜电位确定单元用于：根据所述第i时刻的词向量以及所述第一权重矩阵进行积分运算，获得中间向量；将所述中间向量与所述第i-1时刻的膜电位信息进行求和，获得临时膜电位。
进一步地，结果与电位确定单元用于：根据所述临时膜电位、预设阈值以及模拟激活函数，确定第i时刻的发放结果，其中所述发放结果为模拟值；若所述临时膜电位大于或等于所述预设阈值，则确定所述发放结果为1，若所述临时膜电位小于所述预设阈值，则确定所述发放结果为0，其中，所述发放结果为脉冲值；若所述临时膜电位大于或等于所述预设阈值，则将预设静息电位确定为所述重置膜电位；若所述临时膜电位小于所述预设阈值，则将所述临时膜电位确定为所述重置膜电位。
本公开实施例所提供的文本分类装置可执行本公开任意实施例所提供的文本分类方法，具备执行方法相应的功能模块和有益效果
图6为本公开一示例性实施例提供的一种设备的结构示意图，如图6所示，该设备包括处理器41、存储装置42、输入装置43和输出装置44；设备中处理器41的数量可以是一个或多个，图6中以一个处理器41为例；设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储装置42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开实施例中的文本分类方法对应的程序指令/模块(例如，词向量确定模块31，词向量处理模块32和分类结果确定模块33)。处理器41通过运行存储至存储装置42中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的文本分类方法。
存储装置42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入，可以包括触屏、键盘和鼠标等。输出装置44可包括显示屏等显示设备。
本公开一示例性实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种文本分类方法，该方法包括：
确定待分类文本中各词对应的词向量；
将各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；
在当前词向量为待分类文本中的最后一个词向量时，根据神经元模型的输出结果确定待分类文本的分类结果；
其中，神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄露系数，泄露系数用于确定神经元模型第i时刻的输出结果。
当然,本公开实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本公开任意实施例所提供的文本分类方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。
注意，上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解，本公开不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此，虽然通过以上实施例对本公开进行了较为详细的说明，但是本公开不仅仅限于以上实施例，在不脱离本公开构思的情况下，还可以包括更多其他等效实施例，而本公开的范围由所附的权利要求范围决定。

Claims (12)

1.一种文本分类方法，其特征在于，包括：
确定待分类文本中各词对应的词向量；
将所述各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；
在当前词向量为所述待分类文本中的最后一个词向量时，根据所述神经元模型的输出结果确定所述待分类文本的分类结果；
其中，所述神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄露系数，所述泄露系数用于确定所述神经元模型第i时刻的输出结果。
2.根据权利要求1所述的方法，所述词向量的信号类型包括脉冲信号类型和模拟信号类型。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理，包括：
对于输入神经元模型的第i时刻的词向量，获取预训练的第一权重矩阵及第i-1时刻的膜电位信息；
根据所述第i时刻的词向量、所述第一权重矩阵以及第i-1时刻的膜电位信息，确定临时膜电位；
根据所述第i-1时刻的输出结果和所述目标权重矩阵，确定泄漏系数；
根据所述临时膜电位和预设阈值，确定第i时刻的发放结果以及重置膜电位；
根据所述重置膜电位以及所述泄露系数，确定第i时刻的膜电位信息。
4.根据权利要求3所述的方法，其特征在于，所述第i-1时刻的输出结果包括第i-1时刻的膜电位信息以及第i-1时刻的发放结果，
其中，根据所述第i-1时刻的输出结果和所述目标权重矩阵，确定泄漏系数，包括以下方式中的一种：
根据所述第i-1时刻的膜电位信息和所述目标权重矩阵，确定泄漏系数；
根据所述第i-1时刻的发放结果和所述目标权重矩阵，确定泄漏系数。
5.根据权利要求4所述的方法，其特征在于，所述目标权重矩阵包括第二权重矩阵和第三权重矩阵，
其中，根据所述第i-1时刻的膜电位信息和所述目标权重矩阵，确定泄漏系数，包括：
根据所述第i时刻的词向量以及所述第二权重矩阵，确定第一结果；
根据所述第i-1时刻的膜电位信息以及所述第三权重矩阵，确定第二结果；
根据所述第一结果、所述第二结果以及激活函数，确定所述泄漏系数。
6.根据权利要求3所述的方法，其特征在于，所述根据所述重置膜电位以及所述泄露系数，确定第i时刻的膜电位信息，包括：
根据所述重置膜电位以及所述泄露系数，确定第一膜电位信息；
根据所述第i-1时刻的膜电位信息以及所述泄露系数，确定第二膜电位信息；
根据所述第一膜电位信息以及所述第二膜电位信息，确定第i时刻的膜电位信息。
7.根据权利要求3所述的方法，其特征在于，所述根据所述临时膜电位和预设阈值，确定第i时刻的发放结果，包括以下方式中的一种：
根据所述临时膜电位、预设阈值以及模拟激活函数，确定第i时刻的发放结果，其中所述发放结果为模拟值；
若所述临时膜电位大于或等于所述预设阈值，则确定所述发放结果为1，若所述临时膜电位小于所述预设阈值，则确定所述发放结果为0，其中，所述发放结果为脉冲值。
8.根据权利要求3所述的方法，其特征在于，所述根据所述临时膜电位和预设阈值，确定第i时刻的重置膜电位，包括：
若所述临时膜电位大于或等于所述预设阈值，则将预设静息电位确定为所述重置膜电位；
若所述临时膜电位小于所述预设阈值，则将所述临时膜电位确定为所述重置膜电位。
9.根据权利要求3所述的方法，其特征在于，所述根据所述第i时刻的词向量、所述第一权重矩阵以及第i-1时刻的膜电位信息，确定临时膜电位，包括：
根据所述第i时刻的词向量以及所述第一权重矩阵进行积分运算，获得中间向量；
将所述中间向量与所述第i-1时刻的膜电位信息进行求和，获得临时膜电位。
10.一种文本分类装置，其特征在于，包括：
词向量确定模块，用于确定待分类文本中各词对应的词向量；
词向量处理模块，用于将所述各词对应的词向量按照文本先后顺序依次输入脉冲神经网络的神经元模型中处理；
分类结果确定模块，用于在当前词向量为所述待分类文本中的最后一个词向量时，根据所述神经元模型的输出结果确定所述待分类文本的分类结果；
其中，所述神经元模型根据第i-1时刻的输出结果与目标权重矩阵确定泄漏系数，所述泄漏系数用于确定所述神经元模型第i时刻的输出结果。
11.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的文本分类方法。
12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的文本分类方法。
CN202011027632.9A 2020-09-25 2020-09-25 文本分类方法、装置、设备及存储介质 Pending CN114254106A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011027632.9A CN114254106A (zh) 2020-09-25 2020-09-25 文本分类方法、装置、设备及存储介质
PCT/CN2021/120138 WO2022063202A1 (zh) 2020-09-25 2021-09-24 文本分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011027632.9A CN114254106A (zh) 2020-09-25 2020-09-25 文本分类方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114254106A true CN114254106A (zh) 2022-03-29

Family

ID=80789457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011027632.9A Pending CN114254106A (zh) 2020-09-25 2020-09-25 文本分类方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114254106A (zh)
WO (1) WO2022063202A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548046A (zh) * 2022-04-25 2022-05-27 阿里巴巴达摩院(杭州)科技有限公司 文本处理方法以及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111225B2 (en) * 2012-02-08 2015-08-18 Qualcomm Incorporated Methods and apparatus for spiking neural computation
CN106875003B (zh) * 2017-01-20 2020-08-04 清华大学 自适应泄漏值神经元信息处理方法和系统
CN106875004B (zh) * 2017-01-20 2019-09-10 北京灵汐科技有限公司 复合模式神经元信息处理方法和系统
CN106875005B (zh) * 2017-01-20 2019-09-20 清华大学 自适应阈值神经元信息处理方法和系统
CN108984775B (zh) * 2018-07-24 2020-05-22 南京新贝金服科技有限公司 一种基于商品评论的舆情监控方法及系统
CN109754012A (zh) * 2018-12-29 2019-05-14 新华三大数据技术有限公司 实体语义关系分类方法、模型训练方法、装置及电子设备
CN110826602B (zh) * 2019-10-23 2022-04-26 中国科学院自动化研究所 基于膜电位调控脉冲神经网络的图像分类方法、系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548046A (zh) * 2022-04-25 2022-05-27 阿里巴巴达摩院(杭州)科技有限公司 文本处理方法以及装置

Also Published As

Publication number Publication date
WO2022063202A1 (zh) 2022-03-31

Similar Documents

Publication Publication Date Title
CN111767405B (zh) 文本分类模型的训练方法、装置、设备及存储介质
CN109783817B (zh) 一种基于深度强化学习的文本语义相似计算模型
CN109948149B (zh) 一种文本分类方法及装置
CN109992773B (zh) 基于多任务学习的词向量训练方法、系统、设备及介质
CN111325029B (zh) 一种基于深度学习集成模型的文本相似度计算方法
CN112131366A (zh) 训练文本分类模型及文本分类的方法、装置及存储介质
CN109947931B (zh) 基于无监督学习的文本自动摘要方法、系统、设备及介质
CN114565104A (zh) 语言模型的预训练方法、结果推荐方法及相关装置
CN109816438B (zh) 信息推送方法及装置
CN110232122A (zh) 一种基于文本纠错与神经网络的中文问句分类方法
CN110442721B (zh) 神经网络语言模型、训练方法、装置及存储介质
CN112819023A (zh) 样本集的获取方法、装置、计算机设备和存储介质
CN112380344A (zh) 文本分类的方法、话题生成的方法、装置、设备及介质
CN111831783A (zh) 一种篇章级关系抽取方法
CN114444476A (zh) 信息处理方法、装置和计算机可读存储介质
WO2022063202A1 (zh) 文本分类方法、装置、设备及存储介质
CN111353032B (zh) 面向社区问答的问题分类方法及系统
CN109977194B (zh) 基于无监督学习的文本相似度计算方法、系统、设备及介质
CN114357166B (zh) 一种基于深度学习的文本分类方法
CN115222048A (zh) 文献摘要生成模型的训练方法、装置、设备及介质
CN115129863A (zh) 意图识别方法、装置、设备、存储介质和计算机程序产品
CN115600595A (zh) 一种实体关系抽取方法、系统、设备及可读存储介质
CN111507098B (zh) 多义词识别方法、装置、电子设备及计算机可读存储介质
CN114357152A (zh) 信息处理方法、装置、计算机可读存储介质和计算机设备
Nikolaos et al. Document classification system based on HMM word map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination