CN110263323A - 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统 - Google Patents

基于栅栏式长短时记忆神经网络的关键词抽取方法及系统 Download PDF

Info

Publication number
CN110263323A
CN110263323A CN201910379144.5A CN201910379144A CN110263323A CN 110263323 A CN110263323 A CN 110263323A CN 201910379144 A CN201910379144 A CN 201910379144A CN 110263323 A CN110263323 A CN 110263323A
Authority
CN
China
Prior art keywords
word
text
keyword
vector
term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910379144.5A
Other languages
English (en)
Other versions
CN110263323B (zh
Inventor
肖朝军
曾国洋
钟皓曦
刘知远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910379144.5A priority Critical patent/CN110263323B/zh
Publication of CN110263323A publication Critical patent/CN110263323A/zh
Application granted granted Critical
Publication of CN110263323B publication Critical patent/CN110263323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供一种基于栅栏式长短时记忆神经网络的关键词抽取方法及系统，所述方法包括：将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列；将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果；其中，所述文本语义特征向量序列包含了所述待抽取关键词的法律文本语料中的字语义信息、词语义信息和上下文信息；其中，所述文本编码模型和所述关键词识别模型是根据带有关键词标注的法律文本语料样本进行联合训练后获得的。本发明实施例可以应对智慧司法领域中的复杂输入，在不依赖分词的情况下获取词的语义信息，实现关键词抽取在智慧司法领域的性能提升。

Description

基于栅栏式长短时记忆神经网络的关键词抽取方法及系统
技术领域
本发明涉及自然语言处理以及智慧司法领域，更具体地，涉及一种基于栅栏式长短时记忆神经网络的关键词抽取方法及系统。
背景技术
关键词抽取旨在从信息化的文本中，提取出最重要的成分，通过有限个的关键词，尽可能的还原信息化文本中原本的含义。在传统的数据挖掘中，关键词抽取的方法被用在了各种各样的数据上，提取出的关键词可被用于检索、分类等多种具有实用性的任务中，并起到核心作用。可以说，关键词抽取的技术不仅可以更好的从文本中提取信息，还可以在海量的信息化文本中构建起特征的桥梁。通过关键词的提取，可以在海量的数据之间建立起基于关键信息的联系，而后在这样的基础上进行工作可以创造出更大的价值。关键词提取的技术在各行各业都有着广阔的应用场景。
虽然传统的关键词抽取方法已经被广泛应用，但是它也存在着许多不可避免的问题。在传统方法中关键词的提取通常是基于分词的，而基于分词的方法在许多领域并不可行，特别是在智慧司法领域。在智慧司法领域中，由于复杂的语言环境、司法化的特有描述、频繁出现的各式各样的人名与地名等因素，现有的所有分词方法均不能很好的处理智慧司法中信息化的文本，因此传统的基于分词的关键词提取技术也不能在智慧司法领域发挥效果。
为了在智慧司法领域进行可靠的关键词抽取，必须放弃基于分词的传统方法，放弃从词到词的关键词预测，让关键词的提取方法不依赖于分词的效果。但是如果只着眼于从字到字的关键词抽取方法也是不可行的，之前已经有不少工作在字到字的关键词预测方面做了实验，这些实验都不约而同的表明，只基于字的方法结果会比只基于词的方法效果更差。
因此，如何提供一种新的不依赖于分词的关键词抽取技术，能够应对智慧司法领域中可能出现的各种输入，例如人名、地名、法律术语等，做到在复杂的语言环境下提取文本特征，最终提高智慧司法领域关键词抽取的效果，显得尤为迫切。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于栅栏式长短时记忆神经网络的关键词抽取方法及系统。
第一方面，本发明实施例提供一种基于栅栏式长短时记忆神经网络的关键词抽取方法，包括：
将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列；
将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果；
其中，所述文本语义特征向量序列包含了所述待抽取关键词的法律文本语料中的字语义信息、词语义信息和上下文信息；
其中，所述文本编码模型和所述关键词识别模型是根据带有关键词标注的法律文本语料样本进行联合训练后获得的。
第二方面，本发明实施例提供一种基于栅栏式长短时记忆神经网络的关键词抽取系统，包括：
文本编码模块，用于将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列；
关键词识别模块，用于将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果；
其中，所述文本语义特征向量序列包含了所述待抽取关键词的法律文本语料中的字语义信息、词语义信息和上下文信息；
其中，所述文本编码模型和所述关键词识别模型是根据带有关键词标注的法律文本语料样本进行联合训练后获得的。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于栅栏式长短时记忆神经网络的关键词抽取方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于栅栏式长短时记忆神经网络的关键词抽取方法的步骤。
本发明实施例提供的基于栅栏式长短时记忆神经网络的关键词抽取方法及系统，通过采用预先训练好的文本编码模型，能够将输入文本中的语义信息、词语义信息和上下文信息编码到一个统一的连续空间中，得到包含有人名、地名以及普通词语的低维度混合特征向量，然后将这些向量作为关键词识别模型的输入，从而获得关键词抽取的结果，实现了不依赖于分词的关键词抽取，有效地提升了对智慧司法领域中的法律文本关键词抽取的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于栅栏式长短时记忆神经网络的关键词抽取方法的流程示意图；
图2为本发明实施例提供的文本编码模型的编码层网络结构示意图；
图3为本发明实施例提供的一种基于栅栏式长短时记忆神经网络的关键词抽取系统的结构示意图；
图4为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了使完全不依赖于分词的字到字的关键词抽取方法能有超过传统方法的关键词提取效果，我们提出了一种新型的基于栅栏式长短时记忆神经网络的关键词抽取方法，不仅保留了字到字关键词提取模型的特征，同时还兼顾了输入信息化文本中可能包含的词语信息。通过这种字与词语并重的方法，不仅可以保留基于分词方法得到的词语信息，还可以从输入中学习到人名、地名等传统分词方法无法处理的信息，从而在不依赖分词的基础上得到远超于传统方法的效果。
如图1所示，为本发明实施例提供的基于栅栏式长短时记忆神经网络的关键词抽取方法的流程示意图，包括：
步骤100、将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列；
具体地，给定一个智慧司法领域待抽取关键词的法律文本语料，对于所述法律文本语料中的每个字和出现的词语，采用基于栅栏式长短时记忆神经网络的文本编码模型，首先将其编码到低维度的连续空间中，从而得到对应其语义的空间嵌入表示，这些空间嵌入表示包括字向量序列和一系列词向量，由于这些向量包含了字与词语的语义信息，但是并不包含其在具体句子中的上下文相关信息，因此，还需通过所述文本编码模型对这些空间嵌入表示进行进一步编码，从而得到多个文本语义特征向量，构成文本语义特征向量序列。通常来说，对于一段长度为L的文本，文本编码模型会输出长度为L的文本语义特征向量序列。
其中，所述文本语义特征向量序列包含了所述待抽取关键词的法律文本语料中的字语义信息、词语义信息和上下文信息。
可以理解的是，基于栅栏式长短时记忆神经网络的文本编码模型能够将待抽取关键词的法律文本语料文本中的语义信息、词语义信息和上下文信息编码到一个统一的连续空间中，文件语义特征向量序列能够较为全面地反映所述待抽取关键词的法律文本语料中所包含的语义信息。
步骤101、将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果；
具体地，在利用所述文本编码模型对待抽取关键词的法律文本语料进行特征提取，获得包含了字语义信息、词语义信息和上下文信息的文本语义特征向量序列后，将所述文本语义特征向量序列输入至关键词识别模型中，关键词识别模型能够基于述文本语义特征向量序列，有效地提取法律文本语料中的关键词。
在本发明实施例中，所述文本编码模型和所述关键词识别模型是根据带有关键词标注的法律文本语料样本进行联合训练后获得的。联合训练是指文本编码模型和关键词识别模型在一个统一的连续空间中同时训练。
可以理解的是，将所述法律文本语料样本作为输入，将所述法律文本语料样本中标注的关键词作为期望的输出，对所述文本编码模型和关键词识别模型同时进行训练，训练结束后获得的文本编码模型能够有效地提取输入的法律文本语料中的字语义信息、词语义信息和上下文信息，训练结束后获得的关键词识别模型能够基于文本编码模型的输出结果有效地提取法律文本语料中的关键词。
本发明实施例提供的基于栅栏式长短时记忆神经网络的关键词抽取方法，通过采用预先训练好的文本编码模型，能够将输入文本中的语义信息、词语义信息和上下文信息编码到一个统一的连续空间中，得到包含有人名、地名以及普通词语的低维度混合特征向量，然后将这些向量作为关键词识别模型的输入，从而获得关键词抽取的结果，实现了不依赖于分词的关键词抽取，有效地提升了对智慧司法领域中的法律文本关键词抽取的效果。
基于上述实施例的内容，所述将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列的步骤，具体为：
将待抽取关键词的法律文本语料输入到文本编码模型的输入层进行预处理，获得所述法律文本语料对应的字向量序列和一系列词向量；
将所述法律文本语料对应的字向量序列和一系列词向量输入到文本编码模型的编码层进行联合编码，获得文本语义特征向量序列。
具体地，所述基于栅栏式长短时记忆神经网络的文本编码模型包括输入层和编码层。
所述文本编码模型的输入层包括用于提取字向量的BERT模型和用于提取词向量的word2vec模型。
法律文本语料中通常包含多个句子，每个句子又可以拆分为字的序列其中，为第i个字，i＝1,2,...,L，同时连续的相邻几个字还有可能会组成一个词，用表示一个由构成的词，表示由第b个字到第e个字所组成的词，D为所述字序列所组成的所有可能的词集合。输入层的功能就是将输入的法律文本语料中所包含的字序列与词信息转化为对应的低维语义向量。对于字的语义向量，可以利用预先在巨大语料库中训练好的BERT模型从所述法律文本语料中提取出字向量，用得到的kc维度向量作为对应字的语义表示向量。对于词的向量，可以采用word2vec模型在大规模的智慧司法领域语料上提前训练，从而得到了词语的kc维度向量作为对应词语的语义表示向量。将待抽取关键词的法律文本语料输入到文本编码模型的输入层进行预处理，可以获得所述法律文本语料对应的字向量序列和一系列词向量。
这些向量仅包含了字与词语的语义信息，但是不包含其在具体句子中的上下文相关信息，因此还需要利用编码层对这些向量进行进一步编码。将所述法律文本语料对应的字向量序列和一系列词向量输入到文本编码模型的编码层进行联合编码，从而获得包含了字语义信息、词语义信息和上下文信息的文本语义特征向量序列。
如图2所示，为本发明实施例提供的文本编码模型的编码层网络结构示意图，所述文本编码模型的编码层包括若干个词编码单元和字编码单元，其中，标记为C的圆圈表示字编码单元，标记为W的圆圈表示词编码单元。
所述词编码单元和字编码单元均采用栅栏式长短时记忆神经网络结构。根据栅栏式长短时记忆神经网络的循环单元结构，可知其计算过程如下：(1)首先利用上一时刻的外部状态ht-1和当前时刻的输入xt，计算出遗忘门ft，输入门it和输出门ot以及候选状态(2)结合遗忘门ft和输入门it来更新记忆单元ct；(3)结合输出门ot，将内部状态的信息传递给外部状态ht。
所述将所述法律文本语料对应的字向量序列和一系列词向量输入到文本编码模型的编码层进行联合编码，获得文本语义特征向量序列的步骤，具体为：
对于所述法律文本语料对应的一系列词向量中的任一词向量，将当前词向量、当前词向量的第一个字所对应的字编码单元输出结果和当前词向量的第一个字所对应的字编码循环神经元内部表示向量输入至所述词编码单元中，获取当前词向量对应的词编码循环神经元内部表示向量；
具体地，词编码单元的输入包括待编码的词向量(即当前词向量)、当前词向量的第一个字所对应的字编码单元输出和当前词向量的第一个字所对应的字编码循环神经元内部表示向量其输出可以定义为：
其中，表示两个向量之间的对位乘积，σ表示Sigmod激活函数，通常被定义为tanh表示双曲正切函数，和是词编码单元中的可学习参数，通过训练得到，为输入门，为遗忘门，为候选状态，为当前词向量对应的词编码循环神经元内部表示向量。
这里的词编码单元不直接提供最后的输出，但是其得到的循环神经单元内部表示向量将会为字编码单元提供原输入语句中词语的信息。由于考虑到了输入语句中出现的每一个可能的词语，文本编码模型可以在不依赖于分词的情况下提供词级别的语义信息，从而提升其在智慧司法领域的关键词抽取效果。
对于所述法律文本语料对应的字向量序列中的任一字向量，将当前字向量、当前字向量的前一个字向量所对应的字编码单元输出结果和以当前字向量所对应的字为结尾的词向量所对应的词编码循环神经元内部表示向量输入至所述字编码单元中，获取当前字向量对应的字编码信息和输出门信息；
具体地，对于所述法律文本语料对应的字向量序列中的任一字向量进行编码，字编码单元的输入为当前字向量当前字向量的前一个字向量所对应的字编码单元输出结果和以当前字向量所对应的字为结尾的词向量所对应的词编码循环神经元内部表示向量D为所有字组成的所有可能的词的集合。
字编码单元的输出可以定义为：
其中，σ同样表示Sigmod激活函数，tanh表示双曲正切函数，和是字编码单元中的可学习参数，通过训练得到，为输入门，为遗忘门，为输出门，为字编码信息。
计算以当前字向量所对应的字为结尾的词向量所占的权重和所述当前字向量对应的字编码信息所占的权重；
具体地，对字进行编码可以得到一个只包含字语义信息的不完整编码为了将词编码单元的输出信息融合进去，还需要在的基础上进行一些后继的处理。可以注意到，输入语句中出现的以第e个字结尾的词可能不止一个，例如“桥”、“大桥”、“长江大桥”它们都有相同的结尾，因此需要考虑到不同词对编码信息的贡献，一个词向量对字的编码的贡献被定义为如下形式：
其中，表示从第b到第j个字构成的词语对当前字向量的编码贡献，也即以当前字向量所对应的字为结尾的词向量所占的权重，表示字编码信息对当前字向量的编码贡献，也即所述当前字向量对应的字编码信息所占的权重，D为所有字组成的所有可能的词的集合，和为可学习的参数，为以当前字向量所对应的字为结尾的词向量所对应的词编码循环神经元内部表示向量。
通过计算出不同词对当前字的贡献，可以加权得到当前字循环神经元内部表示向量即根据所述以当前字向量所对应的字为结尾的词向量所占的权重以当前字向量所对应的字为结尾的词向量所对应的词编码循环神经元内部表示向量所述当前字向量对应的字编码信息所占的权重以及当前字向量对应的字编码信息加权求和获得当前字向量对应的字编码循环神经元内部表示向量具体公式如下：
根据所述当前字向量对应的字编码循环神经元内部表示向量和当前字向量对应的输出门信息计算获得当前字向量对应的字编码单元输出结果；
具体地，采用如下公式得到当前字向量对应的字编码单元输出结果
其中，为当前字向量对应的输出门信息。
将所有字向量对应的字编码单元输出结果存入一个集合中，生成文本语义特征向量序列；
文本编码模块以一段文本为输入，最终的输出即为文本编码模块的输出。输出的向量序列包含了原文中的字语义信息、词语义信息与上下文信息，这些信息将会以低维连续向量的形式传递给关键词识别模块，用于后继的关键词预测功能。
本发明实施例将所述法律文本语料对应的字向量序列和一系列词向量输入到文本编码模型的编码层进行联合编码，实现了在基于字的编码模型中引入词的语义信息，让文本编码模型可以在不依赖分词的情况下同样获取到词的语义信息，从而提升模型的稳定性，丰富了关键词特征抽取的细节，实现了关键词抽取算法在智慧司法领域的性能提升，具有良好的实用性。
基于上述实施例的内容，所述将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果的步骤，具体为：
将所述文本语义特征向量序列输入至预先训练好的条件随机场模型中，利用维特比算法求解所述条件随机场模型的最优解，获得关键词抽取结果。
具体地，关键词识别模块以文本编码模块的输出为输入。对于一段长度为L的文本，文本编码模块会输出一段长度为L的向量序列而关键词识别模块则会将这些输入的特征序列，建立条件随机场模型，通过求解条件随机场模型的最优解作为关键词识别模块的输出。
其中条件随机场模型可以表达为以下形式：对于一系列输入s＝h1,h2,...,hL以及一段预测序列y＝l1,l2,...,lL，定义条件概率Pθ(y|s)表示给定输入为s的情况下y是输入序列s的正确预测输出的概率，具体形式如下：
这里的y′＝l1',l2',...,lL'表示任意预测序列，和是模型中的可学习参数，在训练过程中这些参数将会不断进行更新。对于上述的条件随机场模型，使用维特比算法可以寻找到ypred使得P(y|s)达到最大，而寻找到的ypred即是关键词识别模块的最终输出。在最终的输出ypred＝l1,l2,...,lL中，li有四种可能的取值：(1)非关键词，(2)关键词的第一个字，(3)关键词中间的某个字，(4)关键词的最后一个字。可以根据关键词识别模块的输出，从输入文本中选取字序列作为关键词抽取的结果，从而达到不依赖于分词的关键词抽取。
基于上述实施例的内容，在所述将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中的步骤之前，还包括：训练所述文本编码模型和关键词识别模型，其中，训练所述文本编码模型和关键词识别模型的步骤，具体为：
构建法律文本语料样本集，所述法律文本语料样本集由带有关键词标注的法律文本语料样本组成；
构建基于栅栏式长短时记忆神经网络的文本编码模型和基于条件随机场模型的关键词识别模型；
将所述法律文本语料样本输入至所述基于栅栏式长短时记忆神经网络的文本编码模型中，获得所述法律文本语料样本对应的文本语义特征向量序列；
将所述法律文本语料样本对应的文本语义特征向量序列输入至所述基于条件随机场模型的关键词识别模型中，获得关键词识别结果；
根据所述关键词识别结果和所述法律文本语料样本中标注的关键词计算损失，并通过反向传播所述损失更新所述文本编码模型的参数和关键词识别模型的参数；
判断是否达到训练结束条件，若是，则保存当前迭代所述文本编码模型的参数和关键词识别模型的参数，获得训练完成的文本编码模型和关键词识别模型，否则输入下一个法律文本语料样本进行训练。
具体地，本发明实施例设计了一个将文本编码模型与关键词识别模型进行联合学习的通用框架，对于整个联合学习框架来说，设计目的是让框架可以支持文本编码模型和关键词识别模型在一个统一的连续空间中同时训练，从而可以让文本编码模块得到的特征与关键词识别模块共享。将所有的嵌入表示以及模型中涉及的参数都定义为模型参数，并用符号θ＝{θW,θC,θE,θCRF}表示，其中，θW,θC,θE,θCRF分别表示词嵌入、字嵌入、文本编码模型和关键词识别模型的相关参数。如果将对框架的性能要求形式化描述的话，模型需要做的就是找到一组最优的参数满足：
其中Pθ(Y(x)|x)是一个定义出的条件概率，用于刻画给定文本、关键词与模型参数θ的情况下，模型对关键词特征的表达能力、拟合能力。更直观一点的表达，训练框架的任务就是找到最好的模型参数使得模型能够最大程度的拟合文本语义信息，让模型的关键词预测结果尽可能的接近正确的关键词。
在学习框架中，随机初始化模型参数θ，并采用了多轮的训练机制，将一系列人工标注好关键词的语料数据随机打乱，并划分为很多训练组。在每一轮训练中，将法律文本语料样本作为输入，从而得到Pθ(Y(x)|x)，使用对数似然函数来度量当前解到最优解的距离，通过Adam、SGD等优化方法对当前的参数θ进行修正。经过多轮修正后θ逐渐收敛到即可以认为找到了一个接近于最优参数的较优参数然后可以将较优的参数带入文本编码模块和关键词识别模块，最终进行关键词抽取。
这里Pθ(Y(x)|x)表示模型参数θ为时，将x作为文本编码模块的输入后从关键词识别模块认为Y(x)是其正确输出的概率；Y(x)表示对于智慧司法文本x的人工标注的关键词信息。
如图3所示，为本发明实施例提供的一种基于栅栏式长短时记忆神经网络的关键词抽取系统的结构示意图，包括：文本编码模块301和关键词识别模块302，其中，
文本编码模块301，用于将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列；
具体地，给定一个智慧司法领域待抽取关键词的法律文本语料，对于所述法律文本语料中的每个字和出现的词语，文本编码模块301采用基于栅栏式长短时记忆神经网络的文本编码模型，首先将其编码到低维度的连续空间中，从而得到对应其语义的空间嵌入表示，这些空间嵌入表示包括字向量序列和一系列词向量，由于这些向量包含了字与词语的语义信息，但是并不包含其在具体句子中的上下文相关信息，因此，还需通过所述文本编码模型对这些空间嵌入表示进行进一步编码，从而得到多个文本语义特征向量，构成文本语义特征向量序列。通常来说，对于一段长度为L的文本，文本编码模型会输出长度为L的文本语义特征向量序列。
其中，所述文本语义特征向量序列包含了所述待抽取关键词的法律文本语料中的字语义信息、词语义信息和上下文信息。
关键词识别模块302，用于将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果；
具体地，在利用所述文本编码模型对待抽取关键词的法律文本语料进行特征提取，获得包含了字语义信息、词语义信息和上下文信息的文本语义特征向量序列后，关键词识别模块302将所述文本语义特征向量序列输入至关键词识别模型中，关键词识别模型能够基于述文本语义特征向量序列，有效地提取法律文本语料中的关键词。
在本发明实施例中，所述文本编码模型和所述关键词识别模型是根据带有关键词标注的法律文本语料样本进行联合训练后获得的。联合训练是指文本编码模型和关键词识别模型在一个统一的连续空间中同时训练。
可以理解的是，将所述法律文本语料样本作为输入，将所述法律文本语料样本中标注的关键词作为期望的输出，对所述文本编码模型和关键词识别模型同时进行训练，训练结束后获得的文本编码模型能够有效地提取输入的法律文本语料中的字语义信息、词语义信息和上下文信息，训练结束后获得的关键词识别模型能够基于文本编码模型的输出结果有效地提取法律文本语料中的关键词。
本发明实施例提供的基于栅栏式长短时记忆神经网络的关键词抽取系统，通过采用预先训练好的文本编码模型，能够将输入文本中的语义信息、词语义信息和上下文信息编码到一个统一的连续空间中，得到包含有人名、地名以及普通词语的低维度混合特征向量，然后将这些向量作为关键词识别模型的输入，从而获得关键词抽取的结果，实现了不依赖于分词的关键词抽取，有效地提升了对智慧司法领域中的法律文本关键词抽取的效果。
基于上述实施例的内容，所述文本编码模块301具体包括：
预处理子模块，用于将待抽取关键词的法律文本语料输入到文本编码模型的输入层进行预处理，获得所述法律文本语料对应的字向量序列和一系列词向量；
编码子模块，用于将所述法律文本语料对应的字向量序列和一系列词向量输入到文本编码模型的编码层进行联合编码，获得文本语义特征向量序列。
预处理子模块和编码子模块用于执行上述方法实施例中的将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列的步骤。因此，在前述各方法实施例中的的描述和定义，可以用于本发明实施例中预处理子模块和编码子模块的理解，在此不再赘述。
图4为本发明实施例提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储在存储器430上并可在处理器410上运行的计算机程序，以执行上述各方法实施例所提供的基于栅栏式长短时记忆神经网络的关键词抽取方法，例如包括：将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列；将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果；其中，所述文本语义特征向量序列包含了所述待抽取关键词的法律文本语料中的字语义信息、词语义信息和上下文信息；其中，所述文本编码模型和所述关键词识别模型是根据带有关键词标注的法律文本语料样本进行联合训练后获得的。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的基于栅栏式长短时记忆神经网络的关键词抽取方法，例如包括：将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列；将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果；其中，所述文本语义特征向量序列包含了所述待抽取关键词的法律文本语料中的字语义信息、词语义信息和上下文信息；其中，所述文本编码模型和所述关键词识别模型是根据带有关键词标注的法律文本语料样本进行联合训练后获得的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于栅栏式长短时记忆神经网络的关键词抽取方法，其特征在于，包括：
将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列；
将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果；
其中，所述文本语义特征向量序列包含了所述待抽取关键词的法律文本语料中的字语义信息、词语义信息和上下文信息；
其中，所述文本编码模型和所述关键词识别模型是根据带有关键词标注的法律文本语料样本进行联合训练后获得的。
2.根据权利要求1所述的基于栅栏式长短时记忆神经网络的关键词抽取方法，其特征在于，所述将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列的步骤，具体为：
将待抽取关键词的法律文本语料输入到所述文本编码模型的输入层进行预处理，获得所述法律文本语料对应的字向量序列和一系列词向量；
将所述法律文本语料对应的字向量序列和一系列词向量输入到所述文本编码模型的编码层进行联合编码，获得文本语义特征向量序列。
3.根据权利要求2所述的基于栅栏式长短时记忆神经网络的关键词抽取方法，其特征在于，所述文本编码模型的输入层包括用于提取字向量的BERT模型和用于提取词向量的word2vec模型，所述文本编码模型的编码层包括词编码单元和字编码单元，所述词编码单元和字编码单元均采用栅栏式长短时记忆神经网络结构。
4.根据权利要求3所述的基于栅栏式长短时记忆神经网络的关键词抽取方法，其特征在于，所述将所述法律文本语料对应的字向量序列和一系列词向量输入到所述文本编码模型的编码层进行联合编码，获得文本语义特征向量序列的步骤，具体为：
对于所述法律文本语料对应的一系列词向量中的任一词向量，将当前词向量、当前词向量的第一个字所对应的字编码单元输出结果和当前词向量的第一个字所对应的字编码循环神经元内部表示向量输入至所述词编码单元中，获取当前词向量对应的词编码循环神经元内部表示向量；
对于所述法律文本语料对应的字向量序列中的任一字向量，将当前字向量、当前字向量的前一个字向量所对应的字编码单元输出结果和以当前字向量所对应的字为结尾的词向量所对应的词编码循环神经元内部表示向量输入至所述字编码单元中，获取当前字向量对应的字编码信息和输出门信息；
计算以当前字向量所对应的字为结尾的词向量所占的权重和所述当前字向量对应的字编码信息所占的权重；
根据所述以当前字向量所对应的字为结尾的词向量所占的权重、以当前字向量所对应的字为结尾的词向量所对应的词编码循环神经元内部表示向量、所述当前字向量对应的字编码信息所占的权重以及当前字向量对应的字编码信息，计算获得当前字向量对应的字编码循环神经元内部表示向量；
根据所述当前字向量对应的字编码循环神经元内部表示向量和当前字向量对应的输出门信息计算获得当前字向量对应的字编码单元输出结果；
将所有字向量对应的字编码单元输出结果存入一个集合中，生成文本语义特征向量序列。
5.根据权利要求1所述的基于栅栏式长短时记忆神经网络的关键词抽取方法，其特征在于，所述将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果的步骤，具体为：
将所述文本语义特征向量序列输入至预先训练好的条件随机场模型中，利用维特比算法求解所述条件随机场模型的最优解，获得关键词抽取结果。
6.根据权利要求1所述的基于栅栏式长短时记忆神经网络的关键词抽取方法，其特征在于，在所述将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中的步骤之前，还包括：训练所述文本编码模型和关键词识别模型，其中，训练所述文本编码模型和关键词识别模型的步骤，具体为：
构建法律文本语料样本集，所述法律文本语料样本集由带有关键词标注的法律文本语料样本组成；
构建基于栅栏式长短时记忆神经网络的文本编码模型和基于条件随机场模型的关键词识别模型；
将所述法律文本语料样本输入至所述基于栅栏式长短时记忆神经网络的文本编码模型中，获得所述法律文本语料样本对应的文本语义特征向量序列；
将所述法律文本语料样本对应的文本语义特征向量序列输入至所述基于条件随机场模型的关键词识别模型中，获得关键词识别结果；
根据所述关键词识别结果和所述法律文本语料样本中标注的关键词计算损失，并通过反向传播所述损失更新所述文本编码模型的参数和关键词识别模型的参数；
判断是否达到训练结束条件，若是，则保存当前迭代所述文本编码模型的参数和关键词识别模型的参数，获得训练完成的文本编码模型和关键词识别模型，否则输入下一个法律文本语料样本进行训练。
7.一种基于栅栏式长短时记忆神经网络的关键词抽取系统，其特征在于，包括：
文本编码模块，用于将待抽取关键词的法律文本语料输入到基于栅栏式长短时记忆神经网络的文本编码模型中，获得文本语义特征向量序列；
关键词识别模块，用于将所述文本语义特征向量序列输入至关键词识别模型中，获得关键词抽取结果；
其中，所述文本语义特征向量序列包含了所述待抽取关键词的法律文本语料中的字语义信息、词语义信息和上下文信息；
其中，所述文本编码模型和所述关键词识别模型是根据带有关键词标注的法律文本语料样本进行联合训练后获得的。
8.根据权利要求7所述的基于栅栏式长短时记忆神经网络的关键词抽取系统，其特征在于，所述文本编码模块具体包括：
预处理子模块，用于将待抽取关键词的法律文本语料输入到所述文本编码模型的输入层进行预处理，获得所述法律文本语料对应的字向量序列和一系列词向量；
编码子模块，用于将所述法律文本语料对应的字向量序列和一系列词向量输入到所述文本编码模型的编码层进行联合编码，获得文本语义特征向量序列。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于栅栏式长短时记忆神经网络的关键词抽取方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于栅栏式长短时记忆神经网络的关键词抽取方法的步骤。
CN201910379144.5A 2019-05-08 2019-05-08 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统 Active CN110263323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910379144.5A CN110263323B (zh) 2019-05-08 2019-05-08 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910379144.5A CN110263323B (zh) 2019-05-08 2019-05-08 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统

Publications (2)

Publication Number Publication Date
CN110263323A true CN110263323A (zh) 2019-09-20
CN110263323B CN110263323B (zh) 2020-08-28

Family

ID=67914441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910379144.5A Active CN110263323B (zh) 2019-05-08 2019-05-08 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统

Country Status (1)

Country Link
CN (1) CN110263323B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061839A (zh) * 2019-12-19 2020-04-24 过群 基于语义与知识图谱的关键词联合式生成方法及系统
CN111126056A (zh) * 2019-12-06 2020-05-08 北京明略软件系统有限公司 一种识别触发词的方法及装置
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111143691A (zh) * 2019-12-31 2020-05-12 四川长虹电器股份有限公司 一种联合信息抽取方法及装置
CN111191457A (zh) * 2019-12-16 2020-05-22 浙江大搜车软件技术有限公司 自然语言语义识别方法、装置、计算机设备和存储介质
CN111274815A (zh) * 2020-01-15 2020-06-12 北京百度网讯科技有限公司 用于挖掘文本中的实体关注点的方法和装置
CN111340006A (zh) * 2020-04-16 2020-06-26 深圳市康鸿泰科技有限公司 一种手语识别方法及系统
CN112148837A (zh) * 2020-09-15 2020-12-29 珠海格力电器股份有限公司 维修方案的获取方法、装置、设备及存储介质
CN112464656A (zh) * 2020-11-30 2021-03-09 科大讯飞股份有限公司 关键词抽取方法、装置、电子设备和存储介质
CN112464654A (zh) * 2020-11-27 2021-03-09 科技日报社 关键词生成方法、装置、电子设备和计算机可读介质
CN112487826A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 信息抽取方法、抽取模型训练方法、装置以及电子设备
CN112528655A (zh) * 2020-12-18 2021-03-19 北京百度网讯科技有限公司 关键词生成方法、装置、设备及存储介质
CN112905795A (zh) * 2021-03-11 2021-06-04 证通股份有限公司 文本意图分类的方法、装置和可读介质
CN112948535A (zh) * 2019-12-10 2021-06-11 复旦大学 一种文本的知识三元组抽取方法、装置及存储介质
CN113239190A (zh) * 2021-04-27 2021-08-10 天九共享网络科技集团有限公司 文档分类方法、装置、存储介质及电子设备
CN113344197A (zh) * 2021-06-02 2021-09-03 北京三快在线科技有限公司 一种识别模型的训练方法、业务执行的方法以及装置
CN113591475A (zh) * 2021-08-03 2021-11-02 美的集团(上海)有限公司 无监督可解释分词的方法、装置和电子设备
CN113658688A (zh) * 2021-08-23 2021-11-16 上海赴源科技服务有限公司 基于无分词深度学习的临床决策支持方法
US11256856B2 (en) 2017-10-17 2022-02-22 Handycontract Llc Method, device, and system, for identifying data elements in data structures
US11475209B2 (en) 2017-10-17 2022-10-18 Handycontract Llc Device, system, and method for extracting named entities from sectioned documents
CN116108171A (zh) * 2022-12-19 2023-05-12 中国邮政速递物流股份有限公司广东省分公司 基于ai循环神经网络深度学习技术的司法材料处理系统
CN116862318A (zh) * 2023-09-04 2023-10-10 国电投华泽(天津)资产管理有限公司 基于文本语义特征提取的新能源项目评价方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN107239445A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络的新闻事件抽取的方法及系统
CN107423284A (zh) * 2017-06-14 2017-12-01 中国科学院自动化研究所 融合中文单词内部结构信息的句子表示的构建方法及系统
CN107656990A (zh) * 2017-09-14 2018-02-02 中山大学 一种基于字和词两个层面特征信息的文本分类方法
CN109684626A (zh) * 2018-11-16 2019-04-26 深思考人工智能机器人科技（北京）有限公司 语义识别方法、模型、存储介质和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN107239445A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络的新闻事件抽取的方法及系统
CN107423284A (zh) * 2017-06-14 2017-12-01 中国科学院自动化研究所 融合中文单词内部结构信息的句子表示的构建方法及系统
CN107656990A (zh) * 2017-09-14 2018-02-02 中山大学 一种基于字和词两个层面特征信息的文本分类方法
CN109684626A (zh) * 2018-11-16 2019-04-26 深思考人工智能机器人科技（北京）有限公司 语义识别方法、模型、存储介质和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张默涵: "基于字词混合向量的CNN-LSTM短文本分类", 《信息技术与信息化》 *
曾道建 等: "基于序列到序列模型的法律问题关键词抽取", 《清华大学学报（自然科学版）》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256856B2 (en) 2017-10-17 2022-02-22 Handycontract Llc Method, device, and system, for identifying data elements in data structures
US11475209B2 (en) 2017-10-17 2022-10-18 Handycontract Llc Device, system, and method for extracting named entities from sectioned documents
CN111126056A (zh) * 2019-12-06 2020-05-08 北京明略软件系统有限公司 一种识别触发词的方法及装置
CN111126056B (zh) * 2019-12-06 2023-05-09 北京明略软件系统有限公司 一种识别触发词的方法及装置
CN112948535A (zh) * 2019-12-10 2021-06-11 复旦大学 一种文本的知识三元组抽取方法、装置及存储介质
CN112948535B (zh) * 2019-12-10 2022-06-14 复旦大学 一种文本的知识三元组抽取方法、装置及存储介质
CN111191457B (zh) * 2019-12-16 2023-09-15 浙江大搜车软件技术有限公司 自然语言语义识别方法、装置、计算机设备和存储介质
CN111191457A (zh) * 2019-12-16 2020-05-22 浙江大搜车软件技术有限公司 自然语言语义识别方法、装置、计算机设备和存储介质
CN111061839A (zh) * 2019-12-19 2020-04-24 过群 基于语义与知识图谱的关键词联合式生成方法及系统
CN111061839B (zh) * 2019-12-19 2024-01-23 过群 基于语义与知识图谱的关键词联合式生成方法及系统
CN111144127B (zh) * 2019-12-25 2023-07-25 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111144127A (zh) * 2019-12-25 2020-05-12 科大讯飞股份有限公司 文本语义识别方法及其模型的获取方法及相关装置
CN111143691A (zh) * 2019-12-31 2020-05-12 四川长虹电器股份有限公司 一种联合信息抽取方法及装置
US11775761B2 (en) 2020-01-15 2023-10-03 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for mining entity focus in text
CN111274815B (zh) * 2020-01-15 2024-04-12 北京百度网讯科技有限公司 用于挖掘文本中的实体关注点的方法和装置
CN111274815A (zh) * 2020-01-15 2020-06-12 北京百度网讯科技有限公司 用于挖掘文本中的实体关注点的方法和装置
CN111340006B (zh) * 2020-04-16 2024-06-11 深圳市康鸿泰科技有限公司 一种手语识别方法及系统
CN111340006A (zh) * 2020-04-16 2020-06-26 深圳市康鸿泰科技有限公司 一种手语识别方法及系统
CN112148837A (zh) * 2020-09-15 2020-12-29 珠海格力电器股份有限公司 维修方案的获取方法、装置、设备及存储介质
CN112464654A (zh) * 2020-11-27 2021-03-09 科技日报社 关键词生成方法、装置、电子设备和计算机可读介质
CN112464656B (zh) * 2020-11-30 2024-02-13 中国科学技术大学 关键词抽取方法、装置、电子设备和存储介质
CN112464656A (zh) * 2020-11-30 2021-03-09 科大讯飞股份有限公司 关键词抽取方法、装置、电子设备和存储介质
CN112487826A (zh) * 2020-11-30 2021-03-12 北京百度网讯科技有限公司 信息抽取方法、抽取模型训练方法、装置以及电子设备
US11899699B2 (en) 2020-12-18 2024-02-13 Beijing Baidu Netcom Science Technology Co., Ltd. Keyword generating method, apparatus, device and storage medium
CN112528655B (zh) * 2020-12-18 2023-12-29 北京百度网讯科技有限公司 关键词生成方法、装置、设备及存储介质
CN112528655A (zh) * 2020-12-18 2021-03-19 北京百度网讯科技有限公司 关键词生成方法、装置、设备及存储介质
CN112905795A (zh) * 2021-03-11 2021-06-04 证通股份有限公司 文本意图分类的方法、装置和可读介质
CN113239190A (zh) * 2021-04-27 2021-08-10 天九共享网络科技集团有限公司 文档分类方法、装置、存储介质及电子设备
CN113239190B (zh) * 2021-04-27 2024-02-20 天九共享网络科技集团有限公司 文档分类方法、装置、存储介质及电子设备
CN113344197A (zh) * 2021-06-02 2021-09-03 北京三快在线科技有限公司 一种识别模型的训练方法、业务执行的方法以及装置
CN113591475A (zh) * 2021-08-03 2021-11-02 美的集团(上海)有限公司 无监督可解释分词的方法、装置和电子设备
CN113658688B (zh) * 2021-08-23 2024-02-13 上海赴源科技服务有限公司 基于无分词深度学习的临床决策支持方法
CN113658688A (zh) * 2021-08-23 2021-11-16 上海赴源科技服务有限公司 基于无分词深度学习的临床决策支持方法
CN116108171B (zh) * 2022-12-19 2023-10-31 中国邮政速递物流股份有限公司广东省分公司 基于ai循环神经网络深度学习技术的司法材料处理系统
CN116108171A (zh) * 2022-12-19 2023-05-12 中国邮政速递物流股份有限公司广东省分公司 基于ai循环神经网络深度学习技术的司法材料处理系统
CN116862318B (zh) * 2023-09-04 2023-11-17 国电投华泽(天津)资产管理有限公司 基于文本语义特征提取的新能源项目评价方法和装置
CN116862318A (zh) * 2023-09-04 2023-10-10 国电投华泽(天津)资产管理有限公司 基于文本语义特征提取的新能源项目评价方法和装置

Also Published As

Publication number Publication date
CN110263323B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN110263323A (zh) 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统
CN109992783B (zh) 中文词向量建模方法
CN108073711B (zh) 一种基于知识图谱的关系抽取方法和系统
WO2023024412A1 (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN111858931B (zh) 一种基于深度学习的文本生成方法
CN110413986A (zh) 一种改进词向量模型的文本聚类多文档自动摘要方法及系统
CN104598611B (zh) 对搜索条目进行排序的方法及系统
CN110222188A (zh) 一种多任务学习的公司公告处理方法及服务端
CN112395393B (zh) 一种基于多任务多示例的远程监督关系抽取方法
CN107145484A (zh) 一种基于隐多粒度局部特征的中文分词方法
CN108197294A (zh) 一种基于深度学习的文本自动生成方法
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN110188175A (zh) 一种基于BiLSTM-CRF模型的问答对抽取方法、系统及存储介质
CN113761893B (zh) 一种基于模式预训练的关系抽取方法
CN113435211B (zh) 一种结合外部知识的文本隐式情感分析方法
CN110222184A (zh) 一种文本的情感信息识别方法及相关装置
CN113128232B (zh) 一种基于albert与多重词信息嵌入的命名实体识别方法
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN113128233B (zh) 一种心理疾病知识图谱的构建方法及系统
Wu et al. Optimized deep learning framework for water distribution data-driven modeling
CN113051887A (zh) 一种公告信息元素抽取方法、系统及装置
CN116010581A (zh) 一种基于电网隐患排查场景的知识图谱问答方法及系统
CN114756681A (zh) 一种基于多注意力融合的评教文本细粒度建议挖掘方法
CN114238524B (zh) 基于增强样本模型的卫星频轨数据信息抽取方法
CN116595406A (zh) 基于角色一致性的事件论元角色分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant