CN114925175A - 基于人工智能的摘要生成方法、装置、计算机设备及介质 - Google Patents

基于人工智能的摘要生成方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN114925175A
CN114925175A CN202210680602.0A CN202210680602A CN114925175A CN 114925175 A CN114925175 A CN 114925175A CN 202210680602 A CN202210680602 A CN 202210680602A CN 114925175 A CN114925175 A CN 114925175A
Authority
CN
China
Prior art keywords
text
analyzed
word
sequence
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210680602.0A
Other languages
English (en)
Inventor
潘荣峰
王健宗
黄章成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210680602.0A priority Critical patent/CN114925175A/zh
Publication of CN114925175A publication Critical patent/CN114925175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请适用于人工智能技术领域，尤其涉及一种基于人工智能的摘要生成方法、装置、计算机设备及介质。该方法通过对预处理后待分析文本中所有的词进行特征编码，得到所有的词的词向量，结合待分析文本得到其中所有句子的句向量，将词向量输入训练好的第一编码器，输出词向量的第一序列编码，将句向量输入训练好的第二编码器，输出句向量的第二序列编码，使用级联函数将第一序列编码与第二序列编码拼接，并使用训练好的解码器解码拼接结果，生成摘要文本，将词和句的编码结合进行统一解码，可以将语义和语法结合，解决语义和语法间的关系问题，避免语义和语法严重分离，使得摘要生成更符合语法的逻辑性，减小了词句之间出现混乱排序的问题。

Description

基于人工智能的摘要生成方法、装置、计算机设备及介质
技术领域
本申请适用于人工智能技术领域，尤其涉及一种基于人工智能的摘要生成方法、装置、计算机设备及介质。
背景技术
目前，文本摘要是指利用自然语言理解和自然语言生成技术，将一段长文本的核心思想提炼出来，并重新组织成一段简洁涵盖长文主旨的短文本。现有技术在结构化数据上采用深度学习的方法生成摘要时往往逻辑不通顺，语法结构混乱，归其原因在于深度学习训练过程中容易造成语法和语义的分离，模型学得的只是词与词之间的上下文语义相关性，而偏离了整个文本的篇章结构。现有采用具有单向注意力机制的指针网络学习结构数据中的属性顺序进行内容规划，缺陷在于只挖掘了同一属性中不同词之间的依赖关系进行词顺序规划，且单向注意力往往会缺失当前词与前面所有词的上文语义相关性，而通过建立每个句子的每个子句标签，再使用子句标签的排他性、相似性、距离和因果关系进行内容规划，缺陷在于只是简单的排列出子句的重要程度，无法有效地保证逻辑通顺，会造成语法结构混乱，导致文本摘要无法使用。因此，如何将待摘要的文本的语法和语义结合，以保证摘要文本的逻辑性的成为亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供了一种基于人工智能的摘要生成方法、装置、计算机设备及介质，以解决对文本生成模型进行合理训练，以提高文本生成模型的准确率和适用性的问题。
第一方面，本申请实施例提供一种基于人工智能的摘要生成方法，所述摘要生成方法包括：
对待分析文本进行预处理，将预处理结果中所有的词进行特征编码，得到所有的词的词向量；
根据所有的词向量和所述待分析文本，得到所述待分析文本中所有句子的句向量；
将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码；
使用级联函数将所述第一序列编码与所述第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成所述待分析文本对应的摘要文本。
在一实施方式中，对待分析文本进行预处理包括：
对待分析文本进行分词，得到表征所述待分析文本的所有分词；
检测所有分词的词性，确定词性为停用词的分词，从所有分词中去除词性为停用词的分词，得到剩余的分词；
对所述剩余的分词进行数据清洗，确定数据清洗后的分词为预处理结果中所有的词。
在一实施方式中，对待分析文本进行分词，得到表征所述待分析文本的所有分词包括：
按照反向将所述待分析文本与词典中的词进行匹配，所述反向为表征所述待分析文本的词序的反方向；
确定匹配的词为一组分词，得到使用反向匹配分词的表征所述待分析文本的所有分词。
在一实施方式中，对待分析文本进行分词，得到表征所述待分析文本的所有分词还包括：
按照正向将所述待分析文本与所述词典中的词进行匹配，所述正向为表征所述待分析文本的词序的方向；
确定匹配的词为一组分词，得到使用正向匹配分词的表征所述待分析文本的所有分词；
若所述正向匹配分词得到的所有分词与所述反向匹配分词得到的所有分词不相同，则使用训练好的分词模型对所述待分析文本进行分词，得到表征所述待分析文本的所有分词。
在一实施方式中，根据所有的词向量和所述待分析文本，得到所述待分析文本中所有句子的句向量包括：
对所述待分析文本进行句子拆分，得到每个句子，并确定所有的词向量所属的句子；
针对任一句子，将属于对应句子的所有词向量加权求和，确定加权求和结果为对应句子的句向量。
在一实施方式中，所述训练好的第一编码器与所述训练好的第二编码器为相同的目标编码器，将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码包括：
将所有的词向量和所有的句向量按照词序分别进行序列化，得到词向量序列和句向量序列；
将所述词向量序列输入所述目标编码器，确定输出的隐层语义状态为第一序列编码，将所述句向量序列输入所述目标编码器，确定输出的隐层语义状态为第二序列编码。
在一实施方式中，使用级联函数将所述第一序列编码与所述第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成所述待分析文本对应的摘要文本包括：
使用concate将所述第一序列编码和所述第二序列编码融合为目标隐层语义状态；
使用训练好的解码器对所述目标隐层语义状态进行解码，得到解码后的向量序列；
将所述解码后的向量序列与向量词典进行匹配，并将匹配得到的词或者句子按照所述解码后的向量序列对应的排列顺序进行排列，确定排列结果为摘要文本。
第二方面，本申请实施例提供一种基于人工智能的摘要生成装置，所述摘要生成装置包括：
词向量编码模块，用于对待分析文本进行预处理，将预处理结果中所有的词进行特征编码，得到所有的词的词向量；
句向量编码模块，用于根据所有的词向量和所述待分析文本，得到所述待分析文本中所有句子的句向量；
序列编码模块，用于将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码；
摘要生成模块，用于使用级联函数将所述第一序列编码与所述第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成所述待分析文本对应的摘要文本。
在一实施方式中，所述词向量编码模块包括：
分词单元，用于对待分析文本进行分词，得到表征所述待分析文本的所有分词；
停用词处理单元，用于检测所有分词的词性，确定词性为停用词的分词，从所有分词中去除词性为停用词的分词，得到剩余的分词；
数据清洗单元，用于对所述剩余的分词进行数据清洗，确定数据清洗后的分词为预处理结果中所有的词。
在一实施方式中，所述分词单元包括：
第一匹配子单元，用于按照反向将所述待分析文本与词典中的词进行匹配，所述反向为表征所述待分析文本的词序的反方向；
第一分词子单元，用于确定匹配的词为一组分词，得到使用反向匹配分词的表征所述待分析文本的所有分词。
在一实施方式中，所述分词单元还包括：
第二匹配子单元，用于按照正向将所述待分析文本与所述词典中的词进行匹配，所述正向为表征所述待分析文本的词序的方向；
第二分词子单元，用于确定匹配的词为一组分词，得到使用正向匹配分词的表征所述待分析文本的所有分词；
分词确定单元，用于若所述正向匹配分词得到的所有分词与所述反向匹配分词得到的所有分词不相同，则使用训练好的分词模型对所述待分析文本进行分词，得到表征所述待分析文本的所有分词。
在一实施方式中，所述句向量编码模块包括：
句子拆分单元，用于对所述待分析文本进行句子拆分，得到每个句子，并确定所有的词向量所属的句子；
句向量确定单元，用于针对任一句子，将属于对应句子的所有词向量加权求和，确定加权求和结果为对应句子的句向量。
在一实施方式中，所述训练好的第一编码器与所述训练好的第二编码器为相同的目标编码器，所述序列编码模块包括：
序列化单元，用于将所有的词向量和所有的句向量按照词序分别进行序列化，得到词向量序列和句向量序列；
序列编码单元，用于将所述词向量序列输入所述目标编码器，确定输出的隐层语义状态为第一序列编码，将所述句向量序列输入所述目标编码器，确定输出的隐层语义状态为第二序列编码。
在一实施方式中，所述摘要生成模块包括：
融合单元，用于使用concate将所述第一序列编码和所述第二序列编码融合为目标隐层语义状态；
解码单元，用于使用训练好的解码器对所述目标隐层语义状态进行解码，得到解码后的向量序列；
摘要生成单元，用于将所述解码后的向量序列与向量词典进行匹配，并将匹配得到的词或者句子按照所述解码后的向量序列对应的排列顺序进行排列，确定排列结果为摘要文本。
第三方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的摘要生成方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的摘要生成方法。
本申请实施例与现有技术相比存在的有益效果是：本申请通过对待分析文本进行预处理，将预处理结果中所有的词进行特征编码，得到所有的词的词向量，根据所有的词向量和待分析文本，得到待分析文本中所有句子的句向量，将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码，使用级联函数将第一序列编码与第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成待分析文本对应的摘要文本，通过使用词和句的编码，并将两者结合进行统一解码，可以将语义和语法结合，进而解决原文本语义和语法之间的关系问题，可以避免语义和语法严重分离的问题，且使得摘要生成更符合语法的逻辑性，减小了词与词、句与句出现混乱排序的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种基于人工智能的摘要生成方法的一应用环境示意图；
图2是本申请实施例二提供的一种基于人工智能的摘要生成方法的流程示意图；
图3是本申请实施例三提供的一种基于人工智能的摘要生成方法的流程示意图；
图4是本申请实施例四提供的一种基于人工智能的摘要生成装置的结构示意图；
图5是本申请实施例五提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
为了说明本申请的技术方案，下面通过具体实施例来进行说明。
本申请实施例一提供的一种基于人工智能的摘要生成方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、云端计算机设备、个人数字助理(personal digital assistant，PDA)等计算机设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参见图2，是本申请实施例二提供的一种基于人工智能的摘要生成方法的流程示意图，上述摘要生成方法应用于图1中的服务端，服务端对应的计算机设备连接相应的数据库，以获取数据库中相应的待分析文本等。上述计算机设备还可以连接相应的客户端，客户端将待分析文本发送给服务端，实现了服务端获取数据的功能。如图2所示，该基于人工智能的摘要生成方法可以包括以下步骤：
步骤S201，对待分析文本进行预处理，将预处理结果中所有的词进行特征编码，得到所有的词的词向量。
本申请中，预处理可以包括分词、数据清洗等操作，减少错误或者非必要数据对后续分析的复杂程度和干扰。预处理结果可以为完整的文本形式，如果预处理包括分词，则预处理结果可以为分词构成的数据序列。
词向量可以是指表征词特征的特征张量，以将不同的词组按照词义和词长等进行区分，特征编码本质上为将词转化为向量的过程，具体可以使用one hot编码、word2vec、skip-gram、词袋模型(Bag Of Words,BOW)等学习模型进行特征编码。
上述服务端与相应的客户端连接，客户端用于采集待分析文本，并将待分析文本发送给服务端，实现服务端采集待分析文本的步骤。在一实施方式中，服务器从相应的数据库中获取待分析文本。
客户端可以是直接采集文本数据，当然，客户端可以是指具备语音采集设备的设备，如语音机器人、车载终端等，客户端将采集的语音数据传输给服务端，由服务端将语音数据转化为文本数据。其中，服务端具备语音转文本的功能，在语音转文本之前还对语音进行预处理，预处理包括降噪、增强等处理，从而保证后续转换的准确性。
步骤S202，根据所有的词向量和待分析文本，得到待分析文本中所有句子的句向量。
本申请中，句向量可以是指表征一个完整句子特征的特征张量，以将不同的句子按照语义和句长等进行区分。针对句子的向量化可以使用相应的神经网络模型在词向量的基础上将句子向量化，例如，相关的模型可以是预训练模型(Bidirectional EncoderRepresentation from Transformers，BERT)、双向长短期记忆网络(Bi-Long Short TermMemory，Bi-LSTM)等，上述模型包含了文本前向与后向的所有信息，所得到的句向量能较好地用于句子规划。
可选的是，根据所有的词向量和待分析文本，得到待分析文本中所有句子的句向量包括：
对待分析文本进行句子拆分，得到每个句子，并确定所有的词向量所属的句子；
针对任一句子，将属于对应句子的所有词向量加权求和，确定加权求和结果为对应句子的句向量。
其中，首先要对待分析文本进行拆分，得到每个句子，再确定每个句子中的所有词向量，根据该句子中的词向量确定对应的句向量。
针对一个句子而言，对其中所包含的词向量进行加权求和，计算得到的向量即为句向量。进一步地，加权求和过程中每个词向量的权值可以根据词向量在该句子中出现的次数、该句子中与词向量相似的词向量个数以及词向量在该句子中的位置进行确定。例如，针对一句子中的一个词向量而言，在该句子中出现的次数较高，相似的词向量也较高，并且在该句子的首部、中部和尾部均有出现，则该词向量的权值较高。
步骤S203，将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码。
本申请中，对于词向量和句向量而言均为具备序列要求的数据，因此，需要使用给予深度学习训练的编码器对词向量和句向量进行编码，从而解决序列到序列的问题，例如，XL-NET等具有编码器的预训练模型，该XL-NET是基于BERT的模型，但改变了项训练方式。利用预训练模型中编码器的子注意力机制可以对处理好的词向量之间进行关系建模，在减少处理计算的同时得到词与词之间的关系，以此来规划哪些词是在规划集里面的、哪些词在规划序列中该处于哪个位置。
假设，词向量通过序列表示为T＝{T1,T2,…,Tn}，Tq表示每个词，每个Tq表示成词向量rq，q∈[1,n]。在编码器中核心算法是采用多头注意力(总头数为h)，设定每个注意力头为Tq,v，v∈[1,h]，则注意力计算公式：
Figure BDA0003698223250000111
式中，softmax是一个激活函数。假设文本输出的维度是d，则Q、K、V三个向量的维度为dk＝d/h，
Figure BDA0003698223250000112
和
Figure BDA0003698223250000113
是三个初始化矩阵，维度都是d×dk，三个矩阵会随着模型训练进行迭代更新，并使用
Figure BDA0003698223250000114
计算每个词向量，将所有的词向量进行级联拼接得到
Figure BDA0003698223250000115
其中，Wo是一个参数，通过后验概率计算公式计算得到隐层语义状态state1，后验概率计算公式为：P(Tq＝rj|T1,...,q-1)，其中，T1,...,q-1是Tq前规划的序列，隐层语义状态state1即表征词向量的第一序列编码。
同样地，针对句向量也可以采用类似的方式来得到对应的隐层语义状态state2，即对应句向量的第二序列编码。第一编码器和第二编码器可以是采用不同的训练样本进行训练得到，一定程度上讲，第一编码器与第二编码器中的模型参数可能不同，当然，第一编码器和第二编码器可以是基于同一训练样本训练得到，即同一个编码器，两者的模型参数相同。
可选的是，训练好的第一编码器与训练好的第二编码器为相同的目标编码器，将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码包括：
将所有的词向量和所有的句向量按照词序分别进行序列化，得到词向量序列和句向量序列；
将词向量序列输入目标编码器，确定输出的隐层语义状态为第一序列编码，将句向量序列输入目标编码器，确定输出的隐层语义状态为第二序列编码。
其中，如果第一编码器与第二编码器为相同的目标编码器，则针对句向量而言，则只需要将句向量参照词向量的表征方式进行表示，如将句向量通过序列表征为S＝{S1,S2,…,Sm}，则其他编码计算方式均和词向量一致。此时，一个编码器就能解决不同级别的序列问题，缩小了模型训练的计算量和参数量。
步骤S204，使用级联函数将第一序列编码与第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成待分析文本对应的摘要文本。
本申请中，第一序列编码与第二序列编码为不具备相同级别的数据，需采用级联函数将两者进行拼接，得到拼接结果，拼接可以是指一种融合，即将两种不同级别的数据融合为一种级别的数据，此处级别可以是指数量级、维度级别等。
针对拼接结果采用解码器进行解码即可得到对应的文本，该文本相较于待分析文本为缩减了长度的文本，是一种摘要文本，其中，解码器的训练与编码器的训练可以同时进行的，以提高解码器和编码器的匹配程度。
可选的是，使用级联函数将第一序列编码与第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成待分析文本对应的摘要文本包括：
使用concate将第一序列编码和第二序列编码融合为目标隐层语义状态；
使用训练好的解码器对目标隐层语义状态进行解码，得到解码后的向量序列；
将解码后的向量序列与向量词典进行匹配，并将匹配得到的词或者句子按照解码后的向量序列对应的排列顺序进行排列，确定排列结果为摘要文本。
其中，最终将句向量与词向量融合之后，得到融合的目标隐层语义状态为state＝concate(state1,state2)，其中，concate为级联函数。解码是将目标隐层语义状态解码为对应的向量序列，该向量序列为包含多个向量的序列，每个向量均对应一个词或者句子。使用预先设置的向量词典进行匹配即可确定向量序列中每个向量对应词或者句子，将匹配到的词或者句子按照向量序列中对应排列顺序进行依次排列，排列结果即为摘要文本。
本申请实施例通过对待分析文本进行预处理，将预处理结果中所有的词进行特征编码，得到所有的词的词向量，根据所有的词向量和待分析文本，得到待分析文本中所有句子的句向量，将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码，使用级联函数将第一序列编码与第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成待分析文本对应的摘要文本，通过使用词和句的编码，并将两者结合进行统一解码，可以将语义和语法结合，进而解决原文本语义和语法之间的关系问题，可以避免语义和语法严重分离的问题，且使得摘要生成更符合语法的逻辑性，减小了词与词、句与句出现混乱排序的问题。
参见图3，是本申请实施例三提供的一种基于人工智能的摘要生成方法的流程示意图，如图3所示，该摘要生成方法可以包括以下步骤：
步骤S301，对待分析文本进行分词，得到表征待分析文本的所有分词。
本申请中，在对待分析文本进行预处理的过程中进行分词，在后续的处理中无需再进行分词。分词可以是指将文本按照词性依次分成一个个有序排列的词，词性包括名词、动词、形容词等，例如，以“X公司是甲方”，其中，“X公司”为一个名字，为名词，“是”为助词，“甲方”为一种形容词，因此，分词即是将“X公司是甲方”分为“X公司/是/甲方”，所有的分词分别为“X公司”、“是”和“甲方”。
可选的是，对待分析文本进行分词，得到表征待分析文本的所有分词包括：
按照反向将待分析文本与词典中的词进行匹配，反向为表征待分析文本的词序的反方向；
确定匹配的词为一组分词，得到使用反向匹配分词的表征待分析文本的所有分词。
本申请中，正向为表征待分析文本的词序的方向，反向与正向相反。文本的词序即为阅读文本的顺序，反向即为反向阅读文本的顺序，但在反向匹配的过程中依然需要满足词序的要求，而不是反着阅读的词。例如，针对文本“ABCD”，其中，A、B、C、D分别为表示一个词，阅读文本的顺序为从A至D，反向阅读文本的顺序为从D至A。
反向匹配分词可以是指针对待分析文本采用反向匹配的方式得到的匹配结果，相应地，反向匹配分词包含已经分词后的文本，文本中相邻两个分词之间设置有间隔或者标记，以此区分一组分词。例如，针对文本“ABCD”，反向匹配即为使用“ABCD”与词典中的词进行匹配，如果没有匹配到，则使用“BCD”与词典中的词进行匹配，以此类推，如果“CD”在词典中匹配到，则确定“CD”为一组分词，在使用“AB”与词典中的词进行匹配，如果没有匹配到，则使用“B”与词典中的词进行匹配。正向匹配和反向匹配中对于待匹配词的词序没有改变，仅改变了构成词的顺序，在反向匹配中不会出现“BA”、“CB”、“DC”这种违反词序的词。
可选的是，对待分析文本进行分词，得到表征待分析文本的所有分词还包括：
按照正向将待分析文本与词典中的词进行匹配，正向为表征待分析文本的词序的方向；
确定匹配的词为一组分词，得到使用正向匹配分词的表征待分析文本的所有分词；
若正向匹配分词得到的所有分词与反向匹配分词得到的所有分词不相同，则使用训练好的分词模型对待分析文本进行分词，得到表征待分析文本的所有分词。
其中，正向匹配分词可以是指针对待分析文本采用正向匹配的方式得到的匹配结果，包含已经分词后的文本，文本中相邻两个分词之间设置有间隔或者标记，以此区分一组分词。例如，针对文本“ABCD”，正向匹配即为使用“ABCD”与词典中的词进行匹配，如果没有匹配到，则使用“ABC”与词典中的词进行匹配，以此类推，如果“AB”在词典中匹配到，则确定“AB”为一组分词，再使用“CD”与词典中的词进行匹配，如果没有匹配到，则使用“C”与词典中的词进行匹配。
如果正向匹配分词的第1组分词与反向匹配分词的第1组分词不相同，则确定该第1组分词为差异，差异对应的位置即为第1组分词，如果正向匹配分词的第i组分词与反向匹配分词的第i组分词不相同，则确定该第i组分词为差异，差异对应的位置即为第i组分词。
如果存在差异，则说明正向匹配分词与反向匹配分词的结果不相同，即采用匹配的方式无法得到准确地分词结果。
针对采用匹配的方式无法得到准确地分词结果的情况，就需要采用相应的分词模型进行分词，例如，条件随机场模型(Conditional Random Fields，CRF)、隐马尔可夫模型(Hidden Markov Model，HMM)等。
步骤S302，检测所有分词的词性，确定词性为停用词的分词，从所有分词中去除词性为停用词的分词，得到剩余的分词。
本申请中，停用词可以是指语气词、功能词、介词等，例如，“the”、“a”、“an”、“that”、和“those”等，这些字或词即被称为Stop Words(即停用词)。其中，采用词典匹配的方式即可筛掉这部分停用词，如设置词语黑名单的方式。
步骤S303，对剩余的分词进行数据清洗，确定数据清洗后的分词为预处理结果中所有的词。
本申请中，数据清洗可以是指是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因此，经过数据清洗后的分词不会包括空格、标点符号、乱码等，有利于后续的分析，提高分析的准确率。
步骤S304，根据所有的词向量和待分析文本，得到待分析文本中所有句子的句向量。
步骤S305，将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码。
步骤S306，使用级联函数将第一序列编码与第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成待分析文本对应的摘要文本。
其中，上述步骤S304至步骤S306与实施例二中步骤S202至步骤S204的内容相同，具体可参考上述步骤S202至步骤S204的描述，在此不再赘述。
本申请实施例通过对待分析文本进行分词、筛选和清洗等预处理，将预处理结果中所有的词进行特征编码，得到所有的词的词向量，根据所有的词向量和待分析文本，得到待分析文本中所有句子的句向量，将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码，使用级联函数将第一序列编码与第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成待分析文本对应的摘要文本，通过使用词和句的编码，并将两者结合进行统一解码，可以将语义和语法结合，进而解决原文本语义和语法之间的关系问题，可以避免语义和语法严重分离的问题，且使得摘要生成更符合语法的逻辑性，减小了词与词、句与句出现混乱排序的问题。
对应于上文实施例的基于人工智能的摘要生成方法，图4示出了本申请实施例四提供的基于人工智能的摘要生成装置的结构框图，上述摘要生成装置应用于图1中的服务端，服务端对应的计算机设备连接相应的数据库，以获取数据库中相应的待分析文本等。上述计算机设备还可以连接相应的客户端，客户端将待分析文本发送给服务端，实现了服务端获取数据的功能。为了便于说明，仅示出了与本申请实施例相关的部分。
参见图4，该摘要生成装置包括：
词向量编码模块41，用于对待分析文本进行预处理，将预处理结果中所有的词进行特征编码，得到所有的词的词向量；
句向量编码模块42，用于根据所有的词向量和待分析文本，得到待分析文本中所有句子的句向量；
序列编码模块43，用于将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码；
摘要生成模块44，用于使用级联函数将第一序列编码与第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成待分析文本对应的摘要文本。
可选的是，上述词向量编码模块41包括：
分词单元，用于对待分析文本进行分词，得到表征待分析文本的所有分词；
停用词处理单元，用于检测所有分词的词性，确定词性为停用词的分词，从所有分词中去除词性为停用词的分词，得到剩余的分词；
数据清洗单元，用于对剩余的分词进行数据清洗，确定数据清洗后的分词为预处理结果中所有的词。
可选的是，上述分词单元包括：
第一匹配子单元，用于按照反向将待分析文本与词典中的词进行匹配，反向为表征待分析文本的词序的反方向；
第一分词子单元，用于确定匹配的词为一组分词，得到使用反向匹配分词的表征待分析文本的所有分词。
可选的是，上述分词单元还包括：
第二匹配子单元，用于按照正向将待分析文本与词典中的词进行匹配，正向为表征待分析文本的词序的方向；
第二分词子单元，用于确定匹配的词为一组分词，得到使用正向匹配分词的表征待分析文本的所有分词；
分词确定单元，用于若正向匹配分词得到的所有分词与反向匹配分词得到的所有分词不相同，则使用训练好的分词模型对待分析文本进行分词，得到表征待分析文本的所有分词。
可选的是，上述句向量编码模块42包括：
句子拆分单元，用于对待分析文本进行句子拆分，得到每个句子，并确定所有的词向量所属的句子；
句向量确定单元，用于针对任一句子，将属于对应句子的所有词向量加权求和，确定加权求和结果为对应句子的句向量。
可选的是，上述训练好的第一编码器与训练好的第二编码器为相同的目标编码器，上述序列编码模块43包括：
序列化单元，用于将所有的词向量和所有的句向量按照词序分别进行序列化，得到词向量序列和句向量序列；
序列编码单元，用于将词向量序列输入目标编码器，确定输出的隐层语义状态为第一序列编码，将句向量序列输入目标编码器，确定输出的隐层语义状态为第二序列编码。
可选的是，上述摘要生成模块44包括：
融合单元，用于使用concate将第一序列编码和第二序列编码融合为目标隐层语义状态；
解码单元，用于使用训练好的解码器对目标隐层语义状态进行解码，得到解码后的向量序列；
摘要生成单元，用于将解码后的向量序列与向量词典进行匹配，并将匹配得到的词或者句子按照解码后的向量序列对应的排列顺序进行排列，确定排列结果为摘要文本。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图5为本申请实施例五提供的一种计算机设备的结构示意图。如图5所示，该实施例的计算机设备包括：至少一个处理器(图5中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个基于人工智能的摘要生成方法实施例中的步骤。
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图5仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于人工智能的摘要生成方法，其特征在于，所述摘要生成方法包括：
对待分析文本进行预处理，将预处理结果中所有的词进行特征编码，得到所有的词的词向量；
根据所有的词向量和所述待分析文本，得到所述待分析文本中所有句子的句向量；
将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码；
使用级联函数将所述第一序列编码与所述第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成所述待分析文本对应的摘要文本。
2.根据权利要求1所述的摘要生成方法，其特征在于，对待分析文本进行预处理包括：
对待分析文本进行分词，得到表征所述待分析文本的所有分词；
检测所有分词的词性，确定词性为停用词的分词，从所有分词中去除词性为停用词的分词，得到剩余的分词；
对所述剩余的分词进行数据清洗，确定数据清洗后的分词为预处理结果中所有的词。
3.根据权利要求2所述的摘要生成方法，其特征在于，对待分析文本进行分词，得到表征所述待分析文本的所有分词包括：
按照反向将所述待分析文本与词典中的词进行匹配，所述反向为表征所述待分析文本的词序的反方向；
确定匹配的词为一组分词，得到使用反向匹配分词的表征所述待分析文本的所有分词。
4.根据权利要求3所述的摘要生成方法，其特征在于，对待分析文本进行分词，得到表征所述待分析文本的所有分词还包括：
按照正向将所述待分析文本与所述词典中的词进行匹配，所述正向为表征所述待分析文本的词序的方向；
确定匹配的词为一组分词，得到使用正向匹配分词的表征所述待分析文本的所有分词；
若所述正向匹配分词得到的所有分词与所述反向匹配分词得到的所有分词不相同，则使用训练好的分词模型对所述待分析文本进行分词，得到表征所述待分析文本的所有分词。
5.根据权利要求1所述的摘要生成方法，其特征在于，根据所有的词向量和所述待分析文本，得到所述待分析文本中所有句子的句向量包括：
对所述待分析文本进行句子拆分，得到每个句子，并确定所有的词向量所属的句子；
针对任一句子，将属于对应句子的所有词向量加权求和，确定加权求和结果为对应句子的句向量。
6.根据权利要求1至5任一项所述的摘要生成方法，其特征在于，所述训练好的第一编码器与所述训练好的第二编码器为相同的目标编码器，将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码包括：
将所有的词向量和所有的句向量按照词序分别进行序列化，得到词向量序列和句向量序列；
将所述词向量序列输入所述目标编码器，确定输出的隐层语义状态为第一序列编码，将所述句向量序列输入所述目标编码器，确定输出的隐层语义状态为第二序列编码。
7.根据权利要求6所述的摘要生成装置，其特征在于，使用级联函数将所述第一序列编码与所述第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成所述待分析文本对应的摘要文本包括：
使用concate将所述第一序列编码和所述第二序列编码融合为目标隐层语义状态；
使用训练好的解码器对所述目标隐层语义状态进行解码，得到解码后的向量序列；
将所述解码后的向量序列与向量词典进行匹配，并将匹配得到的词或者句子按照所述解码后的向量序列对应的排列顺序进行排列，确定排列结果为摘要文本。
8.一种基于人工智能的摘要生成装置，其特征在于，所述摘要生成装置包括：
词向量编码模块，用于对待分析文本进行预处理，将预处理结果中所有的词进行特征编码，得到所有的词的词向量；
句向量编码模块，用于根据所有的词向量和所述待分析文本，得到所述待分析文本中所有句子的句向量；
序列编码模块，用于将所有的词向量输入训练好的第一编码器，输出所有的词向量的第一序列编码，将所有的句向量输入训练好的第二编码器，输出所有的句向量的第二序列编码；
摘要生成模块，用于使用级联函数将所述第一序列编码与所述第二序列编码拼接，并使用训练好的解码器对拼接结果进行解码，生成所述待分析文本对应的摘要文本。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的摘要生成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的摘要生成方法。
CN202210680602.0A 2022-06-16 2022-06-16 基于人工智能的摘要生成方法、装置、计算机设备及介质 Pending CN114925175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210680602.0A CN114925175A (zh) 2022-06-16 2022-06-16 基于人工智能的摘要生成方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210680602.0A CN114925175A (zh) 2022-06-16 2022-06-16 基于人工智能的摘要生成方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN114925175A true CN114925175A (zh) 2022-08-19

Family

ID=82813812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210680602.0A Pending CN114925175A (zh) 2022-06-16 2022-06-16 基于人工智能的摘要生成方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN114925175A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116049385A (zh) * 2023-04-03 2023-05-02 北京太极信息系统技术有限公司 一种生成信创产业研究报告的方法、装置和设备及平台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116049385A (zh) * 2023-04-03 2023-05-02 北京太极信息系统技术有限公司 一种生成信创产业研究报告的方法、装置和设备及平台
CN116049385B (zh) * 2023-04-03 2023-06-13 北京太极信息系统技术有限公司 一种生成信创产业研究报告的方法、装置和设备及平台

Similar Documents

Publication Publication Date Title
CN110135457B (zh) 基于自编码器融合文档信息的事件触发词抽取方法及系统
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN112182167B (zh) 一种文本匹配方法、装置、终端设备和存储介质
CN111814479B (zh) 一种企业简称生成及其模型的训练方法及装置
CN115759119B (zh) 一种金融文本情感分析方法、系统、介质和设备
CN116304307A (zh) 一种图文跨模态检索网络训练方法、应用方法及电子设备
CN111597807B (zh) 分词数据集生成方法、装置、设备及其存储介质
CN114662476A (zh) 一种融合词典与字符特征的字符序列识别方法
CN112668333A (zh) 命名实体的识别方法和设备、以及计算机可读存储介质
CN114281982B (zh) 一种多模态融合技术的图书宣传摘要生成方法和系统
CN114218940B (zh) 文本信息处理、模型训练方法、装置、设备及存储介质
CN114595700A (zh) 融合零代词与篇章信息的汉越神经机器翻译方法
CN114925175A (zh) 基于人工智能的摘要生成方法、装置、计算机设备及介质
CN113095082A (zh) 一种基于多任务模型进行文本处理的方法、装置、计算机装置及计算机可读取存储介质
CN112257456A (zh) 基于文本编辑技术的文本生成模型的训练方法及装置
CN114611529B (zh) 意图识别方法和装置、电子设备及存储介质
CN113836308B (zh) 网络大数据长文本多标签分类方法、系统、设备及介质
CN115240712A (zh) 一种基于多模态的情感分类方法、装置、设备及存储介质
CN115730051A (zh) 一种文本处理方法和装置、电子设备及存储介质
CN114490946A (zh) 基于Xlnet模型的类案检索方法、系统及设备
CN114372467A (zh) 命名实体抽取方法及装置、电子设备、存储介质
CN114611489A (zh) 文本逻辑条件抽取ai模型构建方法、抽取方法及系统
CN114417891A (zh) 基于粗糙语义的回复语句确定方法、装置及电子设备
CN114444492A (zh) 一种非标准词类判别方法及计算机可读存储介质
CN111160042B (zh) 一种文本语义解析方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination