CN112069309A - 信息获取方法、装置、计算机设备及存储介质 - Google Patents

信息获取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112069309A
CN112069309A CN202010962104.6A CN202010962104A CN112069309A CN 112069309 A CN112069309 A CN 112069309A CN 202010962104 A CN202010962104 A CN 202010962104A CN 112069309 A CN112069309 A CN 112069309A
Authority
CN
China
Prior art keywords
character
sentence
information
feature
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010962104.6A
Other languages
English (en)
Other versions
CN112069309B (zh
Inventor
陈旺
李丕绩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010962104.6A priority Critical patent/CN112069309B/zh
Publication of CN112069309A publication Critical patent/CN112069309A/zh
Application granted granted Critical
Publication of CN112069309B publication Critical patent/CN112069309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种信息获取方法、装置、计算机设备及存储介质，属于计算机领域。本申请通过不仅获取到了文本信息的字符特征，而且还获取到了文本信息的语句特征，基于字符层面的字符特征和语句层面的语句特征，能够分别获取到字符层面的第二注意力特征和语句层面的第一注意力特征，使得在基于这两个不同层面的注意力特征预测摘要信息时，机器能够高效、充分地利用整个文本信息，也即提供了基于人工智能的获取摘要信息方式，避免损失掉文本信息的细节，有利于生成的摘要信息准确体现文本信息的核心内容，从而提升了摘要信息的准确度。

Description

信息获取方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种信息获取方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展以及文本信息的爆发式增长，用户每天都能接触到海量的文本信息，例如新闻、博客、论文、微博、聊天等，从海量的文本信息中提取出重要内容(俗称为摘要信息)逐渐成为一个迫切需求。
NLP(Natural Language Processing，自然语言处理)领域中的自动摘要技术应运而生。自动摘要技术，是指在给定一篇原始的文本信息的基础上，由机器自动提取该文本信息的摘要信息。目前，自动摘要技术可以采用基于深度学习的方式来生成摘要信息，通常，将原始的文本信息输入到摘要生成模型中，通过摘要生成模型对该原始的文本信息先进行编码，然后再进行解码，最终输出摘要信息。
在上述过程中，摘要生成模型在对文本信息进行编码的过程中会损失掉较多的上下文信息，也就导致输出的摘要信息无法精准表达出文本信息的核心内容，换言之，摘要信息获取过程的准确率低。
发明内容
本申请实施例提供了一种信息获取方法、装置、计算机设备及存储介质，能够提升摘要信息获取过程的准确率。该技术方案如下：
一方面，提供了一种信息获取方法，该方法包括：
基于文本信息中至少一个字符的字符特征，获取所述文本信息中至少一个语句的语句特征；
基于所述语句特征，获取第一注意力特征，所述第一注意力特征用于表示所述至少一个语句在所述文本信息中的重要程度；
基于所述字符特征和所述语句特征，获取第二注意力特征，所述第二注意力特征用于表示所述至少一个字符在所述文本信息中的重要程度；
基于所述第一注意力特征和所述第二注意力特征，获取所述文本信息的摘要信息。
一方面，提供了一种信息获取装置，该装置包括：
第一获取模块，用于基于文本信息中至少一个字符的字符特征，获取所述文本信息中至少一个语句的语句特征；
第二获取模块，用于基于所述语句特征，获取第一注意力特征，所述第一注意力特征用于表示所述至少一个语句在所述文本信息中的重要程度；
第三获取模块，用于基于所述字符特征和所述语句特征，获取第二注意力特征，所述第二注意力特征用于表示所述至少一个字符在所述文本信息中的重要程度；
第四获取模块，用于基于所述第一注意力特征和所述第二注意力特征，获取所述文本信息的摘要信息。
在一种可能实施方式中，所述第一获取模块用于：
调用信息获取模型的语句编码层，对所述字符特征进行编码，得到所述语句特征，其中，所述信息获取模型用于提取文本信息的摘要信息。
在一种可能实施方式中，所述装置还包括：
输入模块，用于将所述文本信息输入所述信息获取模型；
第五获取模块，用于调用所述信息获取模型，获取所述至少一个字符的初始字符特征和所述至少一个语句的初始语句特征；
第六获取模块，用于基于所述初始字符特征和所述初始语句特征，获取所述字符特征。
在一种可能实施方式中，所述第五获取模块用于：
调用所述信息获取模型的字符嵌入层，对所述至少一个字符进行嵌入处理，得到所述初始字符特征；
调用所述信息获取模型的语句嵌入层，对所述至少一个语句的索引信息进行嵌入处理，得到所述初始语句特征，所述索引信息用于表示所述至少一个语句在所述文本信息中所处的位置。
在一种可能实施方式中，所述第六获取模块用于：
对所述初始字符特征和所述初始语句特征进行融合，得到目标融合特征；
调用所述信息获取模型的字符编码层，对所述目标融合特征进行编码，得到所述字符特征。
在一种可能实施方式中，所述信息获取模型的训练过程包括：
将样本文本输入初始获取模型，通过所述初始获取模型获取所述样本文本的预测摘要；
基于所述样本文本的样本摘要以及所述预测摘要，确定本次训练过程的损失函数值；
响应于所述损失函数值符合停止训练条件，停止训练，得到所述信息获取模型。
在一种可能实施方式中，任一次训练过程的损失函数值包括语句损失值、事实损失值和生成损失值，所述语句损失值用于表示所述预测摘要与所述样本文本的重要信息之间的误差，所述事实损失值用于表示所述预测摘要与所述样本文本的事实信息之间的误差，所述生成损失值用于表示所述预测摘要和样本摘要之间的误差。
在一种可能实施方式中，所述重要信息的获取过程包括：
基于所述样本文本和所述样本摘要，获取至少一个相似系数，一个相似系数用于表示所述样本摘要中一个语句与所述样本文本中一个语句的非停用词集合之间的相似程度；
将所述样本摘要中相似系数位于前目标位的语句确定为所述重要信息。
在一种可能实施方式中，所述事实信息的获取过程包括：
基于所述样本摘要，获取至少一个事实三元组，一个事实三元组包括所述样本摘要中一个语句的主语、谓语和宾语；
将所述至少一个事实三元组确定为所述事实信息。
在一种可能实施方式中，所述第二获取模块包括：
第一获取单元，用于基于所述语句特征，获取初始隐向量，所述初始隐向量用于表示所述语句特征中第一个语句的反向编码信息和最后一个语句的正向编码信息；
解码单元，用于调用信息获取模型的解码层，对所述初始隐向量进行解码，得到隐向量序列，所述隐向量序列用于表示所述文本信息所隐含的语义信息，所述信息获取模型用于提取文本信息的摘要信息；
第二获取单元，用于基于所述隐向量序列和所述语句特征，获取所述第一注意力特征。
在一种可能实施方式中，所述第二获取单元用于：
对所述隐向量序列和所述语句特征进行处理，得到所述至少一个语句的第一注意力系数，一个第一注意力系数用于表示一个语句在所述文本信息中的权重系数；
基于所述至少一个语句的第一注意力系数，对所述至少一个语句的所述语句特征进行加权，对加权得到的特征进行求和，得到所述第一注意力特征。
在一种可能实施方式中，所述第三获取模块用于：
对所述隐向量序列和所述字符特征进行处理，得到所述至少一个字符的第二注意力系数，一个第二注意力系数用于表示一个字符在所述文本信息中的权重系数；
基于所述第一注意力系数和所述第二注意力系数，获取所述至少一个字符的第三注意力系数，所述第三注意力系数用于表示一个字符在所述文本信息中对应语句中的权重系数；
基于所述至少一个字符的第三注意力系数，对所述至少一个字符的所述字符特征进行加权，对加权得到的特征进行求和，得到所述第二注意力特征。
在一种可能实施方式中，所述第四获取模块用于：
基于所述第一注意力特征和所述第二注意力特征，确定至少一个预测概率，一个预测概率用于表示目标词典中的一个字符在一个时刻出现在所述摘要信息中的可能性；
获取至少一个时刻中预测概率最大的字符所构成的字符序列；
将所述字符序列确定为所述摘要信息。
一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的信息获取方法。
一方面，提供了一种存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的信息获取方法。
一方面，提供一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得计算机设备能够执行上述任一种可能实施方式的信息获取方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过不仅获取到了文本信息的字符特征，而且还获取到了文本信息的语句特征，基于字符层面的字符特征和语句层面的语句特征，能够分别获取到字符层面的第二注意力特征和语句层面的第一注意力特征，使得在基于这两个不同层面的注意力特征预测摘要信息时，能够高效、充分地利用整个文本信息，避免损失掉文本信息的细节，有利于生成的摘要信息准确体现文本信息的核心内容，从而提升了摘要信息的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。
图1是本申请实施例提供的一种信息获取方法的实施环境示意图；
图2是本申请实施例提供的一种信息获取方法的流程图；
图3是本申请实施例提供的一种信息获取方法的流程图；
图4是本申请实施例提供的一种信息获取模型的架构示意图；
图5是本申请实施例提供的一种信息获取模型的训练流程图；
图6是本申请实施例提供的一种信息获取装置的结构示意图；
图7是本申请实施例提供的一种计算机设备的结构示意图；
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个第一位置是指两个或两个以上的第一位置。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括音频处理技术、计算机视觉技术、自然语言处理技术以及机器学习/深度学习等几大方向。
让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中自动摘要技术成为未来最被看好的人机交互方式之一。自动摘要技术，又称为自动文本摘要、文本摘要生成等，是人工智能和NLP(Natural Language Processing，自然语言处理)领域中一个倍受关注并具有广泛发展前景的研究方向。其研究兴起的主要原因是人们对快速、准确地获取摘要信息的需求。
自动摘要技术，是指在给定一篇原始的文本信息(Document)的基础上，由机器自动提取该文本信息的摘要信息(Summary)，其中，该摘要信息是指全面准确地反映某一文本信息的中心内容的简单连贯的短文。摘要信息能够高效地显示一段长文本(也即文本信息)的核心思想，能够帮助用户在不需要仔细阅读长文本的情况下，快速地获取到长文本中的有用信息，能够极大提升信息获取效率。
在传统的摘要技术中，需要由一些经验丰富的技术人员，在通读并研究长文本之后，归纳总结出摘要信息，需要耗费较大人力，且时间成本高，自动摘要技术则由机器自动提取摘要信息，用以降低摘要信息的获取成本，提升摘要信息的获取效率。
随着AI技术的发展，自动摘要技术在多个领域中展开了研究和应用，例如常见的对话摘要生成任务，通过计算机快速获取一段对话(对话语句构成文本信息)的摘要信息，对话摘要生成任务能够应用于多样化的实施场景中，从而发挥越来越重要的价值。
在一个示例性场景中，对话摘要生成任务用于提取一段会议文本的摘要信息，使得该摘要信息中包含重要议题和最终方案，方便与会人员回顾会议内容，同时也方便未到场人员快速领悟会议主旨，可选地，由于人工记录会议文本也会带来较高人力成本，对话摘要生成任务还可以与自动语音识别任务相结合，基于自动语音识别任务从会议视频中自动获取到会议文本，接着基于对话摘要生成任务从会议文本中自动提取出摘要信息。
在一个示例性场景中，对话摘要生成任务用于提取一段医患对话的摘要信息，使得该摘要信息中包含患者临床症状和医生诊断结果，方便医生或者患者回顾病情，使得医生能够更好地将精力投入到诊疗过程中。
在一个示例性场景中，对话摘要生成任务用于提取一段客服对话的摘要信息，使得该摘要信息中包含用户诉求和客服提供的最终解决方案，方便业务方整理用户诉求及解决方案，并还可以将这些用户诉求及解决方案添加到智能客服的训练集中，以训练出具有较高智能性的客服机器人。
上述示例性场景仅为对话摘要生成任务的三种示例性说明，根据对话语境的不同，该对话摘要生成任务的应用场景也千差万别，从而反映出对话摘要生成任务具有广泛的应用前景，也即自动摘要技术具有广泛的应用前景。
目前，在上述对话摘要生成任务中，计算机可以采用基于深度学习的方式来生成摘要信息，通常，将原始的文本信息输入到摘要生成模型中，通过摘要生成模型对该原始的文本信息先进行编码，然后再进行解码，最终输出摘要信息。在上述过程中，摘要生成模型在对文本信息进行编码的过程中会损失掉较多的上下文信息，也就导致输出的摘要信息无法精准表达出文本信息的核心内容，换言之，摘要信息获取过程的准确率低。
有鉴于此，在本申请实施例中涉及一种信息获取方法，将通过分层次提取文本信息的字符特征和语句特征，以从字符层面和语句层面充分反映出文本信息中的上下文信息，达到精准生成摘要信息的效果，提升了摘要信息获取过程的准确度，具体通过下述几个实施例进行说明。
下面，对本申请实施例涉及到的术语进行说明：
文本信息(Document)：指自动摘要技术的输入文本，例如，对话摘要生成任务的对话输入文本(Dialogue)。
摘要信息(Summary)：指自动摘要技术的输出文本，例如，对话摘要生成任务的摘要输出文本。
序列到序列模型(Sequence-to-Sequence，Seq2Seq)：是文本生成领域的一种基本模型框架，属于端到端的算法框架，广泛应用于自动摘要、机器翻译、自动应答、文本生成等场景。Seq2Seq模型的输入是一个序列，输出也是一个序列。Seq2Seq模型一般通过Encoder-Decoder(编码-解码)框架实现，Encoder部分的输入序列或者Decoder部分的输出序列可以是任意形式的数据序列，比如文本序列，语音序列，图像序列，视频序列等。可选地，Seq2Seq模型可以采用CNN(Convolutional Neural Networks，卷积神经网络)、RNN(RecurrentNeural Network，循环神经网络)、LSTM(Long Short-Term Memory，长短期记忆网络)、BLSTM(Bidirectional Long Short-Term Memory，双向长短期记忆网络)、GRU(GatedRecurrent Unit，门循环单元)等架构。
编解码结构(Encoder-Decoder)：一种先编码再解码的模型框架，是Seq2Seq模型的核心模块，其编码部分也称为编码层、编码器、编码单元、编码模块等，其解码部分也称为解码层、解码器、解码单元、解码模块等。
注意力机制(Attention Mechanism)：一种基于注意力系数的加权机制，可应用于Seq2Seq模型的解码部分，以对解码部分中产生的隐向量进行加权，使得隐向量更加聚焦于文本核心的语义信息，使得Seq2Seq模型倾向于输出具有较高注意力系数的隐向量所指示的摘要信息。
复制机制(Copy Mechanism)：也称为指针机制(Pointer Mechanism)，指在文本生成领域，生成的输出序列是输入序列中元素的复制或者指向。复制机制用于解决传统Seq2Seq模型的输出序列词汇表无法随着输入序列长度改变而改变的问题。也即是说，将注意力机制中针对输入序列的权重用作指向输入序列的指针，因此其输出序列为权重最大的位置的输入序列元素，实现直接操作输入序列元素作为输出，而不需要设定输出序列词汇表。
字符序列(Word Sequence)：也称为词序列、单词序列，指由多个字符组成的序列。
词嵌入(Word Embedding)：也即词向量技术，指将输入的离散单词映射成连续向量，换言之，将单词映射至嵌入空间，得到该单词的词向量，从而能够将稀疏的单词压缩成一个稠密的词向量，方便计算机进行文本处理。
语义向量(Semantic Vector)：是一个连续的向量，字符的语义向量也即字符的语义特征，用于表示所对应字符的语义信息。
阶层式编码器(Hierarchical Encoder)：传统编码器的拓展，不仅能够编码字符层级的信息，得到字符特征，而且能够编码语句层级的信息，得到语句特征。
阶层式注意力机制(Hierarchical Attention)：传统注意力机制的拓展，不仅提供字符层级的注意力机制，而且提供语句层级的注意力机制。
支撑语句流(Supporting Utterance Flow)：描述的是输入文本的重要信息，在对话文本场景中是指在对话中重要的语句或者信息，通常均匀的分布在对话的各个部分，支撑语句流是对话文本的固有特性。在人工生成对话摘要时，通常会按照顺序对各个重要语句或者信息进行归纳总结从而生成对应的摘要。基于这一重要特性，本申请实施例首次提出了一个显式建模该特性的支撑语句流建模模块(Supporting Utterance Flow ModelingModule)，将在后文中进行详述。
事实三元组(Fact Triplet)：指从文本信息中提取出的(主语，谓语，宾语)三元组，由于谓语通常是一个动词，因此事实三元组也可以表示为(主语，动词，宾语)三元组。基于已知的对话摘要(样本摘要)中的事实三元组，本申请实施例首次提出了一个事实正则化模块(Fact Regularization Module)，来增强生成的摘要文本(预测摘要)中的事实的正确性，将在后文中进行详述。
图1是本申请实施例提供的一种信息获取方法的实施环境示意图。参见图1，在该实施环境中可以终端101和服务器102，下面进行详述：
终端101可以是能够提供文本信息的任一计算机设备，终端101安装和运行有支持文本获取服务的应用程序，可选地，该文本信息包括会议文本、诊疗记录或者客服对话中至少一项，在不同的文本应用场景中，该文本信息具有不同的内容，本申请实施例不对该文本信息的内容进行具体限定。用户在登录终端101上的应用程序后，获取待提取摘要的文本消息，向服务器102发送待提取摘要的文本消息。
在一个示例中，当该文本信息为会议文本时，该应用程序为会议视频应用或者文本编辑应用，其中，该会议视频应用可以配置有自动语音识别功能，以智能识别出会议视频所对应的会议文本，或者由与会人员基于文本编辑应用制作会议文本。
在另一个示例中，当该文本信息为诊疗记录时，该应用程序为医院接入的诊疗系统，医生可以在诊疗系统中输入诊疗记录，或者由计算机基于医患对话智能识别出诊疗记录。
在另一个示例中，当该文本信息为客服对话时，该应用程序为配置有智能客服的购物应用、即时通讯应用、外卖应用或者打车应用等，又比如该应用程序还可以是闲聊机器人、对话机器人或者智能助手中至少一项。可选地，该客服对话可以是当前正在进行的对话，也可以是历史过程中已经结束的对话，可选地，该客服对话可以是与人工客服的对话，也可以是与智能客服的对话。
该终端101以及服务器102之间可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
该服务器102可以是能够提供自动摘要服务的任一计算机设备，当服务器102接收到该终端101发送的文本消息时，通过本申请实施例提供的信息获取方法，自动获取该文本信息的摘要消息，服务器102将该摘要消息发送至终端101，以使终端101显示该摘要信息。
服务器102可以包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。服务器102用于为支持文本获取的应用程序提供后台服务。可选地，服务器102可以承担主要计算工作，终端101可以承担次要计算工作；或者，服务器102承担次要计算工作，终端101承担主要计算工作；或者，终端101与服务器102之间采用分布式计算架构进行协同计算。
上述服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)以及大数据和人工智能平台等基础云计算服务的云服务器。
上述终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、电子书阅读器等，但并不局限于此。
本领域技术人员可以知晓，终端101可以泛指多个终端中的一个，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
图2是本申请实施例提供的一种信息获取方法的流程图。参见图2，该实施例应用于计算机设备，以该计算机设备为服务器为例进行说明，该方法包括：
201、服务器基于文本信息中至少一个字符的字符特征，获取该文本信息中至少一个语句的语句特征。
其中，该文本信息是指待提取摘要的文本。
可选地，该文本信息包括会议文本、诊疗记录或者客服对话中至少一项，在不同的文本应用场景中，该文本信息具有不同的内容，本申请实施例不对该文本信息的内容进行具体限定。
在上述过程中，服务器可以先获取文本信息，再提取该文本信息中至少一个字符的字符特征，进而执行基于该字符特征，获取该文本信息中至少一个语句的语句特征的操作。
可选地，服务器从本地数据库中读取一段待提取摘要的文本作为该文本信息，或者，服务器从云端数据库中下载一段待提取摘要的文本作为该文本信息，或者，服务器接收终端发送的文本信息，本申请实施例不对文本信息的获取方式进行具体限定。
在一个示例性场景中，用户在终端上获取会议文本，向服务器发送该会议文本，服务器将接收到的会议文本确定为该文本信息。可选地，该会议文本为用户手动输入的会议记录，或者，该会议文本为终端基于自动语音识别技术从会议视频中识别出的会议文本，本申请实施例不对会议文本的来源进行具体限定。在这一场景中，能够由服务器提供会议文本的自动摘要功能，使得用户在无需仔细阅读会议文本的条件下，能够基于摘要信息一目了然的知悉会议的重要议题和最终方案，以提升信息获取效率。
在一个示例性场景中，医生在终端上获取诊疗记录，向服务器发送该诊疗记录，服务器将接收到的诊疗记录确定为该文本信息。可选地，该诊疗记录为医生手动输入的患者症状及诊断记录，或者，该诊疗记录为终端基于自动语音识别技术从诊疗视频中识别出的医患对话，本申请实施例不对诊疗记录的来源进行具体限定。在这一场景中，能够由服务器提供诊疗记录的自动摘要功能，使得用户在无需仔细阅读诊疗记录的条件下，能够基于摘要信息一目了然的知悉患者临床症状和医生诊断结果，以提升信息获取效率。
在一个示例性场景中，用户在终端上获取客服对话，向服务器发送该客服对话，服务器将接收到的客服对话确定为该文本信息。可选地，该客服对话为当前正在进行的对话，或者，该客服对话为历史过程中已经结束的对话。可选地，该客服对话为用户与人工客服的对话，或者，该客服对话为用户与智能客服的对话，本申请实施例不对客服对话的内容进行具体限定。在这一场景中，能够由服务器提供客服对话的自动摘要功能，使得用户在无需仔细阅读客服对话的条件下，能够基于摘要信息一目了然的用户诉求和客服提供的最终解决方案，以提升信息获取效率。
在一些实施例中，服务器可以预先训练一个信息获取模型，该信息获取模型用于提取文本信息的摘要信息，从而基于该信息获取模型来提取字符特征和语句特征。
可选地，该信息获取模型为一个Seq2Seq模型，Seq2Seq模型的输入是一个序列(文本信息)，输出也是一个序列(摘要信息)。例如，该信息获取模型采用RNN、LSTM、BLSTM或者GRU等，本申请实施例不对该信息获取模型的形式进行具体限定。在一些实施例中，该信息获取模型包括字符嵌入层、语句嵌入层、字符编码层、语句编码层以及解码层。
其中，字符嵌入层和语句嵌入层构成一个阶层式的嵌入(Embedding)模块，字符嵌入层用于提取文本信息中至少一个字符的初始字符特征，在一个示例中，该初始字符特征为文本信息的词向量序列，该初始字符特征语句嵌入层用于提取文本信息中至少一个语句的初始语句特征，在一个示例中，该初始语句特征为文本信息的句向量序列。
其中，字符编码层和语句编码层构成一个阶层式的编码器，字符编码层用于提取该至少一个字符的字符特征，该字符特征用于表示该至少一个字符的语义信息，语句编码层用于提取该至少一个语句的语句特征，该语句特征用于表示该至少一个语句的语义信息。
其中，该解码层用于基于上述阶层式编码器的输出，结合注意力机制和复制机制，以预测该文本信息的摘要信息。
在一些实施例中，服务器将该文本信息输入该信息获取模型，调用该信息获取模型，获取该至少一个字符的初始字符特征和该至少一个语句的初始语句特征，基于该初始字符特征和该初始语句特征，获取该字符特征。
在上述过程中，基于信息获取模型先将原始的文本信息转换成易于计算机理解的初始字符特征和初始语句特征，能够分别从字符层面以及语句层面充分反映文本信息，接下来基于初始字符特征和初始语句特征来获取该字符特征，能够提升字符特征的表达能力及准确程度。
在一些实施例中，服务器在获取初始字符特征时，可以调用该信息获取模型的字符嵌入层，对该至少一个字符进行嵌入处理，得到该初始字符特征。换言之，服务器将原始的文本信息(也即该文本信息的字符序列)输入到字符嵌入层，基于字符嵌入层对该字符序列中的各个字符分别进行嵌入处理，得到各个字符的词向量，将各个字符的词向量所构成的词向量序列确定为该初始字符特征。
在上述过程中，基于嵌入处理技术，能够将字符序列中的字符从自然语言转换成易于计算机理解的词向量形式，也即将字符从稀疏空间中压缩到嵌入空间，得到了一个稠密的词向量，从而方便了后续的编码过程，有利于提升编码效率、降低编码时的计算量。
在一些实施例中，除了采用信息获取模型的字符嵌入层获取初始字符特征之外，服务器还可以利用一个独立的词向量模型来获取该初始字符特征，或者，服务器采用独热编码(one-hot)的方式获取该初始字符特征，本申请实施例不对初始字符特征的获取方式进行具体限定。
在一些实施例中，服务器在获取初始语句特征时，可以调用该信息获取模型的语句嵌入层，对该至少一个语句的索引信息进行嵌入处理，得到该初始语句特征，该索引信息用于表示该至少一个语句在该文本信息中所处的位置。换言之，服务器将文本信息的字符序列输入到语句嵌入层，基于语句嵌入层对该字符序列中各个字符所在语句的索引信息分别进行嵌入处理，得到各个语句的句向量，将各个语句的句向量所构成的句向量序列确定为该初始语句特征。
在上述过程中，基于嵌入处理技术，能够将各个字符所在语句的索引信息从自然语言转换成易于计算机理解的句向量形式，这样能够避免在后续字符编码时，丢失掉了字符所在语句的索引信息，也即是说，避免了后续字符编码及解码过程中，遗忘了当前字符属于文本信息中的第几句话这一语句层面的对齐信息，从而有利于提升编码得到的字符特征和语句特征的表达能力，有利于提升信息获取准确度。
在一些实施例中，除了采用信息获取模型的语句嵌入层获取初始语句特征之外，服务器还可以利用一个独立的句向量模型来获取该初始语句特征，或者，服务器采用独热编码(one-hot)的方式获取该初始语句特征，本申请实施例不对初始语句特征的获取方式进行具体限定。
在一些实施例中，服务器在基于初始字符特征和初始语句特征获取字符特征时，可以采用下述方式：对该初始字符特征和该初始语句特征进行融合，得到目标融合特征；调用该信息获取模型的字符编码层，对该目标融合特征进行编码，得到该字符特征。
可选地，服务器将初始字符特征和初始语句特征进行拼接(concat)，得到目标融合特征，能够降低融合过程的复杂度，或者，服务器对初始字符特征和初始语句特征进行按元素相加，得到目标融合特征，能够充分对初始字符特征和初始语句特征进行融合，或者，服务器对初始字符特征和初始语句特征进行双线性汇合，得到目标融合特征，能够进一步加深初始字符特征和初始语句特征的融合程度，提升目标融合特征的表达能力，本申请实施例不对融合方式进行具体限定。
在一些实施例中，由于初始字符特征相当于一个词向量序列，初始语句特征相当于一个句向量序列，因此两者融合所得的目标融合特征也是一个嵌入向量序列。服务器在调用字符编码层的编码过程中，将嵌入向量序列输入到该字符编码层中的至少一个神经元，通过该至少一个神经元分别对该嵌入向量序列进行正向编码和反向编码，得到该字符特征。
在上述过程中，通过字符编码层能够对嵌入向量序列进行双向编码，在正向编码过程中重复考虑上文信息，在反向编码过程中充分考虑下文信息，达到结合上下文信息的编码效果，提升了字符特征的准确度。在一些实施例中，也可以仅对嵌入向量序列进行正向编码，以降低编码过程的计算量，节约服务器的计算资源。
在一些实施例中，服务器在获取语句特征时，调用信息获取模型的语句编码层，对该字符特征进行编码，得到该语句特征。也即是说，将字符编码层输出的字符特征输入到语句编码层的至少一个神经元，通过该至少一个神经元分别对该字符特征进行正向编码和反向编码，得到该语句特征。
在上述过程中，通过语句编码层能够对字符特征进行双向编码，在正向编码过程中重复考虑上文信息，在反向编码过程中充分考虑下文信息，达到结合上下文信息的编码效果，提升了语句特征的准确度。在一些实施例中，也可以仅对字符特征进行正向编码，以降低编码过程的计算量，节约服务器的计算资源。
202、服务器基于该语句特征，获取第一注意力特征，该第一注意力特征用于表示该至少一个语句在该文本信息中的重要程度。
在一些实施例中，服务器基于该语句特征，获取初始隐向量，该初始隐向量用于表示该语句特征中第一个语句的反向编码信息和最后一个语句的正向编码信息；调用信息获取模型的解码层，对该初始隐向量进行解码，得到隐向量序列，该隐向量序列用于表示该文本信息所隐含的语义信息；基于该隐向量序列和该语句特征，获取该第一注意力特征。
可选地，该语句特征可以视为该至少一个语句的语义向量序列，服务器在获取初始隐向量时，确定语义向量序列中对第一个语句反向编码得到的语义向量(也即反向编码信息)，确定语义向量序列中对最后一个语句正向编码得到的语义向量(也即正向编码信息)，将上述两个语义向量进行融合，即可得到初始隐向量。
可选地，语义向量的融合方式包括但不限于：拼接、按元素相加、双线性汇合、按元素相乘等，本申请实施例不对初始隐向量的获取方式进行具体限定。
在一些实施例中，服务器在对初始隐向量进行解码的过程中，将该初始隐向量输入到解码层中的至少一个神经元，通过该至少一个神经元对该初始隐向量进行解码，得到隐向量序列。其中，由于摘要信息(也即摘要序列)的长度未定，服务器在解码时，将初始隐向量和开始信号输入到解码层的第一个神经元中，由第一个神经元计算第一个隐向量，基于第一个隐向量获取摘要信息的第一个字符，接下来将第一个隐向量和第一个字符输入到第二个神经元中，以此类推，直到某个神经元的隐向量所对应的字符为终止信号时，停止解码，将各个神经元所确定的字符构成的字符序列确定为最终的摘要信息。
在一些实施例中，服务器在获取第一注意力特征时，可以采用下述方式：对该隐向量序列和该语句特征进行处理，得到该至少一个语句的第一注意力系数，一个第一注意力系数用于表示一个语句在该文本信息中的权重系数；基于该至少一个语句的第一注意力系数，对该至少一个语句的该语句特征进行加权，对加权得到的特征进行求和，得到该第一注意力特征。其中，该第一注意力特征可以视为文本信息在语句层级的注意力特征。
在上述过程中，基于隐向量序列和语句特征获取第一注意力特征，由于隐向量序列是基于初始隐向量进行解码所得的，因此得到的第一注意力特征相当于一个语句层级的注意力特征，能够反映出摘要信息中各个语句分别对应于文本信息中的哪个语句，相当于提供了一种摘要信息与文本信息之间在语句层级的对齐信息，能够鼓励模型输出逻辑性更强、条理更清晰的摘要。
203、服务器基于该字符特征和该语句特征，获取第二注意力特征，该第二注意力特征用于表示该至少一个字符在该文本信息中的重要程度。
在一些实施例中，服务器在基于上述步骤202中获取到隐向量序列之后，采用下述方式获取第二注意力特征：对该隐向量序列和该字符特征进行处理，得到该至少一个字符的第二注意力系数，一个第二注意力系数用于表示一个字符在该文本信息中的权重系数；基于该第一注意力系数和该第二注意力系数，获取该至少一个字符的第三注意力系数，该第三注意力系数用于表示一个字符在该文本信息中对应语句中的权重系数；基于该至少一个字符的第三注意力系数，对该至少一个字符的该字符特征进行加权，对加权得到的特征进行求和，得到该第二注意力特征。
在上述过程中，先基于隐向量序列和字符特征，确定出各个字符在整个文本信息的权重系数(第二注意力系数)，接下来对该第二注意力系数进行缩放，确定出各个字符在整个文本信息中对应语句的权重系数(第三注意力系数)，这一系数统一了字符层级和句子层级这两种不同层级的注意力信息，使得两个层级的注意力信息具有一致性。
204、服务器基于该第一注意力特征和该第二注意力特征，获取该文本信息的摘要信息。
在上述过程中，服务器可以基于所述第一注意力特征和所述第二注意力特征，确定至少一个预测概率，一个预测概率用于表示目标词典中的一个字符在一个时刻出现在所述摘要信息中的可能性；获取至少一个时刻中预测概率最大的字符所构成的字符序列；将所述字符序列确定为所述摘要信息。
可选地，对解码层中任一神经元，服务器获取该神经元的隐向量之后，基于该神经元的隐向量、该神经元对应的第一注意力特征、该神经元对应的第二注意力特征以及该神经元对应的第三注意力系数，能够获取到该隐向量匹配于目标词典中任一个字符的预测概率，将预测概率最大的字符确定为该摘要信息中与该神经元对应位置的字符。其余神经元的处理过程以此类推，这里不做赘述。
在上述过程中，由于在获取摘要信息时，不仅考虑到了字符层级的第二注意力特征，而且还考虑到了语句层级的第一注意力特征，避免了在编解码过程中损失掉文本信息的语句层面的相关信息，使得摘要信息更加能够反映出文本信息的核心内容，能够提升摘要信息的获取准确率。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，由于不仅获取到了文本信息的字符特征，而且还获取到了文本信息的语句特征，基于字符层面的字符特征和语句层面的语句特征，能够分别获取到字符层面的第二注意力特征和语句层面的第一注意力特征，使得在基于这两个不同层面的注意力特征预测摘要信息时，能够高效、充分地利用整个文本信息，避免损失掉文本信息的细节，有利于生成的摘要信息准确体现文本信息的核心内容，从而提升了摘要信息的准确度。
在上述实施例中，提供了服务器基于文本信息以自动提取摘要信息的过程，在本申请实施例中，将结合一种示例性的信息获取模型的架构及原理，对服务器的信息获取过程进行详细说明。
图3是本申请实施例提供的一种信息获取方法的流程图，请参考图3，该实施例应用于计算机设备，以该计算机设备为服务器为例进行说明，该方法包括：
300、服务器获取文本信息，将该文本信息输入信息获取模型。
其中，该文本信息是指待提取摘要的文本。
可选地，该文本信息包括会议文本、诊疗记录或者客服对话中至少一项，在不同的文本应用场景中，该文本信息具有不同的内容，本申请实施例不对该文本信息的内容进行具体限定。
其中，该信息获取模型用于提取文本信息的摘要信息。
可选地，该信息获取模型为一个Seq2Seq模型，Seq2Seq模型的输入是一个序列(文本信息)，输出也是一个序列(摘要信息)。例如，该信息获取模型采用RNN、LSTM、BLSTM或者GRU等，本申请实施例不对该信息获取模型的形式进行具体限定。
图4是本申请实施例提供的一种信息获取模型的架构示意图，请参考图4，信息获取模型400包括字符嵌入层401、语句嵌入层402、阶层式编码器403、解码层404、阶层式注意力模块405。字符嵌入层401和语句嵌入层402构成一个阶层式的嵌入(Embedding)模块，字符嵌入层401用于提取文本信息中至少一个字符的初始字符特征，在一个示例中，该初始字符特征为文本信息的词向量序列，该语句嵌入层402用于提取文本信息中至少一个语句的初始语句特征，在一个示例中，该初始语句特征为文本信息的句向量序列。阶层式编码器403包括字符编码层和语句编码层(图中未示出)，字符编码层用于提取该至少一个字符的字符特征，该字符特征用于表示该至少一个字符的语义信息，语句编码层用于提取该至少一个语句的语句特征，该语句特征用于表示该至少一个语句的语义信息。解码层404用于基于上述阶层式编码器的输出，结合注意力机制和复制机制，以预测该文本信息的摘要信息。阶层式注意力模块405用于分别获取语句层面的第一注意力特征和字符层面的第二注意力特征。
需要说明的是，图4中信息获取模型400还包括事实三元组抽取器406，以及语句损失和事实损失这两种不同的损失函数，将在下一个实施例中进行说明，这里不做赘述。
可选地，服务器从本地数据库中读取一段待提取摘要的文本作为该文本信息，或者，服务器从云端数据库中下载一段待提取摘要的文本作为该文本信息，或者，服务器接收终端发送的文本信息，本申请实施例不对文本信息的获取方式进行具体限定。在获取到文本信息之后，将该文本信息输入到信息获取模型的字符嵌入层，执行下述步骤301。
301、服务器调用该信息获取模型的字符嵌入层，对该文本信息中至少一个字符进行嵌入处理，得到该至少一个字符的初始字符特征。
可选地，服务器将原始的文本信息(也即该文本信息的字符序列)输入到字符嵌入层，基于字符嵌入层对该字符序列中的各个字符分别进行嵌入处理，得到各个字符的词向量，将各个字符的词向量所构成的词向量序列确定为该初始字符特征。
在一个示例中，文本信息的字符序列表示为
Figure BDA0002680909370000191
其中，Lx表示字符序列长度也即字符数量，Lx为大于或等于1的正整数。调用字符嵌入层将每个离散的字符映射成嵌入空间的一个连续的词向量，最终得到该文本信息的词向量序列
Figure BDA0002680909370000192
(其中，
Figure BDA0002680909370000193
表示
Figure BDA0002680909370000194
是一个de维向量)，de为大于或等于1的数值。将该词向量序列确定为初始字符特征，接着将词向量序列输入到语句编码层中，执行下述步骤302。
在上述过程中，基于嵌入处理技术，能够将字符序列中的字符从自然语言转换成易于计算机理解的词向量形式，也即将字符从稀疏空间中压缩到嵌入空间，得到了一个稠密的词向量，从而方便了后续的编码过程，有利于提升编码效率、降低编码时的计算量。
在一些实施例中，除了采用信息获取模型的字符嵌入层获取初始字符特征之外，服务器还可以利用一个独立的词向量模型来获取该初始字符特征，或者，服务器采用独热编码(one-hot)的方式获取该初始字符特征，本申请实施例不对初始字符特征的获取方式进行具体限定。
302、服务器调用该信息获取模型的语句嵌入层，对该文本信息中至少一个语句的索引信息进行嵌入处理，得到该至少一个语句的初始语句特征。
其中，该索引信息用于表示该至少一个语句在该文本信息中所处的位置。
可选地，服务器将文本信息的字符序列输入到语句嵌入层，基于语句嵌入层对该字符序列中各个字符所在语句的索引信息分别进行嵌入处理，得到各个语句的句向量，将各个语句的句向量所构成的句向量序列确定为该初始语句特征。
在一个示例中，以文本信息的字符序列中第j(1≤j≤Lx)个字符xj为例，调用语句嵌入层，将第j个字符xj所属于的第i个语句的索引信息i映射为一个嵌入向量
Figure BDA0002680909370000201
其中
Figure BDA0002680909370000202
表示第j个字符xj属于第i个语句
Figure BDA0002680909370000203
且句向量
Figure BDA0002680909370000204
是一个dup维向量，dup为大于或等于1的数值。对每个字符执行上述操作，可以得到一个句向量序列，将该句向量序列确定为初始语句特征。
在上述过程中，基于嵌入处理技术，能够将各个字符所在语句的索引信息从自然语言转换成易于计算机理解的句向量形式，这样能够避免在后续字符编码时，丢失掉了字符所在语句的索引信息，也即是说，避免了后续字符编码及解码过程中，遗忘了当前字符属于文本信息中的第几句话这一语句层面的对齐信息，从而有利于提升编码得到的字符特征和语句特征的表达能力，有利于提升信息获取准确度。
在一些实施例中，除了采用信息获取模型的语句嵌入层获取初始语句特征之外，服务器还可以利用一个独立的句向量模型来获取该初始语句特征，或者，服务器采用独热编码(one-hot)的方式获取该初始语句特征，本申请实施例不对初始语句特征的获取方式进行具体限定。
在上述步骤301-302中，提供了服务器调用该信息获取模型，获取该至少一个字符的初始字符特征和该至少一个语句的初始语句特征的一种可能实施方式，在这一过程中，基于信息获取模型先将原始的文本信息转换成易于计算机理解的初始字符特征和初始语句特征，能够分别从字符层面以及语句层面充分反映文本信息，接下来基于初始字符特征和初始语句特征来获取该字符特征，能够提升字符特征的表达能力及准确程度。
换言之，语句嵌入层用于提供对话语句位置嵌入功能(Utterance PositionEmbedding)，字符嵌入层用于提供摘要单词位置嵌入功能(Word Position Embedding)，基于这两个功能，能够向模型注入对话语句位置和生成摘要单词位置的相关性信息，来辅助摘要的生成，以监督模型输出准确率更高的摘要信息。
303、服务器对该初始字符特征和该初始语句特征进行融合，得到目标融合特征。
可选地，服务器将初始字符特征和初始语句特征进行拼接(concat)，得到目标融合特征，能够降低融合过程的复杂度，或者，服务器对初始字符特征和初始语句特征进行按元素相加，得到目标融合特征，能够充分对初始字符特征和初始语句特征进行融合，或者，服务器对初始字符特征和初始语句特征进行双线性汇合，得到目标融合特征，能够进一步加深初始字符特征和初始语句特征的融合程度，提升目标融合特征的表达能力，本申请实施例不对融合方式进行具体限定。
需要说明的是，由于初始字符特征相当于一个词向量序列，初始语句特征相当于一个句向量序列，因此两者融合所得的目标融合特征也是一个嵌入向量序列。
在一个示例中，采用拼接方式获取目标融合特征，此时，对第j个字符xj，将第j个字符xj的词向量
Figure BDA0002680909370000211
与句向量
Figure BDA0002680909370000212
连接成一个嵌入向量
Figure BDA0002680909370000213
表示嵌入向量
Figure BDA0002680909370000214
是一个de+dup维向量，对每个字符执行类似操作，得到一个嵌入向量序列，将该嵌入向量序列输入到阶层式编码器的字符编码层中，执行下述步骤304。
304、服务器调用该信息获取模型的字符编码层，对该目标融合特征进行编码，得到该至少一个字符的字符特征。
可选地，服务器在调用字符编码层的编码过程中，将嵌入向量序列输入到该字符编码层中的至少一个神经元，通过该至少一个神经元分别对该嵌入向量序列进行正向编码和反向编码，得到该字符特征。
在上述过程中，通过字符编码层能够对嵌入向量序列进行双向编码，在正向编码过程中充分考虑上文信息，在反向编码过程中充分考虑下文信息，达到结合上下文信息的编码效果，提升了字符特征的准确度。在一些实施例中，也可以仅对嵌入向量序列进行正向编码，以降低编码过程的计算量，节约服务器的计算资源。
在一个示例中，将嵌入向量序列输入到字符编码层中，基于字符编码层对嵌入向量序列进行编码，输出字符层面的语义向量序列，其中，字符编码层的处理逻辑可以表示为：
Figure BDA0002680909370000215
其中，hj∈Rd表示第j个字符层面的语义向量hj是一个d维向量，Lx表示字符序列长度也即字符数量。
在上述步骤303-304中，提供了服务器基于该初始字符特征和该初始语句特征，获取该字符特征的一种可能实施方式，在一些实施例中，还可以对该目标融合特征进行卷积处理，获取具有较大深度的字符特征，本申请实施例不对获取字符特征的方式进行具体限定。
305、服务器调用信息获取模型的语句编码层，对该字符特征进行编码，得到该至少一个语句的语句特征。
可选地，服务器将字符编码层输出的字符特征输入到语句编码层的至少一个神经元，通过该至少一个神经元分别对该字符特征进行正向编码和反向编码，得到该语句特征。
在上述过程中，通过语句编码层能够对字符特征进行双向编码，在正向编码过程中重复考虑上文信息，在反向编码过程中充分考虑下文信息，达到结合上下文信息的编码效果，提升了语句特征的准确度。在一些实施例中，也可以仅对字符特征进行正向编码，以降低编码过程的计算量，节约服务器的计算资源。
在一个示例中，将字符特征
Figure BDA0002680909370000224
输入到语句编码层中，基于语句编码层对字符特征进行编码，输出语句层面的语义向量序列，其中，语句编码层的处理逻辑可以表示为：
Figure BDA0002680909370000221
其中，hj∈Rd表示第j个字符层面的语义向量hj是一个d维向量，ui∈Rd表示第i个语句层面的语义向量ui是一个d维向量，Lx表示字符序列长度也即字符数量，
Figure BDA0002680909370000222
表示文本信息中的语句数量(utterance number)。此外，j为大于或等于1且小于或等于Lx的整数，i为大于或等于1且小于或等于
Figure BDA0002680909370000223
的整数。
在上述步骤305中，提供了服务器基于文本信息中至少一个字符的字符特征，获取该文本信息中至少一个语句的语句特征的一种可能实施方式，也即是说对字符特征进行编码得到语句特征，在一些实施例中，也可以对字符特征进行卷积处理，获取具有较大深度的语句特征，本申请实施例不对语句特征的获取方式进行具体限定。
306、服务器基于该语句特征，获取初始隐向量，该初始隐向量用于表示该语句特征中第一个语句的反向编码信息和最后一个语句的正向编码信息。
需要说明的是，由于初始字符特征相当于词向量序列，初始语句特征相当于句向量序列，对词向量序列和句向量序列拼接，得到一个嵌入向量序列，对嵌入向量进行字符层面的编码，得到一个字符特征，该字符特征可以视为至少一个字符的语义向量序列，因此，基于字符特征进一步编码所得的语句特征，也可以视为该至少一个语句的语义向量序列。
可选地，服务器在获取初始隐向量时，确定语义向量序列中对第一个语句反向编码得到的语义向量
Figure BDA0002680909370000231
(也即反向编码信息)，确定语义向量序列中对最后一个语句正向编码得到的语义向量
Figure BDA0002680909370000232
(也即正向编码信息)，将上述两个语义向量进行融合，即可得到初始隐向量。其中，
Figure BDA0002680909370000233
表示文本信息中的语句数量。
可选地，语义向量的融合方式包括但不限于：拼接、按元素相加、双线性汇合、按元素相乘等，本申请实施例不对初始隐向量的获取方式进行具体限定。
307、服务器调用该信息获取模型的解码层，对该初始隐向量进行解码，得到隐向量序列，该隐向量序列用于表示该文本信息所隐含的语义信息。
在一些实施例中，服务器在对初始隐向量进行解码的过程中，将该初始隐向量输入到解码层中的至少一个神经元，通过该至少一个神经元对该初始隐向量进行解码，得到隐向量序列。
其中，由于摘要信息(也即摘要序列)的长度未定，服务器在解码时，将初始隐向量和开始信号输入到解码层的第一个神经元中，由第一个神经元计算第一个隐向量，基于第一个隐向量获取摘要信息的第一个字符，接下来将第一个隐向量和第一个字符输入到第二个神经元中，以此类推，直到某个神经元的隐向量所对应的字符为终止信号时，停止解码，将各个神经元所确定的字符构成的字符序列确定为最终的摘要信息。
308、服务器基于该隐向量序列和该语句特征，获取第一注意力特征。
其中，该第一注意力特征用于表示该至少一个语句在该文本信息中的重要程度。
在一些实施例中，服务器采用下述方式获取第一注意力特征：对该隐向量序列和该语句特征进行处理，得到该至少一个语句的第一注意力系数，一个第一注意力系数用于表示一个语句在该文本信息中的权重系数；基于该至少一个语句的第一注意力系数，对该至少一个语句的该语句特征进行加权，对加权得到的特征进行求和，得到第一注意力特征。
在一个示例中，对第t个神经元，当前t时刻的隐向量可以表示为st，解码层可以基于下述两个公式来获取t时刻的第一注意力系数
Figure BDA0002680909370000241
Figure BDA0002680909370000242
Figure BDA0002680909370000243
其中，t表示当前时刻，st表示t时刻的隐向量，i表示语句索引，ui表示第i个语句的语义向量(语句层面)，
Figure BDA0002680909370000244
和
Figure BDA0002680909370000245
表示解码层中的权重系数，bu表示解码层中的偏置系数，tanh()表示一种激活函数，
Figure BDA0002680909370000246
表示未经过归一化的第一注意力系数，vu则是一个可训练的参数向量。
接下来，采用第一注意力系数对语句特征进行加权求和，即可得到第一注意力特征，该过程可以表示为下述公式：
Figure BDA0002680909370000247
其中，
Figure BDA0002680909370000248
表示第一注意力特征，且
Figure BDA0002680909370000249
表示
Figure BDA00026809093700002410
是一个d维向量，
Figure BDA00026809093700002411
表示第一注意力系数，ui表示语句特征，i为大于或等于1且小于或等于
Figure BDA00026809093700002412
的整数，
Figure BDA00026809093700002413
表示文本信息中的语句数量。
在上述过程中，由于隐向量序列是基于初始隐向量进行解码所得的，因此得到的第一注意力特征相当于一个语句层级的注意力特征，能够反映出摘要信息中各个语句分别对应于文本信息中的哪个语句，相当于提供了一种摘要信息与文本信息之间在语句层级的对齐信息，能够鼓励模型输出逻辑性更强、条理更清晰的摘要。
在上述步骤306-309中，提供了服务器基于该语句特征，获取第一注意力特征的一种可能实施方式，也即先基于语句特征确定初始隐向量，基于初始隐向量解码出隐向量序列，结合隐向量序列和语句特征，即可获取第一注意力特征，这一第一注意力特征相当于语句层面的注意力信息。
309、服务器基于该字符特征和该语句特征，获取第二注意力特征。
其中，该第二注意力特征用于表示该至少一个字符在该文本信息中的重要程度。
在一些实施例中，服务器在基于上述步骤307获取到隐向量序列之后，可以采用下述方式获取第二注意力特征：对该隐向量序列和该字符特征进行处理，得到该至少一个字符的第二注意力系数，一个第二注意力系数用于表示一个字符在该文本信息中的权重系数；基于该第一注意力系数和该第二注意力系数，获取该至少一个字符的第三注意力系数，该第三注意力系数用于表示一个字符在该文本信息中对应语句中的权重系数；基于该至少一个字符的第三注意力系数，对该至少一个字符的该字符特征进行加权，对加权得到的特征进行求和，得到第二注意力特征。
在一个示例中，对第t个神经元，当前t时刻的隐向量可以表示为st，解码层可以基于下述两个公式来获取t时刻的第二注意力系数
Figure BDA0002680909370000251
Figure BDA0002680909370000252
Figure BDA0002680909370000253
其中，t表示当前时刻，st表示t时刻的隐向量，j表示字符索引，hj表示第j个字符的语义向量(字符层面)，
Figure BDA0002680909370000254
和
Figure BDA0002680909370000255
表示解码层中的权重系数，bw表示解码层中的偏置系数，tanh()表示一种激活函数，
Figure BDA0002680909370000256
表示未经过归一化的第二注意力系数，vw同样是一个可训练的参数向量。
基于第一注意力系数和第二注意力系数，获取第三注意力系数的过程中，可以采用如下处理：
Figure BDA0002680909370000257
其中，
Figure BDA0002680909370000258
表示第一注意力系数，
Figure BDA0002680909370000259
表示第二注意力系数，
Figure BDA00026809093700002510
表示第三注意力系数，而
Figure BDA00026809093700002511
表示第j个字符xj所属于的第i个语句
Figure BDA00026809093700002512
的索引i。
基于第三注意力系数加权获取第二注意力特征的过程，可以采用如下处理：
Figure BDA00026809093700002513
其中，
Figure BDA00026809093700002514
表示第三注意力系数，hj表示第j个字符层面的语义向量，
Figure BDA00026809093700002515
表示第二注意力特征，
Figure BDA00026809093700002516
表示
Figure BDA00026809093700002517
是一个d维向量。
在上述过程中，先基于隐向量序列和字符特征，确定出各个字符在整个文本信息的权重系数(第二注意力系数)，接下来对该第二注意力系数进行缩放，确定出各个字符在整个文本信息中对应语句的权重系数(第三注意力系数)，这一系数统一了字符层级和句子层级这两种不同层级的注意力信息，使得两个层级的注意力信息具有一致性。
310、服务器基于该第一注意力特征和该第二注意力特征，获取该文本信息的摘要信息。
在上述过程中，服务器可以基于所述第一注意力特征和所述第二注意力特征，确定至少一个预测概率，一个预测概率用于表示目标词典中的一个字符在一个时刻出现在所述摘要信息中的可能性；获取至少一个时刻中预测概率最大的字符所构成的字符序列；将所述字符序列确定为所述摘要信息。
可选地，对解码层中任一神经元，服务器获取该神经元的隐向量之后，基于该神经元的隐向量、该神经元对应的第一注意力特征、该神经元对应的第二注意力特征以及该神经元对应的第三注意力系数，能够获取到该隐向量匹配于目标词典中任一个字符的预测概率，将预测概率最大的字符确定为该摘要信息中与该神经元对应位置的字符。其余神经元的处理过程以此类推，这里不做赘述。
在一个示例中，对第t个神经元，当前t时刻的隐向量可以表示为st，t时刻的第一注意力特征表示为
Figure BDA0002680909370000261
t时刻的第二注意力特征表示为
Figure BDA0002680909370000262
第三注意力系数表示为
Figure BDA0002680909370000263
那么解码层预测的摘要信息中第t个字符的概率分布P(yt)和最终预测的字符yt如下：
Figure BDA0002680909370000264
Figure BDA0002680909370000265
其中，P(yt)∈R|ν∪χ|，v是预定义好的词典集合，χ是出现在输入对话x中的单词所组成的词典集合，|ν∪χ|是两个词典合并过后词典中单词的数量。由于在解码时输入了更多层级的信息(
Figure BDA0002680909370000266
和
Figure BDA0002680909370000267
)以及第三注意力系数
Figure BDA0002680909370000268
使得解码器获得了多层次更全面的输入文本信息，从而生成准确率更高的摘要信息。
在上述过程中，由于在获取摘要信息时，不仅考虑到了字符层级的第二注意力特征，而且还考虑到了语句层级的第一注意力特征，避免了在编解码过程中损失掉文本信息的语句层面的相关信息，使得摘要信息更加能够反映出文本信息的核心内容，能够提升摘要信息的获取准确率。
上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，由于不仅获取到了文本信息的字符特征，而且还获取到了文本信息的语句特征，基于字符层面的字符特征和语句层面的语句特征，能够分别获取到字符层面的第二注意力特征和语句层面的第一注意力特征，使得在基于这两个不同层面的注意力特征预测摘要信息时，能够高效、充分地利用整个文本信息，避免损失掉文本信息的细节，有利于生成的摘要信息准确体现文本信息的核心内容，从而提升了摘要信息的准确度。
在上一实施例中，介绍了如何应用信息获取模型，来自动提取文本信息的摘要信息，在本申请实施例中，将对信息获取模型的训练过程进行详述。
图5是本申请实施例提供的一种信息获取模型的训练流程图，请参考图5，该训练过程应用于计算机设备，以计算机设备为服务器为例进行说明，该信息获取模型的训练过程包括：
500、服务器获取样本文本以及样本文本的样本摘要。
可选地，该样本文本包括会议文本、诊疗记录或者客服对话中至少一项，在不同的文本应用场景中，该样本文本具有不同的内容，本申请实施例不对该样本文本的内容进行具体限定。可选地，该样本文本的数量为一个或多个，多个样本文本可以构成一个样本文本集合。
服务器获取样本文本的过程与上述步骤300中获取文本信息的过程类似，这里不做赘述。
在获取到各个样本文本之后，由用户对该样本文本进行标注，标注出各个样本文本的样本摘要，该样本摘要也即各个样本文本真实摘要信息。
在一些实施例中，还可以对各个样本摘要进行处理，以提取到各个样本文本的重要信息，该重要信息也可以称为支撑语句流(Supporting Utterance Flow Modeling，SUFM)，支撑语句流描述的是在文本信息中重要的语句(Supporting Utterance)或者信息，支撑语句流通常均匀的分布在文本信息的各个部分。在人工生成文本摘要时，通常会按照顺序对各个重要语句或者信息进行归纳总结从而生成对应的摘要，为了使模型更加贴近于人工处理模式，可以通过获取重要信息，来引入这一方面的监督。
需要说明的是，支撑语句流是对话场景中特有的特性，因此支撑语句流可以适用于医患对话、客服对话等涉及到多轮对话交互的场景，比如，对于新闻摘要生成任务，由于一个新闻的重要语句或者信息绝大部分都在新闻文章的开头部分，而并不会均匀地分布在新闻文章的各个部分，因此支撑语句流并不适应于新闻摘要的生成场景。
在一个示例性实施例中，该重要信息的获取过程包括：基于该样本文本和该样本摘要，获取至少一个相似系数，一个相似系数用于表示该样本摘要中一个语句与该样本文本中一个语句的非停用词集合(Non-stop-word Set)之间的相似程度；将该样本摘要中相似系数位于前目标位的语句确定为该重要信息。
在一个示例中，以该相似系数采用杰卡德相似系数(Jaccard Similarity)为例。对样本摘要中第k个摘要语句CSSk，获取CSSk的非停用词集合与样本文本中每个语句的非停用词集合之间的杰卡德相似系数，按照杰卡德相似系数从高到低的顺序，对样本文本中各个语句进行排序，选取位于前N位的语句作为CSSk的N个支撑语句。
在本申请实施例中，提出了一种支撑语句流建模模块(SUFM module)，能够显式建模该支撑语句流特性，从而帮助模型在对话场景下，生成更符合逻辑和具有良好条理性的摘要信息。支撑语句流建模模块由支撑语句流建模嵌入层(SUFM embedding，也即上述实施例涉及的语句嵌入层)和支撑语句流建模损失函数(SUFM loss，也即语句损失)组成。语句损失将在下述步骤502中进行详述。
在一些实施例中，还可以对各个样本摘要进行处理，以提取到各个样本文本的事实信息，可选地，该事实信息的获取过程包括：基于该样本摘要，获取至少一个事实三元组，一个事实三元组包括该样本摘要中一个语句的主语、谓语和宾语；将该至少一个事实三元组确定为该事实信息。
本申请实施例中，提出了一种事实正则化模块，能够帮助模型提升生成摘要的事实准确性，避免摘要信息出现一些错误的事实。可选地，首先利用一个事实三元组抽取器(如图4的406)从样本摘要当中抽取事实三元组，然后基于这些事实三元组，在训练过程的损失函数中添加一个正则化项来引入事实损失。其中，该事实三元组抽取器是基于样本摘要的每个语句的依存句法分析(dependency parsing)来设计的，通过抽取样本摘要的每个语句的主语(Subject)，谓语/动词(Root Verb)和宾语(Object)字符作为对应摘要语句的事实三元组，从而可以获取到整个样本文本的事实信息。
501、服务器将样本文本输入初始获取模型，通过该初始获取模型获取该样本文本的预测摘要。
上述过程获取预测摘要的过程与上述实施例中获取摘要信息的过程(步骤301-310)类似，这里不做赘述。
502、服务器基于该样本文本的样本摘要以及该预测摘要，确定本次训练过程的损失函数值。
在一些实施例中，任一次训练过程的损失函数值包括语句损失值、事实损失值和生成损失值，该语句损失值用于表示该预测摘要与该样本文本的重要信息之间的误差，该事实损失值用于表示该预测摘要与该样本文本的事实信息之间的误差，该生成损失值用于表示该预测摘要和样本摘要之间的误差。下面将分别进行介绍。
1)语句损失值
在一些实施例中，语句损失值包括当前语句损失值和上文语句损失值，以样本摘要中第k个语句CSSk为例，基于上述步骤500获取到第k个语句CSSk的N个支撑语句(CurrentSupporting Utterances)集合记为CSUk，则样本语句中前k-1个语句的支撑语句(PreviousSupporting Utterances)集合记为PSUk，那么当前语句损失值用于表示预测摘要中第k个语句和CSUk之间的误差
Figure BDA0002680909370000291
而上文语句损失值用于表示预测摘要中第k个语句和PSUk之间的误差
Figure BDA0002680909370000292
可选地，当前语句损失值和上文语句损失值的表达式如下：
Figure BDA0002680909370000293
Figure BDA0002680909370000294
其中，
Figure BDA0002680909370000295
是每个字符的第三注意力分数，
Figure BDA0002680909370000296
表示第k个语句的当前语句损失值，
Figure BDA0002680909370000297
表示第k个语句的上文语句损失值，yt表示t时刻的样本摘要中的真实值。
在训练时，基于
Figure BDA0002680909370000298
可以鼓励模型在生成当前摘要句子CSSk时，集中注意力于对应的支撑对话语句CSUk，基于
Figure BDA0002680909370000299
可以鼓励模型在生成当前摘要句子CSSk时，忽略之前摘要句子的支撑对话语句PSUk，这样能够保证当前语句与样本摘要(真实摘要)的对应位置语句的误差较小，且不会与之前的句子表达重复的语义。
可选地，对当前语句损失值和上文语句损失值进行加权求和，即可得到总体的语句损失值。也即将
Figure BDA0002680909370000301
作为第k个摘要句子的语句损失SUFM loss。其中，λ1和λ2是超参数。
也即是说，一个样本文本中整个摘要的SUFM loss为各个摘要句子的语句损失SUFM loss之和：
Figure BDA0002680909370000302
其中，lSUFM表示整个摘要的SUFM loss，
Figure BDA0002680909370000303
表示第k个语句的当前语句损失值，
Figure BDA0002680909370000304
表示第k个语句的上文语句损失值，k为大于或等于1且小于或等于n的整数，n为样本文本的样本摘要中所包含语句的总数量，λ1和λ2是超参数。
2)事实损失值
基于上述步骤500抽取出的事实三元组，提供一个正则化项如下述公式所示：
Figure BDA0002680909370000305
其中，lFR表示事实损失，m是当前训练的样本文本的样本摘要中事实三元组的数量，k表示第k个三元组，λ3是权重超参。而
Figure BDA0002680909370000306
分别表示第k个三元组的主语、动词和宾语在解码器中的隐向量(也称为隐状态)，其中动词是指作为句子谓语的动词。
需要说明的是，lFR的表达式基于以下假设：给定一个文本输入，在隐式表示空间，主语的隐式表示与动词的隐式表示之和应该尽可能接近宾语的隐式表示，即
Figure BDA0002680909370000307
在本实施例中，选用解码器的隐状态来作为隐式表示的原因在于，每一个摘要字符的预测是基于对应的解码器隐状态，因此解码器隐状态可以看作每一个被预测摘要字符的对话已知的隐式表示。
3)生成损失值
在一些实施例中，采用负对数似然损失函数(Negative Log-likelihood LossFunction)来获取生成损失值lG：
Figure BDA0002680909370000311
其中，G代表生成(generation)，lG表示生成损失，
Figure BDA0002680909370000312
是可用于模型的其它特征的集合，对于基本模型来说
Figure BDA0002680909370000313
是空集。
可选地，在任一次迭代过程中，服务器获取本次迭代过程的语句损失值lSUFM、事实损失值lFR和生成损失值lG，将三者相加所得的数值确定为总的损失函数值。也即是说，l＝lG+lSUFM+lFR，其中，lSUFM中的λ1和λ2以及lFR中的λ3均是在验证集上调整确定的超参数。可选地，SUFM embedding也可以被加入到lG中的特征集
Figure BDA0002680909370000314
中。
503、服务器响应于该损失函数值符合停止训练条件，停止训练，得到信息获取模型。
在上述过程中，如果损失函数值小于损失阈值，或者迭代次数大于目标次数，确定符合停止训练条件，停止训练，将最后一次迭代过程的初始获取模型确定为信息获取模型。否则，如果损失函数值大于或等于损失阈值，且迭代次数小于或等于目标次数，确定不符合停止训练条件，基于反向传播算法调整初始获取模型的参数，将调整参数后初始获取模型投入到下一次迭代过程中，迭代执行训练步骤。
在本申请实施例中，通过一个SUFM模块来显式地鼓励模型生成摘要时遵从对话里面的支撑语句流，SUFM模块主要由一个新的损失函数(语句损失SUFM loss)和一个新的嵌入层(语句嵌入层SUFM embedding)组成，大大提升了预测摘要与重要信息的匹配程度，此外，提出了一个事实正则化模块来惩罚模型在训练中生成摘要时捏造出输入对话中不存在的事实的行为，这一模块由一个事实三元组抽取器(Fact Triplet Extractor)和一个正则化损失函数(Fact Regularization loss)组成，大大提升了预测摘要与事实信息的匹配程度，从而结合语句损失、事实损失、生成损失，能够更加全面地衡量样本摘要与预测摘要之间的误差，以提升训练过程的准确性，得到更加准确的信息获取模型。
图6是本申请实施例提供的一种信息获取装置的结构示意图，请参考图6，该装置包括：
第一获取模块601，用于基于文本信息中至少一个字符的字符特征，获取该文本信息中至少一个语句的语句特征；
第二获取模块602，用于基于该语句特征，获取第一注意力特征，该第一注意力特征用于表示该至少一个语句在该文本信息中的重要程度；
第三获取模块603，用于基于该字符特征和该语句特征，获取第二注意力特征，该第二注意力特征用于表示该至少一个字符在该文本信息中的重要程度；
第四获取模块604，用于基于该第一注意力特征和该第二注意力特征，获取该文本信息的摘要信息。
本申请实施例提供的装置，通过不仅获取到了文本信息的字符特征，而且还获取到了文本信息的语句特征，基于字符层面的字符特征和语句层面的语句特征，能够分别获取到字符层面的第二注意力特征和语句层面的第一注意力特征，使得在基于这两个不同层面的注意力特征预测摘要信息时，能够高效、充分地利用整个文本信息，避免损失掉文本信息的细节，有利于生成的摘要信息准确体现文本信息的核心内容，从而提升了摘要信息的准确度。
在一种可能实施方式中，该第一获取模块601用于：
调用信息获取模型的语句编码层，对该字符特征进行编码，得到该语句特征，其中，该信息获取模型用于提取文本信息的摘要信息。
在一种可能实施方式中，该装置还包括：
输入模块，用于将该文本信息输入该信息获取模型；
第五获取模块，用于调用该信息获取模型，获取该至少一个字符的初始字符特征和该至少一个语句的初始语句特征；
第六获取模块，用于基于该初始字符特征和该初始语句特征，获取该字符特征。
在一种可能实施方式中，该第五获取模块用于：
调用该信息获取模型的字符嵌入层，对该至少一个字符进行嵌入处理，得到该初始字符特征；
调用该信息获取模型的语句嵌入层，对该至少一个语句的索引信息进行嵌入处理，得到该初始语句特征，该索引信息用于表示该至少一个语句在该文本信息中所处的位置。
在一种可能实施方式中，该第六获取模块用于：
对该初始字符特征和该初始语句特征进行融合，得到目标融合特征；
调用该信息获取模型的字符编码层，对该目标融合特征进行编码，得到该字符特征。
在一种可能实施方式中，该信息获取模型的训练过程包括：
将样本文本输入初始获取模型，通过该初始获取模型获取该样本文本的预测摘要；
基于该样本文本的样本摘要以及该预测摘要，确定本次训练过程的损失函数值；
响应于该损失函数值符合停止训练条件，停止训练，得到该信息获取模型。
在一种可能实施方式中，任一次训练过程的损失函数值包括语句损失值、事实损失值和生成损失值，该语句损失值用于表示该预测摘要与该样本文本的重要信息之间的误差，该事实损失值用于表示该预测摘要与该样本文本的事实信息之间的误差，该生成损失值用于表示该预测摘要和样本摘要之间的误差。
在一种可能实施方式中，该重要信息的获取过程包括：
基于该样本文本和该样本摘要，获取至少一个相似系数，一个相似系数用于表示该样本摘要中一个语句与该样本文本中一个语句的非停用词集合之间的相似程度；
将该样本摘要中相似系数位于前目标位的语句确定为该重要信息。
在一种可能实施方式中，该事实信息的获取过程包括：
基于该样本摘要，获取至少一个事实三元组，一个事实三元组包括该样本摘要中一个语句的主语、谓语和宾语；
将该至少一个事实三元组确定为该事实信息。
在一种可能实施方式中，该第二获取模块602包括：
第一获取单元，用于基于该语句特征，获取初始隐向量，该初始隐向量用于表示该语句特征中第一个语句的反向编码信息和最后一个语句的正向编码信息；
解码单元，用于调用信息获取模型的解码层，对该初始隐向量进行解码，得到隐向量序列，该隐向量序列用于表示该文本信息所隐含的语义信息，该信息获取模型用于提取文本信息的摘要信息；
第二获取单元，用于基于该隐向量序列和该语句特征，获取该第一注意力特征。
在一种可能实施方式中，该第二获取单元用于：
对该隐向量序列和该语句特征进行处理，得到该至少一个语句的第一注意力系数，一个第一注意力系数用于表示一个语句在该文本信息中的权重系数；
基于该至少一个语句的第一注意力系数，对该至少一个语句的该语句特征进行加权，对加权得到的特征进行求和，得到该第一注意力特征。
在一种可能实施方式中，该第三获取模块603用于：
对该隐向量序列和该字符特征进行处理，得到该至少一个字符的第二注意力系数，一个第二注意力系数用于表示一个字符在该文本信息中的权重系数；
基于该第一注意力系数和该第二注意力系数，获取该至少一个字符的第三注意力系数，该第三注意力系数用于表示一个字符在该文本信息中对应语句中的权重系数；
基于该至少一个字符的第三注意力系数，对该至少一个字符的该字符特征进行加权，对加权得到的特征进行求和，得到该第二注意力特征。
在一种可能实施方式中，该第四获取模块604用于：
基于该第一注意力特征和该第二注意力特征，确定至少一个预测概率，一个预测概率用于表示目标词典中的一个字符在一个时刻出现在该摘要信息中的可能性；
获取至少一个时刻中预测概率最大的字符所构成的字符序列；
将该字符序列确定为该摘要信息。
需要说明的是：上述实施例提供的信息获取装置在信息获取时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的信息获取装置与信息获取方法实施例属于同一构思，其具体实现过程详见信息获取方法实施例，这里不再赘述。
图7是本申请实施例提供的一种计算机设备的结构示意图。可选地，以计算机设备为终端为例，该终端700的设备类型包括：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端700包括有：处理器701和存储器702。
可选地，处理器701包括一个或多个处理核心，比如4核心处理器、8核心处理器等。可选地，处理器701采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。在一些实施例中，处理器701包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
在一些实施例中，存储器702包括一个或多个计算机可读存储介质，可选地，该计算机可读存储介质是非暂态的。可选地，存储器702还包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器701所执行以实现本申请中各个实施例提供的信息获取方法。
在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间能够通过总线或信号线相连。各个外围设备能够通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。可选地，射频电路704通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏705用于显示UI(User Interface，用户界面)。可选地，该UI包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号能够作为控制信号输入至处理器701进行处理。可选地，显示屏705还用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705为一个，设置终端700的前面板；在另一些实施例中，显示屏705为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，可选地，显示屏705设置成非矩形的不规则图形，也即异形屏。可选地，显示屏705采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还包括闪光灯。可选地，闪光灯是单色温闪光灯，或者是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，用于不同色温下的光线补偿。
在一些实施例中，音频电路707包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风为多个，分别设置在终端700的不同部位。可选地，麦克风是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。可选地，扬声器是传统的薄膜扬声器，或者是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅能够将电信号转换为人类可听见的声波，也能够将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还包括耳机插孔。
定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。可选地，定位组件708是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为终端700中的各个组件进行供电。可选地，电源709是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池支持有线充电或无线充电。该可充电电池还用于支持快充技术。
在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
在一些实施例中，加速度传感器711检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711用于检测重力加速度在三个坐标轴上的分量。可选地，处理器701根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还用于游戏或者用户的运动数据的采集。
在一些实施例中，陀螺仪传感器712检测终端700的机体方向及转动角度，陀螺仪传感器712与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
可选地，压力传感器713设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，能够检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。可选地，指纹传感器714被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714能够与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员能够理解，图7中示出的结构并不构成对终端700的限定，能够包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图8是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备800可因配置或性能不同而产生比较大的差异，该计算机设备800包括一个或一个以上处理器(Central Processing Units，CPU)801和一个或一个以上的存储器802，其中，该存储器802中存储有至少一条程序代码，该至少一条程序代码由该处理器801加载并执行以实现上述各个实施例提供的信息获取方法。可选地，该计算机设备800还具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备800还包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条程序代码的存储器，上述至少一条程序代码可由终端中的处理器执行以完成上述实施例中信息获取方法。例如，该计算机可读存储介质包括ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得计算机设备能够执行以完成上述实施例中信息获取方法。
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，可选地，该程序存储于一种计算机可读存储介质中，可选地，上述提到的存储介质是只读存储器、磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种信息获取方法，其特征在于，所述方法包括：
基于文本信息中至少一个字符的字符特征，获取所述文本信息中至少一个语句的语句特征；
基于所述语句特征，获取第一注意力特征，所述第一注意力特征用于表示所述至少一个语句在所述文本信息中的重要程度；
基于所述字符特征和所述语句特征，获取第二注意力特征，所述第二注意力特征用于表示所述至少一个字符在所述文本信息中的重要程度；
基于所述第一注意力特征和所述第二注意力特征，获取所述文本信息的摘要信息。
2.根据权利要求1所述的方法，其特征在于，所述基于文本信息中至少一个字符的字符特征，获取所述文本信息中至少一个语句的语句特征包括：
调用信息获取模型的语句编码层，对所述字符特征进行编码，得到所述语句特征，其中，所述信息获取模型用于提取文本信息的摘要信息。
3.根据权利要求2所述的方法，其特征在于，所述基于文本信息中至少一个字符的字符特征，获取所述文本信息中至少一个语句的语句特征之前，所述方法还包括：
将所述文本信息输入所述信息获取模型；
调用所述信息获取模型，获取所述至少一个字符的初始字符特征和所述至少一个语句的初始语句特征；
基于所述初始字符特征和所述初始语句特征，获取所述字符特征。
4.根据权利要求3所述的方法，其特征在于，所述调用所述信息获取模型，获取所述至少一个字符的初始字符特征和所述至少一个语句的初始语句特征包括：
调用所述信息获取模型的字符嵌入层，对所述至少一个字符进行嵌入处理，得到所述初始字符特征；
调用所述信息获取模型的语句嵌入层，对所述至少一个语句的索引信息进行嵌入处理，得到所述初始语句特征，所述索引信息用于表示所述至少一个语句在所述文本信息中所处的位置。
5.根据权利要求3所述的方法，其特征在于，所述基于所述初始字符特征和所述初始语句特征，获取所述字符特征包括：
对所述初始字符特征和所述初始语句特征进行融合，得到目标融合特征；
调用所述信息获取模型的字符编码层，对所述目标融合特征进行编码，得到所述字符特征。
6.根据权利要求1所述的方法，其特征在于，所述信息获取模型的训练过程包括：
将样本文本输入初始获取模型，通过所述初始获取模型获取所述样本文本的预测摘要；
基于所述样本文本的样本摘要以及所述预测摘要，确定本次训练过程的损失函数值；
响应于所述损失函数值符合停止训练条件，停止训练，得到所述信息获取模型。
7.根据权利要求6所述的方法，其特征在于，任一次训练过程的损失函数值包括语句损失值、事实损失值和生成损失值，所述语句损失值用于表示所述预测摘要与所述样本文本的重要信息之间的误差，所述事实损失值用于表示所述预测摘要与所述样本文本的事实信息之间的误差，所述生成损失值用于表示所述预测摘要和样本摘要之间的误差。
8.根据权利要求7所述的方法，其特征在于，所述重要信息的获取过程包括：
基于所述样本文本和所述样本摘要，获取至少一个相似系数，一个相似系数用于表示所述样本摘要中一个语句与所述样本文本中一个语句的非停用词集合之间的相似程度；
将所述样本摘要中相似系数位于前目标位的语句确定为所述重要信息。
9.根据权利要求7所述的方法，其特征在于，所述事实信息的获取过程包括：
基于所述样本摘要，获取至少一个事实三元组，一个事实三元组包括所述样本摘要中一个语句的主语、谓语和宾语；
将所述至少一个事实三元组确定为所述事实信息。
10.根据权利要求1所述的方法，其特征在于，所述基于所述语句特征，获取第一注意力特征包括：
基于所述语句特征，获取初始隐向量，所述初始隐向量用于表示所述语句特征中第一个语句的反向编码信息和最后一个语句的正向编码信息；
调用信息获取模型的解码层，对所述初始隐向量进行解码，得到隐向量序列，所述隐向量序列用于表示所述文本信息所隐含的语义信息，所述信息获取模型用于提取文本信息的摘要信息；
基于所述隐向量序列和所述语句特征，获取所述第一注意力特征。
11.根据权利要求10所述的方法，其特征在于，所述基于所述隐向量序列和所述语句特征，获取所述第一注意力特征包括：
对所述隐向量序列和所述语句特征进行处理，得到所述至少一个语句的第一注意力系数，一个第一注意力系数用于表示一个语句在所述文本信息中的权重系数；
基于所述至少一个语句的第一注意力系数，对所述至少一个语句的所述语句特征进行加权，对加权得到的特征进行求和，得到所述第一注意力特征。
12.根据权利要求11所述的方法，其特征在于，所述基于所述字符特征和所述语句特征，获取第二注意力特征包括：
对所述隐向量序列和所述字符特征进行处理，得到所述至少一个字符的第二注意力系数，一个第二注意力系数用于表示一个字符在所述文本信息中的权重系数；
基于所述第一注意力系数和所述第二注意力系数，获取所述至少一个字符的第三注意力系数，所述第三注意力系数用于表示一个字符在所述文本信息中对应语句中的权重系数；
基于所述至少一个字符的第三注意力系数，对所述至少一个字符的所述字符特征进行加权，对加权得到的特征进行求和，得到所述第二注意力特征。
13.根据权利要求1所述的方法，其特征在于，所述基于所述第一注意力特征和所述第二注意力特征，获取所述文本信息的摘要信息包括：
基于所述第一注意力特征和所述第二注意力特征，确定至少一个预测概率，一个预测概率用于表示目标词典中的一个字符在一个时刻出现在所述摘要信息中的可能性；
获取至少一个时刻中预测概率最大的字符所构成的字符序列；
将所述字符序列确定为所述摘要信息。
14.一种信息获取装置，其特征在于，所述装置包括：
第一获取模块，用于基于文本信息中至少一个字符的字符特征，获取所述文本信息中至少一个语句的语句特征；
第二获取模块，用于基于所述语句特征，获取第一注意力特征，所述第一注意力特征用于表示所述至少一个语句在所述文本信息中的重要程度；
第三获取模块，用于基于所述字符特征和所述语句特征，获取第二注意力特征，所述第二注意力特征用于表示所述至少一个字符在所述文本信息中的重要程度；
第四获取模块，用于基于所述第一注意力特征和所述第二注意力特征，获取所述文本信息的摘要信息。
15.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求13任一项所述的信息获取方法。
CN202010962104.6A 2020-09-14 2020-09-14 信息获取方法、装置、计算机设备及存储介质 Active CN112069309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010962104.6A CN112069309B (zh) 2020-09-14 2020-09-14 信息获取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010962104.6A CN112069309B (zh) 2020-09-14 2020-09-14 信息获取方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112069309A true CN112069309A (zh) 2020-12-11
CN112069309B CN112069309B (zh) 2024-03-15

Family

ID=73695582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962104.6A Active CN112069309B (zh) 2020-09-14 2020-09-14 信息获取方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112069309B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906385A (zh) * 2021-05-06 2021-06-04 平安科技（深圳）有限公司 文本摘要生成方法、计算机设备及存储介质
CN113449523A (zh) * 2021-06-29 2021-09-28 京东科技控股股份有限公司 异常地址文本的确定方法、装置、电子设备和存储介质
CN113468295A (zh) * 2021-07-23 2021-10-01 平安国际智慧城市科技股份有限公司 主宾对应关系的确定方法、装置、计算机设备及存储介质
CN114386390A (zh) * 2021-11-25 2022-04-22 马上消费金融股份有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN114492456A (zh) * 2022-01-26 2022-05-13 北京百度网讯科技有限公司 文本生成方法、模型的训练方法、装置、电子设备及介质
CN114925181A (zh) * 2022-04-28 2022-08-19 支付宝(杭州)信息技术有限公司 数据处理方法及装置、计算机存储介质及终端
WO2023166747A1 (ja) * 2022-03-04 2023-09-07 日本電信電話株式会社 学習データ生成装置、学習データ生成方法、及びプログラム
WO2023166746A1 (ja) * 2022-03-04 2023-09-07 日本電信電話株式会社 要約生成装置、要約モデル学習装置、要約生成方法、要約モデル学習方法、及びプログラム
CN113468295B (zh) * 2021-07-23 2024-05-17 平安国际智慧城市科技股份有限公司 主宾对应关系的确定方法、装置、计算机设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959312A (zh) * 2017-05-23 2018-12-07 华为技术有限公司 一种多文档摘要生成的方法、装置和终端
CN109726281A (zh) * 2018-12-12 2019-05-07 Tcl集团股份有限公司 一种文本摘要生成方法、智能终端及存储介质
CN110097089A (zh) * 2019-04-05 2019-08-06 华南理工大学 一种基于注意力组合神经网络的文档级别的情感分类方法
CN110390103A (zh) * 2019-07-23 2019-10-29 中国民航大学 基于双编码器的短文本自动摘要方法及系统
WO2019214145A1 (zh) * 2018-05-10 2019-11-14 平安科技（深圳）有限公司 文本情绪分析方法、装置及存储介质
US20190370338A1 (en) * 2017-06-22 2019-12-05 Tencent Technology (Shenzhen) Company Limited Summary generation method, apparatus, computer device, and storage medium
CN110619043A (zh) * 2019-08-30 2019-12-27 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于动态词向量的自动文本摘要生成方法
CN111061861A (zh) * 2019-12-12 2020-04-24 西安艾尔洛曼数字科技有限公司 一种基于XLNet的文本摘要自动生成方法
CN111324728A (zh) * 2020-01-22 2020-06-23 腾讯科技（深圳）有限公司 文本事件摘要的生成方法、装置、电子设备及存储介质
CN111506725A (zh) * 2020-04-17 2020-08-07 北京百度网讯科技有限公司 生成摘要的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959312A (zh) * 2017-05-23 2018-12-07 华为技术有限公司 一种多文档摘要生成的方法、装置和终端
US20190370338A1 (en) * 2017-06-22 2019-12-05 Tencent Technology (Shenzhen) Company Limited Summary generation method, apparatus, computer device, and storage medium
WO2019214145A1 (zh) * 2018-05-10 2019-11-14 平安科技（深圳）有限公司 文本情绪分析方法、装置及存储介质
CN109726281A (zh) * 2018-12-12 2019-05-07 Tcl集团股份有限公司 一种文本摘要生成方法、智能终端及存储介质
CN110097089A (zh) * 2019-04-05 2019-08-06 华南理工大学 一种基于注意力组合神经网络的文档级别的情感分类方法
CN110390103A (zh) * 2019-07-23 2019-10-29 中国民航大学 基于双编码器的短文本自动摘要方法及系统
CN110619043A (zh) * 2019-08-30 2019-12-27 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于动态词向量的自动文本摘要生成方法
CN111061861A (zh) * 2019-12-12 2020-04-24 西安艾尔洛曼数字科技有限公司 一种基于XLNet的文本摘要自动生成方法
CN111324728A (zh) * 2020-01-22 2020-06-23 腾讯科技（深圳）有限公司 文本事件摘要的生成方法、装置、电子设备及存储介质
CN111506725A (zh) * 2020-04-17 2020-08-07 北京百度网讯科技有限公司 生成摘要的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XINYU JIANG 等: "A Hierarchical Model with Recurrent Convolutional Neural Networks for Sequential Sentence Classification", NATURAL LANGUAGE PROCESSING AND CHINESE COMPUTING. 8TH CCF INTERNATIONAL CONFERENCE, NLPCC 2019. PROCEEDINGS. LECTURE NOTES IN ARTIFICIAL INTELLIGENCE, SUBSERIES OF LECTURE NOTES IN COMPUTER SCIENCE (LNAI 11839), 31 December 2019 (2019-12-31), pages 78 - 89 *
李维勇;柳斌;张伟;陈云芳;: "一种基于深度学习的中文生成式自动摘要方法", 广西师范大学学报(自然科学版), no. 02, 20 January 2020 (2020-01-20), pages 51 - 63 *
黄生斌;肖诗斌;都云程;施水才;: "基于混合注意力机制的中文文本蕴含识别方法", 北京信息科技大学学报(自然科学版), no. 03, 15 June 2020 (2020-06-15), pages 89 - 93 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906385A (zh) * 2021-05-06 2021-06-04 平安科技（深圳）有限公司 文本摘要生成方法、计算机设备及存储介质
CN112906385B (zh) * 2021-05-06 2021-08-13 平安科技（深圳）有限公司 文本摘要生成方法、计算机设备及存储介质
CN113449523A (zh) * 2021-06-29 2021-09-28 京东科技控股股份有限公司 异常地址文本的确定方法、装置、电子设备和存储介质
CN113468295A (zh) * 2021-07-23 2021-10-01 平安国际智慧城市科技股份有限公司 主宾对应关系的确定方法、装置、计算机设备及存储介质
CN113468295B (zh) * 2021-07-23 2024-05-17 平安国际智慧城市科技股份有限公司 主宾对应关系的确定方法、装置、计算机设备及存储介质
CN114386390A (zh) * 2021-11-25 2022-04-22 马上消费金融股份有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN114492456A (zh) * 2022-01-26 2022-05-13 北京百度网讯科技有限公司 文本生成方法、模型的训练方法、装置、电子设备及介质
WO2023166747A1 (ja) * 2022-03-04 2023-09-07 日本電信電話株式会社 学習データ生成装置、学習データ生成方法、及びプログラム
WO2023166746A1 (ja) * 2022-03-04 2023-09-07 日本電信電話株式会社 要約生成装置、要約モデル学習装置、要約生成方法、要約モデル学習方法、及びプログラム
CN114925181A (zh) * 2022-04-28 2022-08-19 支付宝(杭州)信息技术有限公司 数据处理方法及装置、计算机存储介质及终端

Also Published As

Publication number Publication date
CN112069309B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN112069309B (zh) 信息获取方法、装置、计算机设备及存储介质
CN110209784B (zh) 消息交互方法、计算机设备及存储介质
CN112347795A (zh) 机器翻译质量评估方法、装置、设备及介质
CN111414736B (zh) 故事生成模型训练方法、装置、设备及存储介质
WO2023125335A1 (zh) 问答对生成的方法和电子设备
CN111680123B (zh) 对话模型的训练方法、装置、计算机设备及存储介质
CN110263131B (zh) 回复信息生成方法、装置及存储介质
CN110147533B (zh) 编码方法、装置、设备及存储介质
CN113421547B (zh) 一种语音处理方法及相关设备
CN113515942A (zh) 文本处理方法、装置、计算机设备及存储介质
CN113822076A (zh) 文本生成方法、装置、计算机设备及存储介质
CN111581958A (zh) 对话状态确定方法、装置、计算机设备及存储介质
CN115858826A (zh) 数据处理方法、装置、计算机设备及存储介质
CN113761888A (zh) 文本翻译方法、装置、计算机设备及存储介质
CN114495916B (zh) 背景音乐的插入时间点确定方法、装置、设备和存储介质
CN111835621A (zh) 会话消息处理方法、装置、计算机设备及可读存储介质
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN111414737B (zh) 故事生成模型训练方法、装置、设备及存储介质
CN112988984B (zh) 特征获取方法、装置、计算机设备及存储介质
CN115116437B (zh) 语音识别方法、装置、计算机设备、存储介质及产品
CN113486260B (zh) 互动信息的生成方法、装置、计算机设备及存储介质
CN113822084A (zh) 语句翻译方法、装置、计算机设备及存储介质
CN111414496B (zh) 基于人工智能的多媒体文件的检测方法和装置
CN116863042A (zh) 虚拟对象的动作生成方法及动作生成模型的训练方法
CN114328815A (zh) 文本映射模型的处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035349

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant