CN112307738A - 用于处理文本的方法和装置 - Google Patents

用于处理文本的方法和装置 Download PDF

Info

Publication number
CN112307738A
CN112307738A CN202011250699.9A CN202011250699A CN112307738A CN 112307738 A CN112307738 A CN 112307738A CN 202011250699 A CN202011250699 A CN 202011250699A CN 112307738 A CN112307738 A CN 112307738A
Authority
CN
China
Prior art keywords
sentence
sentences
determining
word
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011250699.9A
Other languages
English (en)
Other versions
CN112307738B (zh
Inventor
李浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011250699.9A priority Critical patent/CN112307738B/zh
Publication of CN112307738A publication Critical patent/CN112307738A/zh
Application granted granted Critical
Publication of CN112307738B publication Critical patent/CN112307738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例公开了用于处理文本的方法和装置。该方法的一具体实施方式包括：获取待处理文本；对待处理文本进行分句处理，形成句子集合；对于句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度；根据句子集合中的每个句子分别与其它各句子之间的相似度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息。该实施方式更准确地表达文本的主旨。

Description

用于处理文本的方法和装置
技术领域
本公开的实施例涉及计算机技术领域，具体涉及用于处理文本的方法和装置。
背景技术
随着互联网产生的文本数据越来越多，逐渐出现文本信息过载的问题。生成文本摘要是一些情况下常用的解决这一问题的重要手段之一。文本摘要的目标是将长文本进行压缩、归纳和总结，以形成具有概括性含义的短文本。目前，常用的文本摘要生成方法主要包括抽取式(Extraction-based)方法和生成式(Abstraction-based)方法。
其中，抽取式生成摘要的方法是一种直接从源文本中抽取若干关键句或关键词来组成摘要。由于这种方法中摘要全部来源于源文本，因此天然地在语法、句法上错误率较低，保证了语句的通顺性。抽取式生成摘要的方法主要包括基于图或聚类等方法的无监督摘要生成方法和基于神经网络的有监督摘要生成方法。
发明内容
本公开的实施例提出了用于处理文本的方法和装置。
第一方面，本公开的实施例提供了一种用于处理文本的方法，该方法包括：获取待处理文本；对待处理文本进行分句处理，形成句子集合；对于句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度；根据句子集合中的每个句子分别与其它各句子之间的相似度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息。
在一些实施例中，上述根据句子集合中的每个句子分别与其它各句子之间的相似度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息，包括：对于句子集合中的句子，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度；根据句子集合中的各句子的重要度，生成用于表征待处理文本的主旨的信息。
在一些实施例中，上述根据该句子分别与其它各句子之间的相似度，确定该句子的重要度，包括：利用基于图的算法，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度。
在一些实施例中，上述根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度，包括：通过该句子对中的两个句子中的词任意两两组合，形成词组集合；确定词组集合中的词组的权重；根据词组集合中的各词组分别对应的相关度和权重，确定该句子对中的两个句子之间的相似度。
在一些实施例中，上述确定词组集合中的词组的权重，包括：对于词组集合中的词组，利用词频-逆向文件频率算法确定词组中的词的权重，以及根据该词组中的两个词分别对应的权重，确定该词组的权重。
在一些实施例中，上述根据该词组中的两个词分别对应的权重，确定该词组的权重，包括：确定该词组中的两个词分别对应的权重之和；根据该词组中的两个词分别对应的权重之和，确定该词组的权重。
在一些实施例中，上述根据词组集合中的各词组分别对应的相关度和权重，确定该句子对中的两个句子之间的相似度，包括：确定词组集合中的各词组分别对应的相关度的加权和结果；根据加权和结果，确定该句子对中的两个句子之间的相似度。
在一些实施例中，上述利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，包括：对于该句子对中的两个句子中的词组成的词组，确定该词组中的两个词分别作为第一词和第二词；确定针对第一词所在的句子的注意力计算中所生成的第一词的Q向量，以及确定针对第二词所在的句子的注意力计算中所生成的第二词的K向量；根据该词组中的第一词的Q向量和第二词的K向量，确定该词组中的两个词之间的相关度。
在一些实施例中，上述确定针对第一词所在的句子的注意力计算中所生成的第一词的Q向量，以及确定针对第二词所在的句子的注意力计算中所生成的第二词的K向量，包括：利用预先训练的基于Transformer的预训练模型确定针对第一词所在的句子的注意力计算中所生成的第一词的Q向量，以及确定针对第二词所在的句子的注意力计算中所生成的第二词的K向量。
第二方面，本公开的实施例提供了一种用于处理文本的装置，该装置包括：获取单元，被配置成获取待处理文本；分句单元，被配置成对待处理文本进行分句处理，形成句子集合；确定单元，被配置成对于句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度；生成单元，被配置成根据句子集合中的每个句子分别与其它各句子之间的相似度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息。
在一些实施例中，上述生成单元进一步被配置成：对于句子集合中的句子，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度；根据句子集合中的各句子的重要度，生成用于表征待处理文本的主旨的信息。
在一些实施例中，上述生成单元进一步被配置成：利用基于图的算法，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度。
在一些实施例中，上述确定单元进一步被配置成：通过该句子对中的两个句子中的词任意两两组合，形成词组集合；确定词组集合中的词组的权重；根据词组集合中的各词组分别对应的相关度和权重，确定该句子对中的两个句子之间的相似度。
在一些实施例中，上述确定单元进一步被配置成：对于词组集合中的词组，利用词频-逆向文件频率算法确定词组中的词的权重，以及根据该词组中的两个词分别对应的权重，确定该词组的权重。
在一些实施例中，上述确定单元进一步被配置成：确定该词组中的两个词分别对应的权重之和；根据该词组中的两个词分别对应的权重之和，确定该词组的权重。
在一些实施例中，上述确定单元进一步被配置成：确定词组集合中的各词组分别对应的相关度的加权和结果；根据加权和结果，确定该句子对中的两个句子之间的相似度。
在一些实施例中，上述确定单元进一步被配置成：对于该句子对中的两个句子中的词组成的词组，确定该词组中的两个词分别作为第一词和第二词；确定针对第一词所在的句子的注意力计算中所生成的第一词的Q向量，以及确定针对第二词所在的句子的注意力计算中所生成的第二词的K向量；根据该词组中的第一词的Q向量和第二词的K向量，确定该词组中的两个词之间的相关度。
在一些实施例中，上述确定单元进一步被配置成：利用预先训练的基于Transformer的预训练模型确定针对第一词所在的句子的注意力计算中所生成的第一词的Q向量，以及确定针对第二词所在的句子的注意力计算中所生成的第二词的K向量。
第三方面，本公开的实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开的实施例提供的用于处理文本的方法和装置，利用自注意力机制计算文本的不同句子中的词之间的相关度，然后根据不同句子中的词的相关度计算不同句子之间的相似度，从而在计算不同句子之间的相似度时可以考虑到不同句子在不同的语境下的相关性的变化，有助于提升计算的不同句子之间的相似度的准确性，在此基础上，再根据不同句子之间的相似度可以生成能够更准确地表达文本的主旨的信息。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本公开的用于处理文本的方法的一个实施例的流程图；
图3是根据本公开的实施例的用于处理文本的方法的一个应用场景的示意图；
图4是根据本公开的用于处理文本的方法的又一个实施例的流程图；
图5是根据本公开的用于处理文本的装置的一个实施例的结构示意图；
图6是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的用于处理文本的方法或用于处理文本的装置的实施例的示例性架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各客户端应用。例如，浏览器类应用、搜索类应用、邮箱客户端、社交平台软件、购物类应用、信息流类应用等等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上安装的客户端应用提供支持的后端服务器。服务器105可以从终端设备101、102、103获取待处理文本，并对待处理文本进行处理以生成用于表征待处理文本的主旨的信息。进一步地，服务器105还可以将生成的信息返回至终端设备101、102、103。
需要说明的是，上述待处理文本也可以直接存储在服务器105的本地，服务器105可以直接提取本地所存储的待处理文本并进行处理，此时，可以不存在终端设备101、102、103和网络104。
需要说明的是，本公开的实施例所提供的用于处理文本的方法一般由服务器105执行，相应地，用于处理文本的装置一般设置于服务器105中。
还需要指出的是，终端设备101、102、103中也可以安装有文本处理类应用，此时，终端设备101、102、103也可以基于文本处理类应用对待处理文本进行处理，此时，用于处理文本的方法也可以由终端设备101、102、103执行，相应地，用于处理文本的装置也可以设置于终端设备101、102、103中。此时，示例性系统架构100可以不存在服务器105和网络104。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，其示出了根据本公开的用于处理文本的方法的一个实施例的流程200。该用于处理文本的方法包括以下步骤：
步骤201，获取待处理文本。
在本实施例中，文本可以是各种类型、任意内容的文本。待处理文本可以是任意的文本。例如，待处理文本可以是用户指定的一篇文章或一首歌词等等。
用于处理文本的方法的执行主体(如图1所示的服务器)可以从本地或其他存储设备(如图1所示的终端设备101、102、103、所连接的数据库等等)获取待处理文本。
步骤202，对待处理文本进行分句处理，形成句子集合。
在本实施例中，上述执行主体可以利用现有自然语言处理中的各种用于对文本进行分句处理的方法(如基于正则表达式的分句方法等等)对待处理文本进行分句处理，形成句子集合。
步骤203，对于句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度。
在本实施例中，自注意力(Self-Attention)机制是基于深度学习的自然语言处理中常用的方法。例如，在常见的翻译模型中的编码器和解码器中都使用了自注意力机制来学习文本的表示。
自注意力机制通常会对句子中的每个词都和该句子中的所有词进行注意力计算，以学习句子中的各个词之间的依赖关系，捕获句子的内部结构。
一般地，利用自注意力机制对句子进行处理的过程通常包括如下步骤：
第一步，先对句子中的每个单词，通过词嵌入乘以训练过程中创建的三个训练矩阵分别生成该单词对应的Q(Query)向量、K(Key)向量、V(Value)向量这三个向量。
第二步，根据每个单词对输入句子中的所有单词进行评分(通常为Q向量与K向量的点积)来表示每个单词对句子中的各单词的关联度，并对评分进行标准化处理，再将V向量乘以标准化处理后的评分作为最终评分。
第三步，以最终评分作为权重以加权和的方式计算得到每个单词经过自注意力机制处理后的输出向量。
需要说明的是，上述自注意力机制是目前基于深度学习的自然语言处理领域中研究和应用的主要技术之一，在此不再赘述。
在本实施例中，对于一句子对中的两个句子中的词之间的相关度可以指其中一个句子中的词与另一句子中的词之间的相关度。两个词之间的相关度可以用于表征两个词之间存在的联系。
在得到待处理文本对应的句子集合之后，可以将句子集合中的句子任意两两组合，形成句子对集合。例如，待处理文本经过分句处理之后形成的句子集合包括A、B、C三个句子，那么，形成的句子对集合可以包括A和B组成的句子对、A和C组成的句子对，以及B和C组成的句子对。
对于每个句子对，可以利用自注意力机制对句子的处理过程中对句子中的词的表示计算该句子对中的两个句子中的词之间的相关度。例如，可以使用两个词分别对应的经过自注意力机制处理后得到的输出向量之间的相似度作为两个词之间的相关度。
在本实施例中，两个句子之间的相似度可以用于表征两个句子之间存在的相似性。对于任两个句子，将其中一个句子中的各个词形成的词集作为第一词集，以及将另一句子中的各个词形成的词集作为第二词集，此时，可以根据第一词集中的词语第二词集中的词任意两两组合形成的所有或部分词组中的词之间的相关度确定这两个句子之间的相似度。例如，可以将第一词集中的词语第二词集中的词任意两两组合形成的所有或部分词组对应的相关度的和确定为这两个句子之间的相似度。
步骤204，根据句子集合中的每个句子分别与其它各句子之间的相似度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息。
在本实施例中，用于表征待处理文本的主旨的信息可以作为待处理文本的标题、摘要、预展示信息、压缩结果等等。
在得到待处理文本对应的句子集合中的任两个句子之间的相似度之后，可以根据实际的应用需求灵活采用各种方法从待处理文本对应的句子集合中选取句子。
例如，对于待处理文本对应的句子集合中的每个句子，可以确定该句子分别与句子集合中的其他各句子之间的相似度中大于预设的相似度阈值的相似度的数目。然后，可以按照对应的数目从大到小的顺序，从待处理文本对应的句子集合中选取预设数目个句子。
在从待处理文本对应的句子集合中选取句子之后，进一步可以根据实际的应用需求采用各种不同的方法生成用于表征处理文本的主旨的信息。
例如，可以将选取的各个句子按照句子在待处理文本中的先后顺序进行组合，并将组合结果作为用于表征待处理文本的主旨的信息。又例如，可以从选取的各个句子中提取关键词，然后将得到的关键词集合作为用于表征待处理文本的主旨的信息。
在本实施例的一些可选地实现方式中，在得到待处理文本对应的句子集合中的每个句子分别与其它各句子之间的相似度之后，可以通过如下步骤从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息：
步骤一，对于句子集合中的句子，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度。
在本步骤中，句子的重要度可以用于表征句子对于待处理文本的重要度。根据不同的应用场景或应用需求，可以采用各种不同的方法根据每个句子分别与其它各句子之间的相似度，确定该句子的重要度。
例如，对于每个句子，可以根据该句子分别与其它各句子之间的相似度的平均值，确定该句子的重要度，其中，该句子的重要度与该句子对应确定的平均值正相关。
又例如，对于每个句子，可以利用基于图的算法，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度。其中，基于图的算法可以是现有的各种基于图对文本进行处理的算法，如TextRank、LexRank等等。
以TextRank算法作为示例进行说明，TextRank可以根据文本的各句子建立图模型，然后根据图模型对每个句子的重要度进行排序。在本实施例中，可以构建一个有权图，图中的每个节点表示待处理文本的一个句子，图中的每条边可以表示所连接的两个句子之间的相似度，然后可以通过迭代传播句子之间的相似度直至收敛，以得到各句子的重要度排序。例如，可以通过如下公式(1)确定各句子的重要度排序：
Si＝∑Ti，j*Sj (1)
其中，Si和Sj为待处理文本中的句子。Ti,j为句子Si和Sj之间的相似度。在计算时，可以随机或指定初始值进行迭代直至收敛，以得到各句子的重要度。
基于图的文本处理算法通常不需要事先对大量文本进行学习训练，所以计算过程简洁，具有较高的文本处理速度。
步骤二，根据句子集合中的各句子的重要度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息。
在本步骤中，可以按照重要度从大到小的顺序，从句子集合中选取预设数目个句子，然后根据所选取的句子生成用于表征待处理文本的主旨的信息。例如，可以直接按照句子在待处理文本中的顺序组合所选取的句子，并将组合结果确定为待处理文本的摘要。
在本实施例的一些可选地实现方式中，对于待处理文本对应的句子集合中的任两个句子组成的句子对，在得到该句子对中的两个句子中的词之间的相关度之后，可以通过如下步骤确定该句子对中的两个句子之间的相似度：
步骤一，通过该句子对中的两个句子中的词任意两两组合，形成词组集合。
作为示例，该句子对中的一个句子A包括两个词A1和A2，另一个句子B包括两个词B1和B2。那么，形成的词组集合包括A1和B1组成的词组、A1和B2组成的词组、A2和B1组成的词组、A2和B2组成的词组。
步骤二，确定词组集合中的词组的权重。
在本步骤中，可以分别确定词组集合中的各个词组的权重。例如，可以根据各个词组中的词的词性确定各词组的权重。此时，可以预先设置各种词性对应的权重，然后将词组中的各词对应的权重之后确定为该词组的权重。
可选地，对于词组集合中的词组，可以利用词频-逆向文件频率(TF-IDF，TermFrequency–Inverse Document Frequency)算法确定词组中的词的权重，以及根据该词组中的两个词分别对应的权重，确定该词组的权重。
其中，词频-逆向文件频率是一种信息检索与数据挖掘中常用的加权技术，以评估一个词对一个文本的重要程度。需要说明的是，词频-逆向文件频率是目前广泛研究和应用的技术之一，在此不再赘述。
此时，对于词组中的每个词，该词对应的权重与该词对应的词频-逆向文件频率正相关。例如，可以直接将该词对应的词频-逆向文件频率确定为该词的权重。
在得到每个词组中的各个词的权重之后，可以根据实际的应用场景或应用需求，选择各种不同的方法确定该词组的权重。例如，可以确定每个词组中的各个词的权重中的最大值或各个词的权重的平均值作为该词组的权重。
又例如，可以先确定每个词组中的两个词分别对应的权重之和，然后根据该词组中的两个词分别对应的权重之和，确定该词组的权重。其中，该词组的权重与该词组中的两个词分别对应的权重之和正相关。例如，可以直接将该词组中的两个词分别对应的权重之和确定为该词组的权重。
步骤三，根据词组集合中的各词组分别对应的相关度和权重，确定该句子对中的两个句子之间的相似度。
在本步骤中，在得到句子对对应的词组集合中的各词组分别对应的相关度和权重之后，可以根据实际的应用场景或应用需求，选择各种不同的方法确定该句子对中的两个句子之间的相似度。例如，可以确定对应的权重大于预设权重的各词组对应的相关度的平均值作为该句子对中的两个句子之间的相似度。
又例如，可以先确定词组集合中的各词组分别对应的相关度的加权和结果，然后根据得到的加权和结果，确定该句子对中的两个句子之间的相似度。其中，句子对中的两个句子之间的相似度与对应得到的加权和结果正相关。例如，可以直接将得到的加权和结果确定为该句子对中的两个句子之间的相似度。
通过每个句子中的每个词设置权重以辅助用于计算不同句子中的不同词之间的相关度，有助于提升得到的词与词之间的相关度的准确度，进而也可以提升根据得到的相关度计算得到的不同句子之间的相似度的准确度。
继续参见图3，图3是根据本实施例的用于处理文本的方法的一个示意性的应用场景300。在图3的应用场景中，可以先获取文章301，然后对文章301进行分句处理，形成句子集合302，然后可以确定句子集合302中的每个句子分别与其它句子之间的相似度。
具体如标号303所示，以句子A和句子B作为示例，可以先对句子A进行分词处理，形成句子A对应的词集，同时对句子B进行分词处理，形成句子B对应的词集。然后基于自注意力机制计算句子A对应的词集中的词与句子B对应的词集中的词之间的词相关度，然后根据句子A对应的词集中的词与句子B对应的词集中的词之间的词相关度，确定句子A和句子B之间的句子相似度。具体的计算方法可以参考上述图2对应实施例中的相关说明。
之后，可以根据句子集合302中的每个句子分别与其它句子之间的相似度，基于TextRank算法计算每个句子的重要度304。然后可以按照对应的重要度从大到小的顺序从句子集合302中选取若干句子形成句子子集305，再由句子子集305中的句子按照各句子在文章301中的出现顺序依次组合形成文章摘要306。
现有技术中，生成文本的主旨信息的方法一般包括有监督的基于神经网络的方法和无监督的如基于规则的方法等。其中，有监督的方法对于训练数据的依赖性较高，所以通常泛化性较差，无法较好地适用于训练数据质量较差的应用场景。无监督的方法对规则的依赖性较高，而且通常是采用余弦相似度等基于静态向量的计算方法来确定句子之间的相似度，这些相似度计算方法对于两个句子之间的相似度建模不足，无法较好地顾及到两个句子在不同语境下的相似度的变化，从而无法准确地表征句子之间的相似度。
本公开的上述实施例提供的方法通过利用自注意力机制确定不同句子中的词之间的相关度，再根据两个句子中的词之间的相关度计算句子之间的相似度，从而可以识别两个句子在不同语境下的相似度的变化，进而再根据句子之间的相似度从文本中选取句子以生成用于表征文本的主旨的信息，有助于提升生成的信息的准确度，以更准确地传达文本的主旨。
进一步参考图4，其示出了用于处理文本的方法的又一个实施例的流程400。该用于处理文本的方法的流程400，包括以下步骤：
步骤401，获取待处理文本。
步骤402，对待处理文本进行分句处理，形成句子集合。
步骤403，对于句子集合中的两个句子所组成的句子对，通过如下步骤4031-4033确定该句子对中的两个句子中的词之间的相关度：
步骤4031，对于该句子对中的两个句子中的词组成的词组，确定该词组中的两个词分别作为第一词和第二词。
在本实施例中，可以按照该句子对中的句子在待处理文本中出现的先后顺序，将该词组中的属于先出现的句子的词确定为第一词，以及将该词组中的属于后出现的句子的确定为第二词。
步骤4032，确定针对第一词所在的句子的注意力计算中所生成的第一词的Q向量，以及确定针对第二词所在的句子的注意力计算中所生成的第二词的K向量。
在本实施例中，可以利用预先训练的采用自注意力机制的文本处理模型确定针对第一词对应的Q向量和第二词对应的K向量。具体地，可以获取文本处理模型中自注意力机制层的处理过程中输出的第一词对应的Q向量和第二词对应的K向量。
其中，文本处理模型可以利用预先获取的训练数据训练得到，也可以直接采用现有的已训练完成的文本处理模型。需要说明的是，文本处理模型可以是采用自注意力机制处理文本的各种模型。例如，文本处理模型可以是采用自注意力机制实现的翻译模型，也可以是各种预处理模型等等。
可选地，可以利用预先训练的基于Transformer的预训练模型确定针对第一词所在的句子的注意力计算中所生成的第一词的Q向量，以及确定针对第二词所在的句子的注意力计算中所生成的第二词的K向量。其中，预训练模型可以是BERT(BidirectionalEncoder Representations from Transformers)等各种预训练模型。
步骤4033，根据该词组中的第一词的Q向量和第二词的K向量，确定该词组中的两个词之间的相关度。
在本实施例中，可以根据实际的应用场景采用各种方法根据该词组中的第一词的Q向量和第二词的K向量，确定该词组中的两个词之间的相关度。
例如，可以先确定第一词的Q向量和第二词的K向量的点积，然后根据得到的点积确定该词组中的两个词之间的相关度。其中，该词组中的两个词之间的相关度与得到的点积正相关。
又例如，可以先确定第一词的Q向量和第二词的K向量的点积，然后可以通过第一词的Q向量和第二词的K向量的点积得到的向量进行降维和/或标准化处理，以便于后续计算。
作为示例，可以通过如下公式(2)计算两个词之间的相关度：
Figure BDA0002771486520000141
其中，Ti,j表示第一词i和第二词j之间的相关度，Q为第一词i对应的Q向量，K为第二词j对应的K向量，KT为K向量的转置，d为Q向量和K向量的维度。一般地，Q向量和K向量的维度相同。softmax()为归一化函数。
步骤404，对于句子集合中的两个句子所组成的句子对，根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度。
步骤405，根据句子集合中的每个句子分别与其它各句子之间的相似度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息。
上述步骤401、402、404和405的具体的执行过程可参考图2对应实施例中的相关说明，在此不再赘述。
本公开的上述实施例提供的方法利用如预训练模型中的自注意力机制层输出的每个词的Q向量和K向量计算两个词之间的相关度，从而可以了解待处理文本的每个句子中的每个单词对其它句子中的各单词的关联性，基于此再根据词与词之间的相关度计算两个句子之间的相似度可以考虑到两个句子在不同的语境下的相似性的变化，从而更准确地表达句子之间的相似度，进而根据输入文本的各句子之间的相似度，抽取句子生成用于表征文本的主旨的信息，有助于提升生成的摘要的准确度。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了用于处理文本的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例提供的用于处理文本的装置500包括获取单元501、分句单元502、确定单元503和生成单元504。其中，获取单元501被配置成获取待处理文本；分句单元502被配置成对待处理文本进行分句处理，形成句子集合；确定单元503被配置成对于句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度；生成单元504被配置成根据句子集合中的每个句子分别与其它各句子之间的相似度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息。
在本实施例中，用于处理文本的装置500中：获取单元501、分句单元502、确定单元503和生成单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202、步骤203和步骤204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，上述生成单元504进一步被配置成：对于句子集合中的句子，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度；根据句子集合中的各句子的重要度，生成用于表征待处理文本的主旨的信息。
在本实施例的一些可选的实现方式中，上述生成单元504进一步被配置成：利用基于图的算法，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度。
在本实施例的一些可选的实现方式中，上述确定单元503进一步被配置成：通过该句子对中的两个句子中的词任意两两组合，形成词组集合；确定词组集合中的词组的权重；根据词组集合中的各词组分别对应的相关度和权重，确定该句子对中的两个句子之间的相似度。
在本实施例的一些可选的实现方式中，上述确定单元503进一步被配置成：对于词组集合中的词组，利用词频-逆向文件频率算法确定词组中的词的权重，以及根据该词组中的两个词分别对应的权重，确定该词组的权重。
在本实施例的一些可选的实现方式中，上述确定单元503进一步被配置成：确定该词组中的两个词分别对应的权重之和；根据该词组中的两个词分别对应的权重之和，确定该词组的权重。
在本实施例的一些可选的实现方式中，上述确定单元503进一步被配置成：确定词组集合中的各词组分别对应的相关度的加权和结果；根据加权和结果，确定该句子对中的两个句子之间的相似度。
在本实施例的一些可选的实现方式中，上述确定单元503进一步被配置成：对于该句子对中的两个句子中的词组成的词组，确定该词组中的两个词分别作为第一词和第二词；确定针对第一词所在的句子的注意力计算中所生成的第一词的Q向量，以及确定针对第二词所在的句子的注意力计算中所生成的第二词的K向量；根据该词组中的第一词的Q向量和第二词的K向量，确定该词组中的两个词之间的相关度。
在本实施例的一些可选的实现方式中，上述确定单元503进一步被配置成：利用预先训练的基于Transformer的预训练模型确定针对第一词所在的句子的注意力计算中所生成的第一词的Q向量，以及确定针对第二词所在的句子的注意力计算中所生成的第二词的K向量。
本公开的上述实施例提供的装置，通过获取单元获取待处理文本；分句单元对待处理文本进行分句处理，形成句子集合；确定单元对于句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度；生成单元根据句子集合中的每个句子分别与其它各句子之间的相似度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息。由此，可以在计算不同句子之间的相似度时考虑到不同句子在不同的语境下的相关性的变化，有助于提升计算的不同句子之间的相似度的准确性，进而根据不同句子之间的相似度可以生成能够更准确地表达文本的主旨的信息。
下面参考图6，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)600的结构示意图。6示出的服务器仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。
需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待处理文本；对待处理文本进行分句处理，形成句子集合；对于句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度；根据句子集合中的每个句子分别与其它各句子之间的相似度，从句子集合中选取句子，以及根据所选取的句子生成用于表征待处理文本的主旨的信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、分句单元、确定单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待处理文本的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于处理文本的方法，包括：
获取待处理文本；
对所述待处理文本进行分句处理，形成句子集合；
对于所述句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度；
根据所述句子集合中的每个句子分别与其它各句子之间的相似度，从所述句子集合中选取句子，以及根据所选取的句子生成用于表征所述待处理文本的主旨的信息。
2.根据权利要求1所述的方法，其中，所述根据所述句子集合中的每个句子分别与其它各句子之间的相似度，从所述句子集合中选取句子，以及根据所选取的句子生成用于表征所述待处理文本的主旨的信息，包括：
对于所述句子集合中的句子，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度；
根据所述句子集合中的各句子的重要度，生成用于表征所述待处理文本的主旨的信息。
3.根据权利要求2所述的方法，其中，所述根据该句子分别与其它各句子之间的相似度，确定该句子的重要度，包括：
利用基于图的算法，根据该句子分别与其它各句子之间的相似度，确定该句子的重要度。
4.根据权利要求1所述的方法，其中，所述根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度，包括：
通过该句子对中的两个句子中的词任意两两组合，形成词组集合；
确定所述词组集合中的词组的权重；
根据所述词组集合中的各词组分别对应的相关度和权重，确定该句子对中的两个句子之间的相似度。
5.根据权利要求4所述的方法，其中，所述确定所述词组集合中的词组的权重，包括：
对于所述词组集合中的词组，利用词频-逆向文件频率算法确定词组中的词的权重，以及根据该词组中的两个词分别对应的权重，确定该词组的权重。
6.根据权利要求5所述的方法，其中，所述根据该词组中的两个词分别对应的权重，确定该词组的权重，包括：
确定该词组中的两个词分别对应的权重之和；
根据该词组中的两个词分别对应的权重之和，确定该词组的权重。
7.根据权利要求5所述的方法，其中，所述根据所述词组集合中的各词组分别对应的相关度和权重，确定该句子对中的两个句子之间的相似度，包括：
确定所述词组集合中的各词组分别对应的相关度的加权和结果；
根据所述加权和结果，确定该句子对中的两个句子之间的相似度。
8.根据权利要求1-7之一所述的方法，其中，所述利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，包括：
对于该句子对中的两个句子中的词组成的词组，确定该词组中的两个词分别作为第一词和第二词；
确定针对所述第一词所在的句子的注意力计算中所生成的所述第一词的Q向量，以及确定针对所述第二词所在的句子的注意力计算中所生成的所述第二词的K向量；
根据该词组中的第一词的Q向量和第二词的K向量，确定该词组中的两个词之间的相关度。
9.根据权利要求8所述的方法，其中，所述确定针对所述第一词所在的句子的注意力计算中所生成的所述第一词的Q向量，以及确定针对所述第二词所在的句子的注意力计算中所生成的所述第二词的K向量，包括：
利用预先训练的基于Transformer的预训练模型确定针对所述第一词所在的句子的注意力计算中所生成的所述第一词的Q向量，以及确定针对所述第二词所在的句子的注意力计算中所生成的所述第二词的K向量。
10.一种用于处理文本的装置，包括：
获取单元，被配置成获取待处理文本；
分句单元，被配置成对所述待处理文本进行分句处理，形成句子集合；
确定单元，被配置成对于所述句子集合中的两个句子所组成的句子对，利用自注意力机制确定该句子对中的两个句子中的词之间的相关度，以及根据该句子对中的两个句子中的词之间的相关度确定该句子对中的两个句子之间的相似度；
生成单元，被配置成根据所述句子集合中的每个句子分别与其它各句子之间的相似度，从所述句子集合中选取句子，以及根据所选取的句子生成用于表征所述待处理文本的主旨的信息。
11.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
CN202011250699.9A 2020-11-11 2020-11-11 用于处理文本的方法和装置 Active CN112307738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011250699.9A CN112307738B (zh) 2020-11-11 2020-11-11 用于处理文本的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011250699.9A CN112307738B (zh) 2020-11-11 2020-11-11 用于处理文本的方法和装置

Publications (2)

Publication Number Publication Date
CN112307738A true CN112307738A (zh) 2021-02-02
CN112307738B CN112307738B (zh) 2024-06-14

Family

ID=74325590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011250699.9A Active CN112307738B (zh) 2020-11-11 2020-11-11 用于处理文本的方法和装置

Country Status (1)

Country Link
CN (1) CN112307738B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114297354A (zh) * 2021-12-02 2022-04-08 南京硅基智能科技有限公司 一种弹幕生成方法及装置、存储介质、电子装置
CN114491152A (zh) * 2021-12-02 2022-05-13 南京硅基智能科技有限公司 一种摘要视频的生成方法、存储介质、电子装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146355A (ja) * 2004-11-16 2006-06-08 Nippon Telegr & Teleph Corp <Ntt> 類似文書検索方法および装置
CN104376024A (zh) * 2013-08-16 2015-02-25 交通运输部科学研究院 一种基于种子词的文档相似性检测方法
CN105843897A (zh) * 2016-03-23 2016-08-10 青岛海尔软件有限公司 一种面向垂直领域的智能问答系统
KR20170030434A (ko) * 2016-09-05 2017-03-17 주식회사 위버플 문장 추출 방법 및 시스템
CN109739973A (zh) * 2018-12-20 2019-05-10 北京奇安信科技有限公司 文本摘要生成方法、装置、电子设备及存储介质
CN109829104A (zh) * 2019-01-14 2019-05-31 华中师范大学 基于语义相似度的伪相关反馈模型信息检索方法及系统
CN110837556A (zh) * 2019-10-30 2020-02-25 深圳价值在线信息科技股份有限公司 摘要生成方法、装置、终端设备及存储介质
CN111125301A (zh) * 2019-11-22 2020-05-08 泰康保险集团股份有限公司 文本方法及装置、电子设备和计算机可读存储介质
CN111125349A (zh) * 2019-12-17 2020-05-08 辽宁大学 基于词频和语义的图模型文本摘要生成方法
CN111309878A (zh) * 2020-01-19 2020-06-19 支付宝(杭州)信息技术有限公司 检索式问答方法、模型训练方法、服务器及存储介质
CN111507090A (zh) * 2020-02-27 2020-08-07 平安科技（深圳）有限公司 摘要提取方法、装置、设备及计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146355A (ja) * 2004-11-16 2006-06-08 Nippon Telegr & Teleph Corp <Ntt> 類似文書検索方法および装置
CN104376024A (zh) * 2013-08-16 2015-02-25 交通运输部科学研究院 一种基于种子词的文档相似性检测方法
CN105843897A (zh) * 2016-03-23 2016-08-10 青岛海尔软件有限公司 一种面向垂直领域的智能问答系统
KR20170030434A (ko) * 2016-09-05 2017-03-17 주식회사 위버플 문장 추출 방법 및 시스템
CN109739973A (zh) * 2018-12-20 2019-05-10 北京奇安信科技有限公司 文本摘要生成方法、装置、电子设备及存储介质
CN109829104A (zh) * 2019-01-14 2019-05-31 华中师范大学 基于语义相似度的伪相关反馈模型信息检索方法及系统
CN110837556A (zh) * 2019-10-30 2020-02-25 深圳价值在线信息科技股份有限公司 摘要生成方法、装置、终端设备及存储介质
CN111125301A (zh) * 2019-11-22 2020-05-08 泰康保险集团股份有限公司 文本方法及装置、电子设备和计算机可读存储介质
CN111125349A (zh) * 2019-12-17 2020-05-08 辽宁大学 基于词频和语义的图模型文本摘要生成方法
CN111309878A (zh) * 2020-01-19 2020-06-19 支付宝(杭州)信息技术有限公司 检索式问答方法、模型训练方法、服务器及存储介质
CN111507090A (zh) * 2020-02-27 2020-08-07 平安科技（深圳）有限公司 摘要提取方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩程程;李磊;刘婷婷;高明;: "语义文本相似度计算方法", 华东师范大学学报(自然科学版), no. 05, 25 September 2020 (2020-09-25) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114297354A (zh) * 2021-12-02 2022-04-08 南京硅基智能科技有限公司 一种弹幕生成方法及装置、存储介质、电子装置
CN114491152A (zh) * 2021-12-02 2022-05-13 南京硅基智能科技有限公司 一种摘要视频的生成方法、存储介质、电子装置
CN114491152B (zh) * 2021-12-02 2023-10-31 南京硅基智能科技有限公司 一种摘要视频的生成方法、存储介质、电子装置
CN114297354B (zh) * 2021-12-02 2023-12-12 南京硅基智能科技有限公司 一种弹幕生成方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN112307738B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
US11151177B2 (en) Search method and apparatus based on artificial intelligence
CN107491534B (zh) 信息处理方法和装置
CN107273503B (zh) 用于生成同语言平行文本的方法和装置
US11062089B2 (en) Method and apparatus for generating information
US20180336193A1 (en) Artificial Intelligence Based Method and Apparatus for Generating Article
US10592607B2 (en) Iterative alternating neural attention for machine reading
US10630798B2 (en) Artificial intelligence based method and apparatus for pushing news
US20190057164A1 (en) Search method and apparatus based on artificial intelligence
CN111428010B (zh) 人机智能问答的方法和装置
CN109766418B (zh) 用于输出信息的方法和装置
CN110457708B (zh) 基于人工智能的词汇挖掘方法、装置、服务器及存储介质
US10579655B2 (en) Method and apparatus for compressing topic model
KR102695381B1 (ko) 엔티티-속성 관계 식별
CN108121699B (zh) 用于输出信息的方法和装置
CN112231569A (zh) 新闻推荐方法、装置、计算机设备及存储介质
CN114861889B (zh) 深度学习模型的训练方法、目标对象检测方法和装置
CN111488742B (zh) 用于翻译的方法和装置
US11880664B2 (en) Identifying and transforming text difficult to understand by user
US20210004406A1 (en) Method and apparatus for storing media files and for retrieving media files
CN107766498B (zh) 用于生成信息的方法和装置
CN112307738B (zh) 用于处理文本的方法和装置
CN115438149A (zh) 一种端到端模型训练方法、装置、计算机设备及存储介质
CN117272937B (zh) 文本编码模型训练方法、装置、设备及存储介质
KR102434666B1 (ko) 사전 데이터베이스를 활용하여 음성 데이터에 기반한 텍스트를 생성하기 위한 방법 및 컴퓨팅 장치
US11663251B2 (en) Question answering approach to semantic parsing of mathematical formulas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant