CN112836040A - 多语言摘要的生成方法、装置、电子设备及计算机可读介质 - Google Patents

多语言摘要的生成方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN112836040A
CN112836040A CN202110132073.6A CN202110132073A CN112836040A CN 112836040 A CN112836040 A CN 112836040A CN 202110132073 A CN202110132073 A CN 202110132073A CN 112836040 A CN112836040 A CN 112836040A
Authority
CN
China
Prior art keywords
decoder
abstract
source language
language
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110132073.6A
Other languages
English (en)
Other versions
CN112836040B (zh
Inventor
王亦宁
刘升平
梁家恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Original Assignee
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Intelligent Technology Co Ltd, Xiamen Yunzhixin Intelligent Technology Co Ltd filed Critical Unisound Intelligent Technology Co Ltd
Priority to CN202110132073.6A priority Critical patent/CN112836040B/zh
Publication of CN112836040A publication Critical patent/CN112836040A/zh
Application granted granted Critical
Publication of CN112836040B publication Critical patent/CN112836040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种多语言摘要的生成方法、装置、电子设备及计算机可读介质。该方法包括：将源语言文档输入编码器中，生成词序列编码；将所述词序列编码分别输入第一解码器和第二解码器中进行解码；所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档。本发明涉及的多语言摘要的生成方法、装置、电子设备及计算机可读介质，能够充分利用跨语言摘要中源语言的摘要信息，在解码端层面上实现了不同语言信息的交互和融合，从而提升跨语言摘要的生成质量。

Description

多语言摘要的生成方法、装置、电子设备及计算机可读介质
技术领域
本发明涉及计算机信息处理领域，具体而言，涉及一种多语言摘要的生成方法、装置、电子设备及计算机可读介质。
背景技术
跨语言自动摘要是一项对源语言文本核心信息进行内容归纳，以目标语言的形式组织成摘要的任务。跨语言摘要可将一篇源语言文档(例如，中文)生成另外一种语言(例如，日文)的摘要结果。跨语言自动摘要方法研究对于跨境电商、舆情分析和内容推荐等应用场景具有重要意义。由于平行数据的缺失，大多数已有的跨语言自动摘要方法只能基于管道式方法实现，造成严重的误差传播问题，使得摘要质量受到极大的制约。
为缓解此问题，研究人员开始尝试构建跨语言自动摘要平行数据，其中较为典型的方法有基于多任务学习的方法，该方法在多任务学习框架基础上，利用单语言自动摘要、机器翻译的数据提升跨语言自动摘要模型的性能，取得了相当良好的性能。然而，基于多任务学习的方法存在依赖外部数据、模型容量较大且需要很长的训练时间等缺陷，使其难以应用于真实场景。
因此，需要一种新的多语言摘要的生成方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种多语言摘要的生成方法、装置、电子设备及计算机可读介质，主要解决跨语言摘要中不同语言的信息没有有效利用的问题，能够充分利用跨语言摘要中源语言的摘要信息，在解码端层面上实现了不同语言信息的交互和融合，从而提升跨语言摘要的生成质量。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明的一方面，提出一种多语言摘要的生成方法，该方法包括：将源语言文档输入编码器中，生成词序列编码；将所述词序列编码分别输入第一解码器和第二解码器中进行解码；所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档。
在本发明的一种示例性实施例中，还包括：获取由源语言生成的文档数据；对所述文档数据进行预处理以生成所述源语言文档。
在本发明的一种示例性实施例中，将源语言文档输入编码器中，生成词序列编码，包括：获取源语言文档中的词序列；对所述次序列进行亚词切分，生成亚词序列；将所述亚词序列输入编码器中以生成所述词序列编码。
在本发明的一种示例性实施例中，将所述词序列编码分别输入第一解码器和第二解码器中进行解码之前，还包括：根据所述源语言文档确定所述第一解码器；根据所述目标语言确定所述第二解码器。
在本发明的一种示例性实施例中，将所述词序列编码分别输入第一解码器和第二解码器中进行解码，包括：将所述词序列编码输入处于初始状态的第一解码器；将所述词序列编码输入处于初始状态的第二解码器。
在本发明的一种示例性实施例中，所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码，包括：根据所述第一解码器的输入、隐层状态和所述第二解码器的隐层状态生成所述源语言摘要编码；根据所述第二解码器的输入、隐层状态和所述第一解码器的隐层状态生成所述目标语言摘要编码。
在本发明的一种示例性实施例中，根据所述第一解码器的输入、隐层状态和所述第二解码器的隐层状态生成所述源语言摘要编码，包括：根据所述第一解码器的t时刻的输入、n-1层中t时刻的隐层状态、当前隐层状态和所述第二解码器的n-1层中t时刻的隐层状态生成所述源语言摘要编码。
在本发明的一种示例性实施例中，根据所述第二解码器的输入、隐层状态和所述第一解码器的隐层状态生成所述目标语言摘要编码，包括：根据所述第二解码器的t时刻的输入、n-1层中t时刻的隐层状态、当前隐层状态和所述第一解码器的n-1层中t时刻的隐层状态生成所述目标语言摘要编码。
在本发明的一种示例性实施例中，基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档，包括：将所述源语言摘要编码和所述目标语言摘要编码输入逻辑回归层以计算t时刻的概率分布；基于所述概率分布生成所述源语言摘要文档和所述目标语言摘要文档。
在本发明的一种示例性实施例中，将所述源语言摘要编码和所述目标语言摘要编码输入逻辑回归层以计算t时刻的概率分布，包括：将所述源语言摘要编码输入所述第一解码器的逻辑回归层以进行计算；将所述目标语言摘要编码输入所述第二解码器的逻辑回归层以进行计算。
根据本发明的一方面，提出一种多语言摘要的生成装置，该装置包括：编码模块，用于将源语言文档输入编码器中，生成词序列编码；解码模块，用于将所述词序列编码分别输入第一解码器和第二解码器中进行解码；交互模块，用于所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；摘要模块，用于基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档。
根据本发明的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。
根据本发明的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。
根据本发明的多语言摘要的生成方法、装置、电子设备及计算机可读介质，将源语言文档输入编码器中，生成词序列编码；将所述词序列编码分别输入第一解码器和第二解码器中进行解码；所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档的方式，能够充分利用跨语言摘要中源语言的摘要信息，在解码端层面上实现了不同语言信息的交互和融合，从而提升跨语言摘要的生成质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种多语言摘要的生成方法的流程图。
图2是根据另一示例性实施例示出的一种多语言摘要的生成方法的流程图。
图3是根据另一示例性实施例示出的一种多语言摘要的生成方法的流程图。
图4是根据另一示例性实施例示出的一种多语言摘要的生成方法的流程图。
图5是根据一示例性实施例示出的一种多语言摘要的生成装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本发明概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的，因此不能用于限制本发明的保护范围。
本案的发明人认为，当前的跨语言摘要普遍采用一种基于编码器和解码器的多任务学习的框架，其中：编码器对源语言的文档进行编码生成连续的语义向量，而两个解码器分别利用该语义向量，生成源语言和目标语言的摘要结果。
现有的跨语言方法依赖多任务学习的方式，仅利用共享的编码器得到的源语言文档的语义信息，生成源语言和目标语言的摘要结果。然而，这种多任务学习的范式并没有很好的利用不同语言的摘要信息，尤其是在解码端层面上，源语言和目标语言没有得到有效的融合和交互，这也造成了目前跨语言摘要模型性能普遍不高的问题。
有鉴于现有技术中存在的困境，本申请的多语言摘要的生成方法中，提供一种基于多任务框架的交互式摘要生成方法。在解码端生成目标语言摘要(例如日文)的过程中，不仅要依赖编码端的源语言文档的语义向量的同时还要依赖另一个解码器解码得到的源语言摘要信息(例如中文)，这样源语言摘要信息可以辅助生成更好的目标语言摘要结果。下面借助于具体的实施例，来对本发明的技术内容进行详细描述。
图1是根据一示例性实施例示出的一种多语言摘要的生成方法的流程图。多语言摘要的生成方法10至少包括步骤S102至S108。
如图1所示，在S102中，将源语言文档输入编码器中，生成词序列编码。其中，将源语言文档输入编码器之前，还包括：获取由源语言生成的文档数据；对所述文档数据进行预处理以生成所述源语言文档。
其中，源语言生成的文档数据可为网络上的新闻，公开发表的论文等各种文件数据，可首先由文件数据中提取文字信息，对文字信息进行预处理，生成源语言文档。
在S104中，将所述词序列编码分别输入第一解码器和第二解码器中进行解码。包括：将所述词序列编码输入处于初始状态的第一解码器；将所述词序列编码输入处于初始状态的第二解码器。
其中，将所述词序列编码分别输入第一解码器和第二解码器中进行解码之前，还包括：根据所述源语言文档确定所述第一解码器；根据所述目标语言确定所述第二解码器。
在S106中，所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码。包括：根据所述第一解码器的输入、隐层状态和所述第二解码器的隐层状态生成所述源语言摘要编码；根据所述第二解码器的输入、隐层状态和所述第一解码器的隐层状态生成所述目标语言摘要编码。
在S108中，基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档。可例如，将所述源语言摘要编码和所述目标语言摘要编码输入逻辑回归层以计算t时刻的概率分布；基于所述概率分布生成所述源语言摘要文档和所述目标语言摘要文档。
根据本发明的多语言摘要的生成方法，将源语言文档输入编码器中，生成词序列编码；将所述词序列编码分别输入第一解码器和第二解码器中进行解码；所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档的方式，能够充分利用跨语言摘要中源语言的摘要信息，在解码端层面上实现了不同语言信息的交互和融合，从而提升跨语言摘要的生成质量。
应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。
图2是根据另一示例性实施例示出的一种多语言摘要的生成方法的流程图。图2所示的流程20是对图1所示的流程中S102“将源语言文档输入编码器中，生成词序列编码”的详细描述。
如图2所示，在S202中，获取源语言文档中的词序列。
在S204中，对所述次序列进行亚词切分，生成亚词序列。为了降低集外词对摘要性能的影响，首先将源语言文档的词序列进行亚词切分，因此编码器网络的输入单元即为亚词序列。
在S206中，将所述亚词序列输入编码器中以生成所述词序列编码。可定义x＝[x1，...，xn]表示输入的词序列，X＝[v1，...，vn]表示输入词序列经过词向量预处理得到的矩阵，其中vi表示第i个词的向量。
还可定义fenc()为编码器计算单元，每个词经过编码器的编码表示可以由以下公式计算得到：
Figure BDA0002925706900000071
其中
Figure BDA0002925706900000072
表示第t个词序列的编码表示，使用编码器，可以得到最顶层的编码表示hN。
图3是根据另一示例性实施例示出的一种多语言摘要的生成方法的流程图。图3所示的流程30是对图1所示的流程中S106“所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码”的详细描述。
如图3所示，在S302中，将所述词序列编码输入处于初始状态的第一解码器。在解码生成摘要前，两个交互式解码器网络的初始状态分别为
Figure BDA0002925706900000081
和
Figure BDA0002925706900000082
在S304中，将所述词序列编码输入处于初始状态的第二解码器。
在S306中，根据所述第一解码器的输入、隐层状态和所述第二解码器的隐层状态生成所述源语言摘要编码。可例如，根据所述第一解码器的t时刻的输入、n-1层中t时刻的隐层状态、当前隐层状态和所述第二解码器的n-1层中t时刻的隐层状态生成所述源语言摘要编码。
在S308中，根据所述第二解码器的输入、隐层状态和所述第一解码器的隐层状态生成所述目标语言摘要编码。包括：根据所述第二解码器的t时刻的输入、n-1层中t时刻的隐层状态、当前隐层状态和所述第一解码器的n-1层中t时刻的隐层状态生成所述目标语言摘要编码。
定义
Figure BDA0002925706900000083
和
Figure BDA0002925706900000084
为两个交互式解码器计算单元，解码器在t时刻的输出隐状态
Figure BDA0002925706900000085
由下式计算得到：
Figure BDA0002925706900000086
Figure BDA0002925706900000087
其中，D1和D2分别表示两个解码器网络，
Figure BDA0002925706900000088
和
Figure BDA0002925706900000089
表示t时刻两个解码器的输入，hE表示编码器得到的隐状态，
Figure BDA00029257069000000810
为两个解码器网络第n-1层中t时刻之前的隐层状态，，
Figure BDA00029257069000000811
和
Figure BDA00029257069000000812
表示解码器网络n层t时刻的隐层状态。
图4是根据另一示例性实施例示出的一种多语言摘要的生成方法的流程图。图4所示的流程40是对图1所示的流程中S208“基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档”的详细描述。
如图4所示，在S402中，将所述源语言摘要编码输入所述第一解码器的逻辑回归层以计算t时刻的概率分布。
在S404中，将所述目标语言摘要编码输入所述第二解码器的逻辑回归层以计算t时刻的概率分布。
在S406中，基于所述概率分布生成所述源语言摘要文档和所述目标语言摘要文档。两种不同语言的摘要信息的编码表示经过softmax层计算，最终得到摘要结果的词序列结果。
两个解码器最顶层输出的隐状态
Figure BDA0002925706900000091
和
Figure BDA0002925706900000092
经过一层线性变换f()，如下所示：
Figure BDA0002925706900000093
Figure BDA0002925706900000094
其中，
Figure BDA0002925706900000095
和
Figure BDA0002925706900000096
为两个解码器不同的softmax层的输入表示。
线性变换得到的
Figure BDA0002925706900000097
和
Figure BDA0002925706900000098
通过softmax来输出每个时刻t在所有词表中的概率分布。
Figure BDA0002925706900000099
Figure BDA00029257069000000910
其中，W和b是模型的训练参数，W维度与词表维度相同。
选择最大概率对应的单词作为时刻t的生成的结果：
Figure BDA00029257069000000911
Figure BDA00029257069000000912
根据上述步骤，依次解码生成最终的摘要结果
Figure BDA00029257069000000913
和
Figure BDA00029257069000000914
本发明的多语言摘要的生成方法，在基于多任务学习框架的跨语言摘要中，提出了一种交互式的摘要生成方法。该方法在目标语言摘要生成过程中，不仅需要依赖源语言的文档信息还需要依赖源语言的摘要生成信息。该方法能够充分利用跨语言摘要中源语言的摘要信息，在解码端层面上实现了不同语言信息的交互和融合，从而提升跨语言摘要的生成质量。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图5是根据一示例性实施例示出的一种多语言摘要的生成装置的框图。如图5所示，多语言摘要的生成装置50包括：编码模块502，解码模块504，交互模块506，摘要模块508。
编码模块502用于将源语言文档输入编码器中，生成词序列编码；获取由源语言生成的文档数据；编码模块502还用于对所述文档数据进行预处理以生成所述源语言文档。
解码模块504用于将所述词序列编码分别输入第一解码器和第二解码器中进行解码；解码模块504还用于将所述词序列编码输入处于初始状态的第一解码器；将所述词序列编码输入处于初始状态的第二解码器。
交互模块506用于所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；交互模块506还用于根据所述第一解码器的输入、隐层状态和所述第二解码器的隐层状态生成所述源语言摘要编码；根据所述第二解码器的输入、隐层状态和所述第一解码器的隐层状态生成所述目标语言摘要编码。
摘要模块508用于基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档。摘要模块508还用于将所述源语言摘要编码和所述目标语言摘要编码输入逻辑回归层以计算t时刻的概率分布；基于所述概率分布生成所述源语言摘要文档和所述目标语言摘要文档。
根据本发明的多语言摘要的生成装置，将源语言文档输入编码器中，生成词序列编码；将所述词序列编码分别输入第一解码器和第二解码器中进行解码；所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档的方式，能够充分利用跨语言摘要中源语言的摘要信息，在解码端层面上实现了不同语言信息的交互和融合，从而提升跨语言摘要的生成质量。
图6是根据一示例性实施例示出的一种电子设备的框图。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1，图2，图3，图4中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备600’(例如键盘、指向设备、蓝牙设备等)通信，使得用户能与该电子设备600交互的设备通信，和/或该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图7所示，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：将源语言文档输入编码器中，生成词序列编码；将所述词序列编码分别输入第一解码器和第二解码器中进行解码；所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。
以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种多语言摘要的生成方法，其特征在于，包括：
将源语言文档输入编码器中，生成词序列编码；
将所述词序列编码分别输入第一解码器和第二解码器中进行解码；
所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；
基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档。
2.如权利要求1所述的生成方法，其特征在于，还包括：
获取由源语言生成的文档数据；
对所述文档数据进行预处理以生成所述源语言文档。
3.如权利要求1所述的生成方法，其特征在于，将源语言文档输入编码器中，生成词序列编码，包括：
获取源语言文档中的词序列；
对所述次序列进行亚词切分，生成亚词序列；
将所述亚词序列输入编码器中以生成所述词序列编码。
4.如权利要求1所述的生成方法，其特征在于，将所述词序列编码分别输入第一解码器和第二解码器中进行解码之前，还包括：
根据所述源语言文档确定所述第一解码器；
根据所述目标语言确定所述第二解码器。
5.如权利要求4所述的生成方法，其特征在于，将所述词序列编码分别输入第一解码器和第二解码器中进行解码，包括：
将所述词序列编码输入处于初始状态的第一解码器；
将所述词序列编码输入处于初始状态的第二解码器。
6.如权利要求1所述的生成方法，其特征在于，所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码，包括：
根据所述第一解码器的输入、隐层状态和所述第二解码器的隐层状态生成所述源语言摘要编码；
根据所述第二解码器的输入、隐层状态和所述第一解码器的隐层状态生成所述目标语言摘要编码。
7.如权利要求6所述的生成方法，其特征在于，根据所述第一解码器的输入、隐层状态和所述第二解码器的隐层状态生成所述源语言摘要编码，包括：
根据所述第一解码器的t时刻的输入、n-1层中t时刻的隐层状态、当前隐层状态和所述第二解码器的n-1层中t时刻的隐层状态生成所述源语言摘要编码。
8.如权利要求6所述的生成方法，其特征在于，根据所述第二解码器的输入、隐层状态和所述第一解码器的隐层状态生成所述目标语言摘要编码，包括：
根据所述第二解码器的t时刻的输入、n-1层中t时刻的隐层状态、当前隐层状态和所述第一解码器的n-1层中t时刻的隐层状态生成所述目标语言摘要编码。
9.如权利要求1所述的生成方法，其特征在于，基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档，包括：
将所述源语言摘要编码和所述目标语言摘要编码输入逻辑回归层以计算t时刻的概率分布；
基于所述概率分布生成所述源语言摘要文档和所述目标语言摘要文档。
10.如权利要求1所述的生成方法，其特征在于，将所述源语言摘要编码和所述目标语言摘要编码输入逻辑回归层以计算t时刻的概率分布，包括：
将所述源语言摘要编码输入所述第一解码器的逻辑回归层以进行计算；
将所述目标语言摘要编码输入所述第二解码器的逻辑回归层以进行计算。
11.一种多语言摘要的生成装置，其特征在于，包括：
编码模块，用于将源语言文档输入编码器中，生成词序列编码；
解码模块，用于将所述词序列编码分别输入第一解码器和第二解码器中进行解码；
交互模块，用于所述第一解码器和所述第二解码器进行交互式解码以生成源语言摘要编码和目标语言摘要编码；
摘要模块，用于基于所述源语言摘要编码和所述目标语言摘要编码生成源语言摘要文档和目标语言摘要文档。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。
CN202110132073.6A 2021-01-31 2021-01-31 多语言摘要的生成方法、装置、电子设备及计算机可读介质 Active CN112836040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110132073.6A CN112836040B (zh) 2021-01-31 2021-01-31 多语言摘要的生成方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110132073.6A CN112836040B (zh) 2021-01-31 2021-01-31 多语言摘要的生成方法、装置、电子设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN112836040A true CN112836040A (zh) 2021-05-25
CN112836040B CN112836040B (zh) 2022-09-23

Family

ID=75932515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110132073.6A Active CN112836040B (zh) 2021-01-31 2021-01-31 多语言摘要的生成方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN112836040B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204944A (zh) * 2021-06-02 2021-08-03 云知声智能科技股份有限公司 文本生成方法、装置、设备和存储介质
CN116187324A (zh) * 2023-04-28 2023-05-30 西湖大学 为源语言的长文本生成跨语言摘要的方法、系统及介质
CN113204944B (zh) * 2021-06-02 2024-06-11 云知声智能科技股份有限公司 文本生成方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077805A1 (en) * 2000-12-18 2002-06-20 Hecht David L. System and method for distributing multilingual documents
CN110390103A (zh) * 2019-07-23 2019-10-29 中国民航大学 基于双编码器的短文本自动摘要方法及系统
CN110472238A (zh) * 2019-07-25 2019-11-19 昆明理工大学 基于层级交互注意力的文本摘要方法
CN110543640A (zh) * 2019-08-09 2019-12-06 沈阳雅译网络技术有限公司 一种基于注意力机制神经机器翻译推断加速方法
CN111382261A (zh) * 2020-03-17 2020-07-07 北京字节跳动网络技术有限公司 摘要生成方法、装置、电子设备及存储介质
CN111400454A (zh) * 2020-03-17 2020-07-10 北京字节跳动网络技术有限公司 摘要生成方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077805A1 (en) * 2000-12-18 2002-06-20 Hecht David L. System and method for distributing multilingual documents
CN110390103A (zh) * 2019-07-23 2019-10-29 中国民航大学 基于双编码器的短文本自动摘要方法及系统
CN110472238A (zh) * 2019-07-25 2019-11-19 昆明理工大学 基于层级交互注意力的文本摘要方法
CN110543640A (zh) * 2019-08-09 2019-12-06 沈阳雅译网络技术有限公司 一种基于注意力机制神经机器翻译推断加速方法
CN111382261A (zh) * 2020-03-17 2020-07-07 北京字节跳动网络技术有限公司 摘要生成方法、装置、电子设备及存储介质
CN111400454A (zh) * 2020-03-17 2020-07-10 北京字节跳动网络技术有限公司 摘要生成方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204944A (zh) * 2021-06-02 2021-08-03 云知声智能科技股份有限公司 文本生成方法、装置、设备和存储介质
CN113204944B (zh) * 2021-06-02 2024-06-11 云知声智能科技股份有限公司 文本生成方法、装置、设备和存储介质
CN116187324A (zh) * 2023-04-28 2023-05-30 西湖大学 为源语言的长文本生成跨语言摘要的方法、系统及介质
CN116187324B (zh) * 2023-04-28 2023-08-22 西湖大学 为源语言的长文本生成跨语言摘要的方法、系统及介质

Also Published As

Publication number Publication date
CN112836040B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN110287278B (zh) 评论生成方法、装置、服务器及存储介质
US20190005946A1 (en) Method and apparatus for correcting speech recognition result, device and computer-readable storage medium
CN111401079A (zh) 神经网络机器翻译模型的训练方法、装置及存储介质
US11709893B2 (en) Search method, electronic device and storage medium
CN111506725B (zh) 生成摘要的方法和装置
CN117472591B (zh) 用于数据计算的方法、电子设备和存储介质
CN113889076B (zh) 语音识别及编解码方法、装置、电子设备及存储介质
US20230014105A1 (en) Image description generation method, apparatus and system, and medium and electronic device
CN111401037A (zh) 自然语言的生成方法、装置、电子设备及存储介质
CN108763230B (zh) 利用外部信息的神经机器翻译方法
CN112732902A (zh) 跨语言摘要的生成方法、装置、电子设备及计算机可读介质
CN114840252A (zh) 代码注释生成方法、模型的训练方法、装置和设备
CN113609284A (zh) 一种融合多元语义的文本摘要自动生成方法及装置
CN112836040B (zh) 多语言摘要的生成方法、装置、电子设备及计算机可读介质
CN110913229B (zh) 基于rnn的解码器隐状态确定方法、设备和存储介质
CN110188158B (zh) 关键词及话题标签生成方法、装置、介质及电子设备
CN111475635B (zh) 语义补全方法、装置和电子设备
CN113761174A (zh) 一种文本生成方法和装置
CN113761895A (zh) 文本摘要的生成方法、装置、电子设备及存储介质
CN112711943A (zh) 一种维吾尔文语种识别方法、装置及存储介质
CN112836526B (zh) 一种基于门控机制的多语言神经机器翻译方法及装置
CN112732896B (zh) 目标信息显示方法、装置、电子设备和介质
CN114925175A (zh) 基于人工智能的摘要生成方法、装置、计算机设备及介质
CN113051935A (zh) 智能翻译方法、装置、终端设备及计算机可读存储介质
CN111008283B (zh) 一种基于复合边界信息的序列标注方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant