CN114881008A - 一种文本生成方法、装置、电子设备及介质 - Google Patents

一种文本生成方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114881008A
CN114881008A CN202210434655.4A CN202210434655A CN114881008A CN 114881008 A CN114881008 A CN 114881008A CN 202210434655 A CN202210434655 A CN 202210434655A CN 114881008 A CN114881008 A CN 114881008A
Authority
CN
China
Prior art keywords
text
screening
candidate
evaluation
candidate set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210434655.4A
Other languages
English (en)
Inventor
王涛
赵程绮
王明轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202210434655.4A priority Critical patent/CN114881008A/zh
Publication of CN114881008A publication Critical patent/CN114881008A/zh
Priority to PCT/CN2023/089101 priority patent/WO2023207690A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本公开公开了一种文本生成方法、装置、电子设备及介质。所述方法包括：获取文本候选集，文本候选集包括多个候选文本，各候选文本为对待处理文本进行处理后得到的文本；参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本；其中，各所述筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。该方法通过将所获取的文本候选集进行至少两次筛选方法的处理，能够改善给定文本生成模型所生成结果较差的问题。

Description

一种文本生成方法、装置、电子设备及介质
技术领域
本公开实施例涉及数据处理技术领域，尤其涉及一种文本生成方法、装置、电子设备及介质。
背景技术
文本生成是自然语言处理(Natural Language Processing，NLP)的重要组成部分，旨在使用机器生成自然语言文本。
目前，通常是给定一个文本生成模型，将待处理的文本输入至文本生成模型中生成对应的文本结果。其中，文本生成模型是指用于文本生成的系统模型，其中可包括编码器和解码器，编码器将输入编码为向量表示，解码器依靠编码器的向量表示，根据指定的解码算法，逐词生成需要的文本。
然而，采用给定的文本生成模型进行文本生成处理，所得到的结果较差，无法达到预期的结果需求。
发明内容
本公开实施例提供了一种文本生成方法、装置、电子设备及介质，以解决文本生成模型所生成结果较差的问题。
第一方面，本公开实施例提供了一种文本生成方法，包括：
获取文本候选集，所述文本候选集包括多个候选文本，各所述候选文本为对待处理文本进行处理后得到的文本；
参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本；
其中，各所述筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所述所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。
第二方面，本公开实施例还提供了一种文本生成装置，包括：
获取模块，用于获取文本候选集，所述文本候选集包括多个候选文本，各所述候选文本为对待处理文本进行处理后得到的文本；
处理模块，用于参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本；
其中，各所述筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所述所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。
第三方面，本公开实施例还提供了一种电子设备，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现本公开实施例提供的处理方法。
第四方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开实施例提供的处理方法。
本公开实施例提供了一种文本生成方法、装置、电子设备及介质，首先获取文本候选集，文本候选集包括多个候选文本，各候选文本为对待处理文本进行处理后得到的文本；参照最小贝叶斯风险解码的筛选策略，将文本候选集进行至少两次筛选方法处理后，得到目标文本；其中，各筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。该方法通过将所获取的文本候选集进行至少两次筛选方法的处理，能够改善给定文本生成模型所生成结果较差的问题。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一提供的一种文本生成方法的流程示意图；
图2为本公开实施例二提供的一种文本生成方法的流程示意图；
图3为本公开实施例二提供的一种文本生成方法的实现示意图；
图4为本公开实施例三提供的一种文本生成装置的结构示意图；
图5为本公开实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。此外，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
文本生成是NLP的重要组成部分，旨在使用机器生成自然语言文本。文本生成是众多NLP任务中的重要一环，包括但不限于：(1)机器翻译(Machine Translation，MT)，是指将一种语言翻译为另一种语言；(2)对话生成，是指根据用户所输入的话语生成对应的回答；(3)摘要生成，是指根据一长段文本生成简要的概括内容。
实施例一
图1为本公开实施例一提供的一种文本生成方法的流程示意图，该方法可适用于生成目标文本的情况，该方法可以由文本生成装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上，在本实施例中电子设备包括但不限于：计算机、笔记本电脑、智能手机、或平板电脑等设备。
如图1所示，本公开实施例一提供的一种文本生成方法，包括如下步骤：
S110、获取文本候选集。
在本实施例中，文本候选集可以理解为将待处理文本输入相应的文本生成模型所得到的多个结果(该结果可以包括候选文本)构成的集合。文本候选集可包括多个候选文本，各个候选文本可理解为对待处理文本进行处理后所得到的文本。待处理文本可理解为等待处理的文本内容，例如在机器翻译场景中待处理文本可以为等待翻译的文本，如一个英文语句或中文语句；在对话生成场景中待处理文本可以为对话中的一段输入语音或一个输入文本语句；在摘要生成场景中待处理文本可以为等待提取摘要的文本，如一段文本内容，此处对该段文本内容的长度不作限定。
本实施例中，文本生成模型可采用基于深度神经网络的端到端结构。神经网络端到端模型(即文本生成模型)可以是由一个编码器(Encoder)和一个解码器(Decoder)构成，编码器将输入编码为向量表示，在此基础上解码器依靠编码器的向量表示，根据指定的解码算法，逐词生成需要的文本。解码算法可以是指端到端模型在解码过程中选择词语的策略。解码算法主要可分为贪心解码(Greedy Decoding)方法、集束搜索(Beam Search)方法和采样解码(Sampling)方法。
其中，贪心解码方法可以是指每一步选择概率最高的词作为结果。集束搜索方法可以是指每一步记录概率最高的前几个路径，避免错过后几步可能出现的高概率词。采样解码方法可以是指每一步从候选词中按照概率分布进行随机选择，结果具有随机性；候选词的选择可根据策略各有不同，但往往也是前n(n小于词表规模)个词。
此处对如何获取文本候选集不作限定。示例性的，文本生成模型可以基于贪心解码方法处理待处理文本得到对应的文本候选集；文本生成模型也可以基于集束搜索方法处理待处理文本得到对应的文本候选集；或者文本生成模型还可以基于采样解码方法处理待处理文本得到对应的文本候选集。
S120、参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本。
在本实施例中，最小贝叶斯风险解码也是一种解码算法，可被用于语音识别和统计机器翻译中。最小贝叶斯风险解码可理解为是对每个候选文本进行评估和打分，打分的分值可称为评估分数。最小贝叶斯风险解码的筛选策略可理解为对文本候选集中的候选文本进行筛选以得到最终结果，使得评估分数满足要求的处理策略。如，从文本候选集中选取候选文本，使得选取的候选文本为按照评估分数的高低选取的所需数量个目标候选文本。本实施例中，评估分数的确定手段不作限定。
筛选方法可理解为一种参照最小贝叶斯风险解码的筛选策略，以用于将文本候选集中的候选文本进行筛选的方法。目标文本可以理解为对文本候选集进行至少两次筛选方法处理后所得到的文本结果。
筛选方法可以为两个或多个，此处对此不作限定。本实施例中对文本候选集进行处理的各筛选方法可以为不同功能的筛选方法，以用于实现不同的筛选功能。
可选的，筛选方法，包括如下一个或多个：质量筛选、风格筛选和关键词过滤；在所使用筛选方法为质量筛选时，确定评估分数的评估指标为质量指标；在所使用筛选方法为关键词过滤时，确定评估分数的评估指标为关键词指标；在所使用筛选方法为风格筛选时，确定评估分数的评估指标为风格指标。
质量筛选可以理解为对文本候选集中各个文本的质量进行筛选的方法。质量指标可理解为质量筛选所对应的评估指标。例如质量筛选对应的质量指标可以至少包括双语评估替补(Bilingual Evaluation Understudy，BLEU)指标和变形双语评估替补(BilingualEvaluation Understudy with Representations from Transformers，BLEURT)指标等。质量可以理解为用于表征文本候选集中文本与参考文本之间在语义或词形等方面的相似度的量。
其中，评估指标可理解为对每个候选文本进行分数自动评估的指标。风格筛选可以理解为对文本候选集中各个文本的风格进行筛选的方法。风格指标可理解为风格筛选所对应的评估指标。风格可理解为用于表征文本的内容长短的量。
可选的，风格筛选包括长度筛选，相应的，风格指标包括长度指标。
其中，长度指标认为是长度筛选对应的评估指标，是指用于对文本的长短进行分析和处理的指标。
关键词过滤可以理解为对文本候选集各个文本中的歧义或敏感词语进行过滤的方法，如在该方法中可以预先将歧义或敏感词语设置为要过滤的关键词。关键词指标可理解为关键词过滤所对应的评估指标。
可理解的是，评估分数越高，则表明对应的候选文本的质量或风格更优；其中每个候选文本的评估分数可以是相同的，也可以是不同的，此处不作具体限定。
在对文本候选集进行至少两次筛选方法处理时，可参照最小贝叶斯风险解码的筛选策略，对文本候选集中的候选文本进行筛选；如可以在每次筛选方法处理时，选取设定数量(每次筛选方法对应的设定数量不同)个评估分数满足要求的候选文本作为筛选的结果，直至所有筛选方法执行完后筛选得到最终的目标文本。
其中，在最后一次筛选方法之前的筛选方法执行时，设定数量可以为多个，如可以参照最小贝叶斯风险解码的筛选策略，从对应的文本候选集中选取评估分数靠前的多个候选文本作为本次筛选的输出；在最后一次筛选方法执行时，设定数量可以为一个，即参照最小贝叶斯风险解码的筛选策略，从对应的文本候选集中选取评估分数最高的候选文本作为输出的目标文本。
在将文本候选集进行至少两次筛选方法处理的过程中，每次筛选的输出可作为下次筛选方法的输入，每次筛选输出的结果可以基于所筛选候选文本的评估分数确定。其中，所筛选候选文本可理解为当次筛选方法所将要处理的候选文本，如所筛选候选文本可以是上一次筛选方法筛选后得到的文本候选集；也就是说，每次筛选方法可对应一个文本候选集，该文本候选集作为所筛选候选文本，且每次筛选方法所对应的文本候选集可以是不同的，即是上一次筛选方法筛选后得到的文本候选集。
此处不对如何基于所筛选候选文本的评估分数确定每次筛选输出的结果作具体限定。如可以是按照所筛选候选文本的评估分数从高到低的顺序选取靠前的一个或多个候选文本作为每次筛选输出的结果。
示例性的，假设采取两次筛选方法处理文本候选集，在获取文本候选集(假设文本候选集中包括2000个候选文本)之后，第一次采取筛选方法处理文本候选集中的候选文本，以得到每个候选文本的评估分数；在此过程中可处理文本候选集中的所有候选文本，也可为了减小计算量，只处理文本候选集中的部分候选文本(如选取其中的1000个候选文本进行处理，此处不对如何从文本候选集中选取部分候选文本，以及所选取候选文本的数量作具体限定)；在此基础上，可以基于所得到的评估分数对文本候选集进行筛选，此处不对具体如何基于评估分数对文本候选集进行筛选作限定，如可以选取评估分数靠前的设定数量个(如前100个)候选文本作为第一筛选方法的输出。第二次筛选方法的输入是第一次筛选的输出(如前述所选取的前100个)，第二次采取筛选方法处理对应的文本候选集(即第一次筛选的输出)，得到每个候选文本对应的评估分数，并选取其中评估分数最高的一个候选文本作为目标文本。
可理解的是，若是有多次筛选方法(如大于两次)，则在第二次筛选方法处理之后，可以继续将第二次筛选的输出作为后续筛选方法(即第三次筛选方法)的输入进行处理，以此类推，直至筛选得到目标文本。
所筛选候选文本的评估分数可以基于所使用筛选方法的评估指标确定。本实施例中，不对如何基于所使用筛选方法的评估指标确定所筛选候选文本的评估分数作具体限定。筛选方法可分为两种类型，一种是需要参照进行筛选的方法，另一种是无需参照进行筛选的方法。在基于所使用筛选方法的评估指标确定所筛选候选文本的评估分数时，两种类型筛选方法的评估分数的打分方式可以是不同的。
可选的，在筛选方法为基于参照进行筛选的方法时，目标候选文本的评估分数为目标候选文本的多个参照评估分数的均值，每个参照评估分数为目标候选文本基于评估指标以对应参照候选文本为参照确定的分数，参照候选文本与目标候选文本位于同一文本候选集。
其中，目标候选文本可理解为文本候选集中当前待评估打分的候选文本，其中该文本候选集为该筛选方法所对应的文本候选集。参照候选文本可理解为目标候选文本对应的文本候选集中，作为目标候选文本参照的候选文本；例如，在目标候选文本对应的文本候选集中，参照候选文本可以是该文本候选集中的所有候选文本，也可以是该文本候选集中除目标候选文本外的其他所有候选文本，或者还可以是该文本候选集所包括的子集，此处对参照候选文本不作具体限定。示例性的，若目标候选文本对应的文本候选集包括100个候选文本，则参照候选文本可以是这100个候选文本；也可以是除目标候选文本外的其他99个候选文本；或者还可以是100个候选文本所包括的子集，如其中的50个候选文本。
在上述示例的基础上，若目标候选文本的参照候选文本为除目标候选文本外的其他99个候选文本，则针对这99个参照候选文本，目标候选文本基于评估指标以每个参照候选文本为参照可以确定一个对应的参照评估分数，即可得到99个参照评估分数；在此基础上，可将这99个参照评估分数的均值作为目标候选文本的评估分数。
可选的，在筛选方法为无需参照进行筛选的方法时，目标候选文本的评估分数为基于评估指标的分数。
其中，每个筛选方法可对应一个评估指标，在筛选方法为无需参照进行筛选的方法时，目标候选文本的评估分数可以为基于评估指标的分数。
可选的，筛选输出的结果为从所筛选候选文本中按照各目标候选文本的评估分数的高低选取的所需数量个目标候选文本。
其中，可按照各目标候选文本的评估分数由高到低的顺序从所筛选候选文本中选取所需数量个目标候选文本作为筛选输出的结果。所需数量可以是一个或多个，此处可根据实际需求进行灵活设定。
本公开实施例一提供的一种文本生成方法，获取文本候选集，文本候选集包括多个候选文本，各候选文本为对待处理文本进行处理后得到的文本；参照最小贝叶斯风险解码的筛选策略，将文本候选集进行至少两次筛选方法处理后，得到目标文本；其中，各筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。该方法通过将所获取的文本候选集进行至少两次筛选方法的处理，能够改善给定文本生成模型所生成结果较差的问题。
在上述实施例的基础上，用于文本生成的筛选方法可以根据用户所输入的文本生成需求进行确定。
可选的，所述方法还包括：在人机交互界面上获取需求信息；基于需求信息确定对应的筛选方法。
其中，人机交互界面可理解为可进行人机交互的界面，即用户可通过该界面输入或选择相关的指令以实现与用于文本生成的电子设备的交互。需求信息可以理解为用户在人机交互界面所输入的关于文本生成需求的信息，如需求信息可以包括文本质量需求和/或文本长短需求等，此处对此不作限定。
在人机交互界面上获取需求信息，可根据所获取的需求信息确定该需求信息所需要的筛选方法。示例性的，若用户在人机交互界面所输入的是质量高、文本精简的需求信息，则对应的筛选方法可确定为用于生成高质量文本的筛选方法和用于生成精简文本的筛选方法，也就是说对所获取的文本候选集进行上述两次筛选方法的处理得到对应的目标文本。
实施例二
图2为本公开实施例二提供的一种文本生成方法的流程示意图。本实施例二在上述各实施例的基础上进行细化。在本实施例中，对获取文本候选集，以及对文本候选集进行至少两次筛选方法处理以得到目标文本的过程进行了具体描述。需要说明的是，本实施例尚未详尽的内容请参考实施例一。
如图2所示，本公开实施例二提供的一种文本生成方法，方法包括如下步骤：
S210、将待处理文本输入处理模型，得到文本候选集，处理模型基于采样解码方法处理待处理文本得到文本候选集。
在本实施例中，处理模型可以指可用于对待处理文本进行编码和解码处理的模型；如处理模型可以是基于深度神经网络的端到端模型，其中可包括编码器和解码器，编码器可用于将待处理文本编码为向量表示，然后解码器可依靠编码器的向量表示，根据指定的解码算法生成对应的文本候选集。具体的，可以将待处理文本输入处理模型，处理模型可基于采样解码方法(即Sampling方法)处理待处理文本以得到对应的文本候选集。本实施例通过基于采样解码方法的处理模型处理待处理文本，能够使得处理后得到的文本候选集具备多样化的特点。
需要说明的是，此处的处理模型即可理解为文本生成模型。
S220、将文本候选集进行第一筛选方法处理，得到文本候选集中第一设定数量个目标候选文本的评估分数。
在本实施例中，第一筛选方法可理解为第一次筛选时所选取的筛选方法；其中筛选方法可包括质量筛选、风格筛选和关键词筛选。第一设定数量个可以理解为在采用第一筛选方法对文本候选集进行处理时，所处理的目标候选文本的个数。如在采用第一筛选方法对文本候选集进行第一次筛选方法处理时，可以选取文本候选集中的部分目标候选文本进行处理，也可以对文本候选集中的全部目标候选文本进行处理。其中，部分目标候选文本或全部目标候选文本的数量可以为第一设定数量。第一设定数量个目标候选文本可认为是所筛选候选文本。
具体的，将文本候选集进行第一筛选方法处理，可以得到文本候选集中第一设定数量个目标候选文本所对应的评估分数。
S230、参照最小贝叶斯风险解码的筛选策略，按照评估分数从高到低的顺序，从文本候选集中选取第二设定数量个目标候选文本形成选取后的文本候选集作为本次筛选输出的结果。
在本实施例中，第二设定数量可以指预先设定的评估分数靠前的目标候选文本数量。参照最小贝叶斯风险解码的筛选策略，基于所得到的评估分数，按照评估分数从高到低的顺序，可以从文本候选集中选取第二设定数量个目标候选文本形成选取后的文本候选集，并将该选取后的文本候选集作为本次筛选输出的结果。第二设定数量可以小于第一设定数量。
S240、继续参照最小贝叶斯风险解码将选取后的文本候选集进行后续筛选方法处理，直至通过后续筛选方法中的第二筛选方法从选取后的文本候选集中筛选得到目标文本。
在本实施例中，第二筛选方法可理解为各筛选方法中最后执行的筛选方法；如假设一共采用了3个筛选方法，则最后一个执行的筛选方法，即第三个筛选方法就可认为是第二筛选方法。继续参照最小贝叶斯风险解码将选取后的文本候选集作为下一个筛选方法的输入以进行后续筛选方法处理，直至筛选得到目标文本。具体的，可以将第一次筛选的输出作为下一次(即第二次)筛选方法的输入进行处理，在此基础上将第二次筛选的输出作为下一次(就第三次)筛选方法的输入进行处理，以此类推，直至通过第二筛选方法从选取后的文本候选集中筛选得到目标文本。
后续筛选方法的次数不作限定，如可以为一次或多次。
可根据在人际交互界面所获取的需求信息来确定对应的筛选方法，其中可包括至少两次筛选方法对文本候选集进行处理，以得到目标文本。
本实施例二提供了一种文本生成方法，具体化了获取文本候选集，以及对文本候选集进行至少两次筛选方法处理以得到目标文本的过程。该方法通过采样解码方法处理待处理文本，能够得到多样化的文本候选集；还通过对文本候选集进行至少两次筛选方法的处理，通过多个筛选方法的不同筛选功能，能够改善给定文本生成模型所生成结果较差的问题，例如在筛选方法为质量筛选、风格筛选和/或关键词过滤时，能够在提高文本生成结果多样性的同时，还提高了文本的生成质量和/或控制文本的生成风格。
以下对本公开进行示例性描述：
目前，文本生成方法中，基于集束搜索方法所得到的结果受限，往往生成类似的结果。基于采样解码方法，往往生成结果的质量不够稳定，且无法控制结果风格。
表1示出了两种筛选方法与对应译文之间的对应关系。如表1所示，是分别采用集束搜索方法和采样解码方法进行英语到中文翻译的示例性结果。可以看出，基于集束搜索方法的结果的质量相对基于采样的结果来说较高，但是用词、句式等却都比较相似。而基于采样解码方法的译文结果尽管比较多样化，但是有一些句子却并不符合语义(例如最后一个译文结果中的“老板”，就不符合语义)。
表1两种筛选方法与对应译文之间的对应关系
Figure BDA0003612367720000161
本公开实施例提供了一种文本生成方法，如以机器翻译为例，通过长度筛选实现控制译文的长度，可以优化双语字幕展示的效果；通过关键词过滤实现控制译文中脏词的过滤，可以减少不雅翻译的出现。该方法通过质量筛选在获得高质量结果的同时，采用采样解码方法处理得到的文本候选集还能够保持文本候选集内候选文本的多样性，并通过风格筛选在一定程度上控制结果输出的风格。
需要说明的是，本公开所提供的文本生成方法可以扩展应用到其他任意端到端的用于文本生成的系统。
给定一个端到端翻译模型M(即文本生成模型)以及评估指标c，将x(x可表示待处理文本)输入到模型M，生成的译文候选集为H(即文本候选集)，最小贝叶斯风险解码策略就是从译文候选集H中选择一个最合适的结果h，使得c(h)得分最高，从而使得风险1-c最小。
评估指标可分为两类，一类是需要参照才能打分的，一类是无需参照就可以打分的。一般来说对质量进行评估的指标往往都需要参照译文，比较译文(即目标候选文本)和参照译文(即参照候选文本)，给出一个分数，即评估分数，其对应的公式可表示为：
Figure BDA0003612367720000171
其中，E可表示期望；r可表示参照译文；c(h,r)可表示译文候选集中的任一个译文h以r为参照的评估分数；arg max可表示寻找具有最大值的参量，即可理解为基于c(h,r)中评估分数的期望选取最合适的结果h，使得c(h,r)得分最高。
但是在真实的解码过程中，通常没有参照译文，因此一般可以将译文，即目标候选文本和译文候选集中的每一个译文进行打分，得到参照评估分数，然后对所得到的所有打分分数计算平均值，作为该译文的质量分数(即该译文的评估分数)。可以这样做的原因是译文的结果代表了训练数据分布，可以一定程度上作为参照译文的近似表示。
在对译文本候选集进行至少两次筛选方法处理的过程中，在非最后一次筛选方法处理时，可基于上述得到的评估分数选取前N个候选译文作为输出，其可表示为：
Figure BDA0003612367720000181
其中，top(N)可表示按照评估分数从高到低的顺序选取评估分数排序前N的候选译文；y可表示译文候选集中的每一个译文，即参照候选文本；c(h,y)可表示译文候选集中的任一个译文h以y为参照的参照评估分数。|H|可表征参照译文的个数。
Figure BDA0003612367720000182
可表示任一个译文h以y为参照的所有参照评估分数的和值，在此基础上，可将任一个译文h的所有参照评估分数的均值(即所有参照评估分数的和值与参照译文的个数|H|的比值)作为h的评估分数。
在最后一次筛选方法处理时，由于要选取出最终的译文结果，此时可选取评估分数最高的一个译文作为输出，其可表示为：
Figure BDA0003612367720000183
其中，hbest即可表示为评估分数最高的一个译文。
而对于无需参照的指标来说，则可直接打分(即为基于评估指标的分数)，而不需要其他操作；同理，在这种情况下，在对译文本候选集进行至少两次筛选方法处理的过程中，在非最后一次筛选方法处理时，可基于上述得到的评估分数从高到低对各候选译文进行排序后，选取前N个候选译文作为输出，其可表示为：
htop(N)＝c(h)
在最后一次筛选方法处理时，由于要选取出最终的译文结果，此时可选取评估分数最高的一个译文作为输出，其可表示为：
Figure BDA0003612367720000191
本公开提出的基于层级打分系统的可控多样文本生成方法，首先使用基于采样的解码策略，生成足够数量多的文本候选集(一般是几百到几千)，然后参照最小贝叶斯风险解码的筛选策略，采用多次筛选方法处理(即进行至少两次筛选方法处理)。一般来说，第一次解码通常可使用衡量质量的质量指标进行初次打分，并按照得分从高到低进行排序，并过滤掉得分太低的结果；第二次解码可使用风格化的风格指标进行风格筛选，同样按照得分进行排序。每一次的筛选可以减少下一次筛选的数量，加快解码的速度。
图3为本公开实施例二提供的一种文本生成方法的实现示意图。如图3所示，首先使用BLEU指标(即指机器翻译中判断译文质量最常用的指标)进行初次打分筛选，然后再使用长度指标进行二次打分筛选，最后可以得到质量相对较高，且内容精简(长度短)或者详尽(长度长)的译文，两句话基本都传达了类似的语义，但长度相差了约37％。
由图3可见，后续筛选方法的评估分数中保留了之前所有筛选方法的评估分数，如第二次风格筛选的第一个评估分数＝[36.7,19]，其中，36.7为质量筛选后得到的评估分数。19为风格筛选得到的评估分数。最终输出的目标文本基于最后一次评估分数的取值决定，如将最后一次筛选方法的评估分数的最大值对应的候选文本确定为目标文本。以图3为例，若没有后续筛选，则可以将风格筛选的评估分数中的最大值19对应的候选文本作为目标文本。
图3中后续筛选的数量和内容不作限定，可以为一次筛选，也可以为多次筛选。可以为风格筛选、质量筛选、关键词筛选等任意一类筛选方法。风格筛选后也可以不进行后续筛选直接得到目标文本。
使用层级打分系统的可控多样文本生成方法，除了长度控制，本公开还可以采用其他一些可能的方案，包括但不限于：
(1)、想要获得更加高质量且更贴合人工的译文。可以使用BLEU+BLEURT的方式进行多次质量筛选。BLEU作为质量评价指标仅仅从词形层面衡量译文和参考译文的相关度，而BLEURT则从语义层面打分，且更贴近人工打分。同时使用二者可以获得更高质量的译文。
(2)、想要对某些歧义词语消除歧义。可以使用关键词过滤+BLEU的方式进行处理。对于一词多义的情况，往往某些含义由于在训练数据中出现次数较少，普通的解码方式几乎不会出现。但在采样样本足够大的情况下可以首先通过指定某些关键词一定会在译文中出现，进行一轮筛选，再通过质量筛选选出质量较高的译文。
需要注意的是，本公开各种筛选方法的执行顺序不作限定，具体顺序基于所包括内容确定，如，可以按照关键词筛选、质量筛选和风格筛选的顺序依次进行。
本公开提出一种神经网络端到端模型的文本生成解码策略，通过使用层级打分系统，减少传统解码策略译文过于类似、或者不可控的现状，能够获得可控且多样的译文。通过替换不同的打分系统(不同的打分系统内使用的筛选方法不同，图3中的打分系统包括质量筛选、风格筛选和后续筛选)，可以控制不同的风格，其中风格包括但不限于长度等。如结合BLEU+长度的方式，能够让译文整体长度可控；结合BLEU+BLEURT的方式，能够在评估的测试集上人工评分提高约3％。
实施例三
图4为本公开实施例三提供的一种文本生成装置的结构示意图，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上。
如图4所示，该装置包括：获取模块310和处理模块320；
其中，获取模块310，用于获取文本候选集，所述文本候选集包括多个候选文本，各所述候选文本为对待处理文本进行处理后得到的文本；
处理模块320，用于参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本；
其中，各所述筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所述所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。
在本实施例中，该装置通过获取模块310，获取文本候选集，文本候选集包括多个候选文本，各候选文本为对待处理文本进行处理后得到的文本；通过处理模块320，参照最小贝叶斯风险解码的筛选策略，将文本候选集进行至少两次筛选方法处理后，得到目标文本；其中，各筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。该装置通过将所获取的文本候选集进行至少两次筛选方法的处理，能够改善给定文本生成模型所生成结果较差的问题。
可选的，获取模块310，具体用于：
将所述待处理文本输入处理模型，得到文本候选集，所述处理模型基于采样解码方法处理所述待处理文本得到文本候选集。
可选的，所述筛选方法，包括如下一个或多个：质量筛选、风格筛选和关键词过滤；
在所使用筛选方法为质量筛选时，确定评估分数的评估指标为质量指标；
在所使用筛选方法为关键词过滤时，确定评估分数的评估指标为关键词指标；
在所使用筛选方法为风格筛选时，确定评估分数的评估指标为风格指标。
可选的，风格筛选包括长度筛选，相应的，风格指标包括长度指标。
可选的，处理模块320，具体包括：
处理单元，用于将所述文本候选集进行第一筛选方法处理，得到所述文本候选集中第一设定数量个目标候选文本的评估分数，所述第一设定数量个目标候选文本为所筛选候选文本；
选取单元，用于参照最小贝叶斯风险解码的筛选策略，按照所述评估分数从高到低的顺序，从所述文本候选集中选取第二设定数量个目标候选文本形成选取后的文本候选集作为本次筛选输出的结果；
筛选单元，用于继续参照最小贝叶斯风险解码将选取后的文本候选集进行后续筛选方法处理，直至通过所述后续筛选方法中的第二筛选方法从选取后的文本候选集中筛选得到目标文本，所述第二筛选方法为各所述筛选方法中最后执行的筛选方法。
可选的，在筛选方法为基于参照进行筛选的方法时，目标候选文本的评估分数为所述目标候选文本的多个参照评估分数的均值，每个参照评估分数为所述目标候选文本基于评估指标以对应参照候选文本为参照确定的分数，所述参照候选文本与所述目标候选文本位于同一文本候选集。
可选的，在筛选方法为无需参照进行筛选的方法时，目标候选文本的评估分数为基于评估指标的分数。
可选的，筛选输出的结果为从所筛选候选文本中按照各所述目标候选文本的评估分数的高低选取的所需数量个目标候选文本。
可选的，所述装置还包括：
信息获取模块，用于在人机交互界面上获取需求信息；
方法确定模块，用于基于所述需求信息确定对应的筛选方法。
上述文本生成装置可执行本公开任意实施例所提供的文本生成方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5为本公开实施例四提供的一种电子设备的结构示意图。图5示出了适于用来实现本公开实施例的电子设备400的结构示意图。本公开实施例中的电子设备400可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal DigitalAssistant，PDA)、平板电脑(Portable Android Device，PAD)、便携式多媒体播放器(Portable Media Player，PMP)、车载电子(例如车载导航电子)等等的移动电子以及诸如数字TV、台式计算机等等的固定电子。图5示出的电子设备400仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备400可以包括一个或多个处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(Read-Only Memory，ROM)402中的程序或者从存储装置408加载到随机访问存储器(Random Access Memory，RAM)403中的程序而执行各种适当的动作和处理。一个或多个处理装置401实现如本公开提供的方法。在RAM403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(Input/Output，I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(Liquid CrystalDisplay，LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408，存储装置408用于存储一个或多个程序；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如超文本传输协议(Hyper TextTransfer Protocol，HTTP)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(LAN)，广域网(WAN)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备400中所包含的；也可以是单独存在，而未装配入该电子设备400中。
上述计算机可读介质存储有一个或者多个计算机程序，当上述一个或者多个程序被处理装置执行时实现如下方法：上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备400：可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、专用标准产品(Application Specific Standard Parts，ASSP)、片上系统(System on Chip，SOC)、复杂可编程逻辑设备(Complex Programming logic device，CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种文本生成方法，包括：
获取文本候选集，所述文本候选集包括多个候选文本，各所述候选文本为对待处理文本进行处理后得到的文本；
参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本；
其中，各所述筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所述所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。
根据本公开的一个或多个实施例，示例2根据示例1所述的方法，
所述获取文本候选集，包括：
将所述待处理文本输入处理模型，得到文本候选集，所述处理模型基于采样解码方法处理所述待处理文本得到文本候选集。
根据本公开的一个或多个实施例，示例3根据示例1所述的方法，
所述筛选方法，包括如下一个或多个：质量筛选、风格筛选和关键词过滤；
在所使用筛选方法为质量筛选时，确定评估分数的评估指标为质量指标；
在所使用筛选方法为关键词过滤时，确定评估分数的评估指标为关键词指标；
在所使用筛选方法为风格筛选时，确定评估分数的评估指标为风格指标。
根据本公开的一个或多个实施例，示例4根据示例3所述的方法，
风格筛选包括长度筛选，相应的，风格指标包括长度指标。
根据本公开的一个或多个实施例，示例5根据示例1所述的方法，
参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本，包括：
将所述文本候选集进行第一筛选方法处理，得到所述文本候选集中第一设定数量个目标候选文本的评估分数，所述第一设定数量个目标候选文本为所筛选候选文本；
参照最小贝叶斯风险解码的筛选策略，按照基于所述评估分数从高到低的顺序，从所述文本候选集中选取第二设定数量个目标候选文本形成选取后的文本候选集作为本次筛选输出的结果；
继续参照最小贝叶斯风险解码将选取后的文本候选集进行后续筛选方法处理，直至通过所述后续筛选方法中的第二筛选方法从选取后的文本候选集中筛选得到目标文本，所述第二筛选方法为各所述筛选方法中最后执行的筛选方法。
根据本公开的一个或多个实施例，示例6根据示例1所述的方法，
在筛选方法为基于参照进行筛选的方法时，目标候选文本的多个参照评估分数的均值，每个参照评估分数为所述目标候选文本基于评估指标以对应参照候选文本为参照确定的分数，所述参照候选文本与所述目标候选文本位于同一文本候选集。。
根据本公开的一个或多个实施例，示例7根据示例1所述的方法，
在筛选方法为无需参照进行筛选的方法时，目标候选文本的评估分数为基于评估指标的分数。
根据本公开的一个或多个实施例，示例8根据示例6或8所述的方法，
筛选输出的结果为从所筛选候选文本中按照各所述目标候选文本的评估分数的高低选取的所需数量个目标候选文本。
根据本公开的一个或多个实施例，示例9根据示例1所述的方法，
还包括：
在人机交互界面上获取需求信息；
基于所述需求信息确定对应的筛选方法。
根据本公开的一个或多个实施例，示例10提供了一种文本生成装置，包括：
获取模块，用于获取文本候选集，所述文本候选集包括多个候选文本，各所述候选文本为对待处理文本进行处理后得到的文本；
处理模块，用于参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本；
其中，各所述筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所述所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。
根据本公开的一个或多个实施例，示例11提供了一种电子设备，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如示例1-9中任一所述的方法。
根据本公开的一个或多个实施例，示例12提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现如示例1-9中任一所述的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种文本生成方法，其特征在于，所述方法包括：
获取文本候选集，所述文本候选集包括多个候选文本，各所述候选文本为对待处理文本进行处理后得到的文本；
参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本；
其中，各所述筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所述所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。
2.根据权利要求1所述的方法，其特征在于，所述获取文本候选集，包括：
将所述待处理文本输入处理模型，得到文本候选集，所述处理模型基于采样解码方法处理所述待处理文本得到文本候选集。
3.根据权利要求1所述的方法，其特征在于，所述筛选方法，包括如下一个或多个：质量筛选、风格筛选和关键词过滤；
在所使用筛选方法为质量筛选时，确定评估分数的评估指标为质量指标；
在所使用筛选方法为关键词过滤时，确定评估分数的评估指标为关键词指标；
在所使用筛选方法为风格筛选时，确定评估分数的评估指标为风格指标。
4.根据权利要求3所述的方法，其特征在于，风格筛选包括长度筛选，相应的，风格指标包括长度指标。
5.根据权利要求1所述的方法，其特征在于，参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本，包括：
将所述文本候选集进行第一筛选方法处理，得到所述文本候选集中第一设定数量个目标候选文本的评估分数，所述第一设定数量个目标候选文本为所筛选候选文本；
参照最小贝叶斯风险解码的筛选策略，按照所述评估分数从高到低的顺序，从所述文本候选集中选取第二设定数量个目标候选文本形成选取后的文本候选集作为本次筛选输出的结果；
继续参照最小贝叶斯风险解码将选取后的文本候选集进行后续筛选方法处理，直至通过所述后续筛选方法中的第二筛选方法从选取后的文本候选集中筛选得到目标文本，所述第二筛选方法为各所述筛选方法中最后执行的筛选方法。
6.根据权利要求1所述的方法，其特征在于，
在筛选方法为基于参照进行筛选的方法时，目标候选文本的评估分数为所述目标候选文本的多个参照评估分数的均值，每个参照评估分数为所述目标候选文本基于评估指标以对应参照候选文本为参照确定的分数，所述参照候选文本与所述目标候选文本位于同一文本候选集。
7.根据权利要求1所述的方法，其特征在于，
在筛选方法为无需参照进行筛选的方法时，目标候选文本的评估分数为基于评估指标的分数。
8.根据权利要求6或7所述的方法，其特征在于，筛选输出的结果为从所筛选候选文本中按照各所述目标候选文本的评估分数的高低选取的所需数量个目标候选文本。
9.根据权利要求1所述的方法，其特征在于，还包括：
在人机交互界面上获取需求信息；
基于所述需求信息确定对应的筛选方法。
10.一种文本生成装置，其特征在于，包括：
获取模块，用于获取文本候选集，所述文本候选集包括多个候选文本，各所述候选文本为对待处理文本进行处理后得到的文本；
处理模块，用于参照最小贝叶斯风险解码的筛选策略，将所述文本候选集进行至少两次筛选方法处理后，得到目标文本；
其中，各所述筛选方法为不同功能的筛选方法，每次筛选的输出作为下次筛选方法的输入，每次筛选输出的结果基于所筛选候选文本的评估分数确定，所述所筛选候选文本的评估分数基于所使用筛选方法的评估指标确定。
11.一种电子设备，其特征在于，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如权利要求1-9中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现如权利要求1-9中任一所述的方法。
CN202210434655.4A 2022-04-24 2022-04-24 一种文本生成方法、装置、电子设备及介质 Pending CN114881008A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210434655.4A CN114881008A (zh) 2022-04-24 2022-04-24 一种文本生成方法、装置、电子设备及介质
PCT/CN2023/089101 WO2023207690A1 (zh) 2022-04-24 2023-04-19 一种文本生成方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210434655.4A CN114881008A (zh) 2022-04-24 2022-04-24 一种文本生成方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN114881008A true CN114881008A (zh) 2022-08-09

Family

ID=82672190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210434655.4A Pending CN114881008A (zh) 2022-04-24 2022-04-24 一种文本生成方法、装置、电子设备及介质

Country Status (2)

Country Link
CN (1) CN114881008A (zh)
WO (1) WO2023207690A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207690A1 (zh) * 2022-04-24 2023-11-02 北京有竹居网络技术有限公司 一种文本生成方法、装置、电子设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090240486A1 (en) * 2008-03-24 2009-09-24 Microsof Corporation Hmm alignment for combining translation systems
CN102150156A (zh) * 2008-07-03 2011-08-10 谷歌公司 优化用于机器翻译的参数
CN103530284A (zh) * 2013-09-22 2014-01-22 中国专利信息中心 短句切分装置、机器翻译系统及对应切分方法和翻译方法
US20150039306A1 (en) * 2013-07-30 2015-02-05 Verint Systems Ltd. System and Method of Automated Evaluation of Transcription Quality
CN110334188A (zh) * 2019-07-11 2019-10-15 中国传媒大学 一种多文档摘要生成方法和系统
CN113221545A (zh) * 2021-05-10 2021-08-06 北京有竹居网络技术有限公司 一种文本处理方法、装置、设备及介质、程序产品

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7210933B2 (ja) * 2018-08-15 2023-01-24 沖電気工業株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN114881008A (zh) * 2022-04-24 2022-08-09 北京有竹居网络技术有限公司 一种文本生成方法、装置、电子设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090240486A1 (en) * 2008-03-24 2009-09-24 Microsof Corporation Hmm alignment for combining translation systems
CN102150156A (zh) * 2008-07-03 2011-08-10 谷歌公司 优化用于机器翻译的参数
US20150039306A1 (en) * 2013-07-30 2015-02-05 Verint Systems Ltd. System and Method of Automated Evaluation of Transcription Quality
CN103530284A (zh) * 2013-09-22 2014-01-22 中国专利信息中心 短句切分装置、机器翻译系统及对应切分方法和翻译方法
CN110334188A (zh) * 2019-07-11 2019-10-15 中国传媒大学 一种多文档摘要生成方法和系统
CN113221545A (zh) * 2021-05-10 2021-08-06 北京有竹居网络技术有限公司 一种文本处理方法、装置、设备及介质、程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207690A1 (zh) * 2022-04-24 2023-11-02 北京有竹居网络技术有限公司 一种文本生成方法、装置、电子设备及介质

Also Published As

Publication number Publication date
WO2023207690A1 (zh) 2023-11-02

Similar Documents

Publication Publication Date Title
JP7127106B2 (ja) 質問応答処理、言語モデルの訓練方法、装置、機器および記憶媒体
CN110019732B (zh) 一种智能问答方法以及相关装置
CN110969012B (zh) 文本纠错方法、装置、存储介质及电子设备
CN107301170B (zh) 基于人工智能的切分语句的方法和装置
CN113470619B (zh) 语音识别方法、装置、介质及设备
CN112037792B (zh) 一种语音识别方法、装置、电子设备及存储介质
WO2017210634A1 (en) Iterative alternating neural attention for machine reading
CN111428010A (zh) 人机智能问答的方法和装置
EP3916579A1 (en) Method for resource sorting, method for training sorting model and corresponding apparatuses
CN112154465A (zh) 一种意图识别模型的学习方法、装置及设备
US11669679B2 (en) Text sequence generating method and apparatus, device and medium
CN114861889B (zh) 深度学习模型的训练方法、目标对象检测方法和装置
CN111597825B (zh) 语音翻译方法、装置、可读介质及电子设备
JP7140913B2 (ja) 映像配信時効の決定方法及び装置
CN112632285A (zh) 一种文本聚类方法、装置、电子设备及存储介质
CN115221191A (zh) 一种基于数据湖的虚拟列构建方法以及数据查询方法
WO2023207690A1 (zh) 一种文本生成方法、装置、电子设备及介质
JP2024506495A (ja) 議事録の処理方法、装置、機器及び媒体
CN111737572B (zh) 搜索语句生成方法、装置和电子设备
CN111626044B (zh) 文本生成方法、装置、电子设备及计算机可读存储介质
CN110688508B (zh) 图文数据扩充方法、装置及电子设备
CN116821327A (zh) 文本数据处理方法、装置、设备、可读存储介质及产品
CN113987118A (zh) 语料的获取方法、装置、设备及存储介质
CN112445959A (zh) 检索方法、检索装置、计算机可读介质及电子设备
CN113239257B (zh) 信息处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination