CN111783395B - 用于输出文本的方法和装置 - Google Patents
用于输出文本的方法和装置 Download PDFInfo
- Publication number
- CN111783395B CN111783395B CN202010305957.2A CN202010305957A CN111783395B CN 111783395 B CN111783395 B CN 111783395B CN 202010305957 A CN202010305957 A CN 202010305957A CN 111783395 B CN111783395 B CN 111783395B
- Authority
- CN
- China
- Prior art keywords
- text
- candidate
- score
- determining
- texts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004590 computer program Methods 0.000 claims description 10
- 239000011521 glass Substances 0.000 description 20
- 238000012549 training Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010845 search algorithm Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000144795 Triportheus paranensis Species 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了用于输出文本的方法和装置。该方法的一具体实施方式包括:获取初始文本,将初始文本输入预设的编码解码模型的编码网络中,得到编码信息;基于初始信息,执行如下解码步骤:利用编码解码模型的解码网络采用集束搜索算法对初始信息进行解码,生成预设数目个候选文本,基于候选文本中的N元语法,确定候选文本的分数,按照候选文本的分数由大到小的顺序从候选文本中选取集束宽度个候选文本,将对应有文本结束符的候选文本添加到完整文本集合中,确定集束宽度个候选文本中是否存在未对应有文本结束符的候选文本;若否,则利用文本的分数,从完整文本集合中选取目标文本进行输出。该实施方式提高了输出文本的流畅性和逻辑正确性。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及用于输出文本的方法和装置。
背景技术
在自然语言处理(Natural Language Processing,NLP)领域中,经常需要用到编码解码模型,编码解码模型是一种应用于序列到序列(seq2seq)问题的模型。编码解码模型包括编码网络和解码网络。集束搜索(Beam Search)算法是编码解码模型的解码网络中常用的一种算法,用于贪心式地在较大的求解空间中求解。集束搜索算法可以减少搜索所占用的空间和时间,在每一步深度扩展的时候,剪掉一些质量比较差的结点,保留下一些质量较高的结点,因此,减少了空间消耗,并提高了时间效率。
发明内容
本申请实施例提出了用于输出文本的方法和装置。
第一方面,本申请实施例提供了一种用于输出文本的方法,包括:获取初始文本,将初始文本输入预设的编码解码模型的编码网络中,得到编码信息;基于初始信息,执行如下解码步骤:利用编码解码模型的解码网络对初始信息进行解码,生成预设数目个候选文本,基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数,按照候选文本的分数由大到小的顺序从上述数目个候选文本中选取预设的集束宽度个候选文本,将上述集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中,确定上述集束宽度个候选文本中是否存在未对应有文本结束符的候选文本,其中,初始信息包括编码信息,解码网络采用集束搜索算法进行解码,数目大于集束宽度;若否,则利用文本的分数,从完整文本集合中选取目标文本进行输出。
在一些实施例中,在确定上述集束宽度个候选文本中是否存在未对应有文本结束符的候选文本之后,该方法还包括:若是,则将上述集束宽度个候选文本中未对应有文本结束符的候选文本和编码信息组成初始信息,继续执行解码步骤。
在一些实施例中,基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数,包括:针对上述数目个候选文本中的每个候选文本,确定该候选文本的N元语法集合,以及确定N元语法集合中存在于预设的N元语法表中的N元语法的数量,基于上述数量,确定该候选文本的分数。
在一些实施例中,基于数量,确定该候选文本的分数,包括:确定该候选文本包含的词语的数量,以及将该候选文本包含的词语的数量与N进行比较;若大于等于N,则确定该候选文本包含的词语的数量与预设第一数值的差值,将存在于N元语法表中的N元语法的数量与差值的比值确定为该候选文本的分数。
在一些实施例中,基于上述数量,确定该候选文本的分数,包括:确定该候选文本包含的词语的数量,以及将该候选文本包含的词语的数量与N进行比较;若小于N,则将该候选文本的分数确定为预设第二数值。
在一些实施例中,N元语法包括二元语法、三元语法和四元语法;以及基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数,包括:针对上述数目个候选文本中的每个候选文本,确定该候选文本的二元语法集合、三元语法集合和四元语法集合,以及确定二元语法集合中存在于预设的二元语法表中的二元语法的数量作为第一数量,确定三元语法集合中存在于预设的三元语法表中的三元语法的数量作为第二数量,确定四元语法集合中存在于预设的四元语法表中的四元语法的数量作为第三数量,基于第一数量、第二数量和第三数量,确定该候选文本的分数。
在一些实施例中,基于第一数量、第二数量和第三数量,确定该候选文本的分数,包括:确定该候选文本包含的词语的数量;基于该候选文本包含的词语的数量和第一数量,确定第一分数;基于该候选文本包含的词语的数量和第二数量,确定第二分数;基于该候选文本包含的词语的数量和第三数量,确定第三分数;对第一分数、第二分数和第三分数进行加权求和,得到该候选文本的分数。
第二方面,本申请实施例提供了一种用于输出文本的装置,包括:获取单元,被配置成获取初始文本,将初始文本输入预设的编码解码模型的编码网络中,得到编码信息;解码单元,被配置成基于初始信息,执行如下解码步骤:利用编码解码模型的解码网络对初始信息进行解码,生成预设数目个候选文本,基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数,按照候选文本的分数由大到小的顺序从上述数目个候选文本中选取预设的集束宽度个候选文本,将上述集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中,确定上述集束宽度个候选文本中是否存在未对应有文本结束符的候选文本,其中,初始信息包括编码信息,解码网络采用集束搜索算法进行解码,数目大于集束宽度;输出单元,被配置成若上述集束宽度个候选文本中不存在未对应有文本结束符的候选文本,则利用文本的分数,从完整文本集合中选取目标文本进行输出。
在一些实施例中,该装置还包括:反馈单元,被配置成若上述集束宽度个候选文本中存在未对应有文本结束符的候选文本,则将上述集束宽度个候选文本中未对应有文本结束符的候选文本和编码信息组成初始信息,继续执行解码步骤。
在一些实施例中,解码单元进一步被配置成按照如下方式基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数:针对上述数目个候选文本中的每个候选文本,确定该候选文本的N元语法集合,以及确定N元语法集合中存在于预设的N元语法表中的N元语法的数量,基于上述数量,确定该候选文本的分数。
在一些实施例中,解码单元进一步被配置成按照如下方式基于上述数量,确定该候选文本的分数:确定该候选文本包含的词语的数量,以及将该候选文本包含的词语的数量与N进行比较;若大于等于N,则确定该候选文本包含的词语的数量与预设第一数值的差值,将存在于N元语法表中的N元语法的数量与差值的比值确定为该候选文本的分数。
在一些实施例中,解码单元进一步被配置成按照如下方式基于上述数量,确定该候选文本的分数:确定该候选文本包含的词语的数量,以及将该候选文本包含的词语的数量与N进行比较;若小于N,则将该候选文本的分数确定为预设第二数值。
在一些实施例中,N元语法包括二元语法、三元语法和四元语法;以及解码单元进一步被配置成按照如下方式基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数:针对上述数目个候选文本中的每个候选文本,确定该候选文本的二元语法集合、三元语法集合和四元语法集合,以及确定二元语法集合中存在于预设的二元语法表中的二元语法的数量作为第一数量,确定三元语法集合中存在于预设的三元语法表中的三元语法的数量作为第二数量,确定四元语法集合中存在于预设的四元语法表中的四元语法的数量作为第三数量,基于第一数量、第二数量和第三数量,确定该候选文本的分数。
在一些实施例中,解码单元进一步被配置成按照如下方式基于第一数量、第二数量和第三数量,确定该候选文本的分数,包括:确定该候选文本包含的词语的数量;基于该候选文本包含的词语的数量和第一数量,确定第一分数;基于该候选文本包含的词语的数量和第二数量,确定第二分数;基于该候选文本包含的词语的数量和第三数量,确定第三分数;对第一分数、第二分数和第三分数进行加权求和,得到该候选文本的分数。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请的上述实施例提供的用于输出文本的方法和装置,通过获取初始文本,将上述初始文本输入预设的编码解码模型的编码网络中,得到编码信息;之后,基于初始信息,执行如下解码步骤:利用上述编码解码模型的解码网络采用集束搜索算法对初始信息进行解码,生成预设数目个候选文本,基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数,按照候选文本的分数由大到小的顺序从上述数目个候选文本中选取预设的集束宽度个候选文本,将上述集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中,确定上述集束宽度个候选文本中是否存在未对应有文本结束符的候选文本,其中,上述初始信息包括上述编码信息,上述数目大于上述集束宽度;若确定出上述集束宽度个候选文本中不存在未对应有文本结束符的候选文本,则利用文本的分数,从上述完整文本集合中选取目标文本进行输出。这种方式在采用集束搜索算法进行解码的过程中,利用文本的N元语法对解码生成的文本进行重排序,通过这种方式提高了输出文本的流畅性和逻辑正确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请的各个实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的用于输出文本的方法的一个实施例的流程图;
图3是根据本申请的用于输出文本的方法的一个应用场景的示意图;
图4是根据本申请的用于输出文本的方法的确定候选文本的分数的一个实施例的流程图;
图5是根据本申请的用于输出文本的装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于输出文本的方法的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括用户终端1011、1012、1013,网络1021、1022,服务器103和输出终端104。网络1021用以在用户终端1011、1012、1013和服务器103之间提供通信链路的介质。网络1022用以在服务器103和输出终端104之间提供通信链路的介质。网络1021、1022可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用用户终端1011、1012、1013通过网络1021与服务器103交互,以发送或接收消息等(例如,用户终端1011、1012、1013可以向服务器103发送初始文本,如,物品描述文本)。用户终端1011、1012、1013上可以安装有各种通讯客户端应用,例如购物类应用、搜索类应用、即时通讯软件等。
输出终端104可以通过网络1022与服务器103交互,以发送或接收消息等(例如,输出终端104可以接收服务器103输出的目标文本,如,物品摘要信息)。输出终端104上可以安装有各种通讯客户端应用,例如购物类应用、搜索类应用、即时通讯软件等。
用户终端1011、1012、1013和输出终端104可以是硬件,也可以是软件。当用户终端1011、1012、1013或输出终端104为硬件时,可以是支持信息交互的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当用户终端1011、1012、1013或输出终端104为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以是提供各种服务的服务器。例如,可以是对初始文本进行分析的后台服务器。服务器103可以首先获取初始文本,将上述初始文本输入预设的编码解码模型的编码网络中,得到编码信息;之后,可以基于包括上述编码信息的初始信息,执行如下解码步骤:利用上述编码解码模型的解码网络采用集束搜索算法对初始信息进行解码,生成预设数目个候选文本,基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数,按照候选文本的分数由大到小的顺序从上述数目个候选文本中选取预设的集束宽度个候选文本,将上述集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中,确定上述集束宽度个候选文本中是否存在未对应有文本结束符的候选文本;若确定出上述集束宽度个候选文本中不存在未对应有文本结束符的候选文本,则利用文本的分数,从上述完整文本集合中选取目标文本进行输出,例如,可以将上述目标文本发送给输出终端104进行输出。
需要说明的是,服务器103可以是硬件,也可以是软件。当服务器103为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器103为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请实施例所提供的用于输出文本的方法通常由服务器103执行。
需要说明的是,服务器103的本地可以存储有初始文本,服务器103可以从本地获取初始文本。此时示例性系统架构100可以不存在用户终端1011、1012、1013和网络1021。
还需要说明的是,服务器103可以与显示设备(例如,显示屏)相连接,以显示所输出的目标文本。此时示例性系统架构100可以不存在网络1022和输出终端104。
应该理解,图1中的用户终端、网络、服务器和输出终端的数目仅仅是示意性的。根据实现需要,可以具有任意数目的用户终端、网络、服务器和输出终端。
继续参考图2,示出了根据本申请的用于输出文本的方法的一个实施例的流程200。该用于输出文本的方法,包括以下步骤:
步骤201,获取初始文本,将初始文本输入预设的编码解码模型的编码网络中,得到编码信息。
在本实施例中,用于输出文本的方法的执行主体(例如图1所示的服务器)可以获取初始文本,将获取到的初始文本输入预设的编码解码(encoder-decode)模型的编码网络中,得到编码信息。上述初始文本可以是用于确定目标文本的待处理文本。在这里,上述初始文本可以包括商品描述文本,上述商品描述文本可以包括以下至少一项:商品标题、从商品描述图像中识别出的文本、从商品描述视频中识别出的文本和商品详情页中的文本。
在这里,上述编码网络也可以称为编码器,上述解码网络也可以称为解码器。上述编码解码模型的基本思想是利用两个RNN(Recurrent Neural Networks,循环神经网络),一个RNN作为编码器,另一个RNN作为解码器。编码器通常负责将输入序列压缩成指定长度的向量,这个向量就可以看成是这个序列的语义,这个过程通常称为编码。获取语义向量的方式可以是直接将最后一个输入的隐状态作为语义向量;也可以是对最后一个隐含状态做一个变换得到语义向量;还可以将输入序列的所有隐含状态做一个变换得到语义变量。
在具体实现的过程中,编码器和解码器都不是固定的,例如,编码器可以选取为CNN(Convolutional Neural Networks,卷积神经网络)、RNN、LSTM(Long Short-TermMemory,长短期记忆网络)、BiLSTM(Bi-directional Long Short-Term Memory,双向长短期记忆网络)和GRU(Gate Recurrent Unit,门循环单元)中的一个。
步骤202,基于初始信息,执行如下解码步骤:利用编码解码模型的解码网络对初始信息进行解码,生成预设数目个候选文本,基于数目个候选文本中的N元语法,确定数目个候选文本中每个候选文本的分数,按照候选文本的分数由大到小的顺序从数目个候选文本中选取预设的集束宽度个候选文本,将集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中,确定集束宽度个候选文本中是否存在未对应有文本结束符的候选文本。
在本实施例中,上述执行主体可以基于上述初始信息,执行解码步骤。上述初始信息通常包括在步骤201中得到的编码信息。具体地,在第一步解码的过程中,上述初始信息通常包括上述编码信息。在第一步之后的每一步解码的过程中,上述初始信息通常包括上述编码信息和上一步解码所生成的候选文本。作为示例,在第三步解码的过程中,上述初始信息通常包括上述编码信息和第二步解码所生成的候选文本。
在本实施例中,步骤202可以包括子步骤2021、2022、2023、2024和2025。其中:
步骤2021,利用编码解码模型的解码网络对初始信息进行解码,生成预设数目个候选文本。
在本实施例中,上述执行主体可以利用上述编码解码模型的解码网络对上述初始信息进行解码,生成预设数目个候选文本。上述解码网络可以称为解码器。解码器通常负责根据编码器所生成的语义向量生成指定的序列,这个过程也称为解码。一种解码方式可以是将编码器得到的语义变量作为初始状态输入到解码器的RNN中,最终得到输出序列。上一时刻的输出通常会作为当前时刻的输入,而且其中语义向量只作为初始状态参与运算,后面的运算都与语义向量无关。在这里,编码器可以选取为CNN、RNN、LSTM、BiLSTM和GRU中的一个。作为示例,可以将BiLSTM作为编码器进行编码,将LSTM作为解码器进行解码;也可以将RNN作为编码器进行编码,将CNN作为解码器进行解码。
在本实施例中,上述执行主体可以利用解码网络,通过注意力机制和复制机制对上述初始信息进行解码,生成预设数目个候选文本。在这里,上述解码网络通常采用集束搜索算法进行解码,上述数目通常大于预设的集束宽度。采用集束搜索算法所生成的候选文本通常为所对应的概率最高的预设数目个候选文本。作为示例,若在第三步解码的过程中,解码网络可以根据上述编码信息和第二步解码所生成的候选文本,计算预设字典中每个词的生成概率,针对第二步解码所生成的候选文本A和上述字典中词语B,可以将第二步解码所生成的候选文本A的生成概率与词语B的生成概率的乘积确定为新生成的文本(第二步解码所生成的候选文本A+词语B)的生成概率。
在本实施例中,在集束搜索中,需要预先设定集束宽度(Beam Size),集束宽度也可以称为集束的大小,通常指的是每一步保留下来的可能性词的数量。在这里,对上述初始信息进行解码所生成的候选文本的数目通常需要大于上述集束宽度,例如,可以为上述集束宽度的2倍。
步骤2022,基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数。
在本实施例中,上述执行主体可以基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数。具体地,针对上述数目个候选文本中的每个候选文本,上述执行主体可以将该候选文本中的N元语法输入预先训练的候选文本评分模型中,得到该候选文本的分数。上述候选文本评分模型可以用于表征候选文本中的N元语法与候选文本的分数之间的对应关系。
在这里,N元语法(N-gram)是指文本中连续出现的N个语词。当N分别为1、2、3、4时,又分别称为一元语法(Uni-gram)、二元语法(Bi-gram)、三元语法(Tri-gram)与四元语法(Four-gram)。
在本实施例中,在将文本的N元语法与集束搜索算法相结合从而确定文本排序的这种方法中,由于利用文本的N元语法确定文本的分数的这种方法是利用预设的训练集中所有训练文本的N元语法来计算的,目的是鼓励那些在上述训练集的训练文本中出现频率较高的N元语法出现在上述解码步骤生成的文本中。这种方法通常基于以下假设:如果利用上述解码步骤生成了一个文本,这个文本中的N元语法在上述训练集的训练文本中从来没出现过或出现频率极低,则这个文本很有可能是不流畅的或逻辑不正确的;相反,如果这个文本中的N元语法出现在上述训练集的训练文本中的频率较高,则这个文本通常是流畅的、逻辑正确的。
步骤2023,按照候选文本的分数由大到小的顺序从上述数目个候选文本中选取预设的集束宽度个候选文本。
在本实施例中,上述执行主体可以按照候选文本的分数由大到小的顺序从上述数目个候选文本中选取预设的集束宽度个候选文本。作为示例,若候选文本A的分数为0.7,候选文本B的分数为0.3,候选文本C的分数为0.5,候选文本D的分数为0.9,上述集束宽度为2,则可以按照候选文本的分数由大到小的顺序选取出候选文本A和候选文本D。
步骤2024,将集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中。
在本实施例中,上述执行主体可以确定上述集束宽度个候选文本是否对应有文本结束符。在这里,上述文本结束符可以是预设的表征文本为完整文本的符号。上述执行主体可以将上述集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中。
步骤2025,确定集束宽度个候选文本中是否存在未对应有文本结束符的候选文本。
在本实施例中,上述执行主体可以确定上述集束宽度个候选文本中是否存在未对应有文本结束符的候选文本。若上述集束宽度个候选文本中不存在未对应有文本结束符的候选文本,即上述集束宽度个候选文本均对应有文本结束符,则上述执行主体可以执行步骤203。
步骤203,若集束宽度个候选文本中不存在未对应有文本结束符的候选文本,则利用文本的分数,从完整文本集合中选取目标文本进行输出。
在本实施例中,若在步骤2025中确定出上述集束宽度个候选文本中不存在未对应有文本结束符的候选文本,则上述执行主体可以利用上述完整文本集合中各个文本的分数,从上述完整文本集合中选取目标文本进行输出。具体地,上述执行主体可以从上述完整文本集合中选取分数最高的完整文本作为目标文本进行输出。
在本实施例的一些可选的实现方式中,若在步骤2025中确定出上述集束宽度个候选文本中存在未对应有文本结束符的候选文本,则上述执行主体可以将上述集束宽度个候选文本中未对应有文本结束符的候选文本和上述编码信息组成初始信息,继续执行上述解码步骤2021-2025。
在本实施例的一些可选的实现方式中,上述执行主体可以通过如下方式基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数:针对上述数目个候选文本中的每个候选文本,上述执行主体可以确定该候选文本的N元语法集合,例如,二元语法集合。之后,可以确定上述N元语法集合中存在于预设的N元语法表中的N元语法的数量。上述N元语法表为预先获取的N元语法的常用语法搭配表。最后,可以基于上述数量,确定该候选文本的分数。具体地,上述执行主体可以将上述数量与该候选文本的N元语法集合中的N元语法的数量的比值确定为该候选文本的分数。作为示例,若该候选文本为“双开门冰箱,搭配玻璃面板,外观时尚”,则该候选文本的二元语法集合可以包括:双开门冰箱、冰箱搭配、搭配玻璃、玻璃面板、面板外观、外观时尚。之后,上述执行主体可以确定该候选文本的二元语法集合中的“双开门冰箱”、“玻璃面板”、“面板外观”和“外观时尚”存在于预设的二元语法表中,则可以确定存在于上述二元语法表中的二元语法的数量为4个。最后,可以将存在于上述二元语法表中的二元语法的数量4与该候选文本的二元语法集合中的二元语法的数量6的比值0.67确定为该候选文本的分数。
在本实施例的一些可选的实现方式中,上述执行主体可以通过如下方式基于上述数量,确定该候选文本的分数:上述执行主体可以确定该候选文本包含的词语的数量,上述执行主体可以对该候选文本进行分词,确定分词得到的词语的数量。之后,可以将该候选文本包含的词语的数量与N进行比较。具体地,若N元语法为二元语法,则可以将该候选文本包含的词语的数量与2进行比较;若N元语法为三元语法,则可以将该候选文本包含的词语的数量与3进行比较。若该候选文本包含的词语的数量大于等于N,则上述执行主体可以确定该候选文本包含的词语的数量与预设第一数值的差值。在这里,上述第一数值通常为N-1。若N=2,则上述第一数值通常为1;若N=3,则上述第一数值通常为2。而后,上述执行主体可以将上述存在于上述N元语法表中的N元语法的数量与上述差值的比值确定为该候选文本的分数。
在本实施例的一些可选的实现方式中,上述执行主体可以通过如下方式基于上述数量,确定该候选文本的分数:上述执行主体可以确定该候选文本包含的词语的数量,上述执行主体可以对该候选文本进行分词,确定分词得到的词语的数量。之后,可以将该候选文本包含的词语的数量与N进行比较。具体地,若N元语法为二元语法,则可以将该候选文本包含的词语的数量与2进行比较;若N元语法为三元语法,则可以将该候选文本包含的词语的数量与3进行比较。若该候选文本包含的词语的数量小于N,则上述执行主体可以将该候选文本的分数确定为预设第二数值。在这里,上述第二数值通常为0。
继续参见图3,图3是根据本实施例的用于输出文本的方法的一个应用场景的示意图。在图3的应用场景中,服务器301可以首先从用户终端302获取初始文本303。服务器301可以将初始文本303输入预设的编码解码模型的编码网络304中,得到编码信息305。之后,可以基于编码信息305,生成初始信息306。在第一步解码的过程中,初始信息306通常为编码信息305;在第一步之后的每一步解码的过程中,初始信息306通常包括编码信息305和上一步解码所生成的候选文本。在这里,以第10步解码过程作为示例,服务器301可以基于包括编码信息305和第9步解码所生成的候选文本的初始信息306,执行如下解码步骤:可以利用上述编码解码模型的编码网络307对初始信息306进行解码,生成预设数目个候选文本308,在这里,生成的是6个候选文本308,分别是候选文本A、候选文本B、候选文本C、候选文本D、候选文本E和候选文本F。而后,服务器301可以基于上述6个候选文本308中的N元语法309,确定每个候选文本的分数310。作为示例,可以将候选文本A中的二元语法和三元语法输入预先训练的候选文本评分模型中,得到候选文本A的分数310。之后,可以按照候选文本的分数由大到小的顺序从上述6个候选文本308中选取预设的集束宽度(在这里,集束宽度为3)个候选文本311,在这里,选取出的3个候选文本311为候选文本A、候选文本D和候选文本E。而后,服务器301可以确定候选文本A、候选文本D和候选文本E均对应有文本结束符,因此,可以将候选文本A、候选文本D和候选文本E添加到预设的完整文本集合312中。由于候选文本A、候选文本D和候选文本E均对应有文本结束符,因此,服务器301可以利用文本的分数,从完整文本集合312中选取目标文本313输出。在这里,可以从完整文本集合312中选取出分数最高的完整文本作为目标文本313进行输出。在这里,服务器301可以将上述目标文本313发送给输出终端314进行输出。
本申请的上述实施例提供的方法通过在采用集束搜索算法进行解码的过程中,利用文本的N元语法对解码生成的文本进行重排序,通过这种方式提高了输出文本的流畅性和逻辑正确性。
进一步参考图4,其示出了根据本申请的用于输出文本的方法的确定候选文本的分数的一个实施例的流程400,包括以下步骤:
步骤401,针对上述数目个候选文本中的每个候选文本,确定该候选文本的二元语法集合、三元语法集合和四元语法集合。
在本实施例中,上述N元语法可以包括二元语法、三元语法和四元语法。二元语法通常是指文本中连续出现的两个语词。三元语法通常是指文本中连续出现的三个语词。四元语法通常是指文本中连续出现的四个语词。
在本实施例中,用于输出文本的方法的执行主体(例如图1所示的服务器)可以针对上述数目个候选文本中的每个候选文本,确定该候选文本的二元语法集合、三元语法集合和四元语法集合。
作为示例,若该候选文本为“双开门冰箱,搭配玻璃面板,外观时尚”,上述执行主体可以确定出该候选文本的二元语法集合可以包括:双开门冰箱、冰箱搭配、搭配玻璃、玻璃面板、面板外观、外观时尚,可以确定出该候选文本的三元语法集合可以包括:双开门冰箱搭配、冰箱搭配玻璃、搭配玻璃面板、玻璃面板外观、面板外观时尚,还可以确定出该候选文本的四元语法集合可以包括:双开门冰箱搭配玻璃、冰箱搭配玻璃面板、搭配玻璃面板外观、玻璃面板外观时尚。
步骤402,确定上述二元语法集合中存在于预设的二元语法表中的二元语法的数量作为第一数量。
在本实施例中,上述执行主体可以确定上述二元语法集合中存在于预设的二元语法表中的二元语法的数量作为第一数量。上述二元语法表可以是预先构建的存储有预设的训练文本中出现过的二元语法。
作为示例,若二元语法集合中的“双开门冰箱”、“玻璃面板”、“面板外观”和“外观时尚”存在于上述二元语法表中,则可以将上述第一数量确定为4。
步骤403,确定上述三元语法集合中存在于预设的三元语法表中的三元语法的数量作为第二数量。
在本实施例中,上述执行主体可以确定上述三元语法集合中存在于预设的三元语法表中的三元语法的数量作为第二数量。上述三元语法表可以是预先构建的存储有预设的训练文本中出现过的三元语法。
作为示例,若三元语法集合中的“搭配玻璃面板”、“玻璃面板外观”和“面板外观时尚”存在于上述三元语法表中,则可以将上述第二数量确定为3。
步骤404,确定上述四元语法集合中存在于预设的四元语法表中的四元语法的数量作为第三数量。
在本实施例中,上述执行主体可以确定上述四元语法集合中存在于预设的四元语法表中的四元语法的数量作为第三数量。上述四元语法表可以是预先构建的存储有预设的训练文本中出现过的四元语法。
作为示例,若四元语法集合中的“冰箱搭配玻璃面板”和“玻璃面板外观时尚”存在于上述四元语法表中,则可以将上述第三数量确定为2。
步骤405,基于上述第一数量、上述第二数量和上述第三数量,确定该候选文本的分数。
在本实施例中,上述执行主体可以基于上述第一数量、上述第二数量和上述第三数量,确定该候选文本的分数。具体地,上述执行主体可以将上述第一数量与上述二元语法集合中的二元语法的数量的比值确定为第一比值,可以将上述第二数量与上述三元语法集合中的三元语法的数量的比值确定为第二比值,可以将上述第三数量与上述四元语法集合中的四元语法的数量的比值确定为第三比值,而后,可以将上述第一比值、上述第二比值和上述第三比值的平均值确定为该候选文本的分数。
作为示例,若上述第一数量为4,上述二元语法集合中的二元语法的数量为6,上述第二数量为3,上述三元语法集合中的三元语法的数量为5,上述第三数量为2,上述四元语法集合中的四元语法的数量为4,则上述执行主体可以将第一比值0.67、第二比值0.6和第三比值0.5的平均值0.59确定为该候选文本的分数。
在本实施例的一些可选的实现方式中,上述执行主体可以通过如下方式基于上述第一数量、上述第二数量和上述第三数量,确定该候选文本的分数:上述执行主体可以首先对该候选文本进行分词,确定分词所得到的词语的数量从而确定该候选文本包含的词语的数量;
之后,可以基于该候选文本包含的词语的数量和上述第一数量,确定第一分数。具体地,上述执行主体可以通过如下公式(1)确定第一分数:
其中,bi-gram-score表征第一分数,指的是二元语法对应的分数;a表征第一数量,指的是上述二元语法集合中存在于预设的二元语法表中的二元语法的数量;n表征该候选文本包含的词语的数量。
在这里,上述公式(1)表征若该候选文本包含的词语的数量小于N(2),则上述第一分数为0;若该候选文本包含的词语的数量大于等于N(2),则上述第一分数为上述第一数量与第一目标数值(该候选文本包含的词语的数量与1(N-1)的差值)的比值。
而后,可以基于该候选文本包含的词语的数量和上述第二数量,确定第二分数。具体地,上述执行主体可以通过如下公式(2)确定第二分数:
其中,tri-gram-score表征第二分数,指的是三元语法对应的分数;b表征第二数量,指的是上述三元语法集合中存在于预设的三元语法表中的三元语法的数量;n表征该候选文本包含的词语的数量。
在这里,上述公式(2)表征若该候选文本包含的词语的数量小于N(3),则上述第二分数为0;若该候选文本包含的词语的数量大于等于N(3),则上述第二分数为上述第二数量与第二目标数值(该候选文本包含的词语的数量与2(N-1)的差值)的比值。
然后,可以基于该候选文本包含的词语的数量和上述第三数量,确定第三分数。具体地,上述执行主体可以通过如下公式(3)确定第三分数:
其中,4-gram-score表征第三分数,指的是四元语法对应的分数;c表征第三数量,指的是上述四元语法集合中存在于预设的四元语法表中的四元语法的数量;n表征该候选文本包含的词语的数量。
在这里,上述公式(3)表征若该候选文本包含的词语的数量小于N(4),则上述第三分数为0;若该候选文本包含的词语的数量大于等于N(4),则上述第三分数为上述第三数量与第三目标数值(该候选文本包含的词语的数量与3(N-1)的差值)的比值。
最后,上述执行主体可以对上述第一分数、上述第二分数和上述第三分数进行加权求和,得到该候选文本的分数。具体地,可以通过如下公式(4)确定该候选文本的分数:
n-gram-score=α×bi-gram-score+β×tri-gram-score+γ×4-gram-score(4)
其中,n-gram-score表征该候选文本的分数;bi-gram-score表征第一分数;tri-gram-score表征第二分数;4-gram-score表征第三分数;α表征第一分数对应的权重;β表征第二分数对应的权重;γ表征第三分数对应的权重。
本申请的上述实施例提供的方法利用文本的二元语法、三元语法和四元语法,通过确定二元语法、三元语法和四元语法分别存在于预设的二元语法表、三元语法表和四元语法表的数量,从而确定文本的分数,通过这种方式可以提高所确定出的分数的准确性。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于输出文本的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于输出文本的装置500包括:获取单元501、解码单元502和输出单元503。其中,获取单元501被配置成获取初始文本,将初始文本输入预设的编码解码模型的编码网络中,得到编码信息;解码单元502被配置成基于初始信息,执行如下解码步骤:利用编码解码模型的解码网络对初始信息进行解码,生成预设数目个候选文本,基于数目个候选文本中的N元语法,确定数目个候选文本中每个候选文本的分数,按照候选文本的分数由大到小的顺序从数目个候选文本中选取预设的集束宽度个候选文本,将集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中,确定集束宽度个候选文本中是否存在未对应有文本结束符的候选文本,其中,初始信息包括编码信息,解码网络采用集束搜索算法进行解码,数目大于集束宽度;输出单元503被配置成若集束宽度个候选文本中不存在未对应有文本结束符的候选文本,则利用文本的分数,从完整文本集合中选取目标文本进行输出。
在本实施例中,用于输出文本的装置500的获取单元501、解码单元502和输出单元503的具体处理可以参考图2对应实施例中的步骤201、步骤202和步骤203。
在本实施例的一些可选的实现方式中,用于输出文本的装置500还可以包括反馈单元(图中未示出)。若确定出上述集束宽度个候选文本中存在未对应有文本结束符的候选文本,则上述反馈单元可以将上述集束宽度个候选文本中未对应有文本结束符的候选文本和上述编码信息组成初始信息,继续执行上述解码步骤。
在本实施例的一些可选的实现方式中,上述解码单元502可以通过如下方式基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数:针对上述数目个候选文本中的每个候选文本,上述解码单元502可以确定该候选文本的N元语法集合,例如,二元语法集合。之后,可以确定上述N元语法集合中存在于预设的N元语法表中的N元语法的数量。上述N元语法表为预先获取的N元语法的常用语法搭配表。最后,可以基于上述数量,确定该候选文本的分数。具体地,上述解码单元502可以将上述数量与该候选文本的N元语法集合中的N元语法的数量的比值确定为该候选文本的分数。
在本实施例的一些可选的实现方式中,上述解码单元502可以通过如下方式基于上述数量,确定该候选文本的分数:上述解码单元502可以确定该候选文本包含的词语的数量,上述解码单元502可以对该候选文本进行分词,确定分词得到的词语的数量。之后,可以将该候选文本包含的词语的数量与N进行比较。具体地,若N元语法为二元语法,则可以将该候选文本包含的词语的数量与2进行比较;若N元语法为三元语法,则可以将该候选文本包含的词语的数量与3进行比较。若该候选文本包含的词语的数量大于等于N,则上述解码单元502可以确定该候选文本包含的词语的数量与预设第一数值的差值。在这里,上述第一数值通常为N-1。若N=2,则上述第一数值通常为1;若N=3,则上述第一数值通常为2。而后,上述解码单元502可以将上述存在于上述N元语法表中的N元语法的数量与上述差值的比值确定为该候选文本的分数。
在本实施例的一些可选的实现方式中,上述解码单元502可以通过如下方式基于上述数量,确定该候选文本的分数:上述解码单元502可以确定该候选文本包含的词语的数量,上述解码单元502可以对该候选文本进行分词,确定分词得到的词语的数量。之后,可以将该候选文本包含的词语的数量与N进行比较。具体地,若N元语法为二元语法,则可以将该候选文本包含的词语的数量与2进行比较;若N元语法为三元语法,则可以将该候选文本包含的词语的数量与3进行比较。若该候选文本包含的词语的数量小于N,则上述解码单元502可以将该候选文本的分数确定为预设第二数值。在这里,上述第二数值通常为0。
在本实施例的一些可选的实现方式中,上述N元语法可以包括二元语法、三元语法和四元语法。二元语法通常是指文本中连续出现的两个语词。三元语法通常是指文本中连续出现的三个语词。四元语法通常是指文本中连续出现的四个语词。上述解码单元502可以通过如下方式基于上述数目个候选文本中的N元语法,确定上述数目个候选文本中每个候选文本的分数:上述解码单元502可以针对上述数目个候选文本中的每个候选文本,确定该候选文本的二元语法集合、三元语法集合和四元语法集合。之后,可以确定上述二元语法集合中存在于预设的二元语法表中的二元语法的数量作为第一数量。上述二元语法表可以是预先构建的存储有预设的训练文本中出现过的二元语法。而后,可以确定上述三元语法集合中存在于预设的三元语法表中的三元语法的数量作为第二数量。上述三元语法表可以是预先构建的存储有预设的训练文本中出现过的三元语法。然后,可以确定上述四元语法集合中存在于预设的四元语法表中的四元语法的数量作为第三数量。上述四元语法表可以是预先构建的存储有预设的训练文本中出现过的四元语法。最后,上述解码单元502可以基于上述第一数量、上述第二数量和上述第三数量,确定该候选文本的分数。具体地,上述解码单元502可以将上述第一数量与上述二元语法集合中的二元语法的数量的比值确定为第一比值,可以将上述第二数量与上述三元语法集合中的三元语法的数量的比值确定为第二比值,可以将上述第三数量与上述四元语法集合中的四元语法的数量的比值确定为第三比值,而后,可以将上述第一比值、上述第二比值和上述第三比值的平均值确定为该候选文本的分数。
在本实施例的一些可选的实现方式中,上述解码单元502可以通过如下方式基于上述第一数量、上述第二数量和上述第三数量,确定该候选文本的分数:上述解码单元502可以首先对该候选文本进行分词,确定分词所得到的词语的数量从而确定该候选文本包含的词语的数量;
之后,可以基于该候选文本包含的词语的数量和上述第一数量,确定第一分数。具体地,上述解码单元502可以通过如下公式(1)确定第一分数:
其中,bi-gram-score表征第一分数,指的是二元语法对应的分数;a表征第一数量,指的是上述二元语法集合中存在于预设的二元语法表中的二元语法的数量;n表征该候选文本包含的词语的数量。
在这里,上述公式(1)表征若该候选文本包含的词语的数量小于N(2),则上述第一分数为0;若该候选文本包含的词语的数量大于等于N(2),则上述第一分数为上述第一数量与第一目标数值(该候选文本包含的词语的数量与1(N-1)的差值)的比值。
而后,可以基于该候选文本包含的词语的数量和上述第二数量,确定第二分数。具体地,上述解码单元502可以通过如下公式(2)确定第二分数:
其中,tri-gram-score表征第二分数,指的是三元语法对应的分数;b表征第二数量,指的是上述三元语法集合中存在于预设的三元语法表中的三元语法的数量;n表征该候选文本包含的词语的数量。
在这里,上述公式(2)表征若该候选文本包含的词语的数量小于N(3),则上述第二分数为0;若该候选文本包含的词语的数量大于等于N(3),则上述第二分数为上述第二数量与第二目标数值(该候选文本包含的词语的数量与2(N-1)的差值)的比值。
然后,可以基于该候选文本包含的词语的数量和上述第三数量,确定第三分数。具体地,上述解码单元502可以通过如下公式(3)确定第三分数:
其中,4-gram-score表征第三分数,指的是四元语法对应的分数;c表征第三数量,指的是上述四元语法集合中存在于预设的四元语法表中的四元语法的数量;n表征该候选文本包含的词语的数量。
在这里,上述公式(3)表征若该候选文本包含的词语的数量小于N(4),则上述第三分数为0;若该候选文本包含的词语的数量大于等于N(4),则上述第三分数为上述第三数量与第三目标数值(该候选文本包含的词语的数量与3(N-1)的差值)的比值。
最后,上述解码单元502可以对上述第一分数、上述第二分数和上述第三分数进行加权求和,得到该候选文本的分数。具体地,可以通过如下公式(4)确定该候选文本的分数:
n-gram-score=α×bi-gram-score+β×tri-gram-score+γ×4-gram-score(4)
其中,n-gram-score表征该候选文本的分数;bi-gram-score表征第一分数;tri-gram-score表征第二分数;4-gram-score表征第三分数;α表征第一分数对应的权重;β表征第二分数对应的权重;γ表征第三分数对应的权重。
下面参考图6,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)600的结构示意图。图6示出的服务器仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM602被安装。在该计算机程序被处理装置601执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取初始文本,将初始文本输入预设的编码解码模型的编码网络中,得到编码信息;基于初始信息,执行如下解码步骤:利用编码解码模型的解码网络对初始信息进行解码,生成预设数目个候选文本,基于数目个候选文本中的N元语法,确定数目个候选文本中每个候选文本的分数,按照候选文本的分数由大到小的顺序从数目个候选文本中选取预设的集束宽度个候选文本,将集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中,确定集束宽度个候选文本中是否存在未对应有文本结束符的候选文本,其中,初始信息包括编码信息,解码网络采用集束搜索算法进行解码,数目大于集束宽度;若否,则利用文本的分数,从完整文本集合中选取目标文本进行输出。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、解码单元和输出单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取初始文本,将上述初始文本输入预设的编码解码模型的编码网络中,得到编码信息的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种用于输出文本的方法,包括:
获取初始文本,将所述初始文本输入预设的编码解码模型的编码网络中,得到编码信息;
基于初始信息,执行如下解码步骤:利用所述编码解码模型的解码网络对初始信息进行解码,生成预设数目个候选文本,基于所述数目个候选文本中的N元语法,确定所述数目个候选文本中每个候选文本的分数,按照候选文本的分数由大到小的顺序从所述数目个候选文本中选取预设的集束宽度个候选文本,将所述集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中,确定所述集束宽度个候选文本中是否存在未对应有文本结束符的候选文本,其中,所述初始信息包括所述编码信息,所述解码网络采用集束搜索算法进行解码,所述数目大于所述集束宽度;
若否,则利用文本的分数,从所述完整文本集合中选取目标文本进行输出。
2.根据权利要求1所述的方法,其中,在所述确定所述集束宽度个候选文本中是否存在未对应有文本结束符的候选文本之后,所述方法还包括:
若是,则将所述集束宽度个候选文本中未对应有文本结束符的候选文本和所述编码信息组成初始信息,继续执行所述解码步骤。
3.根据权利要求1所述的方法,其中,所述基于所述数目个候选文本中的N元语法,确定所述数目个候选文本中每个候选文本的分数,包括:
针对所述数目个候选文本中的每个候选文本,确定该候选文本的N元语法集合,以及确定所述N元语法集合中存在于预设的N元语法表中的N元语法的数量,基于所述数量,确定该候选文本的分数。
4.根据权利要求3所述的方法,其中,所述基于所述数量,确定该候选文本的分数,包括:
确定该候选文本包含的词语的数量,以及将该候选文本包含的词语的数量与N进行比较;
若大于等于N,则确定该候选文本包含的词语的数量与预设第一数值的差值,将所述存在于所述N元语法表中的N元语法的数量与所述差值的比值确定为该候选文本的分数。
5.根据权利要求3所述的方法,其中,所述基于所述数量,确定该候选文本的分数,包括:
确定该候选文本包含的词语的数量,以及将该候选文本包含的词语的数量与N进行比较;
若小于N,则将该候选文本的分数确定为预设第二数值。
6.根据权利要求1所述的方法,其中,所述N元语法包括二元语法、三元语法和四元语法;以及
所述基于所述数目个候选文本中的N元语法,确定所述数目个候选文本中每个候选文本的分数,包括:
针对所述数目个候选文本中的每个候选文本,确定该候选文本的二元语法集合、三元语法集合和四元语法集合,以及确定所述二元语法集合中存在于预设的二元语法表中的二元语法的数量作为第一数量,确定所述三元语法集合中存在于预设的三元语法表中的三元语法的数量作为第二数量,确定所述四元语法集合中存在于预设的四元语法表中的四元语法的数量作为第三数量,基于所述第一数量、所述第二数量和所述第三数量,确定该候选文本的分数。
7.根据权利要求6所述的方法,其中,所述基于所述第一数量、所述第二数量和所述第三数量,确定该候选文本的分数,包括:
确定该候选文本包含的词语的数量;
基于该候选文本包含的词语的数量和所述第一数量,确定第一分数;
基于该候选文本包含的词语的数量和所述第二数量,确定第二分数;
基于该候选文本包含的词语的数量和所述第三数量,确定第三分数;
对所述第一分数、所述第二分数和所述第三分数进行加权求和,得到该候选文本的分数。
8.一种用于输出文本的装置,包括:
获取单元,被配置成获取初始文本,将所述初始文本输入预设的编码解码模型的编码网络中,得到编码信息;
解码单元,被配置成基于初始信息,执行如下解码步骤:利用所述编码解码模型的解码网络对初始信息进行解码,生成预设数目个候选文本,基于所述数目个候选文本中的N元语法,确定所述数目个候选文本中每个候选文本的分数,按照候选文本的分数由大到小的顺序从所述数目个候选文本中选取预设的集束宽度个候选文本,将所述集束宽度个候选文本中对应有文本结束符的候选文本添加到预设的完整文本集合中,确定所述集束宽度个候选文本中是否存在未对应有文本结束符的候选文本,其中,所述初始信息包括所述编码信息,所述解码网络采用集束搜索算法进行解码,所述数目大于所述集束宽度;
输出单元,被配置成若所述集束宽度个候选文本中不存在未对应有文本结束符的候选文本,则利用文本的分数,从所述完整文本集合中选取目标文本进行输出。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010305957.2A CN111783395B (zh) | 2020-04-17 | 2020-04-17 | 用于输出文本的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010305957.2A CN111783395B (zh) | 2020-04-17 | 2020-04-17 | 用于输出文本的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111783395A CN111783395A (zh) | 2020-10-16 |
CN111783395B true CN111783395B (zh) | 2023-12-08 |
Family
ID=72753575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010305957.2A Active CN111783395B (zh) | 2020-04-17 | 2020-04-17 | 用于输出文本的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111783395B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113420217A (zh) * | 2021-06-25 | 2021-09-21 | 北京三快在线科技有限公司 | 生成文案的方法、装置、电子设备和计算机可读存储介质 |
CN114925659B (zh) * | 2022-05-18 | 2023-04-28 | 电子科技大学 | 动态宽度最大化解码方法、文本生成方法及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325178A (zh) * | 2018-09-14 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于处理信息的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878962B2 (en) * | 2016-11-02 | 2020-12-29 | COTA, Inc. | System and method for extracting oncological information of prognostic significance from natural language |
-
2020
- 2020-04-17 CN CN202010305957.2A patent/CN111783395B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325178A (zh) * | 2018-09-14 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于处理信息的方法和装置 |
Non-Patent Citations (1)
Title |
---|
陈雪雯 ; .基于子词单元的深度学习摘要生成方法.计算机应用与软件.2020,(03),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111783395A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3916611A1 (en) | Method, apparatus, computer program, and storage medium for training text generation model | |
CN107077841B (zh) | 用于文本到语音的超结构循环神经网络 | |
CN110741364B (zh) | 确定自动化助理对话的状态 | |
US10592607B2 (en) | Iterative alternating neural attention for machine reading | |
JP7159248B2 (ja) | レビュー情報の処理方法、装置、コンピュータ機器及び媒体 | |
CN109074517B (zh) | 全局归一化神经网络 | |
EP3520035A1 (en) | Implicit bridging of machine learning tasks | |
KR102472708B1 (ko) | 감정 분석 모델을 사전 트레이닝하는 방법, 장치 및 전자 기기 | |
KR102290767B1 (ko) | 정보를 생성하기 위한 방법 및 장치 | |
US10902211B2 (en) | Multi-models that understand natural language phrases | |
CN111506725B (zh) | 生成摘要的方法和装置 | |
CN111783395B (zh) | 用于输出文本的方法和装置 | |
CN111414561B (zh) | 用于呈现信息的方法和装置 | |
CN111681661B (zh) | 语音识别的方法、装置、电子设备和计算机可读介质 | |
US20240078385A1 (en) | Method and apparatus for generating text | |
KR20200063281A (ko) | 신경망 자동 번역 장치 및 그 방법 | |
CN113139391A (zh) | 翻译模型的训练方法、装置、设备和存储介质 | |
CN111738791B (zh) | 一种文本处理方法、装置、设备和存储介质 | |
CN110245334B (zh) | 用于输出信息的方法和装置 | |
EP3855341A1 (en) | Language generation method and apparatus, electronic device and storage medium | |
US20230409615A1 (en) | Systems and Methods for Providing User Experiences on Smart Assistant Systems | |
CN111428508A (zh) | 风格可定制的文本生成 | |
US20180101517A1 (en) | Device for providing messenger-based service and method using same | |
CN113901841A (zh) | 翻译方法、装置以及存储介质 | |
CN111126078A (zh) | 翻译的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |