CN113887235A - 一种信息推荐的方法及装置 - Google Patents
一种信息推荐的方法及装置 Download PDFInfo
- Publication number
- CN113887235A CN113887235A CN202111122835.0A CN202111122835A CN113887235A CN 113887235 A CN113887235 A CN 113887235A CN 202111122835 A CN202111122835 A CN 202111122835A CN 113887235 A CN113887235 A CN 113887235A
- Authority
- CN
- China
- Prior art keywords
- text
- short
- texts
- generation model
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书公开了一种信息推荐的方法及装置,可以获取预先通过文本生成模型得到的各短文本,并从各短文本中选取出任意一个短文本,作为目标文本,以及从各短文本中,确定与目标文本语义关联的各候选文本,根据预先训练的上下文判别模型,从各候选文本中选取出至少一个候选文本,以及根据目标文本以及选取出的至少一个候选文本,生成文本段落,最后,根据生成的文本段落进行信息推荐,相比于现有技术能够生成较为真实的文本内容。
Description
技术领域
本说明书涉及计算机技术领域,尤其涉及一种信息推荐的方法及装置。
背景技术
随着互联网应用的普及,各行各业可以与互联网结合,使得某些原本需要在线下才能够了解到的业务,人们可以在线上了解并执行,例如,人们可以线上查看涉及家装、婚礼等商家的信息,并执行相关的业务。在类似的业务场景中,通常需要提供给人们大量与这些业务相关的文本内容,以供人们进行参考。
在现有技术中,可以通过大量的文本样本,训练文本生成模型,来生成所需的文本内容,但是在上述业务中,通常需要较长的文本内容来供人们进行参考,而现有技术通常可以生成较短的文本,而若通过这种方式生成较长的文本内容,则这样的文本可能会与人们真实写出的文本内容不相符,即,这样的文本内容不属于符合自然语言的文本内容。
所以,生成较为真实的文本内容,则是一个亟待解决的问题。
发明内容
本说明书提供一种信息推荐的方法及装置,以部分地解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种信息推荐的方法,包括:
获取预先通过文本生成模型得到的各短文本;
从所述各短文本中选取出任意一个短文本,作为目标文本;
从所述各短文本中,确定与所述目标文本语义关联的若干文本,作为各候选文本;
根据预先训练的上下文判别模型,从所述各候选文本中选取出至少一个候选文本,以及根据所述目标文本以及选取出的至少一个候选文本,生成文本段落;
根据所述文本段落进行信息推荐。
可选地,根据预先训练的上下文判别模型,从所述各候选文本中选取出至少一个候选文本,具体包括:
通过预先训练的上下文判断模型,从所述各候选文本中选取出能够作为所述目标文本的下一句话的候选文本,并将选取出的所述候选文本作为重新确定出的目标文本,继续通过所述上下文判断模型,从剩余的候选文本中选取出能够作为重新确定出的目标文本的下一句话的候选文本,直到将各目标文本依次进行组合得到的文本段落达到预设文本长度为止。
可选地,获取预先通过文本生成模型得到的各短文本,具体包括:
通过所述文本生成模型生成各待定短文本;
针对每个待定短文本,若根据预先训练的第一文本判别模型,确定该待定短文本符合自然语言的语法规则,筛选出该待定短文本,所述第一文本判别模型通过针对所述各待定短文本中的部分短文本进行标注得到的训练样本训练得到;
将筛选出的各待定短文本,作为通过文本生成模型得到的各短文本。
可选地,通过文本生成模型生成短文本,具体包括:
将预先设定的起始符号输入所述文本生成模型中,以使所述文本生成模型基于所述起始符号生成下一文本字符,并将所述文本生成模型生成的下一文本字符重新输入到所述文本生成模型中,直到所述文本生成模型基于输入的下一文本字符输出预先设定的终止符号为止,将所述文本生成模型输出的各文本字符进行组合,得到生成的短文本。
可选地,所述文本生成模型基于输入的起始符号或文本字符,输出满足预设条件的文本字符,作为生成的下一文本字符,所述预设条件至少包括文本字符的置信度不小于设定置信度。
可选地,获取预先通过文本生成模型得到的各短文本之前,训练所述文本生成模型,具体包括:
获取训练样本,所述训练样本包含将业务相关文本进行拆分得到的短文本样本;
将所述起始符号,以及所述短文本样本中的每个文本字符依次输入到所述文本生成模型,得到各预测文本字符组成的预测短文本;
以最小化所述预测短文本与结尾拼接有所述终止符号的短文本样本之间的偏差为优化目标,对所述文本生成模型进行训练。
可选地,获取预先通过文本生成模型得到的各短文本之前,训练所述文本生成模型,具体包括:
预先对第二文本判别模型进行训练,所述第二文本判别模型用于判断所述文本生成模型生成的短文本是否符合自然语言;
通过所述文本生成模型生成短文本,将所述生成的短文本输入到所述第二文本判别模型中,得到预测出的所述生成的短文本符合真实文本的概率,作为预测概率;
以最大化所述预测概率为训练目标,对所述文本生成模型进行训练。
可选地,从所述各短文本中,确定与所述目标文本语义关联的若干文本,作为各候选文本,具体包括:
确定所述目标文本中的关键词;
针对所述各短文本中除所述目标文本外的每个剩余短文本,若该剩余短文本中包含有不小于设定数量的所述关键词对应的关联词语,将该剩余短文本作为候选文本。
可选地,若该剩余短文本中包含有不小于设定数量的所述关键词的关联词语,将该剩余短文本作为候选文本之前,所述方法还包括:
确定所述各短文本中包含的各词语,并确定所述各词语对应的词向量;
根据所述关键词对应的词向量以及所述各词语中除所述关键词外的其他词语对应的词向量,确定所述其他词语与所述关键词之间的相关度;
根据所述其他词语与所述关键词之间的相关度,确定所述关键词对应的关联词语。
本说明书提供了一种信息推荐的装置,包括:
获取模块,用于获取预先通过文本生成模型得到的各短文本;
选取模块,用于从所述各短文本中选取出任意一个短文本,作为目标文本;
生成模块,用于根据预先训练的上下文判别模型,从所述各候选文本中选取出至少一个候选文本,以及根据所述目标文本以及选取出的至少一个候选文本,生成文本段落;
推荐模块,用于根据所述文本段落进行信息推荐。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述信息推荐的方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述信息推荐的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
在本说明书提供的信息推荐的方法及装置中,业务平台可以获取预先通过文本生成模型得到的各短文本,并从各短文本中选取出任意一个短文本,作为目标文本,以及从各短文本中,确定与目标文本语义关联的若干文本,作为各候选文本,并根据预先训练的上下文判别模型,从各候选文本中选取出至少一个候选文本,以及根据目标文本以及选取出的至少一个候选文本,生成文本段落,根据所述文本段落进行信息推荐。
从上述方法中可以看出,相比于现有技术,本方法可以通过上下文判别模型,考虑到短文本之间的上下文关系,从而通过生成的各短文本,构建出较长的文本段落,从而相比于现有技术,能够生成较为真实的文本内容。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书中一种信息推荐的方法的流程示意图;
图2为本说明书提供的一种构建文本段落的方式的流程示意图;
图3为本说明书中一种信息推荐的装置的示意图;
图4为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
在现有技术中,若需要生成较长的文本,业务平台可以通过循环神经网络、transfromer等模型进行文本的生成,但是在现有技术中,通过这样的模型生成文本的方式通常是在模型中输入文字,模型按照输入的文字输出下一文字,再将下一文字重新输入模型,以此循环来得到最终生成的较长的文本,但是若是通过这种方式来生成长文本,模型通常在一开始能够考虑到上下文关系,而随着输出的文字越来越多,很难再考虑到上下文的关系。
因此,本说明书所提出的信息推荐的方法是需要解决在生成长文本时未考虑到上下文关系的问题,因此,在本方法中,可以根据上下文判别模型,在确定出每一个短文本的下一句话,从而不断地持续这一过程,生成符合预设文本长度的长文本,使得生成的长文本符合一定的上下文关系。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中一种信息推荐的方法的流程示意图,具体包括以下步骤:
S101:获取预先通过文本生成模型得到的各短文本。
S102:从所述各短文本中选取出任意一个短文本,作为目标文本。
S103:从所述各短文本中,确定与所述目标文本语义关联的若干文本,作为各候选文本。
在实际应用中,业务平台需要为用户推荐一些用户在业务执行前可以参考的文本内容,以使用户可以在执行业务之前了解到更多的相关内容,以支持用户在后续的业务执行,而若业务平台中各用户自行创建的文本内容较少,则需要业务平台来生成相应的文本内容,这里提到的业务可以是指低频业务,即,用户进行一次业务执行频率较低的业务,如医美、旅游、酒店、与结婚相关的业务等。
基于此,业务平台可以获取预先通过文本生成模型得到的各短文本,并从各短文本中选取出任意一个短文本,作为目标文本,以及从各短文本中,确定与该目标文本语义关联的若干文本,作为各候选文本。
需要说明的是,直接通过文本生成模型生成的短文本不一定能够完全符合真实的文本,即,不一定能够符合常规的语义逻辑,因此,业务平台可以通过文本生成模型生成各待定短文本,并针对每个待定短文本,若根据预先训练的第一文本判别模型,确定该待定短文本符合自然语言的语法规则,筛选出该待定短文本,将筛选出的各待定短文本,作为通过文本生成模型得到的各短文本,其中,第一文本判别模型通过针对各待定短文本中的部分短文本进行标注得到的训练样本训练得到。
也就是说,在该文本生成模型生成了较多的短文本后,业务平台可以先筛选出一部分符合自然语言的短文本,作为用于后续生成文本段落的短文本,使得后续生成的文本段落能够符合自然语言的逻辑。
在通过该文本生成模型生成短文本时,业务平台可以将预先设定的起始符号(BOS)输入该文本生成模型中,以使该文本生成模型基于该起始符号生成下一文本字符,并将该文本生成模型生成的下一文本字符重新输入到该文本生成模型中,直到该文本生成模型基于输入的下一文本字符输出预先设定的终止符号(DOS)为止,将该文本生成模型输出的各文本字符进行组合,得到生成的短文本。
也就是说,在生成一个短文本时,该文本生成模型可以不断地通过输入的字符来输出下一字符,从而得到一个连续的较短的文本,那么多次重复这一过程,则可以获取到大量的短文本。而由于对应一个文本生成模型来说,该文本生成在通过输入的字符来输出字符时,若是每次均输出置信度最高的字符,则容易生成较为重复的短文本,因此,文本生成模型可以基于输入的起始符号或文本字符,输出满足预设条件的文本字符,作为生成的下一文本字符。
这里指出的满足预设条件可以是指输出的文本字符的置信度不小于设定置信度,也就是说,当起始符号或一个文本字符输入到该文本生成模型后,可以从该文本生成模型确定出的不小于设定置信度的文本字符中随机挑选出某个文本字符,作为该文本生成模型生成的下一文本字符。
其中,上述文本生成模型需要预先通过与业务相关的文本进行训练,以使该文本生成模型能够生成与该业务相关的文本(这里提到的业务可以是指上述低频业务),具体的,业务平台可以获取训练样本,该训练样本包含将业务相关文本进行拆分得到的短文本样本,而后,可以将起始符号,以及短文本样本中的每个文本字符依次输入到文本生成模型,得到各预测文本字符组成的预测短文本,并以最小化该预测短文本与结尾拼接有该终止符号的短文本样本之间的偏差为优化目标,对该文本生成模型进行训练。
上述提到的业务相关文本可以通过所需信息推荐的业务下的用户评论、用户笔记、百科知识来获取到,为了使得该文本生成模型进行文本生成的效果更好,可以从该业务相关文本拆分后得到的句子中,进行进一步的筛选,得到用于训练该文本生成模型的训练样本。
其中,可以筛选出包含文字的数量少于设定数量的句子。还可以通过第三文本判别模型,筛选出与该业务相关联的句子,作为用于训练该文本生成模型的训练样本,其中,可以预先将业务相关文本进行拆分后的各短文本样本进行标注,得到训练该第三文本判别模型的训练样本,训练样本中针对短文本样本的标注可以表示该短文本样本是否与该业务相关联,该第三文本判别模型可以预先通过这些训练样本进行有监督训练。
需要说明的是,为了进一步保证该文本生成模型生成短文本的效果,可以利用生成对抗网络的思想,引入第二文本判别模型来对该文本生成模型进行对抗训练,其中,该第二文本判别模型用于判断该文本生成模型生成的预测短文本是否符合自然语言,业务平台可以通过文本生成模型生成短文本,并将生成的短文本输入到该第二文本判别模型中,得到预测出的生成的短文本符合真实文本的概率,作为预测概率,并以最大化该预测概率为训练目标,对该文本生成模型进行训练。
在本说明书中,确定与该目标文本之间语义关联的若干文本的方式可以有多种,例如,可以确定出该目标文本中的关键词,并针对各短文本中除目标文本外的每个剩余短文本,若该剩余短文本中包含有不小于设定数量的关键词对应的关联词语,将该剩余短文本作为候选文本。其中该关键词对应的关联词语可以理解为与该关键词之间词义相近的词语,也就是说,若剩余短文本中包含有与目标文本中的关键词之间较多的关联词语,则可以将该剩余短文本,视为与该目标文本之间联系较深的短文本,则可以通过这样的短文本与该目标文本共同构建文本段落。
当然,也可以通过其他方式确定出与该目标文本之间语义关联的若干文本,例如,可以确定出各短文本对应的句向量,并将剩余短文本的句向量与该目标文本的句向量之间的相似度较高的短文本,作为与该目标文本语义关联的若干文本。
上述提到的确定目标文本中的关键词的方式也可以存在多种,例如,可以通过TF-IDF的方式确定出该关键词,也可以通过预先构建关键词词典的方式来确定出该关键词,即,可以将该关键词词典中所包含的词语与该目标文本中包含的词语进行匹配,得到确定出的该目标文本中的关键词。
当然,确定与关键词之间相关联的关联词语的方式也可以有多种:
例如,可以确定各短文本中包含的各词语,并确定各词语对应的词向量,以及根据该关键词对应的词向量以及各词语中除该关键词外的其他词语对应的词向量,确定各其他词语与该关键词之间的相关度。进而,根据其他词语与该关键词之间的相关度,确定该关键词对应的关联词语,其中,可以将相关度较高的其他词语,作为该关键词对应的关键词,例如,可以将其他词语按照相关度进行排序,得到排序结果,并将排序结果中的前n个其他词语,作为该关键词的关联词语。
可以通过word2vecter等方式确定出各词语的词向量,在确定相关度时,可以通过确定词向量之间的欧氏距离、皮尔孙相关系数等常规方式来进行确定。上述提到的第一文本判别模型以及第三文本判别模型均可以通过BERT模型来实现,第二文本判别模型可以通过卷积神经网络(Convolutional Neural Networks,CNN)来实现,文本生成模型可以通过循环神经网络(Recurrent Neural Network,RNN)的方式来实现,当然,本说明书不限制上述各模型的算法,使用常规的机器学习算法均可。
S104:根据预先训练的上下文判别模型,从所述各候选文本中选取出至少一个候选文本,以及根据所述目标文本以及选取出的至少一个候选文本,生成文本段落。
确定出目标文本以及各候选文本后,可以基于该目标文本以及各候选文本生成文本段落。其中,业务平台可以根据预先训练的上下文判别模型,从各候选文本中选取出至少一个候选文本,并根据该目标文本以及选取出的至少一个候选文本,生成文本段落。该上下文判别模型可以确定出短文本之间是否符合上下文关系,也就是说,业务平台可以根据该上下文判别模型,从各候选文本中选取出与该目标文本之间符合上下文关系的至少一个候选文本,并且选取出的至少一个候选文本之间符合上下文关系。
具体的,业务平台可以通过预先训练的上下文判断模型,从各候选文本中选取出能够作为目标文本的下一句话的候选文本,并将选取出的候选文本作为重新确定出的目标文本,并继续通过上下文判断模型,从剩余的候选文本中选取出能够作为重新确定出的目标文本的下一句话的候选文本,直到将各目标文本依次进行组合得到的文本段落达到预设文本长度为止。
其中,该上下文判断模型可以通过输入的两个短文本,判断这两个短文本之间是否符合上下句的关系,因此,该上下文判断模型可以从候选文本中,确定出能够作为目标文本下句话的候选文本,选取的该候选文本可以作为第二句话,根据作为第二句话的候选文本,可以继续确定出能够作为第三句话的其他候选文本,以此类推能够构建出文本段落,如图2所示。
图2为本说明书提供的一种构建文本段落的方式的流程示意图。
从图2中可以看出,通过上下文判断模型可以不断确定出文本段落中的每句话,直到构建出的文本段落能够达到一定长度后,则可以结束此次文本段落的构建,由于预先可以生成大量的短文本,那么每次选取出不同的目标文本,也可以构建出大量的文本段落,这些文本段落则可以作为使用户在业务执行前所参考的业务相关内容。
具体在通过上下文判断模型从各候选文本中选取出能够作为目标文本的下一句话的候选文本时,也可以从置信度不小于设定置信度的候选文本中,随机选取出一个候选文本,将该候选文本作为下一句话,使得若通过该上下文判断模型确定同一个短文本的下一句话时,不会每次均选取出重复的话。
在训练上述上下文判断模型时,也可以需要通过预先标注的训练样本进行训练,例如,可以将训练样本中包含的为上下句的两个短文本,作为正样本,将训练样本中不为上下句的两个短文本,作为负样本,并根据正样本以及负样本对该上下文判断模型进行训练,使得该上下文判断模型可以判断出一个短文本是否可以作为另一短文本的下一句话。
也就是说,可以从上述业务相关文本中确定出为上下句的两个短文本,并将这两个短文本共同作为正样本,并该业务相关文本中确定出不是上下句的两个短文本,将这两个短文本共同作为负样本。其中,输入该上下文判断模型的可以是两个短文本相拼接的文本,输出的则可以是在后的短文本是否可以为在前的短文本的下一句话的概率。
S105:根据所述文本段落进行信息推荐。
通过上述方式构建出该文本段落后,则可以进行信息推荐,其中,此时构建出的文本段落为单纯的短文本的拼接,为了使得方便用户的查看,可以在短文本之间添加标点符号(如逗号以及句号)以及表情符号,在推荐给用户。
从上述方法中可以看出,相比于现有技术,本方法可以考虑到短文本之间的上下文关系,通过多次确定每一句话的下一句话的方式,构建出较长的文本段落,从而相比于现有技术,能够生成大量的较为真实的文本内容。
以上为本说明书的一个或多个实施例提供的信息推荐的方法,基于同样的思路,本说明书还提供了相应的信息推荐的装置,如图3所示。
图3为本说明书提供的一种信息推荐的装置的示意图,具体包括:
获取模块301,用于获取预先通过文本生成模型得到的各短文本;
选取模块302,用于从所述各短文本中选取出任意一个短文本,作为目标文本;
确定模块303,用于从所述各短文本中,确定与所述目标文本语义关联的若干文本,作为各候选文本;
生成模块304,用于根据预先训练的上下文判别模型,从所述各候选文本中选取出至少一个候选文本,以及根据所述目标文本以及选取出的至少一个候选文本,生成文本段落;
推荐模块305,用于根据所述文本段落进行信息推荐。
可选地,所述生成模块304具体用于,通过预先训练的上下文判断模型,从所述各候选文本中选取出能够作为所述目标文本的下一句话的候选文本,并将选取出的所述候选文本作为重新确定出的目标文本,继续通过所述上下文判断模型,从剩余的候选文本中选取出能够作为重新确定出的目标文本的下一句话的候选文本,直到将各目标文本依次进行组合得到的文本段落达到预设文本长度为止。
可选地,所述获取模块301具体用于,通过所述文本生成模型生成各待定短文本;针对每个待定短文本,若根据预先训练的第一文本判别模型,确定该待定短文本符合自然语言的语法规则,筛选出该待定短文本,所述第一文本判别模型通过针对所述各待定短文本中的部分短文本进行标注得到的训练样本训练得到;将筛选出的各待定短文本,作为通过文本生成模型得到的各短文本。
可选地,所述获取模块301具体用于,将预先设定的起始符号输入所述文本生成模型中,以使所述文本生成模型基于所述起始符号生成下一文本字符,并将所述文本生成模型生成的下一文本字符重新输入到所述文本生成模型中,直到所述文本生成模型基于输入的下一文本字符输出预先设定的终止符号为止,将所述文本生成模型输出的各文本字符进行组合,得到生成的短文本。
可选地,所述文本生成模型基于输入的起始符号或文本字符,输出满足预设条件的文本字符,作为生成的下一文本字符,所述预设条件至少包括文本字符的置信度不小于设定置信度。
可选地,所述装置还包括:
训练模块306,用于获取训练样本,所述训练样本包含将业务相关文本进行拆分得到的短文本样本;将所述起始符号,以及所述短文本样本中的每个文本字符依次输入到所述文本生成模型,得到各预测文本字符组成的预测短文本;以最小化所述预测短文本与结尾拼接有所述终止符号的短文本样本之间的偏差为优化目标,对所述文本生成模型进行训练。
可选地,所述训练模块306具体用于,预先对第二文本判别模型进行训练,所述第二文本判别模型用于判断所述文本生成模型生成的短文本是否符合自然语言;通过所述文本生成模型生成短文本,将所述生成的短文本输入到所述第二文本判别模型中,得到预测出的所述生成的短文本符合真实文本的概率,作为预测概率;以最大化所述预测概率为训练目标,对所述文本生成模型进行训练。
可选地,所述确定模块303具体用于,确定所述目标文本中的关键词;针对所述各短文本中除所述目标文本外的每个剩余短文本,若该剩余短文本中包含有不小于设定数量的所述关键词对应的关联词语,将该剩余短文本作为候选文本。
可选地,若该剩余短文本中包含有不小于设定数量的所述关键词的关联词语,将该剩余短文本作为候选文本之前,所述确定模块303还用于,确定所述各短文本中包含的各词语,并确定所述各词语对应的词向量;根据所述关键词对应的词向量以及所述各词语中除所述关键词外的其他词语对应的词向量,确定所述其他词语与所述关键词之间的相关度;根据所述其他词语与所述关键词之间的相关度,确定所述关键词对应的关联词语。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1所示的信息推荐的方法。
本说明书还提供了图4所示的电子设备的示意结构图。如图4所述,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的信息推荐的方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (12)
1.一种信息推荐的方法,其特征在于,包括:
获取预先通过文本生成模型得到的各短文本;
从所述各短文本中选取出任意一个短文本,作为目标文本;
从所述各短文本中,确定与所述目标文本语义关联的若干文本,作为各候选文本;
根据预先训练的上下文判别模型,从所述各候选文本中选取出至少一个候选文本,以及根据所述目标文本以及选取出的至少一个候选文本,生成文本段落;
根据所述文本段落进行信息推荐。
2.如权利要求1所述的方法,其特征在于,根据预先训练的上下文判别模型,从所述各候选文本中选取出至少一个候选文本,具体包括:
通过预先训练的上下文判断模型,从所述各候选文本中选取出能够作为所述目标文本的下一句话的候选文本,并将选取出的所述候选文本作为重新确定出的目标文本,继续通过所述上下文判断模型,从剩余的候选文本中选取出能够作为重新确定出的目标文本的下一句话的候选文本,直到将各目标文本依次进行组合得到的文本段落达到预设文本长度为止。
3.如权利要求1所述的方法,其特征在于,获取预先通过文本生成模型得到的各短文本,具体包括:
通过所述文本生成模型生成各待定短文本;
针对每个待定短文本,若根据预先训练的第一文本判别模型,确定该待定短文本符合自然语言的语法规则,筛选出该待定短文本,所述第一文本判别模型通过针对所述各待定短文本中的部分短文本进行标注得到的训练样本训练得到;
将筛选出的各待定短文本,作为通过文本生成模型得到的各短文本。
4.如权利要求1所述的方法,其特征在于,通过文本生成模型生成短文本,具体包括:
将预先设定的起始符号输入所述文本生成模型中,以使所述文本生成模型基于所述起始符号生成下一文本字符,并将所述文本生成模型生成的下一文本字符重新输入到所述文本生成模型中,直到所述文本生成模型基于输入的下一文本字符输出预先设定的终止符号为止,将所述文本生成模型输出的各文本字符进行组合,得到生成的短文本。
5.如权利要求4所述的方法,其特征在于,所述文本生成模型基于输入的起始符号或文本字符,输出满足预设条件的文本字符,作为生成的下一文本字符,所述预设条件至少包括文本字符的置信度不小于设定置信度。
6.如权利要求4所述的方法,其特征在于,获取预先通过文本生成模型得到的各短文本之前,训练所述文本生成模型,具体包括:
获取训练样本,所述训练样本包含将业务相关文本进行拆分得到的短文本样本;
将所述起始符号,以及所述短文本样本中的每个文本字符依次输入到所述文本生成模型,得到各预测文本字符组成的预测短文本;
以最小化所述预测短文本与结尾拼接有所述终止符号的短文本样本之间的偏差为优化目标,对所述文本生成模型进行训练。
7.如权利要求1所述的方法,其特征在于,获取预先通过文本生成模型得到的各短文本之前,训练所述文本生成模型,具体包括:
预先对第二文本判别模型进行训练,所述第二文本判别模型用于判断所述文本生成模型生成的短文本是否符合自然语言;
通过所述文本生成模型生成短文本,将所述生成的短文本输入到所述第二文本判别模型中,得到预测出的所述生成的短文本符合真实文本的概率,作为预测概率;
以最大化所述预测概率为训练目标,对所述文本生成模型进行训练。
8.如权利要求1所述的方法,其特征在于,从所述各短文本中,确定与所述目标文本语义关联的若干文本,作为各候选文本,具体包括:
确定所述目标文本中的关键词;
针对所述各短文本中除所述目标文本外的每个剩余短文本,若该剩余短文本中包含有不小于设定数量的所述关键词对应的关联词语,将该剩余短文本作为候选文本。
9.如权利要求8所述的方法,其特征在于,若该剩余短文本中包含有不小于设定数量的所述关键词的关联词语,将该剩余短文本作为候选文本之前,所述方法还包括:
确定所述各短文本中包含的各词语,并确定所述各词语对应的词向量;
根据所述关键词对应的词向量以及所述各词语中除所述关键词外的其他词语对应的词向量,确定所述其他词语与所述关键词之间的相关度;
根据所述其他词语与所述关键词之间的相关度,确定所述关键词对应的关联词语。
10.一种信息推荐的装置,其特征在于,包括:
获取模块,用于获取预先通过文本生成模型得到的各短文本;
选取模块,用于从所述各短文本中选取出任意一个短文本,作为目标文本;
确定模块,用于从所述各短文本中,确定与所述目标文本语义关联的若干文本,作为各候选文本;
生成模块,用于根据预先训练的上下文判别模型,从所述各候选文本中选取出至少一个候选文本,以及根据所述目标文本以及选取出的至少一个候选文本,生成文本段落;
推荐模块,用于根据所述文本段落进行信息推荐。
11.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~9任一项所述的方法。
12.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111122835.0A CN113887235A (zh) | 2021-09-24 | 2021-09-24 | 一种信息推荐的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111122835.0A CN113887235A (zh) | 2021-09-24 | 2021-09-24 | 一种信息推荐的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113887235A true CN113887235A (zh) | 2022-01-04 |
Family
ID=79006656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111122835.0A Withdrawn CN113887235A (zh) | 2021-09-24 | 2021-09-24 | 一种信息推荐的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113887235A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116108163A (zh) * | 2023-04-04 | 2023-05-12 | 之江实验室 | 一种文本的匹配方法、装置、设备及存储介质 |
CN117033642A (zh) * | 2023-10-08 | 2023-11-10 | 北京中关村科金技术有限公司 | 一种文档解析方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150382A (zh) * | 2013-03-14 | 2013-06-12 | 中国科学院计算技术研究所 | 基于开放知识库的短文本语义概念自动化扩展方法及系统 |
CN107491548A (zh) * | 2017-08-28 | 2017-12-19 | 武汉烽火普天信息技术有限公司 | 一种网络舆情文本信息推荐及可视化方法 |
US20190180744A1 (en) * | 2017-12-11 | 2019-06-13 | Hyundai Motor Company | Apparatus and method for determining reliability of recommendation based on environment of vehicle |
CN110232156A (zh) * | 2019-05-31 | 2019-09-13 | 三角兽(北京)科技有限公司 | 基于长文本的信息推荐方法及装置 |
KR20190123644A (ko) * | 2018-04-24 | 2019-11-01 | (주)한국교육문화연구원 | 핵심문장 서비스 방법 |
CN111414122A (zh) * | 2019-12-26 | 2020-07-14 | 腾讯科技(深圳)有限公司 | 一种智能文本处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-24 CN CN202111122835.0A patent/CN113887235A/zh not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150382A (zh) * | 2013-03-14 | 2013-06-12 | 中国科学院计算技术研究所 | 基于开放知识库的短文本语义概念自动化扩展方法及系统 |
CN107491548A (zh) * | 2017-08-28 | 2017-12-19 | 武汉烽火普天信息技术有限公司 | 一种网络舆情文本信息推荐及可视化方法 |
US20190180744A1 (en) * | 2017-12-11 | 2019-06-13 | Hyundai Motor Company | Apparatus and method for determining reliability of recommendation based on environment of vehicle |
KR20190123644A (ko) * | 2018-04-24 | 2019-11-01 | (주)한국교육문화연구원 | 핵심문장 서비스 방법 |
CN110232156A (zh) * | 2019-05-31 | 2019-09-13 | 三角兽(北京)科技有限公司 | 基于长文本的信息推荐方法及装置 |
CN111414122A (zh) * | 2019-12-26 | 2020-07-14 | 腾讯科技(深圳)有限公司 | 一种智能文本处理方法、装置、电子设备及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116108163A (zh) * | 2023-04-04 | 2023-05-12 | 之江实验室 | 一种文本的匹配方法、装置、设备及存储介质 |
CN116108163B (zh) * | 2023-04-04 | 2023-06-27 | 之江实验室 | 一种文本的匹配方法、装置、设备及存储介质 |
CN117033642A (zh) * | 2023-10-08 | 2023-11-10 | 北京中关村科金技术有限公司 | 一种文档解析方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717017B (zh) | 一种处理语料的方法 | |
CN109145153B (zh) | 意图类别的识别方法和装置 | |
US10599767B1 (en) | System for providing intelligent part of speech processing of complex natural language | |
US10713438B2 (en) | Determining off-topic questions in a question answering system using probabilistic language models | |
US20160062982A1 (en) | Natural language processing system and method | |
CN109388801B (zh) | 相似词集合的确定方法、装置和电子设备 | |
CN109344406B (zh) | 词性标注方法、装置和电子设备 | |
CN111738016A (zh) | 多意图识别方法及相关设备 | |
CN113221555A (zh) | 一种基于多任务模型的关键词识别方法、装置及设备 | |
CN113887235A (zh) | 一种信息推荐的方法及装置 | |
US20220358280A1 (en) | Context-aware font recommendation from text | |
CN108875743B (zh) | 一种文本识别方法及装置 | |
US20220284190A1 (en) | Tokenizing alphanumeric text through use of finite state machines | |
Pan et al. | Automatically generating and improving voice command interface from operation sequences on smartphones | |
CN112733024A (zh) | 一种信息推荐的方法及装置 | |
CN114722834A (zh) | 基于对比学习的语义识别模型训练方法、设备和介质 | |
CN110688460B (zh) | 风险识别的方法、装置、可读存储介质以及电子设备 | |
CN107329964B (zh) | 一种文本处理方法及装置 | |
CN117369783B (zh) | 一种安全代码生成模型的训练方法及装置 | |
CN111291551A (zh) | 文本处理方法、装置、电子设备及计算机可读存储介质 | |
CN113887206A (zh) | 一种模型训练及关键词提取方法及装置 | |
CN113887234B (zh) | 一种模型训练以及推荐方法及装置 | |
CN116662657A (zh) | 一种模型训练和信息推荐的方法、装置、存储介质及设备 | |
CN115017915A (zh) | 一种模型训练、任务执行的方法及装置 | |
CN115017905A (zh) | 一种模型训练和信息推荐的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220104 |
|
WW01 | Invention patent application withdrawn after publication |