CN111506812B - 一种推荐词的生成方法、装置、存储介质及计算机设备 - Google Patents
一种推荐词的生成方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN111506812B CN111506812B CN202010224645.9A CN202010224645A CN111506812B CN 111506812 B CN111506812 B CN 111506812B CN 202010224645 A CN202010224645 A CN 202010224645A CN 111506812 B CN111506812 B CN 111506812B
- Authority
- CN
- China
- Prior art keywords
- semantic
- words
- neural network
- vector
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种推荐词的生成方法、装置、存储介质及计算机设备,涉及互联网技术领域。其中方法包括:获取搜索请求中携带的场景信息,场景信息包括时间信息、空间信息和用户信息;对场景信息和预存储的语义词进行合成处理和转换处理,得到源语义向量;依据源语义向量进行语义转换,得到推荐词。上述方法可以拓展推荐词的生成范围,能够对推荐词有更多增量的发现,从而能够有效提升引导搜索的效果。
Description
技术领域
本发明涉及互联网技术领域,尤其是涉及一种推荐词的生成方法、装置、存储介质及计算机设备。
背景技术
随着互联网技术的不断发展以及智能终端的日益普及,人们在生活和工作的方方面面都愈加离不开功能强大的智能终端。目前,智能终端可以为用户提供各种各样的便利,例如,利用智能终端可以搜索业务服务等等,但是,很多智能终端的用户在利用业务服务搜索的应用时,往往不确定自己的搜索意图,从而利用大量的时间去搜索自己感兴趣的业务类目或服务,却往往达不到很好的搜索结果。
目前,应用软件中一个比较常用的做法是为用户提供一些推荐词来推测用户的搜索意图并引导用户进行搜索,在现有技术中,推荐词的生成方法均偏向于挖掘,而基于挖掘生成的推荐词通常只会对某一类检索内容产生增强检索的效应,从而缩小了搜索推荐的范围,造成了词推荐领域的“马太效应”,进而无法对推荐词的有增量发现,以及无法针对性的扩大推荐词的范围,影响了引导搜索效果。
发明内容
有鉴于此,本申请提供了一种推荐词的生成方法、装置、存储介质及计算机设备,主要目的在于解决推荐词无增量发现、扩展范围较窄,引导搜索效果不佳的技术问题。
根据本发明的第一个方面,提供了一种推荐词的生成方法,该方法包括:
获取搜索请求中携带的场景信息,场景信息包括时间信息、空间信息和用户信息;
对场景信息和预存储的语义词进行合成处理和转换处理,得到源语义向量;
依据源语义向量进行语义转换,得到推荐词。
在一个实施例方式中,对场景信息和预存储的语义词进行合成处理和转换处理,得到源语义向量,包括:将场景信息和预存储的语义词进行合成处理,得到一组文字集合;通过词向量模型,将文字集合转换为预设长度的源语义向量。
在一个实施方式中,依据源语义向量进行语义转换,得到推荐词,包括:通过语义编码神经网络,将源语义向量编码为中间语义向量;通过语义解码神经网络,将中间语义向量解码为与源语义向量语义相关的目标语义向量;将目标语义向量进行转换,得到推荐词。
在一个实施方式中,通过语义编码神经网络,将源语义向量编码为中间语义向量,包括:将源语义向量输入到语义编码神经网络的第一层神经网络中;提取源语义向量中的特征,并依次生成语义编码神经网络的各层神经网络的隐向量;根据语义编码神经网络的各层神经网络的隐向量和预设的变换算法,得到中间语义向量。
在一个实施方式中,通过语义解码神经网络,将中间语义向量解码为与源语义向量语义相关的目标语义向量,包括:将中间语义向量输入到语义解码神经网络的第一层神经网络中;根据中间语义向量,依次生成语义解码神经网络的各层神经网络的隐向量;根据语义解码神经网络的各层神经网络的隐向量,生成多个备选语义向量;根据多个备选语义向量的概率分布进行动态剪枝,生成预设数量的目标语义向量。
在一个实施方式中,根据中间语义向量,依次生成语义解码神经网络的各层神经网络的隐向量,包括:根据生成的语义解码神经网络的前一层神经网络的隐向量,对中间语义向量进行权重调整;根据权重调整后的中间语义向量,生成语义解码神经网络的后一层神经网络的隐向量,直至所有的语义解码神经网络的隐向量生成完毕。
在一个实施方式中,所述方法还包括:对推荐词进行清洗、校验和归一化处理,得到热词、底纹词、下拉词或锦囊词;根据搜索请求,对所述热词、底纹词、下拉词或锦囊词进行展示。
在一个实施方式中,语义编码神经网络和语义解码神经网络的训练过程,具体包括:采集基础业务数据,并依据基础业务数据生成样本数据,样本数据包括正样本数据和负样本数据;通过词向量模型,将样本数据转换为语义向量;利用转换为语义向量的样本数据对编码解码模型进行深度学习;通过判别模型对编码解码模型的输入和输出进行语义判别,生成判别结果;根据判别结果,对编码解码模型的模型参数进行迭代调整,训练得到语义编码神经网络和语义解码神经网络。
在一个实施方式中,采集基础业务数据,并依据基础业务数据生成样本数据,包括:采集基础业务数据,基础业务数据包括用户搜索词、品牌词、类目词和服务内容词;提取基础业务数据中的核心词,并通过归一算法对核心词进行提纯处理;根据预先划定的场景维度,对提纯后的核心词进行场景划分,得到样本数据;通过自动化标注算法和预设的业务规则,对样本数据进行样本标注,得到正样本数据和负样本数据。
根据本发明的第二个方面,提供了一种推荐词的生成装置,该装置包括:
场景信息获取模块,用于获取搜索请求中携带的场景信息,场景信息包括时间信息、空间信息和用户信息;
语义向量转换模块,用于对场景信息和预存储的语义词进行合成处理和转换处理,得到源语义向量;
推荐词生成模块,用于依据源语义向量进行语义转换,得到推荐词。
在一个实施方式中,语义向量转换模块,具体用于将场景信息和预存储的语义词进行合成处理,得到一组文字集合;通过词向量模型,将文字集合转换为预设长度的源语义向量。
在一个实施方式中,推荐词生成模块,具体还用于通过语义编码神经网络,将源语义向量编码为中间语义向量;通过语义解码神经网络,将中间语义向量解码为与源语义向量语义相关的目标语义向量;将目标语义向量进行转换,得到推荐词。
在一个实施方式中,推荐词生成模块,具体还用于将源语义向量输入到语义编码神经网络的第一层神经网络中;提取源语义向量中的特征,并依次生成语义编码神经网络的各层神经网络的隐向量;根据语义编码神经网络的各层神经网络的隐向量和预设的变换算法,得到中间语义向量。
在一个实施方式中,所述推荐词生成模块,具体还用于将中间语义向量输入到语义解码神经网络的第一层神经网络中;根据中间语义向量,依次生成语义解码神经网络的各层神经网络的隐向量;根据语义解码神经网络的各层神经网络的隐向量,生成多个备选语义向量;根据多个备选语义向量的概率分布进行动态剪枝,生成预设数量的目标语义向量。
在一个实施方式中,推荐词生成模块,具体还用于根据生成的语义解码神经网络的前一层神经网络的隐向量,对中间语义向量进行权重调整;根据权重调整后的中间语义向量,生成语义解码神经网络的后一层神经网络的隐向量,直至所有的语义解码神经网络的隐向量生成完毕。
在一个实施方式中,所述装置还包括:推荐词处理模块,用于对推荐词进行清洗、校验和归一化处理,得到热词、底纹词、下拉词或锦囊词;推荐词展示模块,用于根据所述搜索请求,对所述热词、底纹词、下拉词或锦囊词进行展示。
在一个实施方式中,所述装置还包括:编码解码模型训练模块,用于采集基础业务数据,并依据基础业务数据生成样本数据,所述样本数据包括正样本数据和负样本数据;通过词向量模型,将样本数据转换为语义向量;利用转换为语义向量的样本数据对编码解码模型进行深度学习;通过判别模型对编码解码模型的输入和输出进行语义判别,生成判别结果;根据所述判别结果,对编码解码模型的模型参数进行迭代调整,训练得到语义编码神经网络和语义解码神经网络。
在一个实施方式中,所述编码解码模型训练模块,具体还用于采集基础业务数据,所述基础业务数据包括用户搜索词、品牌词、类目词和服务内容词;提取基础业务数据中的核心词,并通过归一算法对核心词进行提纯处理;根据预先划定的场景维度,对提纯后的核心词进行场景划分,得到样本数据;通过自动化标注算法和预设的业务规则,对样本数据进行样本标注,得到正样本数据和负样本数据。
根据本发明的第三个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述推荐词的生成方法。
根据本发明的第四个方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述推荐词的生成方法。
本发明提供的一种推荐词的生成方法、装置、存储介质及计算机设备,首先获取了包含时间信息、空间信息、用户信息等场景信息的搜索请求,然后将场景信息和预存储的语义词进行合成处理以及转换处理,得到兼具场景信息和语义词信息的源语义向量,最后对该源语义向量进行发散性的语义转换,得到推荐词。相比现有技术,本方法可以拓展推荐词的生成范围,能够对推荐词有更多增量的发现,有效的提升了引导搜索的效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了本发明实施例提供的一种推荐词的生成方法的流程示意图;
图2示出了本发明实施例提供的另一种推荐词的生成方法的流程示意图;
图3示出了本发明实施例提供的一种编码解码模型训练过程的流程示意图;
图4示出了本发明实施例提供的一种推荐词的生成装置的结构示意图;
图5示出了本发明实施例提供的另一种推荐词的生成装置的结构示意图;
图6示出了本发明实施例提供的应用场景的实施架构流程示意图;
图7示出了本发明实施例提供的编码解码模型训练过程的实施架构流程示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如背景技术所述,用户在使用业务服务类的应用时,会在不明确搜索意图的情况下,选择推荐词来引导搜索,在以往的词推荐生成方法中,通常会采用挖掘的方式来生成推荐词,但是,基于挖掘的推荐词生成方法会使得生成的推荐词局限在一些比较固定的业务类目或服务的范围内,从而使推荐词失去了拓展搜索的作用。
在一个实施例中,如图1所示,提供了一种推荐词的生成方法,以该方法应用于终端为例进行说明,包括以下步骤:
101、获取搜索请求中携带的场景信息。
其中,场景信息可以包括时间信息、空间信息和用户信息等与外部环境相关的信息,时间信息如搜索发起的时间段和日期,空间信息如搜索发起的城市和地理位置,用户信息如经过用户授权和确认的用户名,用户的搜索日志和业务日志等信息。在本实施例中,场景信息可以是单维度的,也可以是多种维度交叉的,比如场景信息可以是单维度的用户名,也可以是多维度的时间段与地理位置的交叉等等。
具体的,终端可以在多种场景下获取到搜索请求,其中,没有任何输入内容的空白搜索框也可以作为一种搜索请求,获取到搜索请求后,终端可以通过多种方式获取搜索请求中携带的场景信息,如通过读取时钟信息获取搜索发起的时间和日期,通过定位技术获取搜索发起的城市和地理位置,通过用户名授权信息获取该用户以往的搜索日志和业务日志等等。
102、对场景信息和预存储的语义词进行合成处理和转换处理,得到源语义向量。
其中,预存储的语义词可以是用户的搜索词、业务服务的标题词、类目词和服务内容词等等。这些语义词是随时更新且保存在后台服务器上的,当终端需要使用这些语义词时,可以直接从后台服务器上调取。
具体的,当终端获取到场景信息后,会将场景信息和语义词合并在一起组成一段文字内容,然后再将组成的文字内容转化为一定长度的可用于运算的源语义向量。在本实施例中,处理后的源语义向量既包含场景信息也包含语义词信息,其中,场景信息可以是单维度的也可以是多维度的,语义词可以是一个也可以是多个,但是,转换后的源语义向量的长度通常是固定的。
103、依据源语义向量进行语义转换,得到推荐词。
具体的,终端可以通过预训练的编码解码模型对源语义向量进行语义转换,得到推荐词,进一步的,可以首先利用预训练的语义编码神经网络将一维的源语义向量编码为多维的中间语义向量,然后再利用预训练的语义解码神经网络,将多维的中间语义向量解码为与源语义向量语义相关的目标语义向量,最后通过词向量模型,将目标语义向量反向转换为推荐词。
在本实施例中,终端可以仅合成一个源语义向量,然后依据一个源语义向量生成多个推荐词,也可以利用不同的场景维度和语义词合成多个源语义向量,然后依据多个源语义向量生成更多的推荐词。生成的推荐词与原有的语义词具有一定的相关性,但是发散性更强,并且生成的推荐词结合了场景信息,具有一定的针对性,可以有效的增强引导搜索的能力。
本实施例提供的推荐词的生成方法,首先获取了包含时间信息、空间信息、用户信息等场景信息的搜索请求,然后将场景信息和预存储的语义词进行合成处理以及转换处理,得到兼具场景信息和语义词信息的源语义向量,最后对该源语义向量进行发散性的语义转换,得到推荐词。相比现有技术,本方法可以拓展推荐词的生成范围,能够对推荐词有更多增量的发现,有效的提升了引导搜索的效果。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的实施过程,提供了一种推荐词的生成方法,如图2和图6所示,该方法包括以下步骤:
201、获取搜索请求中携带的场景信息。
其中,场景信息可以包括时间信息、空间信息和用户信息等与外部环境相关的信息,并且,场景信息可以是单维度的,也可以是多种维度交叉的,比如场景信息可以是单维度的用户名,也可以是多维度的时间段与地理位置的交叉等等。
具体的,终端可以在多种场景下获取到搜索请求,其中,没有任何输入内容的空白搜索框也可以作为一种搜索请求,获取到搜索请求后,终端可以通过多种方式获取搜索请求中携带的场景信息,如通过读取时钟信息获取搜索发起的时间和日期,通过定位技术获取搜索发起的城市和地理位置,通过用户名授权信息获取该用户以往的搜索日志和业务日志等等。举例来说,获取的场景信息可以是某用户在某地点的工作日下午3点。
202、对场景信息和预存储的语义词进行合成处理,得到源语义向量。
其中,预存储的语义词可以是用户的搜索词、业务服务的标题词、类目词和服务内容词等等。这些语义词是随时更新且保存在后台服务器上的,当终端需要使用这些语义词时,可以直接从后台服务器上调取。
具体的,当终端获取到场景信息后,会将包含了时间信息、空间信息和用户信息的场景信息和预存储的一个或多个语义词进行合成处理,得到一组文字集合,然后,然后再通过词向量模型,将文字集合转换为预设长度的可用于计算的源语义向量。
在本实施例中,可以选择普遍适用的词向量模型对合成信息进行转换,也可以选择经过基础业务数据语料预训练过的词向量模型对合成信息进行转换。具体的,可以利用双端语义模型Bert进行词向量模型的预训练,并且,在词向量模型预训练的过程中,可以在词向量模型的语料库中引入基础业务数据,使得词向量模型可以充分精准地刻画出符合业务特征的语义。
203、通过语义编码神经网络,将源语义向量编码为中间语义向量。
其中,语义编码神经网络属于编码解码模型(Encoder-Decoder模型)的一个组成部分,编码解码模型是基于神经网络的语义转换模型,常见的编码解码模型可用于机器翻译、文档提取和问答系统等场景中。在本实施例中,训练好的编码解码模型可以将包含有场景信息和语义词信息的源语义向量语义转换为与语义词语义相关的针对某一场景的目标语义向量。编码解码模型需要预先训练,训练过程详见下一实施例。
具体的,在本步骤中,可以首先将源语义向量输入到编码解码模型的语义编码神经网络的第一层神经网络中,然后提取源语义向量中的特征,并逐层依次生成语义编码神经网络的各层神经网络的隐向量,最后根据语义编码神经网络的各层神经网络的隐向量和预设的变换算法,得到中间语义向量。
在本实施例中,可以采用多种变换算法得到中间语义向量,例如可以直接将语义编码神经网络的最后一层神经网络的隐向量作为中间语义向量,也可以对最后一层神经网络的隐向量做一个变换得到中间语义向量,或者可以将每一层神经网络的所有隐向量做一个变换得到中间语义变量,还可以引入注意力机制(Attention机制),在解码的过程中利用语义解码神经网络的隐向量调整变换参数来得到中间语义向量。
204、通过语义解码神经网络,将中间语义向量解码为与源语义向量语义相关的目标语义向量。
其中,语义解码神经网络属于编码解码模型的另一个组成部分,在本步骤中,可以首先将编码得到的中间语义向量输入到语义解码神经网络的第一层神经网络中,然后根据该中间语义向量,依次生成语义解码神经网络的各层神经网络的隐向量,继而根据语义解码神经网络的各层神经网络的隐向量,生成多个备选语义向量,最后根据多个备选语义向量的概率分布进行动态剪枝,生成预设数量的目标语义向量。
在本实施例中,在生成语义解码神经网络的各层神经网络的隐向量时候,可以引入注意力机制,即可以根据生成的语义解码神经网络的前一层神经网络的隐向量,对已经生成的中间语义向量进行权重调整,然后根据权重调整后的中间语义向量来生成后一层神经网络的隐向量,直至所有的语义解码神经网络的隐向量生成完毕。在引入注意力机制之后,语义解码神经网络在预测目标语义向量的时候,会自动的查找源语义向量中与目标语义向量相对应的部分,并且在后续的查找目标语义向量的过程中直接复制相对应的源语义向量,从而使得生成的目标语义向量与源语义向量的语义相关度更高。
进一步的,在生成语义解码神经网络的各层神经网络的隐向量之后,可以利用逻辑回归函数生成多个备选语义向量,在生成备选语义向量的过程中,可以利用集束搜索算法设置目标语义向量的数量,然后在生成每一个字的向量之后选择分布概率最大的下一个字,直到生成预设数量的分布概率最高的目标语义向量为止,这个过程也称为动态剪枝,通过动态剪枝的方式,可以使生成的目标语义向量更接近理想值。
205、将目标语义向量进行转换,得到推荐词。
具体的,该步骤是将场景信息和语义词转换为源语义向量的逆过程,在这一步骤中,只需按照向量转换的规则将语义解码神经网络输出的目标语义向量转换为新词即可,转换后的新词即为推荐词。
在本实施例中,生成的推荐词与预存储的语义词之间的相关度较高,并且,相比传统的基于挖掘模式生成的推荐词,利用编码解码模型生成的推荐词具有更好的泛化性,预测能力更强,另外,在结合了场景信息之后,推荐词的针对性也更强。例如,在场景信息是下午、语义词是咖啡的情况下,基于挖掘模式产生的推荐词可能是与咖啡这个产品本身相关的推荐词,如黑咖啡或冰咖啡等推荐词,而利用本实施例提供的方法生成的推荐词可能是与咖啡相关的外围产品,如咖啡冰淇淋或馥芮白等推荐词。
206、对推荐词进行清洗、校验和归一化处理,得到热词、底纹词、下拉词或锦囊词。
具体的,基于编码解码模型生成的推荐词可能会产生有一些噪声数据,针对这些噪声数据,可以设置一些规则对推荐词进行一系列的处理,以去除推荐词中的冗余词和错别字等信息,另外,也可以结合一些业务指标,如点击量和销量,对生成的推荐词进行筛选和排序截断,最后,经过清洗、校验和归一化处理的推荐词可以以热词、底纹词、下拉词或锦囊词等形式进行展示。
207、根据搜索请求,对热词、底纹词、下拉词或锦囊词进行展示。
具体的,终端可以根据搜索请求产生的位置,将生成的推荐词以热词、底纹词、下拉词或锦囊词等多种形式展示给用户,以起到引导搜索的作用。
本实施例提供的推荐词生成方法通过编码解码模型将包含有场景信息和语义词信息的源语义向量转换为与源语义向量语义相关的目标语义向量,同时,利用在编码解码模式中引入注意力机制以及利用动态剪枝的方法对目标语义向量进行处理,得到了与语义词相关度较高、场景针对性更强且泛化性更好的推荐词,有效的提高了推荐词的生成范围和生成数量,极大的增强了引导搜索的作用。
进一步的,在一个实施例中,语义编码神经网络和语义解码神经网络的训练过程,如图3和图7所示,包括以下步骤:
301、采集基础业务数据,并依据基础业务数据生成样本数据。
在本实施例中,可以通过读取业务数据和日志数据来获取基础业务数据,其中,基础业务数据可以包括用户搜索词、品牌词、类目词和服务内容词等内容,在采集到基础业务数据之后,可以首先利用预先设定的规则提取基础业务数据中的核心词,并通过归一算法对提取出的核心词进行提纯处理,然后根据划定的场景维度,对提纯后的核心词进行场景划分,得到样本数据,最后通过自动化标注算法和预设的业务规则,对样本数据进行样本标注,得到正样本数据和负样本数据。
302、通过词向量模型,将样本数据转换为语义向量。
具体的,将样本数据转换为语义向量的词向量模型与将场景信息和语义词的合成信息转换为源语义向量的词向量模型可以为同一种模型,也可以为不同种模型,当使用同一种词向量模型时,可较好的保留语义词转换的一致性,当使用不同种词向量模型是,可使转换的语义向量更具有发散性。
在本实施例中,可以选择普遍适用的词向量模型对样本数据进行转换,也可以选择经过基础业务数据语料预训练过的词向量模型对样本数据进行转换。具体的,可以利用双端语义模型Bert进行词向量模型的预训练,并且,在词向量模型预训练的过程中,可以在词向量模型的语料库中引入基础业务数据,使得词向量模型可以充分精准地刻画样本数据的语义。
303、利用转换为语义向量的样本数据对编码解码模型进行深度学习。
具体的,可以利用海量的正样本和负样本对编码解码模型(Encoder-Decoder模型)进行深度学习,同时,在深度学习的过程中,可以引入注意力机制对模型进行调整,直到编码解码模型能够输出近似于推荐词的样本推荐词。其中,编码解码模型可以采用卷积神经网络(Convolutional Neural Networks,CNN),循环神经网络(Recurrent NeuralNetwork,RNN),双向循环神经网络(Bi-directional Recurrent Neural Network,BiRNN)、长短期记忆网络(Long Short-Term Memory,LSTM)、门循环神经网络(Gate RecurrentUnit,GRU)等神经网络进行训练。
304、通过判别模型对编码解码模型的输入和输出进行语义判别,生成判别结果。
具体的,经过深度学习的编码解码模型生成的样本推荐词还达不到推荐词的精度要求,因此,可以引入生成式模型(Generative Adversarial Networks,GAN)对编码解码模型进行检验,在本实施例中,经过深度学习的编码解码模型可以作为生成式模型的生成模型(Generative Model),同时,可以引入判别模型(Discriminative Model)对编码解码模型的输入词和输出词进行语义判别,在进行语义判别时,可以同时将语义词和样本推荐词输入到判别模型中,然后对样本推荐词的相关性和正确性进行评分,并输出判别结果。
305、根据判别结果,对编码解码模型的模型参数进行迭代调整,训练得到语义编码神经网络和语义解码神经网络。
具体的,判别模型输出的判别结果可以表明编码解码模型生成的样本推荐词的精确度,基于该判别结果,可以对编码解码模型的模型参数进行迭代调整,在本实施例中,编码解码模型和判别模型属于一对博弈关系,经过不断的迭代调整编码解码模型的参数,可以使编码解码模型生成的推荐词更精准,同时也可以使生成的推荐词避免一些文本层面的噪声。
进一步的,作为图1、图2、图3所示方法的具体实现,本实施例提供了一种推荐词的生成装置,如图4所示,该装置包括:场景信息获取模块41、语义向量转换模块42、推荐词生成模块43,其中:
场景信息获取模块41,可用于获取搜索请求中携带的场景信息,场景信息包括时间信息、空间信息和用户信息;
语义向量转换模块42,可用于对场景信息和预存储的语义词进行合成处理和转换处理,得到源语义向量;
推荐词生成模块43,可用于依据源语义向量进行语义转换,得到推荐词。
在具体的应用场景中,语义向量转换模块42,具体可用于将场景信息和预存储的语义词进行合成处理,得到一组文字集合;通过词向量模型,将文字集合转换为预设长度的源语义向量。
在具体的应用场景中,推荐词生成模块43,具体可用于通过语义编码神经网络,将源语义向量编码为中间语义向量;通过语义解码神经网络,将中间语义向量解码为与源语义向量语义相关的目标语义向量;将目标语义向量进行转换,得到推荐词。
在具体的应用场景中,推荐词生成模块43,具体可用于将源语义向量输入到语义编码神经网络的第一层神经网络中;提取源语义向量中的特征,并依次生成语义编码神经网络的各层神经网络的隐向量;根据语义编码神经网络的各层神经网络的隐向量和预设的变换算法,得到中间语义向量。
在具体的应用场景中,推荐词生成模块43,具体可用于将中间语义向量输入到语义解码神经网络的第一层神经网络中;根据中间语义向量,依次生成语义解码神经网络的各层神经网络的隐向量;根据语义解码神经网络的各层神经网络的隐向量,生成多个备选语义向量;根据多个备选语义向量的概率分布进行动态剪枝,生成预设数量的目标语义向量。
在具体的应用场景中,推荐词生成模块43,具体可用于根据生成的语义解码神经网络的前一层神经网络的隐向量,对中间语义向量进行权重调整;根据权重调整后的中间语义向量,生成语义解码神经网络的后一层神经网络的隐向量,直至所有的语义解码神经网络的隐向量生成完毕。
在具体的应用场景中,如图5所示,本装置还包括:推荐词处理模块44和推荐词展示模块45,其中:
推荐词处理模块44,可用于对推荐词进行清洗、校验和归一化处理,得到热词、底纹词、下拉词或锦囊词;
推荐词展示模块45,可用于根据搜索请求,对所述热词、底纹词、下拉词或锦囊词进行展示。
在具体的应用场景中,如图5所示,本装置还包括编码解码模型训练模块46,其中:
编码解码模型训练模块46可用于采集基础业务数据,并依据基础业务数据生成样本数据,样本数据包括正样本数据和负样本数据;通过词向量模型,将样本数据转换为语义向量;利用转换为语义向量的样本数据对编码解码模型进行深度学习;通过判别模型对编码解码模型的输入和输出进行语义判别,生成判别结果;根据判别结果,对编码解码模型的模型参数进行迭代调整,训练得到语义编码神经网络和语义解码神经网络。
在具体的应用场景中,编码解码模型训练模块46,还可用于采集基础业务数据,基础业务数据包括用户搜索词、品牌词、类目词和服务内容词;提取基础业务数据中的核心词,并通过归一算法对核心词进行提纯处理;根据预先划定的场景维度,对提纯后的核心词进行场景划分,得到样本数据;通过自动化标注算法和预设的业务规则,对样本数据进行样本标注,得到正样本数据和负样本数据。
需要说明的是,本实施例提供的一种推荐词的生成装置所涉及各功能单元的其它相应描述,可以参考图1、图2和图3中的对应描述,在此不再赘述。
基于上述如图1、图2和图3所示方法,相应的,本实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述如图1、图2和图3所示的推荐词的生成方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该待识别软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1、图2、图3所示的方法,以及图4和图5所示的推荐词的生成装置实施例,为了实现上述目的,本实施例还提供了一种推荐词的生成实体设备,具体可以为个人计算机、服务器、智能手机、平板电脑、智能手表、或者其它网络设备等,该实体设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1、图2和图3所示的方法。
可选的,该实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种推荐词的生成实体设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和待识别软件资源的程序,支持信息处理程序以及其它待识别软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本申请的技术方案可以生成与场景信息和现有语义词相关的推荐词,相比现有技术,本方法可以拓展推荐词的生成范围,能够对推荐词有更多增量的发现,有效的提升了引导搜索的效果。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (20)
1.一种推荐词的生成方法,其特征在于,所述方法包括:
获取搜索请求中携带的场景信息,所述场景信息包括时间信息、空间信息和用户信息;
对所述场景信息和预存储的语义词进行合成处理和转换处理,得到源语义向量,其中,所述语义词包括用户的搜索词、业务服务的标题词、类目词和服务内容词中的一个或多个词;
依据所述源语义向量进行语义转换,得到推荐词,其中,所述推荐词结合了所述场景信息且与所述语义词具有相关性。
2.根据权利要求1所述的方法,其特征在于,所述对所述场景信息和预存储的语义词进行合成处理和转换处理,得到源语义向量,包括:
将所述场景信息和所述预存储的语义词进行合成处理,得到一组文字集合;
通过词向量模型,将所述文字集合转换为预设长度的源语义向量。
3.根据权利要求2所述的方法,其特征在于,所述依据所述源语义向量进行语义转换,得到推荐词,包括:
通过语义编码神经网络,将所述源语义向量编码为中间语义向量;
通过语义解码神经网络,将所述中间语义向量解码为与所述源语义向量语义相关的目标语义向量;
将所述目标语义向量进行转换,得到推荐词。
4.根据权利要求3所述的方法,其特征在于,所述通过语义编码神经网络,将所述源语义向量编码为中间语义向量,包括:
将所述源语义向量输入到语义编码神经网络的第一层神经网络中;
提取所述源语义向量中的特征,并依次生成语义编码神经网络的各层神经网络的隐向量;
根据所述语义编码神经网络的各层神经网络的隐向量和预设的变换算法,得到中间语义向量。
5.根据权利要求4所述的方法,其特征在于,所述通过语义解码神经网络,将所述中间语义向量解码为与所述源语义向量语义相关的目标语义向量,包括:
将所述中间语义向量输入到语义解码神经网络的第一层神经网络中;
根据所述中间语义向量,依次生成语义解码神经网络的各层神经网络的隐向量;
根据所述语义解码神经网络的各层神经网络的隐向量,生成多个备选语义向量;
根据所述多个备选语义向量的概率分布进行动态剪枝,生成预设数量的目标语义向量。
6.根据权利要求5所述的方法,其特征在于,所述根据所述中间语义向量,依次生成语义解码神经网络的各层神经网络的隐向量,包括:
根据生成的语义解码神经网络的前一层神经网络的隐向量,对所述中间语义向量进行权重调整;
根据权重调整后的中间语义向量,生成语义解码神经网络的后一层神经网络的隐向量,直至所有的语义解码神经网络的隐向量生成完毕。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
对所述推荐词进行清洗、校验和归一化处理,得到热词、底纹词、下拉词或锦囊词;
根据所述搜索请求,对所述热词、底纹词、下拉词或锦囊词进行展示。
8.根据权利要求3-6任一项所述的方法,其特征在于,所述语义编码神经网络和语义解码神经网络的训练过程,具体包括:
采集基础业务数据,并依据所述基础业务数据生成样本数据,所述样本数据包括正样本数据和负样本数据;
通过词向量模型,将所述样本数据转换为语义向量;
利用所述转换为语义向量的样本数据对编码解码模型进行深度学习;
通过判别模型对所述编码解码模型的输入和输出进行语义判别,生成判别结果;
根据所述判别结果,对所述编码解码模型的模型参数进行迭代调整,训练得到语义编码神经网络和语义解码神经网络。
9.根据权利要求8所述的方法,其特征在于,所述采集基础业务数据,并依据所述基础业务数据生成样本数据,包括:
采集基础业务数据,所述基础业务数据包括用户搜索词、品牌词、类目词和服务内容词;
提取所述基础业务数据中的核心词,并通过归一算法对所述核心词进行提纯处理;
根据预先划定的场景维度,对提纯后的核心词进行场景划分,得到样本数据;
通过自动化标注算法和预设的业务规则,对所述样本数据进行样本标注,得到正样本数据和负样本数据。
10.一种推荐词的生成装置,其特征在于,所述装置包括:
场景信息获取模块,用于获取搜索请求中携带的场景信息,所述场景信息包括时间信息、空间信息和用户信息;
语义向量转换模块,用于对所述场景信息和预存储的语义词进行合成处理和转换处理,得到源语义向量,其中,所述语义词包括用户的搜索词、业务服务的标题词、类目词和服务内容词中的一个或多个词;
推荐词生成模块,用于依据所述源语义向量进行语义转换,得到推荐词,其中,所述推荐词结合了所述场景信息且与所述语义词具有相关性。
11.根据权利要求10所述的装置,其特征在于,
所述语义向量转换模块,具体用于将所述场景信息和所述预存储的语义词进行合成处理,得到一组文字集合;
通过词向量模型,将所述文字集合转换为预设长度的源语义向量。
12.根据权利要求11所述的装置,其特征在于,
所述推荐词生成模块,具体还用于通过语义编码神经网络,将所述源语义向量编码为中间语义向量;
通过语义解码神经网络,将所述中间语义向量解码为与所述源语义向量语义相关的目标语义向量;
将所述目标语义向量进行转换,得到推荐词。
13.根据权利要求12所述的装置,其特征在于,
所述推荐词生成模块,具体还用于将所述源语义向量输入到语义编码神经网络的第一层神经网络中;
提取所述源语义向量中的特征,并依次生成语义编码神经网络的各层神经网络的隐向量;
根据所述语义编码神经网络的各层神经网络的隐向量和预设的变换算法,得到中间语义向量。
14.根据权利要求13所述的装置,其特征在于,
所述推荐词生成模块,具体还用于将所述中间语义向量输入到语义解码神经网络的第一层神经网络中;
根据所述中间语义向量,依次生成语义解码神经网络的各层神经网络的隐向量;
根据所述语义解码神经网络的各层神经网络的隐向量,生成多个备选语义向量;
根据所述多个备选语义向量的概率分布进行动态剪枝,生成预设数量的目标语义向量。
15.根据权利要求14所述的装置,其特征在于,
所述推荐词生成模块,具体还用于根据生成的语义解码神经网络的前一层神经网络的隐向量,对所述中间语义向量进行权重调整;
根据权重调整后的中间语义向量,生成语义解码神经网络的后一层神经网络的隐向量,直至所有的语义解码神经网络的隐向量生成完毕。
16.根据权利要求10-15任一项所述的装置,其特征在于,所述装置还包括:
推荐词处理模块,用于对所述推荐词进行清洗、校验和归一化处理,得到热词、底纹词、下拉词或锦囊词;
推荐词展示模块,用于根据所述搜索请求,对所述热词、底纹词、下拉词或锦囊词进行展示。
17.根据权利要求12-15任一项所述的装置,其特征在于,所述装置还包括:
编码解码模型训练模块,用于采集基础业务数据,并依据所述基础业务数据生成样本数据,所述样本数据包括正样本数据和负样本数据;
通过词向量模型,将所述样本数据转换为语义向量;
利用所述转换为语义向量的样本数据对编码解码模型进行深度学习;
通过判别模型对所述编码解码模型的输入和输出进行语义判别,生成判别结果;
根据所述判别结果,对所述编码解码模型的模型参数进行迭代调整,训练得到语义编码神经网络和语义解码神经网络。
18.根据权利要求17所述的装置,其特征在于,
所述编码解码模型训练模块,具体还用于采集基础业务数据,所述基础业务数据包括用户搜索词、品牌词、类目词和服务内容词;
提取所述基础业务数据中的核心词,并通过归一算法对所述核心词进行提纯处理;
根据预先划定的场景维度,对提纯后的核心词进行场景划分,得到样本数据;
通过自动化标注算法和预设的业务规则,对所述样本数据进行样本标注,得到正样本数据和负样本数据。
19.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
20.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010224645.9A CN111506812B (zh) | 2020-03-26 | 2020-03-26 | 一种推荐词的生成方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010224645.9A CN111506812B (zh) | 2020-03-26 | 2020-03-26 | 一种推荐词的生成方法、装置、存储介质及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111506812A CN111506812A (zh) | 2020-08-07 |
CN111506812B true CN111506812B (zh) | 2023-09-26 |
Family
ID=71874312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010224645.9A Active CN111506812B (zh) | 2020-03-26 | 2020-03-26 | 一种推荐词的生成方法、装置、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111506812B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11816422B1 (en) | 2022-08-12 | 2023-11-14 | Capital One Services, Llc | System for suggesting words, phrases, or entities to complete sequences in risk control documents |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101566998A (zh) * | 2009-05-26 | 2009-10-28 | 华中师范大学 | 一种基于神经网络的中文问答系统 |
CN102682001A (zh) * | 2011-03-09 | 2012-09-19 | 阿里巴巴集团控股有限公司 | 一种确定推荐词的方法及设备 |
JP2013257634A (ja) * | 2012-06-11 | 2013-12-26 | Nippon Telegr & Teleph Corp <Ntt> | 文書からの地名と語の対の抽出装置及び方法及びプログラム |
CN104111941A (zh) * | 2013-04-18 | 2014-10-22 | 阿里巴巴集团控股有限公司 | 信息展示的方法及设备 |
CN107832332A (zh) * | 2017-09-29 | 2018-03-23 | 北京奇虎科技有限公司 | 在导航搜索框生成推荐词的方法、装置以及电子设备 |
CN108197098A (zh) * | 2017-11-22 | 2018-06-22 | 阿里巴巴集团控股有限公司 | 一种关键词组合策略的生成及关键词扩展方法、装置和设备 |
CN108572990A (zh) * | 2017-03-14 | 2018-09-25 | 百度在线网络技术(北京)有限公司 | 信息推送方法和装置 |
CN108920666A (zh) * | 2018-07-05 | 2018-11-30 | 苏州思必驰信息科技有限公司 | 基于语义理解的搜索方法、系统、电子设备及存储介质 |
CN110019888A (zh) * | 2017-12-01 | 2019-07-16 | 北京搜狗科技发展有限公司 | 一种搜索方法及装置 |
CN110909217A (zh) * | 2018-09-12 | 2020-03-24 | 北京奇虎科技有限公司 | 搜索的实现方法、装置、电子设备和存储介质 |
-
2020
- 2020-03-26 CN CN202010224645.9A patent/CN111506812B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101566998A (zh) * | 2009-05-26 | 2009-10-28 | 华中师范大学 | 一种基于神经网络的中文问答系统 |
CN102682001A (zh) * | 2011-03-09 | 2012-09-19 | 阿里巴巴集团控股有限公司 | 一种确定推荐词的方法及设备 |
JP2013257634A (ja) * | 2012-06-11 | 2013-12-26 | Nippon Telegr & Teleph Corp <Ntt> | 文書からの地名と語の対の抽出装置及び方法及びプログラム |
CN104111941A (zh) * | 2013-04-18 | 2014-10-22 | 阿里巴巴集团控股有限公司 | 信息展示的方法及设备 |
CN108572990A (zh) * | 2017-03-14 | 2018-09-25 | 百度在线网络技术(北京)有限公司 | 信息推送方法和装置 |
CN107832332A (zh) * | 2017-09-29 | 2018-03-23 | 北京奇虎科技有限公司 | 在导航搜索框生成推荐词的方法、装置以及电子设备 |
CN108197098A (zh) * | 2017-11-22 | 2018-06-22 | 阿里巴巴集团控股有限公司 | 一种关键词组合策略的生成及关键词扩展方法、装置和设备 |
CN110019888A (zh) * | 2017-12-01 | 2019-07-16 | 北京搜狗科技发展有限公司 | 一种搜索方法及装置 |
CN108920666A (zh) * | 2018-07-05 | 2018-11-30 | 苏州思必驰信息科技有限公司 | 基于语义理解的搜索方法、系统、电子设备及存储介质 |
CN110909217A (zh) * | 2018-09-12 | 2020-03-24 | 北京奇虎科技有限公司 | 搜索的实现方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
"旅游领域知识图谱的构建及应用研究";刘济源;《中国优秀硕士学位论文全文数据库》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111506812A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11636283B2 (en) | Committed information rate variational autoencoders | |
CN108255934B (zh) | 一种语音控制方法及装置 | |
CN107346336B (zh) | 基于人工智能的信息处理方法和装置 | |
WO2021159632A1 (zh) | 智能问答方法、装置、计算机设备及计算机存储介质 | |
CN110795552B (zh) | 一种训练样本生成方法、装置、电子设备及存储介质 | |
CN111753551B (zh) | 基于词向量生成模型的信息生成方法和装置 | |
US20200380286A1 (en) | Automatic optical character recognition (ocr) correction | |
EP2989596A2 (en) | Content based search engine for processing unstructurd digital | |
CN110083729B (zh) | 一种图像搜索的方法及系统 | |
CN113239169B (zh) | 基于人工智能的回答生成方法、装置、设备及存储介质 | |
CN106407381B (zh) | 一种基于人工智能的推送信息的方法和装置 | |
CN105677931A (zh) | 信息搜索方法和装置 | |
US20190205475A1 (en) | Search engine for identifying analogies | |
CN111767394A (zh) | 一种基于人工智能专家系统的摘要提取方法及装置 | |
CN113127679A (zh) | 视频搜索方法及装置、索引构建方法及装置 | |
CN112650842A (zh) | 基于人机交互的客服机器人意图识别方法及相关设备 | |
CN110717038A (zh) | 对象分类方法及装置 | |
CN113806588A (zh) | 搜索视频的方法和装置 | |
CN111506812B (zh) | 一种推荐词的生成方法、装置、存储介质及计算机设备 | |
CN109902273B (zh) | 关键词生成模型的建模方法和装置 | |
CN113542797A (zh) | 视频播放中的互动方法、装置及计算机可读存储介质 | |
CN116955591A (zh) | 用于内容推荐的推荐语生成方法、相关装置和介质 | |
CN116956183A (zh) | 多媒体资源推荐方法、模型训练方法、装置及存储介质 | |
CN116127066A (zh) | 文本聚类方法、文本聚类装置、电子设备及存储介质 | |
CN113032567B (zh) | 位置嵌入解释方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |