CN107943781B - 关键词识别方法及装置 - Google Patents

关键词识别方法及装置 Download PDF

Info

Publication number
CN107943781B
CN107943781B CN201610895492.4A CN201610895492A CN107943781B CN 107943781 B CN107943781 B CN 107943781B CN 201610895492 A CN201610895492 A CN 201610895492A CN 107943781 B CN107943781 B CN 107943781B
Authority
CN
China
Prior art keywords
keyword
online
sample
neural network
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610895492.4A
Other languages
English (en)
Other versions
CN107943781A (zh
Inventor
王天祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201610895492.4A priority Critical patent/CN107943781B/zh
Publication of CN107943781A publication Critical patent/CN107943781A/zh
Application granted granted Critical
Publication of CN107943781B publication Critical patent/CN107943781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种关键词识别方法及装置,涉及信息技术领域,可以减轻系统和人工维护低效词的负担,所述方法包括:首先对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;然后将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;再通过检测所述展现概率值,确定预设阈值范围内的展现概率值;对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。本发明适用于待上线关键词的识别。

Description

关键词识别方法及装置
技术领域
本发明涉及信息技术领域,尤其涉及一种关键词识别方法及装置。
背景技术
近些年来,随着互联网的快速发展,搜索引擎被越来越广泛的使用,因此搜索引擎营销业务也被更多的商家重视。搜索引擎营销业务是指在搜索引擎平台上投放关键词,在用户检索信息的时候将相关的关键词信息传递给目标用户,让用户发现信息并通过点击进入网站或网页,达成流量或转化的目的。
目前,搜索引擎平台上投放的关键词、广告创意等由搜索引擎业务人员准备,并由业务人员将准备的关键词、广告创意等上传至用户账户并配置账户结构,因此为了吸收更多的点击搜索,通常向账户内上传大量的关键词以供展现给用户。
然而,上传的大量关键词中,有很多生僻关键词,与用户搜索内容无关,导致这部分关键词在长时间内不会被展现,因此这部分关键词不能带来相应的搜索效应,反而给账户维护带来巨大的人力负担和系统负担。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的关键词识别方法及装置。
为了达到上述目的,本发明主要提供如下技术方案:
一方面,本发明提供了一种关键词识别方法,该方法包括:
对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;
将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;
通过检测所述展现概率值,确定预设阈值范围内的展现概率值;
对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。
另一方面,本发明提供了一种关键词识别装置,该装置包括:
处理单元,用于对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;
计算单元,用于将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;
确定单元,用于通过检测所述展现概率值,确定预设阈值范围内的展现概率值;
所述处理单元,还用于对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。
借由上述技术方案,本发明实施例提供的技术方案至少具有下列优点:
本发明提供的一种关键词识别方法及装置,首先对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;然后将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;再通过检测所述展现概率值,确定预设阈值范围内的展现概率值;对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。本发明在关键词上线之前,可以对关键词上线后被搜索引擎展现的概率值进行计算,根据该概率值可以确定关键词是否能代表网民搜索意图以及是否能带来流量,进而可以实现自动高效精准地监测到不能代表网民搜索意图的、不能带来流量的低效词,以便确定是否对未上线关键词进行上线,从而做到了对未上线关键词的监管和质量把控,有利地减轻了系统和人工维护这部分低效词的负担。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种关键词识别方法流程示意图;
图2示出了本发明实施例提供的另一种关键词识别方法流程示意图;
图3示出了本发明实施例提供的一种关键词识别装置结构示意图;
图4示出了本发明实施例提供的另一种关键词识别装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供的一种关键词识别方法,如图1所示,该方法包括:
101、对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据。
其中,所述待上线关键词可以为句子、短语、网络用语等,本发明实施例不做限定。所述卷积神经网络模型为一种人工神经网络模型,为识别二维形状而特殊设计的一个多层感知器。在本发明实施例中,卷积神经网络模型可以预先进行配置,具体地,可以从海量关键词积累中自动挖掘和发现那些低效词的共性,并根据低效词的共性配置卷积神经网络模型。所述输入格式数据可以为支持卷积神经网络模型计算的输入格式数据。
例如,对检测关键词a进行预处理,首先对关键词a进行分词,根据停用词词典删除关键词a分词中的停用词和符号,然后通过词向量对关键词a的每个分词进行序列化,得到关键词a对应的映射表,并根据映射表生成关键词a对应的矩阵,将得到的矩阵通过卷积神经网络训练,获得关键词a与卷积神经网络模型对应的输入格式数据。
102、将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值。
其中,所说关键词对应的展现概率值可以为根据用户搜索习惯关联出相应的关键词的概率值,即关键词上线后被展现的概率值。对于本发明实施例,通过计算得到待上线关键词对应的展现概率值,根据关键词的展现概率,判断是否将关键词投放入到各个用户的账户中。
103、通过检测所述展现概率值,确定预设阈值范围内的展现概率值。
其中,所述预设阈值范围,可以为用来根据待上线关键词对应的展现概率值确定关键词进行上线的阈值范围,也可以为用来根据待上线关键词对应的展现概率值确定关键词不进行上线的阈值范围,本发明实施例不做限定。
具体地,当待上线关键词对应的展现概率大于或等于预设阈值范围的最小值,且小于或等于预设阈值范围的最大值时,则可以确定该关键词对应的展现概率在预设阈值范围内。
例如,关键词1的展现概率为0.7、关键词2的展现概率为0.2、关键词3的展现概率为0.85,预设阈值范围为0.7~1,则预设阈值范围内的展现概率为关键词1对应的展现概率0.7和关键词3对应的展现概率0.85。
104、对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。
具体地,当预设阈值范围为上线预设阈值范围时,则对预设阈值范围内的展现概率值对应的待上线关键词进行上线;当预设阈值范围为不上线预设阈值范围时,则对预设阈值范围内的展现概率值对应的待上线关键词不进行上线,所述不进行上线的操作可以为不将待上传关键词投放入到用户相应的账户中。
对于本发明实施例,当待上线关键词的展现概率在不上线预设阈值范围内时,可以判定该关键词在投入到用户相应的账户后,很可能不会带来流量,并且会给维护账户带来额外的人力负担和系统负担,因此确定该关键词不进行上线。
本发明实施例提供的一种关键词识别方法,首先对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;然后将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;再通过检测所述展现概率值,确定预设阈值范围内的展现概率值;对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。本发明实施例在关键词上线之前,可以对关键词上线后被搜索引擎展现的概率值进行计算,根据该概率值可以确定关键词是否能代表网民搜索意图以及是否能带来流量,进而可以实现自动高效精准地监测到不能代表网民搜索意图的、不能带来流量的低效词,以便确定是否对未上线关键词进行上线,从而做到了对未上线关键词的监管和质量把控,有利地减轻了系统和人工维护这部分低效词的负担。
具体的,本发明实施例提供了另一种关键词识别方法,如图2所示,该方法包括:
201、从关键词样本数据库中获取第一样本关键词集合和第二样本关键词集合。
其中,所述第一样本关键词集合为没有被搜索引擎展现过的样本关键词的集合,所述第二样本关键词集合为在预设时间段内被搜索引擎展现过的样本关键词的集合。所述预设时间段可以为三个月、六个月、一年等,本发明实施例不做限定。
例如,可以从关键词样本数据库中随机抽取适量样本集合,分为从来没有被搜索引擎展现过的关键词的集合A,近期或一段历史时期内被搜索引擎展现过的关键词的集合B。
202、对所述第一样本关键词集合和所述第二样本关键词集合中的每个关键词进行分词,得到关键词分词集合。
其中,所述关键词分词可以为单个汉字、短语、英文单词等。
具体地,所述对关键词进行分词可以为将连续的字序列按照一定规则重新组合成词序列的过程。例如,对关键词“微博使用用户越来越多”进行分词,可以得到“用户”、“使用”、“越来越多”、“微博”四个分词。
203、根据预设停用词词典,删除所述关键词分词集合中的停用词及标点。
其中,所述预设停用词词典中包含不同停用词和标点信息,具体可以由技术人员预先进行编写配置。
例如,关键词集合A中含有“为奥运健儿加油”“季末促销”两个关键词,关键词集合B中含有“俺们都来了”一个关键词,对关键词集合A和关键词集合B中的每一个关键词进行分词,得到关键词分词集合“俺们、奥运、促销、都、健儿、季末、加油、来了、为”等9个关键词分词,根据停用词词典删除关键词分词集合中的停用词“俺们”,得到最终的关键词分词集合“奥运、促销、都、健儿、季末、加油、来了、为”。
对于本发明实施例,通过将关键词进行分词,并去掉关键词分词中的停用词和标点符号,可以避免停用词和标点符号投放在搜索引擎平台上,从而避免了停用词和停用符号给账户维护带来人力负担和系统负担。
204、根据预设词向量模型,对所述关键词分词集合中的每个关键词分词进行序列化,得到向量映射表。
其中,所述预设词向量模型中可以包含不同的词向量,具体可以由技术人员预先进行编写配置,而词向量可以表示一种低维实数向量,关键词分词的维度可以根据不同的关键词分词进行设定,例如关键词分词“奥运会”的维度可以设定为100,关键词分词“手账”的维度可以设定为50。所述向量映射表中保存有所述每个关键词分词对应的标识信息以及与所述标识信息对应的实数值向量。
具体地,所述对所述关键词分词集合中的每个关键词分词进行序列化,得到向量映射表是指:每个关键词分词通过词向量模型映射成分别对应的相应维度的实数值向量,以每个关键词分词为键,每个关键词分别对应的实数值向量为值,生成键值对映射表。
对于本发明实施例,所述步骤204具体可以包括:根据预设词向量模型,对删除处理后的关键词分词集合中的每个关键词分词进行序列化,得到向量映射表。
例如,根据预设停用词词典,删除关键词分词集合中的停用词及标点,删除处理后的关键词分词集合中含有“关键词分词1”、“关键词分词2”、“关键词分词3”三个关键词分词,根据预设词向量模型,对三个关键词分词进行序列化,得到每个关键词分词分别对应的实数值向量分别为“向量1”、“向量2”、“向量3”,从而获得向量映射表为{分词1:向量1,分词2:向量2,分词3:向量3}。
205、根据所述向量映射表,创建卷积神经网络模型。
对于本发明实施例,所述根据所述向量映射表,创建卷积神经网络模型具体包括:根据所述每个关键词分词对应的标识信息以及与所述标识信息对应的实数值向量,将所述第一样本关键词集合和所述第二样本关键词集合中的每个关键词映射成关键词矩阵;将所述每个关键词映射成的关键词矩阵通过卷积神经网络训练,创建得到所述卷积神经网络模型。
具体地,所述根据所述每个关键词分词对应的标识信息以及与所述标识信息对应的实数值向量,将所述第一样本关键词集合和所述第二样本关键词集合中的每个关键词映射成关键词矩阵可以按照固定长度L,该长度不小于最长关键词分词个数,根据每个关键词分词对应的标识信息以及与所述标识信息对应的实数值向量生成的向量映射表,将每个关键词映射成L*D的矩阵。其中D为关键词分词对应的实数值向量的维度,若关键词分词长度不足L,前后按全部为0的实数向量(简称0向量)补齐,0向量长度为D,若关键词分词为词向量字典中不存在的词,则随机一个0向量附件的向量,并一直保持该随机向量不变。
206、对待上线关键词进行预处理,得到与创建得到的卷积神经网络模型对应的输入格式数据。
对于本发明实施例,所述对待上线关键词进行预处理,得到与所述创建得到的卷积神经网络模型对应的输入格式数据具体包括:对待上线关键词进行分词,得到一个或多个关键词分词;根据预设词向量模型,对所述关键词分词进行序列化,得到与所述待上线关键词对应的向量映射表,所述向量映射表中保存有所述关键词分词对应的标识信息以及与所述标识信息对应的实数值向量;根据所述关键词分词对应的标识信息以及与所述标识信息对应的实数值向量,将所述待上线关键词映射成关键词矩阵,作为与所述卷积神经网络模型对应的输入格式数据。
207、将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值。
其中,所述展现概率值可以为上线后被搜索引擎展现的概率值。
例如,使用创建得到的卷积神经网络模型对待上线关键词进行预测分类,得到该关键词上线后被搜索引擎展现的概率值。
对于本发明实施例,所述步骤207之后还可以包括:输出所述待上线关键词对应的展现概率值。具体地展现概率值可以利用文本形式输出、图片形式输出、音频形式输出、视频形式输出,以便业务人员进行监测分析。
208、通过检测所述展现概率值,确定预设阈值范围内的展现概率值。
其中,所述预设阈值范围的概念解释可以参考步骤103中相应描述,在此不再赘述。
209、对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。
在本发明实施例中,可以通过上述步骤206至步骤209中所述方法,对一批即将上线的关键词分别进行分析,确定是否上线,并可以生成分析结果,以便业务人员根据该分析结果,决定是否对关键词进行上线操作。
例如,预设阈值范围可以为0~0.15,当检测出待上线关键词对应的展现概率值大于或等于0,且小于或等于0.15时,可以推测该关键词上线后很可能不会被展现,有很大几率为不能代表网民搜索意图的、不能带来流量的低效词,进而可以确定该关键词不进行上线;而当检测出该关键词对应的展现概率值大于0.15时,确定该关键词进行上线操作。
本发明实施例提供的另一种关键词识别方法,首先对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;然后将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;再通过检测所述展现概率值,确定预设阈值范围内的展现概率值;对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。本发明实施例在关键词上线之前,可以对关键词上线后被搜索引擎展现的概率值进行计算,根据该概率值可以确定关键词是否能代表网民搜索意图以及是否能带来流量,进而可以实现自动高效精准地监测到不能代表网民搜索意图的、不能带来流量的低效词,以便确定是否对未上线关键词进行上线,从而做到了对未上线关键词的监管和质量把控,有利地减轻了系统和人工维护这部分低效词的负担。
进一步地,作为图1所示方法的具体实现,本发明实施例提供了一种关键词识别装置,如图3所示,所述装置包括:处理单元31、计算单元32、确定单元33。
所述处理单元31,可以用于对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据。
所述计算单元32,可以用于将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值。
所述确定单元33,可以用于通过检测所述展现概率值,确定预设阈值范围内的展现概率值。
所述处理单元31,还可以用于对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。
需要说明的是,本发明实施例提供的一种关键词识别装置所涉及各功能单元的其他相应描述,可以参考图1的对应描述,在此不再赘述。
本发明实施例提供的一种关键词识别装置,首先对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;然后将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;再通过检测所述展现概率值,确定预设阈值范围内的展现概率值;对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。本发明实施例在关键词上线之前,可以对关键词上线后被搜索引擎展现的概率值进行计算,根据该概率值可以确定关键词是否能代表网民搜索意图以及是否能带来流量,进而可以实现自动高效精准地监测到不能代表网民搜索意图的、不能带来流量的低效词,以便确定是否对未上线关键词进行上线,从而做到了对未上线关键词的监管和质量把控,有利地减轻了系统和人工维护这部分低效词的负担。
进一步地,作为图2所示方法的具体实现,本发明实施例提供了另一种关键词识别装置,如图4所示,所述装置包括:处理单元41、计算单元42、确定单元43。
所述处理单元41,可以用于对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据。
所述计算单元42,可以用于将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值。
所述确定单元43,可以用于通过检测所述展现概率值,确定预设阈值范围内的展现概率值。
所述处理单元41,还可以用于对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。
进一步地,所述装置还包括:获取单元44。
所述获取单元44,可以用于从关键词样本数据库中获取第一样本关键词集合和第二样本关键词集合。
进一步地,所述装置还包括:分词单元45。
所述分词单元45,可以用于对所述第一样本关键词集合和所述第二样本关键词集合中的每个关键词进行分词,得到关键词分词集合。
进一步地,所述装置还包括:删除单元46。
所述删除单元46,可以用于根据预设停用词词典,删除所述关键词分词集合中的停用词及标点。
进一步地,所述装置还包括:序列化单元47。
所述序列化单元47,可以用于根据预设词向量模型,对所述关键词分词集合中的每个关键词分词进行序列化,得到向量映射表。
所述序列化单元47,具体可以用于根据预设词向量模型,对删除处理后的关键词分词集合中的每个关键词分词进行序列化,得到向量映射表。
进一步地,所述装置还包括:创建单元48。
所述创建单元48,可以用于根据所述向量映射表,创建卷积神经网络模型。
所述创建单元48包括:映射模块4801、创建模块4802。
所述映射模块4801,可以用于根据所述每个关键词分词对应的标识信息以及与所述标识信息对应的实数值向量,将所述第一样本关键词集合和所述第二样本关键词集合中的每个关键词映射成关键词矩阵。
所述创建模块4802,可以用于将所述每个关键词映射成的关键词矩阵通过卷积神经网络训练,创建得到所述卷积神经网络模型。
进一步地,所述处理单元41包括:分词模块4101、序列化模块4102、映射模块4103。
所述分词模块4101,可以用于对待上线关键词进行分词,得到一个或多个关键词分词。
所述序列化模块4102,可以用于根据预设词向量模型,对所述关键词分词进行序列化,得到与所述待上线关键词对应的向量映射表,所述向量映射表中保存有所述关键词分词对应的标识信息以及与所述标识信息对应的实数值向量。
所述映射模块4103,可以用于根据所述关键词分词对应的标识信息以及与所述标识信息对应的实数值向量,将所述待上线关键词映射成关键词矩阵,作为与所述卷积神经网络模型对应的输入格式数据。
进一步的,所述装置还包括:输出单元49。
所述输出单元49,可以用于输出所述待上线关键词对应的展现概率值。
需要说明的是,本发明实施例提供的另一种关键词识别装置所涉及各功能单元的其他相应描述,可以参考图2的对应描述,在此不再赘述。
本发明实施例提供的另一种关键词识别装置,首先对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;然后将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;再通过检测所述展现概率值,确定预设阈值范围内的展现概率值;对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。本发明实施例在关键词上线之前,可以对关键词上线后被搜索引擎展现的概率值进行计算,根据该概率值可以确定关键词是否能代表网民搜索意图以及是否能带来流量,进而可以实现自动高效精准地监测到不能代表网民搜索意图的、不能带来流量的低效词,以便确定是否对未上线关键词进行上线,从而做到了对未上线关键词的监管和质量把控,有利地减轻了系统和人工维护这部分低效词的负担。
所述关键词识别装置包括处理器和存储器,上述处理单元、计算单元、确定单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决现有技术中会限制业务发展以及会对整个页面的布局、排版造成影响的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;通过检测所述展现概率值,确定预设阈值范围内的展现概率值;对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种关键词识别方法,其特征在于,包括:
从关键词样本数据库中获取第一样本关键词集合和第二样本关键词集合,所述第一样本关键词集合为没有被搜索引擎展现过的样本关键词的集合,所述第二样本关键词集合为在预设时间段内被搜索引擎展现过的样本关键词的集合;
对所述第一样本关键词集合和所述第二样本关键词集合中的每个关键词进行分词,得到关键词分词集合;
根据预设词向量模型,对所述关键词分词集合中的每个关键词分词进行序列化,得到向量映射表,所述向量映射表中保存有所述每个关键词分词对应的标识信息以及与所述标识信息对应的实数值向量;
根据所述向量映射表,创建卷积神经网络模型,具体包括:根据所述每个关键词分词对应的标识信息以及与所述标识信息对应的实数值向量,将所述第一样本关键词集合和所述第二样本关键词集合中的每个关键词映射成关键词矩阵;将所述每个关键词映射成的关键词矩阵通过卷积神经网络训练,创建得到所述卷积神经网络模型;
对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;
将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;
通过检测所述展现概率值,确定预设阈值范围内的展现概率值;
对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。
2.根据权利要求1所述的关键词识别方法,其特征在于,所述对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据,具体包括:
对待上线关键词进行分词,得到一个或多个关键词分词;
根据预设词向量模型,对所述关键词分词进行序列化,得到与所述待上线关键词对应的向量映射表,所述向量映射表中保存有所述关键词分词对应的标识信息以及与所述标识信息对应的实数值向量;
根据所述关键词分词对应的标识信息以及与所述标识信息对应的实数值向量,将所述待上线关键词映射成关键词矩阵,作为与所述卷积神经网络模型对应的输入格式数据。
3.根据权利要求1所述的关键词识别方法,其特征在于,所述对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据,具体包括:
对待上线关键词进行预处理,得到与创建得到的卷积神经网络模型对应的输入格式数据。
4.根据权利要求1所述的关键词识别方法,其特征在于,所述根据预设词向量模型,对所述关键词分词集合中的每个关键词分词进行序列化,得到向量映射表之前,所述方法还包括:
根据预设停用词词典,删除所述关键词分词集合中的停用词及标点;
所述根据预设词向量模型,对所述关键词分词集合中的每个关键词分词进行序列化,得到向量映射表,具体包括:
根据预设词向量模型,对删除处理后的关键词分词集合中的每个关键词分词进行序列化,得到向量映射表。
5.一种关键词识别装置,其特征在于,包括:
获取单元,用于从关键词样本数据库中获取第一样本关键词集合和第二样本关键词集合,所述第一样本关键词集合为没有被搜索引擎展现过的样本关键词的集合,所述第二样本关键词集合为在预设时间段内被搜索引擎展现过的样本关键词的集合;
分词单元,用于对所述第一样本关键词集合和所述第二样本关键词集合中的每个关键词进行分词,得到关键词分词集合;
序列化单元,用于根据预设词向量模型,对所述关键词分词集合中的每个关键词分词进行序列化,得到向量映射表;
创建单元,用于根据所述向量映射表,创建卷积神经网络模型;
所述创建单元包括:映射模块、创建模块;
所述映射模块,用于根据所述每个关键词分词对应的标识信息以及与所述标识信息对应的实数值向量,将所述第一样本关键词集合和所述第二样本关键词集合中的每个关键词映射成关键词矩阵;
所述创建模块,用于将所述每个关键词映射成的关键词矩阵通过卷积神经网络训练,创建得到所述卷积神经网络模型;
处理单元,用于对待上线关键词进行预处理,得到与卷积神经网络模型对应的输入格式数据;
计算单元,用于将所述输入格式数据通过所述卷积神经网络模型进行计算,得到所述待上线关键词对应的展现概率值;
确定单元,用于通过检测所述展现概率值,确定预设阈值范围内的展现概率值;
所述处理单元,还用于对与所述预设阈值范围内的展现概率值所对应的待上线关键词执行处理。
6.根据权利要求5所述的关键词识别装置,其特征在于,所述处理单元包括:
分词模块,用于对待上线关键词进行分词,得到一个或多个关键词分词;
序列化模块,用于根据预设词向量模型,对所述关键词分词进行序列化,得到与所述待上线关键词对应的向量映射表,所述向量映射表中保存有所述关键词分词对应的标识信息以及与所述标识信息对应的实数值向量;
映射模块,用于根据所述关键词分词对应的标识信息以及与所述标识信息对应的实数值向量,将所述待上线关键词映射成关键词矩阵,作为与所述卷积神经网络模型对应的输入格式数据。
7.根据权利要求5所述的关键词识别装置,其特征在于,
所述处理单元,具体用于对待上线关键词进行预处理,得到与创建得到的卷积神经网络模型对应的输入格式数据。
8.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求4中任意一项所述的关键词识别方法。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至权利要求4中任意一项所述的关键词识别方法。
CN201610895492.4A 2016-10-13 2016-10-13 关键词识别方法及装置 Active CN107943781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610895492.4A CN107943781B (zh) 2016-10-13 2016-10-13 关键词识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610895492.4A CN107943781B (zh) 2016-10-13 2016-10-13 关键词识别方法及装置

Publications (2)

Publication Number Publication Date
CN107943781A CN107943781A (zh) 2018-04-20
CN107943781B true CN107943781B (zh) 2021-08-13

Family

ID=61928495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610895492.4A Active CN107943781B (zh) 2016-10-13 2016-10-13 关键词识别方法及装置

Country Status (1)

Country Link
CN (1) CN107943781B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131706B (zh) * 2007-09-28 2010-10-13 北京金山软件有限公司 一种查询修正方法及系统
CN103164454B (zh) * 2011-12-15 2016-03-23 百度在线网络技术(北京)有限公司 关键词分组方法及系统
CN102831184B (zh) * 2012-08-01 2016-03-02 中国科学院自动化研究所 根据对社会事件的文字描述来预测社会情感的方法及系统
CN103699625B (zh) * 2013-12-20 2017-05-10 北京百度网讯科技有限公司 基于关键词进行检索的方法及装置
US9542934B2 (en) * 2014-02-27 2017-01-10 Fuji Xerox Co., Ltd. Systems and methods for using latent variable modeling for multi-modal video indexing

Also Published As

Publication number Publication date
CN107943781A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN109472033B (zh) 文本中的实体关系抽取方法及系统、存储介质、电子设备
CN109815487B (zh) 文本质检方法、电子装置、计算机设备及存储介质
CN105989040B (zh) 智能问答的方法、装置及系统
US20190311210A1 (en) Automated extraction of product attributes from images
CN110263248B (zh) 一种信息推送方法、装置、存储介质和服务器
Wilkinson et al. Neural Ctrl-F: segmentation-free query-by-string word spotting in handwritten manuscript collections
CN109086265B (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN108319734A (zh) 一种基于线性组合器的产品特征结构树自动构建方法
CN110083832B (zh) 文章转载关系的识别方法、装置、设备及可读存储介质
CN109829151B (zh) 一种基于分层狄利克雷模型的文本分割方法
CN111563384A (zh) 面向电商产品的评价对象识别方法、装置及存储介质
CN104850617A (zh) 短文本处理方法及装置
CN111753082A (zh) 基于评论数据的文本分类方法及装置、设备和介质
JPWO2019224891A1 (ja) 分類装置、分類方法、生成方法、分類プログラム及び生成プログラム
CN111488732B (zh) 一种变形关键词检测方法、系统及相关设备
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
CN111260428A (zh) 一种商品推荐方法和装置
CN110990563A (zh) 一种基于人工智能的传统文化素材库构建方法及系统
CN114037545A (zh) 客户推荐方法、装置、设备及存储介质
CN112613293A (zh) 摘要生成方法、装置、电子设备及存储介质
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN113705468A (zh) 基于人工智能的数字图像识别方法及相关设备
CN113868419A (zh) 基于人工智能的文本分类方法、装置、设备及介质
CN111597336B (zh) 训练文本的处理方法、装置、电子设备及可读存储介质
CN110851597A (zh) 一种基于同类实体替换的语句标注的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant