CN105808737A - 一种信息检索方法及服务器 - Google Patents
一种信息检索方法及服务器 Download PDFInfo
- Publication number
- CN105808737A CN105808737A CN201610136201.3A CN201610136201A CN105808737A CN 105808737 A CN105808737 A CN 105808737A CN 201610136201 A CN201610136201 A CN 201610136201A CN 105808737 A CN105808737 A CN 105808737A
- Authority
- CN
- China
- Prior art keywords
- subdata
- retrieved
- target
- similarity
- searching database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3325—Reformulation based on results of preceding query
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种信息检索方法,包括:获取待检索数据,其中,所述待检索数据包含有至少两个待检索子数据;从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;基于至少一个第一待检索子数据,从所述检索数据库中进行初级检索,得到初级检索结果;其中,所述初级检索结果为至少包含有所述至少一个第一待检索子数据的信息;获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,基于特征相似度从所述子数据中选取至少一个目标关键字;基于至少一个目标关键字,在所述初级检索结果中选取并输出目标检索结果。本发明实施例还公开了一种服务器。
Description
技术领域
本发明涉及信息检索技术,尤其涉及一种信息检索方法及服务器。
背景技术
现有检索技术大多是基于查询串的重要性而进行检索的;例如,根据用户输入的查询串的重要性,对查询串中不重要的部分查询词进行舍弃,并利用同义词匹配原则,从检索数据库中选取出与查询串中剩余的查询词同义词匹配的查询结果;这里,所述查询结果可以是根据剩余的查询词在检索数据库所对应的权重而进行排序后的信息。
上述过程中,严重依赖所有查询词或者至少部分查询词是否出现在检索数据库的文章中,以及出现的次数,位置等,且上述出现的次数、位置等特征影响查询结果中文章的权重,以及排序;这里,当舍弃的查询词虽然未出现查询结果中,但是与查询结果中目标文章的语义相关性较高,此时,利用上述方法得到的查询结果显然会将语义相关性较高的目标文章的排序靠后,因此,延长了用户寻找目标文章的时间,降低了用户体验。
发明内容
为解决现有存在的技术问题,本发明实施例提供了一种信息检索方法及服务器。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种信息检索方法,包括:
获取待检索数据,其中,所述待检索数据包含有至少两个待检索子数据;
从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;
基于至少一个第一待检索子数据,从检索数据库中进行初级检索,得到初级检索结果;其中,所述初级检索结果为至少包含有所述至少一个第一待检索子数据的信息;
获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,基于特征相似度从所述子数据中选取至少一个目标关键字;
基于至少一个目标关键字,在所述初级检索结果中选取并输出目标检索结果。
本发明实施例还提供了一种服务器,包括:
获取单元,用于获取待检索数据,其中,所述待检索数据包含有至少两个待检索子数据;
确定单元,用于从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;
检索单元,用于基于至少一个第一待检索子数据,从检索数据库中进行初级检索,得到初级检索结果;获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,基于特征相似度从所述子数据中选取至少一个目标关键字;基于至少一个目标关键字,在所述初级检索结果中选取并输出目标检索结果;
其中,所述初级检索结果为至少包含有所述至少一个第一待检索子数据的信息。
本发明实施例所提供的信息检索方法及服务器,首先,将待检索数据拆分为两部分,即至少一个第一待检索子数据和至少一个第二待检索子数据;然后,根据所述至少一个第一待检索子数据在检索数据库中确定出初级检索结果;最后,获取所述至少一个第二待检索子数据与所述检索数据库中的子数据之间的特征相似度,进而根据特征相似度,从所述初级检索结果中选取出目标检索结果,实现了对初级检索结果的优化;而且,由于本发明实施例所述的方法引入了特征相似度概念,且通过该特征相似度能够确定出至少一个第二待检索子数据与所述检索数据库中的子数据之间的词义匹配度,所以,本发明实施例能够实现从初级检索结果中选取出词义相关性较近的文章,提升待检索数据与目标检索结果的匹配度的目的。
附图说明
图1为本发明实施例信息检索方法的实现流程;
图2为传统检索技术示意图;
图3为本发明实施例语言模型示意图;
图4为本发明实施例语言模型原理示意图;
图5为本发明实施例确定检索数据库中各子数据对应的向量的实现流程示意图;
图6为本发明实施例信息检索方法的具体应用的示意图;
图7为本发明实施例将计算出的向量相似度按照逆序排列后得到的输出结果示意图;
图8为输出的初级检索结果示意图;
图9为实施本发明实施例所述的信息检索方法后所输出的目标检索结果的示意图;
图10为本发明实施例服务器的具体结构示意图;
图11为本发明实施例服务器硬件组成结构示意图。
具体实施方式
为了能够更加详尽地了解本发明的特点与技术内容,下面结合附图对本发明的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明。
实施例一
本发明实施例提供了一种信息检索方法,如图1所示,所述方法包括:
步骤101:获取待检索数据,其中,所述待检索数据包含有至少两个待检索子数据;
步骤102:从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;
步骤103:基于至少一个第一待检索子数据,从所述检索数据库中进行初级检索,得到初级检索结果;其中,所述初级检索结果为至少包含有所述至少一个第一待检索子数据的信息;
步骤104:获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,基于特征相似度从所述子数据中选取至少一个目标关键字;
步骤105:基于至少一个目标关键字,在所述初级检索结果中选取并输出目标检索结果。
本实施例提供的方案可以应用于服务器侧。
本实施例中,所述待检索数据可以具体为查询串,且该查询串包含有至少两个查询词。
本实施例中,步骤102所述从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据,可以具体包括:获取所述至少两个待检索子数据所对应的权重值;基于权重值,从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;
也就是说,本实施例所述方法将所述待检索数据拆分成两部分,分别为至少一个第一待检索子数据和至少一个第二待检索子数据;其中,所述至少一个第一待检索子数据所对应的权重值大于所述至少一个第二待检索子数据所对应的权重值。
具体地,所述至少一个第一待检索子数据所对应的权重值大于权重门限值;所述至少一个第二待检索子数据所对应的权重值小于所述权重门限值。
这里,所述初级检索结果是根据所述至少一个第一待检索子数据确定出的,也就是说,所述初级检索结果至少包含有所述至少一个第一待检索子数据,且根据权重值大于所述权重门限值的所述至少一个第一待检索子确定出的所述初级检测结果满足预设规则;
比如,根据权重值大于所述权重门限值的所述至少一个第一待检索子确定出的所述初级检测结果对应的文章篇数大于第一阈值,和/或,根据权重值大于所述权重门限值的所述至少一个第一待检索子确定出的所述初级检测结果所占用的总页数大于第二阈值;具体地,根据所述至少一个第一待检索子数据确定出的初级检索结果的文章大于100篇;或者,根据所述至少一个第一待检索子数据确定出的初级检索结果占用的总页数大于10页。而根据所述至少一个第一待检索子数据和至少一个第二待检索子数据确定出的文章篇数和/或占用的总页数等不满足该预设规则,也就是说,在检索数据库中,同时包含至少一个第一待检索子数据和至少一个第二待检索子数据的文章的篇数较少,甚至没有。因此,为确保初级检测结果对应的文章的数量足够多,本实施例中基于所述至少一个第一待检索子数据从检索数据库中进行初级检索以得到初级检索结果。
在实际应用中,所述获取所述至少两个待检索子数据所对应的权重值,可以具体为:获取所述至少两个待检索子数据在所述检索数据库中所对应的权重值;进一步地,所述检索数据库可以具体为历史数据库,或者为实时更新的数据库;对应地,所述获取所述至少两个待检索子数据所对应的权重值具体为:从历史数据库中获取所述至少两个待检索子数据所对应的权重值,或者,从实时更新的数据库中获取所述至少两个待检索子数据所对应的权重值。这里,所述至少两个待检索子数据所对应的权重值可以是针对于所述检索数据库的权重值,也可以是针对于所述检索数据库中部分数据的权重值,例如,当所述检索数据库为实时更新的数据库,此时,所述至少两个待检索子数据所对应的权重值可以为所述至少两个待检索子数据在历史数据库对应的权重值。
进一步地,权重值可以根据待检测子数据在检索数据库中出现的次数和/或位置等相关信息进行确定,比如,根据所述至少两个待检索子数据在所述检索数据库中出现的次数进行确定,且出现次数较多的权重值低,出现次数较少的权重值高。实际应用中,待检索子数据权重值的确定过程可以参考现有方法,这里不再赘述。
本实施例中,步骤102确定出的初级检索结果为根据同义词匹配原则,在所述检索数据库中选取出的与所述至少一个第一待检索子数据具有同义词关联的信息,如文章等;以下结合具体应用场景指出同义词匹配原则存在的缺点,以及本发明实施例克服该缺点的具体方法:
以在微信公众号文章搜索中的实际查询(Query)来举例,比如2015年6月份成都发生了优步专车和出租车打架的事件,某用户想了解此事件,但忘记了具体关键字,于是在微信公众号文章搜索入口中搜索:“成都滴滴事件”,此时,如图2所示,如果按传统检索技术,用同义词匹配原则或纠错算法进行检索,由于“滴滴”与“优步”不是同义词,所以,导致检索结果中不包含有“优步”关键字;而且,单从Query来看,用户的输入也毫无问题,无法利用纠错算法;因此,利用同义词匹配原则或纠错算法得到的检索结果必然相关性较差。进一步地,将“成都”、“滴滴”以及“事件”同时作为关键字并基于同义词匹配原则进行搜索,若得到同时包含有“成都”、“滴滴”以及“事件”的检索结果不满足预设规则,例如,没有同时包含有“成都”、“滴滴”以及“事件”的文章,此时,为确保能够得到具有一定匹配度的检索结果,则采用非必留技术丢弃“滴滴”,只保留“成都事件”;这样,虽然检索结果所对应的目标页中可能会包含有“成都优步事件”相关文章,但由于此时Query已语义漂移,检索结果中包含了很多其他不相关文章,因此,单一根据文本相关性,也即同义词匹配原则确定出的检索结果不能保证包含有“成都优步事件”相关文章的排序靠前,降低了检索结果的匹配度,增加了用户寻找目标文章的时间,降低了用户体验。
本实施例中,所述至少一个第一待检索子数据对应于“成都事件”;所述至少一个第二待检索子数据对应于丢弃的“滴滴”;也就是说,所述至少一个第一待检索子数据为采用非必留技术时所选中的关键字;而所述至少一个第二待检索子数据为采用非必留技术时所未选中的关键字。
为解决上述问题,提升检索结果的匹配度,使检索结果中与待检索数据的语义匹配度较高的文章排序靠前,降低用户寻找目标文章的时间,提升用户体验,本实施例引入特征相似度概率,具体地,计算未选中的所述至少一个第二待检索子数据与所述检索数据库中的子数据(如至少一个子数据)的特征相似度,也即词义相似度,如此,在所述检索数据库中,确定出与未选中的所述至少一个第二待检索子数据具有词义相关性较近的至少一个目标关键字,进而在基于所述至少一个第一待检索子数据确定出的初级检索结果中,选取出包含有所述至少一个目标关键字的目标检索结果,如此,实现了将初级检索结果中与待检索数据的语义匹配度较高的文章排序靠前的目的,提升了最终输出的目标检索结果与待检索数据的词义匹配度,实现了对初级检索结果的进一步优化,实现了对现有检索技术的进一步优化。
在实际应用中,上述输出目标检索结果,可以具体为:根据计算出的所述至少一个目标关键字的特征相似度,对目标检索结果进行排序;输出排序后的所述目标检索结果。例如,将特征相似度较近的目标关键字对应的目标文章排序提前,将特征相似度较远的目标关键字对应的目标文章排序靠后。
本发明实施例所述的方法,首先,将待检索数据拆分为两部分,即至少一个第一待检索子数据和至少一个第二待检索子数据;然后,根据所述至少一个第一待检索子数据在检索数据库中确定出初级检索结果;最后,获取所述至少一个第二待检索子数据与所述检索数据库中的子数据之间的特征相似度,进而根据特征相似度,从所述初级检索结果中选取出目标检索结果,实现了对初级检索结果的优化;而且,由于本发明实施例所述的方法引入了特征相似度概念,且通过该特征相似度能够确定出至少一个第二待检索子数据与所述检索数据库中的子数据之间的词义匹配度,所以,本发明实施例能够实现从初级检索结果中选取出词义相关性较近的文章,提升待检索数据与目标检索结果的匹配度的目的。
另外,本发明实施例解决了现有检索技术中采用同义词匹配原则或纠错算法无法搜索到满足预设规则的检索结果,需要采用非必留技术舍弃待检索数据中的某一个或某一些关键字而导致检索结果中词义相关性较近的文章排序靠后的问题;因此,本发明实施例缩短了用户找寻目标文章的时间,提升了用户体验。
实施例二
本发明实施例提供了一种信息检索方法,如图1所示,所述方法包括:
步骤101:获取待检索数据,其中,所述待检索数据包含有至少两个待检索子数据;
步骤102:从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;
步骤103:基于至少一个第一待检索子数据,从所述检索数据库中进行初级检索,得到初级检索结果;其中,所述初级检索结果为至少包含有所述至少一个第一待检索子数据的信息;
步骤104:获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,基于特征相似度从所述子数据中选取至少一个目标关键字;
步骤105:基于至少一个目标关键字,在所述初级检索结果中选取并输出目标检索结果。
本实施例提供的方案可以应用于服务器侧。
本实施例中,所述待检索数据可以具体为查询串,且该查询串包含有至少两个查询词。
本实施例中,步骤102所述从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据,可以具体包括:获取所述至少两个待检索子数据所对应的权重值;基于权重值,从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;
也就是说,本实施例所述方法将所述待检索数据拆分成两部分,分别为至少一个第一待检索子数据和至少一个第二待检索子数据;其中,所述至少一个第一待检索子数据所对应的权重值大于所述至少一个第二待检索子数据所对应的权重值;具体地,所述至少一个第一待检索子数据所对应的权重值大于权重门限值;所述至少一个第二待检索子数据所对应的权重值小于所述权重门限值。这里,所述初级检索结果是根据所述至少一个第一待检索子数据确定出的,也就是说,所述初级检索结果至少包含有所述至少一个第一待检索子数据,且根据权重值大于所述权重门限值的所述至少一个第一待检索子确定出的所述初级检测结果满足预设规则;比如,根据权重值大于所述权重门限值的所述至少一个第一待检索子确定出的所述初级检测结果对应的文章篇数大于第一阈值,和/或,根据权重值大于所述权重门限值的所述至少一个第一待检索子确定出的所述初级检测结果所占用的总页数大于第二阈值;具体地,根据所述至少一个第一待检索子数据确定出的初级检索结果的文章大于100篇;或者,根据所述至少一个第一待检索子数据确定出的初级检索结果占用的总页数大于10页。而根据所述至少一个第一待检索子数据和至少一个第二待检索子数据确定出的文章篇数和/或占用的总页数等不满足该预设规则,也就是说,在检索数据库中,同时包含至少一个第一待检索子数据和至少一个第二待检索子数据的文章的篇数较少,甚至没有。因此,为确保初级检测结果对应的文章的数量足够多,本实施例中基于所述至少一个第一待检索子数据从检索数据库中进行初级检索以得到初级检索结果。
在实际应用中,所述获取所述至少两个待检索子数据所对应的权重值,可以具体为:获取所述至少两个待检索子数据在所述检索数据库中所对应的权重值;进一步地,所述检索数据库可以具体为历史数据库,或者为实时更新的数据库;对应地,所述获取所述至少两个待检索子数据所对应的权重值具体为:从历史数据库中获取所述至少两个待检索子数据所对应的权重值,或者,从实时更新的数据库中获取所述至少两个待检索子数据所对应的权重值。这里,所述至少两个待检索子数据所对应的权重值可以是针对于所述检索数据库的权重值,也可以是针对于所述检索数据库中部分数据的权重值,例如,当所述检索数据库为实时更新的数据库,此时,所述至少两个待检索子数据所对应的权重值可以为所述至少两个待检索子数据在历史数据库对应的权重值。
进一步地,权重值可以根据待检测子数据在检索数据库中出现的次数和/或位置等相关信息进行确定,比如,根据所述至少两个待检索子数据在所述检索数据库中出现的次数进行确定,且出现次数较多的权重值低,出现次数较少的权重值高。实际应用中,待检索子数据权重值的确定过程可以参考现有方法,这里不再赘述。
本实施例中,步骤102确定出的初级检索结果为根据同义词匹配原则,在所述检索数据库中选取出的与所述至少一个第一待检索子数据具有同义词关联的信息,如文章等;以下结合具体应用场景指出同义词匹配原则存在的缺点,以及本发明实施例克服该缺点的具体方法:
以在微信公众号文章搜索中的实际查询(Query)来举例,比如2015年6月份成都发生了优步专车和出租车打架的事件,某用户想了解此事件,但忘记了具体关键字,于是在微信公众号文章搜索入口中搜索:“成都滴滴事件”,此时,如图2所示,如果按传统检索技术,用同义词匹配原则或纠错算法进行检索,由于“滴滴”与“优步”不是同义词,所以,导致检索结果中不包含有“优步”关键字;而且,单从Query来看,用户的输入也毫无问题,无法利用纠错算法;因此,利用同义词匹配原则或纠错算法得到的检索结果必然相关性较差。进一步地,将“成都”、“滴滴”以及“事件”同时作为关键字并基于同义词匹配原则进行搜索,若得到同时包含有“成都”、“滴滴”以及“事件”的检索结果不满足预设规则,例如,没有同时包含有“成都”、“滴滴”以及“事件”的文章,此时,为确保能够得到具有一定匹配度的检索结果,则采用非必留技术丢弃“滴滴”,只保留“成都事件”;这样,虽然检索结果所对应的目标页中可能会包含有“成都优步事件”相关文章,但由于此时Query已语义漂移,检索结果中包含了很多其他不相关文章,因此,单一根据文本相关性,也即同义词匹配原则确定出的检索结果不能保证包含有“成都优步事件”相关文章的排序靠前,降低了检索结果的匹配度,增加了用户寻找目标文章的时间,降低了用户体验。
本实施例中,所述至少一个第一待检索子数据对应于“成都事件”;所述至少一个第二待检索子数据对应于丢弃的“滴滴”;也就是说,所述至少一个第一待检索子数据为采用非必留技术时所选中的关键字;而所述至少一个第二待检索子数据为采用非必留技术时所未选中的关键字。
为解决上述问题,提升检索结果的匹配度,使检索结果中与待检索数据的语义匹配度较高的文章排序靠前,降低用户寻找目标文章的时间,提升用户体验,本实施例引入特征相似度概率,具体地,计算未选中的所述至少一个第二待检索子数据与所述检索数据库中的子数据(如至少一个子数据)的特征相似度,也即词义相似度,如此,在所述检索数据库中,确定出与未选中的所述至少一个第二待检索子数据具有词义相关性较近的至少一个目标关键字,进而在基于所述至少一个第一待检索子数据确定出的初级检索结果中,选取出包含有所述至少一个目标关键字的目标检索结果,如此,实现了将初级检索结果中与待检索数据的语义匹配度较高的文章排序靠前的目的,提升了最终输出的目标检索结果与待检索数据的词义匹配度,实现了对初级检索结果的进一步优化,实现了对现有检索技术的进一步优化。
在实际应用中,本发明实施例可以利用深度学习模型,例语言模型word2vec,如图3所示,该语言模型训练装置能够将文章中上下文经常出现的词认定为词义相近;而且,还能够将词转换为向量,通过向量定量表示词之间的语义相似度;这样,把对文本数据的处理简单化为空间中的向量运算,如此,通过向量空间上的相似度来表征文本语义上的相似度。
具体地,如图4所示,通过所述word2vector将词转换为向量,进而通过向量将各词之间进行关联,便于定量表示两个词之间的词义相似度,例如向量1表示词1对应的向量与词2对应的向量之间的词义相似度;向量2表示词3对应的向量与词4对应的向量之间的词义相似度;向量3表示词1对应的向量与词3对应的向量之间的词义相似度。
在一具体实施例中,步骤104获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,具体为:
计算所述至少一个第二待检索子数据对应的目标向量与所述检索数据库中的至少一个子数据对应的至少一个向量的向量相似度;例如,利用如图3所示的语言模型word2vec,计算所述至少一个第二待检索子数据对应的目标向量与所述检索数据库中的至少一个子数据对应的至少一个向量的向量相似度,进而基于向量相似度确定至少一个目标关键字。
进一步地,为便于获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,本实施例所述方法还包括:对所述检索数据库中的文本数据做分词处理,得到至少一个子数据;对所述至少一个子数据进行处理,得到与所述至少一个子数据对应的至少一个向量。
这里,所述检索数据库的至少一个子数据对应的至少一个向量中包含有第二待检索子数据对应的目标向量,如此,便于直接获取所述至少一个第二待检索子数据对应的目标向量,计算所述至少一个第二待检索子数据对应的目标向量与所述检索数据库中的每一向量之间的向量相似度,进而基于计算出的向量相似度确定至少一个目标关键字。在实际应用中,所述向量为N维向量;N为大于等于2的正整数。
图5为本发明实施例确定检索数据库中各子数据对应的向量的实现流程示意图;图6为本发明实施例信息检索方法的具体应用的示意图;以在微信公众号文章中进行实际查询为例;如图5和图6所示,
(一)离线训练部分,具体包括:
步骤一:确定公众号名,以及确定公众号名对应的文章标题、文章正文原始文本数据,将公众号名、公众号名对应的文章标题、文章正文原始文本数据作为检索数据库,且该检索数据库为公众号名对应的历史数据;例如:公众号名1;文章1“成都优步事件引发的市场与监管之变”;第一文本数据;文章2“成都滴滴事件”;第二文本数据;等等。
步骤二:调用分词器,对公众号名、公众号名对应的文章标题、文章正文原始文本数据进行切词处理;例如,以对文章1和文章2的文章标题进行切词处理为例,得到文章1:“头条/成都/优步/事件/引发/的/市场/与/监管/之/变”;文章2:“成都/滴滴/事件”。
步骤三:使用语言模型word2vec,对切词处理后的每一词进行训练,得到切词处理后的每一词对应的向量;例如,以100维度的向量为例,得到:
头条:[0.984,0.147,0.211,-0.165,-0.242,...];
成都:[0.045,-0.127,0.113,0.235,0.659,...];
滴滴:[0.645,-0.127,-0.107,0.126,-0.342,...];
优步:[0.792,-0.177,-0.107,0.109,-0.542,...];等等。
(二)在线使用部分:
步骤四:通过Query,采用非必留技术,选中“成都事件”,舍弃“滴滴”,得到初级检索结果;计算舍弃的“滴滴”对应的目标向量与历史数据库中通过步骤三训练出的每一向量的向量相似度,并将向量相似度按照逆序排列后,得到如图7所示的输出结果;从图7中可以看出,历史数据库中“滴滴打车”与“滴滴”的向量相似度为0.800340;“快滴”与“滴滴”的向量相似度为0.759085;“优步”与“滴滴”的向量相似度为0.759085,等等。
这里,Query对应的数据库为公众号名对应的实时更新的数据库,即包括历史数据,也包括新更新的数据。
步骤五:基于图7所示的输出结果,选取出至少一个目标关键字;例如,选取出“优步”或“Uber”,即认定“优步”或“Uber”为与“滴滴”词义相关性较近的。
步骤六:遍历步骤四得到的所述初级检索结果的文章标题,并基于至少一个目标关键字,对所述初级检索结果中的文章标题进行打分,根据打分结果对初级检索结果中的文章进行重新排序,将重新排序后的文章作为目标检索结果,并输出目标检索结果。
图8为输出的初级检索结果示意图;图9为实施本发明实施例所述的信息检索方法后所输出的目标检索结果的示意图;如图8所示,采用非必留技术丢弃“滴滴”,只保留“成都事件”进行检索得到的初级检索结果中排序靠前的文章标题为“成都打人事件”、“解密:成都兰桂坊事件”等等,显然该初级检索结果中排序靠前的文章与待检索数据“成都滴滴事件”之间的匹配度较差。进一步地,如图9所示,采用本发明实施例所述的方法后,能够将原本根据同义词匹配原则命中了“成都”,“事件”两个词但打分较低(也即顺序靠后)的目标文章,比如“成都Uber司机被出租车司机钓鱼暴打事件”、“为上周成都小米“曝光”事件负责”以及“成都优步事件引发的市场与监管之辩”等排序提前;具体地,通过图7可以看出,“优步”或“Uber”为与“滴滴”词义相关性较近的,所以,在根据至少一个目标关键字对所述初级检索结果进行重新打分的过程中,对包含有“优步”或“Uber”的文章打分较高,根据打分情况在目标检索结果中将“成都优步事件”排序提前,因此,实现了根据语义相似度对初级检索结果进行重新打分,对初级检索结果进一步优化的目的。
在实际应用中,上述输出目标检索结果,可以具体为:根据计算出的所述至少一个目标关键字的特征相似度,对目标检索结果进行排序;输出排序后的所述目标检索结果。例如,将特征相似度较近的目标关键字对应的目标文章排序提前,将特征相似度较远的目标关键字对应的目标文章排序靠后。
本发明实施例所述的方法,首先,将待检索数据拆分为两部分,即至少一个第一待检索子数据和至少一个第二待检索子数据;然后,根据所述至少一个第一待检索子数据在检索数据库中确定出初级检索结果;最后,获取所述至少一个第二待检索子数据与所述检索数据库中的子数据之间的特征相似度,进而根据特征相似度,从所述初级检索结果中选取出目标检索结果,实现了对初级检索结果的优化;而且,由于本发明实施例所述的方法引入了特征相似度概念,且通过该特征相似度能够确定出至少一个第二待检索子数据与所述检索数据库中的子数据之间的词义匹配度,所以,本发明实施例能够实现从初级检索结果中选取出词义相关性较近的文章,提升待检索数据与目标检索结果的匹配度的目的。
另外,本发明实施例解决了现有检索技术中采用同义词匹配原则或纠错算法无法搜索到满足预设规则的检索结果,需要采用非必留技术舍弃待检索数据中的某一个或某一些关键字而导致检索结果中词义相关性较近的文章排序靠后的问题;因此,本发明实施例缩短了用户找寻目标文章的时间,提升了用户体验。
实施例三
基于实施例一或实施例二所述的方法,本发明实施例提供了基于特征相似度从所述子数据中选取至少一个目标关键字两种方式,具体地,
方式一:基于特征相似度,在所述检索数据库的至少一个子数据中选取出特征相似度高于预设门限值的至少一个目标子数据,将所述至少一个目标子数据作为至少一个目标关键字。
方式二:基于特征相似度,对所述检索数据库中的至少一个子数据进行降序排列,选取排序结果位于预设位数之前的至少一个目标子数据,将所述至少一个目标子数据作为至少一个目标关键字。
这里,所述特征相似度可以具体表征向量相似度;如图7所示,基于向量相似度,对所述检索数据库的至少一个子数据进行重新排序,即按照所述检索数据库的至少一个子数据与所述至少一个第二待检索子数据的词义相似度的远近,对所述至少一个子数据进行重新排序,并将向量相似度大于预设门限值的至少一个目标子数据作为目标关键字,例如,将向量相似度大于0.5的目标子数据作为目标关键字;或者,将排序结果位于预设位数之前的至少一个目标子数据作为目标关键字,例如,将排序结果位于10位以前的目标子数据作为目标关键字;进而在所述初级检索结果中,将包含有所述至少一个目标关键字的信息作为目标检索结果。在实际应用中,所述目标检索结果所对应的目标文章的排列顺序可以是根据特征相似度,如向量相似度而确定出的。
实施例四
本发明实施例提供了一种服务器,如图10所示,所述服务器,包括:
获取单元1001,用于获取待检索数据,其中,所述待检索数据包含有至少两个待检索子数据;
确定单元1002,用于从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;
检索单元1003,用于基于至少一个第一待检索子数据,从检索数据库中进行初级检索,得到初级检索结果;获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,基于特征相似度从所述子数据中选取至少一个目标关键字;基于至少一个目标关键字,在所述初级检索结果中选取并输出目标检索结果;
其中,所述初级检索结果为至少包含有所述至少一个第一待检索子数据的信息。
本实施例中,所述确定单元1002,还用于:获取所述至少两个待检索子数据所对应的权重值;基于权重值,从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据。也就是说,所述确定单元1002将所述待检索数据拆分成两部分,分别为至少一个第一待检索子数据和至少一个第二待检索子数据;其中,所述至少一个第一待检索子数据所对应的权重值大于所述至少一个第二待检索子数据所对应的权重值;具体地,所述至少一个第一待检索子数据所对应的权重值大于权重门限值;所述至少一个第二待检索子数据所对应的权重值小于所述权重门限值。这里,所述初级检索结果是根据所述至少一个第一待检索子数据确定出的,也即所述初级检索结果至少包含有所述至少一个第一待检索子数据,且根据权重值大于所述权重门限值的所述至少一个第一待检索子确定出的所述初级检测结果满足预设规则;比如,根据权重值大于所述权重门限值的所述至少一个第一待检索子确定出的所述初级检测结果对应的文章篇数大于第一阈值,和/或,根据权重值大于所述权重门限值的所述至少一个第一待检索子确定出的所述初级检测结果所占用的总页数大于第二阈值;具体地,根据所述至少一个第一待检索子数据确定出的初级检索结果的文章大于100篇;或者,根据所述至少一个第一待检索子数据确定出的初级检索结果占用的总页数大于10页。而根据所述至少一个第一待检索子数据和至少一个第二待检索子数据确定出的文章篇数和/或占用的总页数等不满足该预设规则,也就是说,在检索数据库中,同时包含至少一个第一待检索子数据和至少一个第二待检索子数据的文章的篇数较少,甚至没有。因此,为确保初级检测结果对应的文章的数量足够多,本实施例中基于所述至少一个第一待检索子数据从检索数据库中进行初级检索以得到初级检索结果。
在实际应用中,所述确定单元1002还可以具体用于:获取所述至少两个待检索子数据在所述检索数据库中所对应的权重值;进一步地,所述检索数据库可以具体为历史数据库,或者为实时更新的数据库;对应地,所述确定单元1002还可以具体用于:从历史数据库中获取所述至少两个待检索子数据所对应的权重值,或者,从实时更新的数据库中获取所述至少两个待检索子数据所对应的权重值。这里,所述至少两个待检索子数据所对应的权重值可以是针对于所述检索数据库的权重值,也可以是针对于所述检索数据库中部分数据的权重值,例如,当所述检索数据库为实时更新的数据库,此时,所述至少两个待检索子数据所对应的权重值可以为所述至少两个待检索子数据在历史数据库对应的权重值。
进一步地,权重值可以根据待检测子数据在检索数据库中出现的次数和/或位置等相关信息进行确定,比如,根据所述至少两个待检索子数据在所述检索数据库中出现的次数进行确定,且出现次数较多的权重值低,出现次数较少的权重值高。实际应用中,待检索子数据权重值的确定过程可以参考现有方法,这里不再赘述。
本实施例中,所述检索单元1003确定出的初级检索结果为根据同义词匹配原则,在所述检索数据库中选取出的与所述至少一个第一待检索子数据具有同义词关联的信息,如文章等;以下结合具体应用场景指出同义词匹配原则存在的缺点,以及本发明实施例克服该缺点的具体方法:
以在微信公众号文章搜索中的实际查询(Query)来举例,比如2015年6月份成都发生了优步专车和出租车打架的事件,某用户想了解此事件,但忘记了具体关键字,于是在微信公众号文章搜索入口中搜索:“成都滴滴事件”,此时,如图2所示,如果按传统检索技术,用同义词匹配原则或纠错算法进行检索,由于“滴滴”与“优步”不是同义词,所以,导致检索结果中不包含有“优步”关键字;而且,单从Query来看,用户的输入也毫无问题,无法利用纠错算法;因此,利用同义词匹配原则或纠错算法得到的检索结果必然相关性较差。进一步地,将“成都”、“滴滴”以及“事件”同时作为关键字并基于同义词匹配原则进行搜索,若得到同时包含有“成都”、“滴滴”以及“事件”的检索结果不满足预设规则,例如,没有同时包含有“成都”、“滴滴”以及“事件”的文章,此时,为确保能够得到具有一定匹配度的检索结果,则采用非必留技术丢弃“滴滴”,只保留“成都事件”;这样,虽然检索结果所对应的目标页中可能会包含有“成都优步事件”相关文章,但由于此时Query已语义漂移,检索结果中包含了很多其他不相关文章,因此,单一根据文本相关性,也即同义词匹配原则确定出的检索结果不能保证包含有“成都优步事件”相关文章的排序靠前,降低了检索结果的匹配度,增加了用户寻找目标文章的时间,降低了用户体验。
本实施例中,所述至少一个第一待检索子数据对应于“成都事件”;所述至少一个第二待检索子数据对应于丢弃的“滴滴”;也就是说,所述至少一个第一待检索子数据为采用非必留技术时所选中的关键字;而所述至少一个第二待检索子数据为采用非必留技术时所未选中的关键字。
为解决上述问题,提升检索结果的匹配度,使检索结果中与待检索数据的语义匹配度较高的文章排序靠前,降低用户寻找目标文章的时间,提升用户体验,本实施例引入特征相似度概率,具体地,计算未选中的所述至少一个第二待检索子数据与所述检索数据库中的子数据(如至少一个子数据)的特征相似度,也即词义相似度,如此,在所述检索数据库中,确定出与未选中的所述至少一个第二待检索子数据具有词义相关性较近的至少一个目标关键字,进而在基于所述至少一个第一待检索子数据确定出的初级检索结果中,选取出包含有所述至少一个目标关键字的目标检索结果,如此,实现了将初级检索结果中与待检索数据的语义匹配度较高的文章排序靠前的目的,提升了最终输出的目标检索结果与待检索数据的词义匹配度,实现了对初级检索结果的进一步优化,实现了对现有检索技术的进一步优化。
在实际应用中,本发明实施例可以利用深度学习模型,例语言模型word2vec,如图3所示,该语言模型训练装置能够将文章中上下文经常出现的词认定为词义相近;而且,还能够将词转换为向量,通过向量定量表示词之间的语义相似度;这样,把对文本数据的处理简单化为空间中的向量运算,如此,通过向量空间上的相似度来表征文本语义上的相似度。具体地,如图4所示,通过所述word2vector将词转换为向量,进而通过向量将各词之间进行关联,便于定量表示两个词之间的词义相似度,例如向量1表示词1对应的向量与词2对应的向量之间的词义相似度;向量2表示词3对应的向量与词4对应的向量之间的词义相似度;向量3表示词1对应的向量与词3对应的向量之间的词义相似度。
在一具体实施例中,所述检索单元1003还用于计算所述至少一个第二待检索子数据对应的目标向量与所述检索数据库中的至少一个子数据对应的至少一个向量的向量相似度;例如,利用如图3所示的语言模型word2vec,计算所述至少一个第二待检索子数据对应的目标向量与所述检索数据库中的至少一个子数据对应的至少一个向量的向量相似度,进而基于向量相似度确定至少一个目标关键。
进一步地,为便于获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,本实施例所述服务器,还包括:分词处理单元1004,用于对所述检索数据库中的文本数据做分词处理,得到至少一个子数据;对所述至少一个子数据进行处理,得到与所述至少一个子数据对应的至少一个向量。
这里,所述检索数据库的至少一个子数据对应的至少一个向量中包含有第二待检索子数据对应的目标向量,如此,便于直接获取所述至少一个第二待检索子数据对应的目标向量,计算所述至少一个第二待检索子数据对应的目标向量与所述检索数据库中的每一向量之间的向量相似度,进而基于计算出的向量相似度确定至少一个目标关键字。在实际应用中,所述向量为N维向量;N为大于等于2的正整数。
图5为本发明实施例确定检索数据库中各子数据对应的向量的实现流程示意图;图6为本发明实施例信息检索方法的具体应用的示意图二;以在微信公众号文章中进行实际查询为例;如图5和图6所示,
(一)离线训练部分,具体包括:
步骤一:确定公众号名,以及确定公众号名对应的文章标题、文章正文原始文本数据,将公众号名、公众号名对应的文章标题、文章正文原始文本数据作为检索数据库,且该检索数据库为公众号名对应的历史数据;例如:公众号名1;文章1“成都优步事件引发的市场与监管之变”;第一文本数据;文章2“成都滴滴事件”;第二文本数据;等等。
步骤二:调用分词器,对公众号名、公众号名对应的文章标题、文章正文原始文本数据进行切词处理;例如,以对文章1和文章2的文章标题进行切词处理为例,得到文章1:“头条/成都/优步/事件/引发/的/市场/与/监管/之/变”;文章2:“成都/滴滴/事件”。
步骤三:使用语言模型word2vec,对切词处理后的每一词进行训练,得到切词处理后的每一词对应的向量;例如,以100维度的向量为例,得到:
头条:[0.984,0.147,0.211,-0.165,-0.242,...];
成都:[0.045,-0.127,0.113,0.235,0.659,...];
滴滴:[0.645,-0.127,-0.107,0.126,-0.342,...];
优步:[0.792,-0.177,-0.107,0.109,-0.542,...];等等。
(二)在线使用部分:
步骤四:通过Query,采用非必留技术,选中“成都事件”,舍弃“滴滴”,得到初级检索结果;计算舍弃的“滴滴”对应的目标向量与历史数据库中通过步骤三训练出的每一向量的向量相似度,并将向量相似度按照逆序排列后,得到如图7所示的输出结果;从图7中可以看出,历史数据库中“滴滴打车”与“滴滴”的向量相似度为0.800340;“快滴”与“滴滴”的向量相似度为0.759085;“优步”与“滴滴”的向量相似度为0.759085,等等。
这里,Query对应的数据库为公众号名对应的实时更新的数据库,即包括历史数据,也包括新更新的数据。
步骤五:基于图7所示的输出结果,选取出至少一个目标关键字;例如,选取出“优步”或“Uber”,即认定“优步”或“Uber”为与“滴滴”词义相关性较近的。
步骤六:遍历步骤四得到的所述初级检索结果的文章标题,并基于至少一个目标关键字,对所述初级检索结果中的文章标题进行打分,根据打分结果对初级检索结果中的文章进行重新排序,将重新排序后的文章作为目标检索结果,并输出目标检索结果。
图8为输出的初级检索结果示意图;图9为实施本发明实施例所述的信息检索方法后所输出的目标检索结果的示意图;如图8所示,采用非必留技术丢弃“滴滴”,只保留“成都事件”进行检索得到的初级检索结果中排序靠前的文章标题为“成都打人事件”、“解密:成都兰桂坊事件”等等,显然该初级检索结果中排序靠前的文章与待检索数据“成都滴滴事件”之间的匹配度较差。进一步地,如图9所示,采用本发明实施例所述的方法后,能够将原本根据同义词匹配原则命中了“成都”,“事件”两个词但打分较低(也即顺序靠后)的目标文章,比如“成都Uber司机被出租车司机钓鱼暴打事件”、“为上周成都小米“曝光”事件负责”以及“成都优步事件引发的市场与监管之辩”等排序提前;具体地,通过图7可以看出,“优步”或“Uber”为与“滴滴”词义相关性较近的,所以,在根据至少一个目标关键字对所述初级检索结果进行重新打分的过程中,对包含有“优步”或“Uber”的文章打分较高,根据打分情况在目标检索结果中将“成都优步事件”排序提前,因此,实现了根据语义相似度对初级检索结果进行重新打分,对初级检索结果进一步优化的目的。
本实施例中,所述检索单元1003,还用于基于特征相似度,在所述检索数据库的至少一个子数据中选取出特征相似度高于预设门限值的至少一个目标子数据,将所述至少一个目标子数据作为至少一个目标关键字;或者,
还用于基于特征相似度,对所述检索数据库中的至少一个子数据进行降序排列,选取排序结果位于预设位数之前的至少一个目标子数据,将所述至少一个目标子数据作为至少一个目标关键字。
这里,所述特征相似度可以具体表征向量相似度;如图7所示,基于向量相似度,对所述检索数据库的至少一个子数据进行重新排序,即按照所述检索数据库的至少一个子数据与所述至少一个第二待检索子数据的词义相似度的远近,对所述至少一个子数据进行重新排序,并将向量相似度大于预设门限值的至少一个目标子数据作为目标关键字,例如,将向量相似度大于0.5的目标子数据作为目标关键字;或者,将排序结果位于预设位数之前的至少一个目标子数据作为目标关键字,例如,将排序结果位于10位以前的目标子数据作为目标关键字;进而在所述初级检索结果中,将包含有所述至少一个目标关键字的信息作为目标检索结果。在实际应用中,所述目标检索结果所对应的目标文章的排列顺序可以是根据特征相似度,如向量相似度而确定出的。
在实际应用中,所述检索单元1003还用于根据计算出的所述至少一个目标关键字的特征相似度,对目标检索结果进行排序;输出排序后的所述目标检索结果。例如,将特征相似度较近的目标关键字对应的目标文章排序提前,将特征相似度较远的目标关键字对应的目标文章排序靠后。
本发明实施例所述的服务器,首先,将待检索数据拆分为两部分,即至少一个第一待检索子数据和至少一个第二待检索子数据;然后,根据所述至少一个第一待检索子数据在检索数据库中确定出初级检索结果;最后,获取所述至少一个第二待检索子数据与所述检索数据库中的子数据之间的特征相似度,进而根据特征相似度,从所述初级检索结果中选取出目标检索结果,实现了对初级检索结果的优化;而且,由于本发明实施例引入了特征相似度概念,且通过该特征相似度能够确定出至少一个第二待检索子数据与所述检索数据库中的子数据之间的词义匹配度,所以,本发明实施例能够实现从初级检索结果中选取出词义相关性较近的文章,提升待检索数据与目标检索结果的匹配度的目的。
另外,本发明实施例解决了现有检索技术中采用同义词匹配原则或纠错算法无法搜索到满足预设规则的检索结果,需要采用非必留技术舍弃待检索数据中的某一个或某一些关键字而导致检索结果中词义相关性较近的文章排序靠后的问题;因此,本发明实施例缩短了用户找寻目标文章的时间,提升了用户体
本发明实施例所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、基站、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本发明实施例不限制于任何特定的硬件和软件结合。
本实施例基于上述设备实施例提供一个具体的硬件,如图11所示,所述装置包括处理器1102、存储介质1104以及至少一个外部通信接口1101;所述处理器1102、存储介质1104以及外部通信接口1101均通过总线1103连接。所述处理器1102可为微处理器、中央处理器、数字信号处理器或可编程逻辑阵列等具有处理功能的电子元器件。所述存储介质中存储有计算机可执行代码。
所述硬件可以为所述服务器。所述处理器执行所述计算机可执行代码时,至少能实现以下功能:基于候选用户所使用的服务的数据,选取符合预设目标特征的至少一个所述候选用户为种子用户;确定所述种子用户所归属的至少一个用户群体的成员用户、以及所述成员用户所具有的至少一个属性;比较基于所述用户群体中每个所述成员用户具有的至少一个属性,确定所述用户群体的共有属性,将所述用户群体的共有属性对应到所述用户群体的每一个成员用户;对所述用户群体的成员用户进行筛选,得到所述目标用户群体。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (14)
1.一种信息检索方法,其特征在于,所述方法包括:
获取待检索数据,其中,所述待检索数据包含有至少两个待检索子数据;
从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;
基于至少一个第一待检索子数据,从检索数据库中进行初级检索,得到初级检索结果;其中,所述初级检索结果为至少包含有所述至少一个第一待检索子数据的信息;
获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,基于特征相似度从所述子数据中选取至少一个目标关键字;
基于至少一个目标关键字,在所述初级检索结果中选取并输出目标检索结果。
2.根据权利要求1所述的方法,其特征在于,所述从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据,包括:
获取所述至少两个待检索子数据所对应的权重值;
基于权重值,从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据。
3.根据权利要求1所述的方法,其特征在于,所述获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,包括:
计算所述至少一个第二待检索子数据对应的目标向量与所述检索数据库中的至少一个子数据对应的至少一个向量的向量相似度;
基于向量相似度确定至少一个目标关键字。
4.根据权利要求3所述的方法,其特征在于,所述方法包括:
对所述检索数据库中的文本数据做分词处理,得到至少一个子数据;
对所述至少一个子数据进行处理,得到与所述至少一个子数据对应的至少一个向量。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于特征相似度从所述子数据中选取至少一个目标关键字,包括:
基于特征相似度,在所述检索数据库的至少一个子数据中选取出特征相似度高于预设门限值的至少一个目标子数据,将所述至少一个目标子数据作为至少一个目标关键字。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述基于特征相似度从所述子数据中选取至少一个目标关键字,包括:
基于特征相似度,对所述检索数据库中的至少一个子数据进行降序排列,选取排序结果位于预设位数之前的至少一个目标子数据,将所述至少一个目标子数据作为至少一个目标关键字。
7.根据权利要求1至4任一项所述的方法,其特征在于,所述输出目标检索结果,包括:
根据计算出的所述至少一个目标关键字的特征相似度,对目标检索结果进行排序;
输出排序后的所述目标检索结果。
8.一种服务器,其特征在于,包括:
获取单元,用于获取待检索数据,其中,所述待检索数据包含有至少两个待检索子数据;
确定单元,用于从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据;
检索单元,用于基于至少一个第一待检索子数据,从检索数据库中进行初级检索,得到初级检索结果;获取到所述检索数据库中的子数据与所述至少一个第二待检索子数据的特征相似度,基于特征相似度从所述子数据中选取至少一个目标关键字;基于至少一个目标关键字,在所述初级检索结果中选取并输出目标检索结果;
其中,所述初级检索结果为至少包含有所述至少一个第一待检索子数据的信息。
9.根据权利要求8所述的服务器,其特征在于,所述确定单元,还用于:
获取所述至少两个待检索子数据所对应的权重值;基于权重值,从所述至少两个待检索子数据中确定出至少一个第一待检索子数据以及至少一个第二待检索子数据。
10.根据权利要求8所述的服务器,其特征在于,所述检索单元,还用于计算所述至少一个第二待检索子数据对应的目标向量与所述检索数据库中的至少一个子数据对应的至少一个向量的向量相似度;基于向量相似度确定至少一个目标关键字。
11.根据权利要求10所述的服务器,其特征在于,所述服务器,还包括:
分词处理单元,用于对所述检索数据库中的文本数据做分词处理,得到至少一个子数据;对所述至少一个子数据进行处理,得到与所述至少一个子数据对应的至少一个向量。
12.根据权利要求8至11任一项所述的服务器,其特征在于,所述检索单元,还用于基于特征相似度,在所述检索数据库的至少一个子数据中选取出特征相似度高于预设门限值的至少一个目标子数据,将所述至少一个目标子数据作为至少一个目标关键字。
13.根据权利要求8至11任一项所述的服务器,其特征在于,所述检索单元,还用于基于特征相似度,对所述检索数据库中的至少一个子数据进行降序排列,选取排序结果位于预设位数之前的至少一个目标子数据,将所述至少一个目标子数据作为至少一个目标关键字。
14.根据权利要求8至11任一项所述的服务器,其特征在于,所述检索单元,还用于根据计算出的所述至少一个目标关键字的特征相似度,对目标检索结果进行排序;输出排序后的所述目标检索结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610136201.3A CN105808737B (zh) | 2016-03-10 | 2016-03-10 | 一种信息检索方法及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610136201.3A CN105808737B (zh) | 2016-03-10 | 2016-03-10 | 一种信息检索方法及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105808737A true CN105808737A (zh) | 2016-07-27 |
CN105808737B CN105808737B (zh) | 2021-04-06 |
Family
ID=56468039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610136201.3A Active CN105808737B (zh) | 2016-03-10 | 2016-03-10 | 一种信息检索方法及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105808737B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133270A (zh) * | 2017-04-01 | 2017-09-05 | 广东电网有限责任公司清远供电局 | 二维码生成方法及装置、二维码的数据处理方法及装置 |
CN108280482A (zh) * | 2018-01-30 | 2018-07-13 | 广州小鹏汽车科技有限公司 | 基于用户行为的驾驶员识别方法、装置及系统 |
CN108664526A (zh) * | 2017-04-01 | 2018-10-16 | 华为技术有限公司 | 检索的方法和设备 |
CN111881316A (zh) * | 2020-07-28 | 2020-11-03 | 腾讯音乐娱乐科技(深圳)有限公司 | 搜索方法、装置及服务器和计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102054007A (zh) * | 2009-11-10 | 2011-05-11 | 北大方正集团有限公司 | 一种检索方法及检索装置 |
CN102339438A (zh) * | 2010-07-22 | 2012-02-01 | 阿里巴巴集团控股有限公司 | 一种商品信息的网络发布方法、系统和设备 |
CN102880723A (zh) * | 2012-10-22 | 2013-01-16 | 深圳市宜搜科技发展有限公司 | 一种识别用户检索意图的搜索方法和系统 |
CN102930022A (zh) * | 2012-10-31 | 2013-02-13 | 中国运载火箭技术研究院 | 面向用户的信息搜索引擎系统及方法 |
CN103473317A (zh) * | 2013-09-12 | 2013-12-25 | 百度在线网络技术(北京)有限公司 | 提取关键词的方法和设备 |
CN103886063A (zh) * | 2014-03-18 | 2014-06-25 | 国家电网公司 | 一种文本检索方法和装置 |
US20150161174A1 (en) * | 2009-08-25 | 2015-06-11 | Google Inc. | Content-based image ranking |
CN104765769A (zh) * | 2015-03-06 | 2015-07-08 | 大连理工大学 | 一种基于词矢量的短文本查询扩展及检索方法 |
US20150234827A1 (en) * | 2012-08-22 | 2015-08-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Method, apparatus, and device for ranking search results |
-
2016
- 2016-03-10 CN CN201610136201.3A patent/CN105808737B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150161174A1 (en) * | 2009-08-25 | 2015-06-11 | Google Inc. | Content-based image ranking |
CN102054007A (zh) * | 2009-11-10 | 2011-05-11 | 北大方正集团有限公司 | 一种检索方法及检索装置 |
CN102339438A (zh) * | 2010-07-22 | 2012-02-01 | 阿里巴巴集团控股有限公司 | 一种商品信息的网络发布方法、系统和设备 |
US20150234827A1 (en) * | 2012-08-22 | 2015-08-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Method, apparatus, and device for ranking search results |
CN102880723A (zh) * | 2012-10-22 | 2013-01-16 | 深圳市宜搜科技发展有限公司 | 一种识别用户检索意图的搜索方法和系统 |
CN102930022A (zh) * | 2012-10-31 | 2013-02-13 | 中国运载火箭技术研究院 | 面向用户的信息搜索引擎系统及方法 |
CN103473317A (zh) * | 2013-09-12 | 2013-12-25 | 百度在线网络技术(北京)有限公司 | 提取关键词的方法和设备 |
CN103886063A (zh) * | 2014-03-18 | 2014-06-25 | 国家电网公司 | 一种文本检索方法和装置 |
CN104765769A (zh) * | 2015-03-06 | 2015-07-08 | 大连理工大学 | 一种基于词矢量的短文本查询扩展及检索方法 |
Non-Patent Citations (1)
Title |
---|
李光敏: "文献搜索引擎中特征项及权重的应用", 《计算机系统应用》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133270A (zh) * | 2017-04-01 | 2017-09-05 | 广东电网有限责任公司清远供电局 | 二维码生成方法及装置、二维码的数据处理方法及装置 |
CN108664526A (zh) * | 2017-04-01 | 2018-10-16 | 华为技术有限公司 | 检索的方法和设备 |
CN108664526B (zh) * | 2017-04-01 | 2022-04-29 | 华为技术有限公司 | 检索的方法和设备 |
CN108280482A (zh) * | 2018-01-30 | 2018-07-13 | 广州小鹏汽车科技有限公司 | 基于用户行为的驾驶员识别方法、装置及系统 |
CN111881316A (zh) * | 2020-07-28 | 2020-11-03 | 腾讯音乐娱乐科技(深圳)有限公司 | 搜索方法、装置及服务器和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105808737B (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220083560A1 (en) | System and methods for context aware searching | |
CN107818781B (zh) | 智能交互方法、设备及存储介质 | |
CN107609101B (zh) | 智能交互方法、设备及存储介质 | |
CN109800284B (zh) | 一种面向任务的非结构化信息智能问答系统构建方法 | |
CN107797984B (zh) | 智能交互方法、设备及存储介质 | |
JP5513624B2 (ja) | クエリの一般属性に基づく情報の検索 | |
US8554854B2 (en) | Systems and methods for identifying terms relevant to web pages using social network messages | |
US7392238B1 (en) | Method and apparatus for concept-based searching across a network | |
US8775409B1 (en) | Query ranking based on query clustering and categorization | |
US11609920B2 (en) | Ranking and presenting search engine results based on category-specific ranking models | |
CN110727862B (zh) | 一种商品搜索的查询策略的生成方法及装置 | |
CN104994424B (zh) | 一种构建音视频标准数据集的方法和装置 | |
CN104111933A (zh) | 获取业务对象标签、建立训练模型的方法及装置 | |
US20100191758A1 (en) | System and method for improved search relevance using proximity boosting | |
CN105808737A (zh) | 一种信息检索方法及服务器 | |
CN106649605B (zh) | 一种推广关键词的触发方法及装置 | |
CN103020212A (zh) | 一种基于用户查询日志实时发现热点视频的方法和装置 | |
CN105528411A (zh) | 船舶装备交互式电子技术手册全文检索装置及方法 | |
US20150379012A1 (en) | Identifying preferable results pages from numerous results pages | |
CN114663164A (zh) | 电商站点推广配置方法及其装置、设备、介质、产品 | |
WO2021257178A1 (en) | Provide knowledge answers for knowledge-intention queries | |
CN110347821B (zh) | 一种文本类别标注的方法、电子设备和可读存储介质 | |
CN111274366A (zh) | 搜索推荐方法及装置、设备、存储介质 | |
US20210406291A1 (en) | Dialog driven search system and method | |
CN113343095A (zh) | 一种模型训练以及信息推荐方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |