CN110688558A - 网页搜索的方法、装置、电子设备和存储介质 - Google Patents

网页搜索的方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110688558A
CN110688558A CN201910854864.2A CN201910854864A CN110688558A CN 110688558 A CN110688558 A CN 110688558A CN 201910854864 A CN201910854864 A CN 201910854864A CN 110688558 A CN110688558 A CN 110688558A
Authority
CN
China
Prior art keywords
query word
query
user
intention
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910854864.2A
Other languages
English (en)
Inventor
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN201910854864.2A priority Critical patent/CN110688558A/zh
Publication of CN110688558A publication Critical patent/CN110688558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles

Abstract

本发明的实施例公开了一种网页搜索的方法、装置、电子设备和存储介质,涉及数据分析领域,该方法包括:若所述用户端对应用户预设时间段内打开的网页对应的文本信息中存在所述用户端对应用户输入的查询词,则通过将所述查询词所述网页对应文本信息中所处位置的文本信息与所述查询词输入预设的意图识别模型,获取用户输入所述查询词的意图信息,再将所述意图信息与所述查询词输入预设的目标查询词生成模型,由目标查询词生成模型输出的目标查询词,基于所述目标查询词在预存的数据库中确定搜索结果。本发明技术的实施例的技术方案提高了搜索结果的准确率。

Description

网页搜索的方法、装置、电子设备和存储介质
技术领域
本发明涉及数据分析领域,特别是涉及一种网页搜索的方法、装置、电子设备和存储介质。
背景技术
在现在社会中网络作为人们生活的一部分,是很多人认识世界学习知识的重要窗口,当很多人在网络上学习知识时遇到较难理解的专业词汇时,其往往会借助搜索引擎在网络中获取相关专业词汇的知识以帮助自己进行理解,但人们在面对自己所陌生的知识领域时,其往往在搜索引擎的输入框中输入的文本信息常常会出现词不达意的情形,进而导致自己通过搜索引擎所搜索到的结果也并非自己所想要的,在此种情形下如何提高搜索结果准确率是亟待的技术问题。
发明内容
本发明实施例的目的在于提供一种网页搜索方法、装置、计算机可读介质及电子设备,进而可以至少在一定程度上克服现有技术中存在的搜索结果准确率低的问题。
根据本发明的第一方面,提供了一种网页搜索的方法,包括:响应于用户端发送的搜索请求,获取预设时间段内所述用户端对应用户打开网页的搜索日志和所述搜索请求中包含的查询词;基于所述搜索日志和所述查询词,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词;若所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词,则提取存在所述查询词的文本信息中所述查询词所处位置的文本信息;将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息;将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词;基于所述目标查询词在预存的数据库中确定搜索结果。
在一实施例中,在所述基于所述搜索日志和所述查询词,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词之后还包括:若所述预设时间段内用户打开的网页对应的文本信息中不存在所述查询词,则基于所述查询词在预存的数据库中确定所述搜索结果。
在一实施例中,所述查询词所处位置的文本内容是指所述查询词所处的句子对应的文本信息。
在一实施例中,在将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息之前还包括:获取预先设置的查询词及查询词对应文本信息样本集合;预先识别所述查询词及查询词对应文本信息集合中每个查询词及对应文本信息样本对应的意图信息;将所述查询词及查询词对应文本信息样本输入所述意图识别模型,获取由所述意图识别模型输出的意图信息,将所述意图识别模型输出的意图信息与预先识别的意图信息进行比对,如不一致则调整所述意图识别模型,直至所述意图识别模型输出的意图信息与预先识别的意图信息一致。
在一实施例中,在将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词之前还包括:获取预先设置查询词及查询词对应的意图信息样本集合;预先确定所述查询词及查询词对应的意图信息样本集合中每个查询词及查询词对应的意图信息样本对应的目标查询词;将所述查询词及查询词对应的意图信息样本输入所述目标查询词生成模型,由所述目标查询词生成模型输出目标查询词,将目标查询词生成模型输出的目标查询词与预先确定的目标查询词进行比对,如不一致,则调整目标查询词生成模型,直至所述目标查询词生成模型输出的目标查询词与预先确定的目标查询词相一致。
在一实施例中,在所述基于所述目标查询词在预存的数据库中确定搜索结果之后,所述方法还包括:提取所述搜索请求中包含的所述用户对应的用户标识;基于所述用户标识在预存的用户标识对应用户信息表中确定所述用户的年龄;基于所述用户的年龄与预存的年龄对应网络不良信息表,确定所述用户对应的网络不良信息;检测所述搜索结果中是否存在所述不良信息,确定所述搜索结果中是否存在所述不良信息;若所述搜索结果中存在所述不良信息,则将所述搜索结果中存在所述不良信息的搜索结果滤除。
在一实施例中,所述检测所述搜索结果中是否存在所述不良信息,确定所述搜索结果中是否存在所述不良信息包括:确定所述搜索结果对应的文本信息与所述不良信息对应的文本信息间的杰卡德距离;若所述杰卡德距离在预设的阈值范围内,则确定所述搜索结果中存在所述不良信息。
根据本发明的第二方面提供了一种网页搜索装置,包括:第一获取模块:配置为响应于用户端发送的搜索请求,获取预设时间段内所述用户端对应用户打开网页的搜索日志和所述搜索请求中包含的查询词;第一确定模块:配置为基于所述搜索日志和所述查询词,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词;提取模块:配置为若所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词,则提取存在所述查询词的文本信息中所述查询词所处位置的文本信息;识别模块:配置为将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息;生成模块:配置为将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词;第二确定模块:配置为基于所述目标查询词在预存的数据库中确定搜索结果。
根据本发明的第三方面提供了一种网页搜索的电子设备,包括:存储器,配置为存储可执行指令;处理器,配置为执行存储器中存储的可执行指令,以执行以上所述的方法。
根据本发明的第四方面提供了一种计算机可读存储介质,其存储有计算机程序指令,当所述计算机指令被计算机执行时,使计算机执行以上所述的方法。
在本发明的一些实施例中,若所述用户端对应用户预设时间段内打开的网页对应的文本信息中存在所述用户端对应用户输入的查询词,则通过将所述查询词所述网页对应文本信息中所处位置的文本信息与所述查询词输入预设的意图识别模型,获取用户输入所述查询词的意图信息,再将所述意图信息与所述查询词输入预设的目标查询词生成模型,由目标查询词生成模型输出的目标查询词,基于所述目标查询词在预存的数据库中确定搜索结果。可见,本发明实施例,可快速且准确的用户输入查询词的意图信息,并确定新的目标查询词;进而基于目标查询词在预存的数据库中确定搜索结果,从而提高搜索结果的准确率。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
图1示出根据本发明一示例实施方式的网页搜索方法的使用环境的系统架构图。
图2示出根据本公开一示例实施方式的网页搜索方法的流程图。
图3示出根据本公开一示例实施方式的在将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息之前的流程图。
图4示出根据本公开一示例实施方式的在将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词之前的流程图。
图5示出根据本公开一示例实施方式的在所述基于所述目标查询词在预存的数据库中确定搜索结果之后的流程图。
图6示出根据本公开一示例实施方式的检测所述搜索结果中是否存在所述不良信息,确定所述搜索结果中是否存在所述不良信息的详细流程图。
图7示出根据本公开一示例实施方式的网页搜索装置的结构框图。
图8示出根据本公开一示例实施方式的网页搜索装置的电子设备图。
图9示出根据本公开一示例实施方式的网页搜索的计算机可读存储介质图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出根据本公开一示例实施方式的网页搜索方法的使用环境的构架图:该使用环境包括用户终端100、服务器110、数据库120。
应该理解,图1中的用户终端、服务器和数据库的数目仅仅是示意性的。根据实现需要,可以具有任意数目的用户终端、服务器和数据库。比如服务器110可以是多个服务器组成的服务器集群等。
在一实施例中响应于用户端100发送的搜索请求,获取预设时间段内所述用户端100对应用户打开网页的搜索日志和所述搜索请求中包含的查询词,服务器基于所述查询词在用户端100对应用户预设时间段内打开的网页对应的文本信息,确定用户端100对应用户预设时间段内打开的网页对应的文本信息中是否存在所述查询词,若用户端100对应用户端预设时间段内打开的网页对应的文本信息中存在所述查询词,则用户端100对应用户预设时间段内打开的网页对应的文本信息中所述查询词所处位置的文本信息提取出来,服务器110依据所述查询词与所述查询词所处位置的文本信息确定用户端100对应用户输入所述查询词的意图信息,服务器110再基于所述查询词与所述意图信息确定目标查询词,进而服务器110基于所述目标查询词在预存的数据库120中确定搜索结果,从而来提高搜索结果的准确率。
需要说明的是,本发明实施例所提供的网页搜索方法一般由服务器110执行,相应地,网页搜索装置一般设置于服务器110中。但是,在本发明的其它实施例中,终端也可以与服务器具有相似的功能,从而执行本发明实施例所提供的网页搜索方案。
图2示出根据本公开一示例实施方式的网页搜索方法的流程图,可以包括如下步骤:
步骤S200:响应于用户端发送的搜索请求,获取预设时间段内所述用户端对应用户打开网页的搜索日志和所述搜索请求中包含的查询词;
步骤S210:基于所述搜索日志和所述查询词,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词;
步骤S220:若所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词,则提取存在所述查询词的文本信息中所述查询词所处位置的文本信息;
步骤S230:将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息;
步骤S240:将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词;
步骤S250:基于所述目标查询词在预存的数据库中确定搜索结果。
下面,将结合附图对本示例实施方式中上述网页搜索的各步骤进行详细的解释以及说明。
参照图2所示,该网页搜索方法至少包括步骤S200至步骤S250,详细介绍如下:
在步骤S200中,响应于用户端发送的搜索请求,获取预设时间段内所述用户端对应用户打开网页的搜索日志和所述搜索请求中包含的查询词。
在本公开的一实施例中,搜索日志是指记录用户搜索行为的日志,该用户搜索行为日志记录了用户通过用户端在网上访问各网站的网址记录,如用户在2019年5月15日的九点搜索“折叠屏手机”,并点击打开了新闻“三星华为等推折叠屏手机,这家日本小厂意外发财”对应的网页链接,则该用户的搜索行为日志就是:折叠屏手机、网页链接、访问网页的时间。需要说明的是,用户搜索行为的日志除了如上所述记录用户搜索的关键词、访问的网页对应的网址及时间外,还可以记录访问网页对应的文本信息的标题及在相应网页的点击操作手势、在相应网页停留时间等。
在本公开的一实施例中,查询词是指用户输入搜索引擎中用于在网络上检索相关内容的多个或单个文字。
在本公开的一实施例中,当预设时间段是一个小时时,当接收到用户端发送的搜索请求时,则获取服务器在接收到用户发送的搜索请求对应时间点前一个小时内,该用户端的搜索日志及用户端发送的搜索请求中包含的查询词。
继续参照图2所示,在步骤S210中,基于所述搜索日志和所述查询词,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词。
在本公开的一实施例中,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词包括:基于所述用户端对应用户打开网页的搜索日志预存的数据库中获取所述网页对应的文本信息,基于所述查询词在所述网页对应的文本信息中确定是否存在与所述查询词相同的文本信息,如存在则确定所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词。
在本公开的一实施例中,在步骤S210之后还可以包括:若所述预设时间段内用户打开的网页对应的文本信息中不存在所述查询词,则基于所述查询词在预存的数据库中确定所述搜索结果。
在本公开的一实施例中,当所述预设时间段内用户打开的网页对应的文本信息与所述查询词间的杰卡德距离在预设的范围内,也可确定所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词,同样若所述预设时间段内用户打开的网页对应的文本信息与所述查询词间的杰卡德距离不在预设的范围内则所述预设时间段内用户打开的网页对应的文本信息中不存在所述查询词。
继续参照图2所示,在步骤S220中,若所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词,则提取存在所述查询词的文本信息中所述查询词所处位置的文本信息。
在本公开的一实施例中,查询词所处位置的文本信息是指所述查询词所述的句子对应的文本信息,如用户输入的查询词为“BARK小波包分解”,而用户在预设时间段内打开过的一篇“用BARK频谱投影识别低信噪比动物声音”的论文中存在所述查询词“BARK小波包分解”,而“BARK小波包分解”在该篇论文的第六段,则将该论文中第六段对应的文本信息提取出来。
在本公开的一实施例中,如上所述当查询词“BARK小波包分解”,既存在于论文中的小标题又存在于标题对应的文本内容中,则提取小标题对应的文本内容;当查询词“BARK小波包分解”既存在在小标题中又存在于其他小标题对应的文本内容中,则只提取小标题对应的文本内容。
继续参照图2所示,在步骤S230中,将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息。
在本公开的一实施例中,意图信息是指用户输入查询词想要通过搜索引擎搜索的内容,如用户在搜索引擎的输入框中输入的查询词为“BARK小波包分解”,提取出的查询词“BARK小波包分解”所处位置的文本内容为论文“用BARK频谱投影识别低信噪比动物声音”的第六段,而该论文第六段主要论述的是“运用BARK小波包分解技术对获取的动物声音进行处理,获取小波包分解的17组系数用于下一步的投影特征提取”,将查询词“BARK小波包分解”与该论文第六段对应的文本内容输入意图识别模型,可获取用户输入查询词“BARK小波包分解”的意图信息为“了解BARK小波包分解的原理”。
在本公开的一实施例中,意图识别模型可以是基于申请网络利用文本分类器进行意图识别,现有技术中意图识别模型经过一定时间的发展,已经可以识别出的结果已经较为准确,通过意图识别模型可以提高对用户输入查询词的意图信息准确度的同时缩短整个从用户输入查询词到获取搜索结果间的时间,提高搜索的效率。
在本公开的一实施例中,通过意图识别模型基于查询词与查询词所处位置的文本信息获取用户输入该查询词的意图信息,在这种情况下需要事先对意图识别模型进行训练,具体训练过程如图3所示,可以包括如下步骤:
步骤S227:获取预先设置的查询词及查询词对应文本信息样本集合;
步骤S228:预先识别所述查询词及查询词对应文本信息集合中每个查询词及对应文本信息样本对应的意图信息;
步骤S229:将所述查询词及查询词对应文本信息样本输入所述意图识别模型,获取由所述意图识别模型输出的意图信息,将所述意图识别模型输出的意图信息与预先识别的意图信息进行比对,如不一致则调整所述意图识别模型,直至所述意图识别模型输出的意图信息与预先识别的意图信息一致。
在本公开的一实施例中,获取所述查询词对应的意图信息还可以通过以下方式:基于所述查询词在预存的文本数据库中确定多个候选文本信息;针对所述多个候选文本信息中每个候选文本信息与所述查询词所处位置对应的文本信息进行分词,获取所述候选文本信息对应的分词结果与所述查询词所处位置对应的文本信息对应的分词结果;基于所述候选文本信息对应的分词结果与所述查询词所处位置对应的文本信息对应的分词结果,确定所述候选文本信息与所述查询词所处位置对应的文本信息间的杰卡德距离,基于所述候选文本信息与所述句子对应的文本信息间的杰卡德距离在所述多个候选文本信息中匹配所述查询词所处位置对应的文本信息对应的目标候选文本信息;将所述目标候选文本信息对应的意图信息确定为所述查询词对应的意图信息。
继续参照图2所示,在步骤S240中,将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词。
在本公开的一实施例中,查询词为“BARK小波包分解”,相应的意图信息为“了解BARK小波包分解的原理”,将查询词与相应的意图信息输入训练好的目标查询词生成模型,生成的目标查询词为“BARK小波包分解的原理”。
在本公开的一实施例中,通过将查询词与查询词对应的意图信息输入目标查询词生成模型生成目标查询词,在这种情况下需要事先对目标查询词生成模型进行训练,具体训练过程如图4所示,可以包括如下步骤
步骤S237:获取预先设置查询词及查询词对应的意图信息样本集合;
步骤S238:预先确定所述查询词及查询词对应的意图信息样本集合中每个查询词及查询词对应的意图信息样本对应的目标查询词;
步骤S239:将所述查询词及查询词对应的意图信息样本输入所述目标查询词生成模型,由所述目标查询词生成模型输出目标查询词,将目标查询词生成模型输出的目标查询词与预先确定的目标查询词进行比对,如不一致,则调整目标查询词生成模型,直至所述目标查询词生成模型输出的目标查询词与预先确定的目标查询词相一致。
在本公开的一实施例中,还可以通过以下方式生成所述目标查询词,对所述意图信息进行分词,获取所述意图信息对应的分词结果,基于所述查询词在预存的数据库中确定多个候选查询词,针对所述多个候选查询词中每个查询词进行分词,获取所述候选查询词对应的分词结果,基于所述意图信息的分词结果与所述候选查询词的分词结果,确定所述意图信息与所述多个候选查询词中每个候选查询词间的杰卡德距离,基于所述意图信息与所述多个候选查询词中每个候选查询词间的杰卡德距离在所述多个候选查询词中确定目标查询词。
继续参照图2所示,在步骤S250中,基于所述目标查询词在预存的数据库中确定搜索结果。
在本公开的一实施例中,预存数据库可以是与外部互联网网络不相连接的内部数据库,如公司的内部架设的用于公司内部工作的服务器网络。也可以是与互联网网络相连接的多个服务器组成的数据库。
在本公开的一实施例中,如图5所示,在图2中所示的步骤S250之后可以包括步骤S300、步骤S310、步骤S320、步骤S330、步骤S340,详细介绍如下:
在步骤S300中,提取所述搜索请求中包含的所述用户对应的用户标识。
在本公开的一实施例中,用户标识是指用户登录时用于识别用户身份的名字。
在步骤S310中,基于所述用户标识在预存的用户标识对应用户信息表中确定所述用户的年龄。
在本公开的一实施例中,在基于用户标识与预存的用户标识对应用户信息表获取用户的年龄之前包括:建立用户标识对应用户信息表。建立用户标识对应用户信息表包括:获取用户注册请求,提取所述注册请求中包含的用户信息,其中所述用户信息至少包括:用户的标识,密码及邮箱,用户年龄。若所述用户注册请求审核通过则将所述用户标识与所述邮箱、用户年龄对应存储并生成用户标识对应用户信息表。
在步骤S320中,基于所述用户的年龄与预存的年龄对应网络不良信息表,确定所述用户对应的网络不良信息。
在本公开的一实施例中,不良信息是指网络不良信息,网络不良信息是指包含各种情色类的视频、图片、文学等“低俗内容”、赌博、造假、诈骗等各类违反法律和违反道德的内容。
在本公开的一实施例中,在基于所述用户的年龄与预存的年龄对应不良信息表确定用户对应的不良信息之前包括:建立年龄对应不良信息表。建立年龄对应不良信息表包括:若所述用户年龄在预设的阈值范围内,则获取所述用户监护人设置的不良信息项,基于所述不良信息项在预存的不良信息项对应不良内容表中确定所述用户对应的不良信息表。
在步骤S330中,检测所述搜索结果中是否存在所述不良信息,确定所述搜索结果中是否存在所述不良信息。
在本公开的一实施例中,如图6步骤S330可以包步骤S3301、步骤S3302,详细介绍如下:
步骤S3301:确定所述搜索结果对应的文本信息与所述不良信息对应的文本信息间的杰卡德距离;
步骤S3302:若所述杰卡德距离在预设的阈值范围内,则确定所述搜索结果中存在所述不良信息。
在本公开的一实施例中,通过对所述搜索结果对应的文本信息与所述不良信息对应的文本信息进行分词,再基于所述搜索结果对应的分词结果与所述不良信息对应的分词结果及杰卡德距离的计算公式确定,所述搜索结果对应文本信息与所述不良信息对应文本信息间的杰卡德距离,如果所述杰卡德距离在预设的阈值范围内,则确定所述搜索结果中包含所述不良信息。
在本公开的一实施例中,上述分词方式可以是正向最大匹配法、逆向最大匹配法、最少切分、双向最大匹配法等现有分词方法中的任一种。
继续参照图5所示,在步骤S340中,若所述搜索结果中存在所述不良信息,则将所述搜索结果中存在所述不良信息的搜索结果滤除。
在本公开的一实施例中,将不良信息的搜索结果滤除是指不向所述用户对应的用户端发送包含不良信息的搜索结果。通过在搜索结果中去滤除不良信息可以尽量避免用户接触到不良信息,一方面可以净化用户的网络环境同时也可以使得用户能更好的利用互联网获取更多对自己有益的知识,从而树立正确的三观。
本发明还提供了一种网页搜索的装置。参考图7所示,所述网页搜索的装置400包括:获取模块410,第一确定模块420,提取模块430,识别模块440,生成模块450,第二确定模块460,其中:
获取模块410,用于响应于用户端发送的搜索请求,获取预设时间段内所述用户端对应用户打开网页的搜索日志和所述搜索请求中包含的查询词;
第一确定模块420,用于响应于用户端发送的搜索请求,获取预设时间段内所述用户端对应用户打开网页的搜索日志和所述搜索请求中包含的查询词;
提取模块430,用于若所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词,则提取存在所述查询词的文本信息中所述查询词所处位置的文本信息;
识别模块440,用于将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息;
生成模块450,用于将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词;
第二确定模块460,用于基于所述目标查询词在预存的数据库中确定搜索结果。
在本公开的一实施例中,所述第二确定模块460还可用于,若所述预设时间段内用户打开的网页对应的文本信息中不存在所述查询词,则基于所述查询词在预存的数据库中确定所述搜索结果。
在本公开的一实施例中,所述网页搜索装置还包括第一训练模块用于,获取预先设置的查询词及查询词对应文本信息样本集合;预先识别所述查询词及查询词对应文本信息集合中每个查询词及对应文本信息样本对应的意图信息;将所述查询词及查询词对应文本信息样本输入所述意图识别模型,获取由所述意图识别模型输出的意图信息,将所述意图识别模型输出的意图信息与预先识别的意图信息进行比对,如不一致则调整所述意图识别模型,直至所述意图识别模型输出的意图信息与预先识别的意图信息一致。
在本公开的一实施例中,所述网页搜索装置还包括:第二训练模块用于,获取预先设置查询词及查询词对应的意图信息样本集合;预先确定所述查询词及查询词对应的意图信息样本集合中每个查询词及查询词对应的意图信息样本对应的目标查询词;将所述查询词及查询词对应的意图信息样本输入所述目标查询词生成模型,由所述目标查询词生成模型输出目标查询词,将目标查询词生成模型输出的目标查询词与预先确定的目标查询词进行比对,如不一致,则调整目标查询词生成模型,直至所述目标查询词生成模型输出的目标查询词与预先确定的目标查询词相一致。
在一实施例中,所述网页搜索装置还包括不良信息滤除模块用于,提取所述搜索请求中包含的所述用户对应的用户标识;基于所述用户标识在预存的用户标识对应用户信息表中确定所述用户的年龄;基于所述用户的年龄与预存的年龄对应网络不良信息表,确定所述用户对应的网络不良信息;检测所述搜索结果中是否存在所述不良信息,确定所述搜索结果中是否存在所述不良信息;若所述搜索结果中存在所述不良信息,则将所述搜索结果中存在所述不良信息的搜索结果滤除。
在一实施例中,所述网页搜索装置还包括第三确定模块用于,确定所述搜索结果对应的文本信息与所述不良信息对应的文本信息间的杰卡德距离;若所述杰卡德距离在预设的阈值范围内,则确定所述搜索结果中存在所述不良信息。
上述网页搜索的装置中各模块的具体细节已经在对应的方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照所述特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,所述软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本发明的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本发明的这种实施方式的电子设备500。图8显示的电子设备500仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于:上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元510执行,使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元510可以执行如图2中所示步骤S200:响应于用户端发送的搜索请求,获取预设时间段内所述用户端对应用户打开网页的搜索日志和所述搜索请求中包含的查询词;步骤S210:基于所述搜索日志和所述查询词,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词;步骤S220:若所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词,则提取存在所述查询词的文本信息中所述查询词所处位置的文本信息;步骤S230:将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息;步骤S240:将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词;步骤S250:基于所述目标查询词在预存的数据库中确定搜索结果。
存储单元520可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202,还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204,这样的程序模块5205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备500交互的设备通信,和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且,电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器560通过总线530与电子设备500的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备500使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。
在本发明的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图9所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品700,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。

Claims (10)

1.一种网页搜索方法,其特征在于,所述方法包括:
响应于用户端发送的搜索请求,获取预设时间段内所述用户端对应用户打开网页的搜索日志和所述搜索请求中包含的查询词;
基于所述搜索日志和所述查询词,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词;
若所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词,则提取存在所述查询词的文本信息中所述查询词所处位置的文本信息;
将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息;
将所述查询词与所述意图信息输入目标查询词生成模型,由所述目标查询词生成模型生成目标查询词;
基于所述目标查询词在预存的数据库中确定搜索结果。
2.根据权利要求1所述的方法,其特征在于,在所述基于所述搜索日志和所述查询词,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词之后还包括:
若所述预设时间段内用户打开的网页对应的文本信息中不存在所述查询词,则基于所述查询词在预存的数据库中确定所述搜索结果。
3.根据权利要求1所述的方法,其特征在于,其中所述查询词所处位置的文本内容是指所述查询词所处的句子对应的文本信息。
4.根据权利要求1所述的方法,其特征在于,在将所述查询词与所述查询词所处的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息之前还包括:
获取预先设置的查询词及查询词对应文本信息样本集合;
预先识别所述查询词及查询词对应文本信息集合中每个查询词及对应文本信息样本对应的意图信息;
将所述查询词及查询词对应文本信息样本输入所述意图识别模型,获取由所述意图识别模型输出的意图信息,将所述意图识别模型输出的意图信息与预先识别的意图信息进行比对,如不一致则调整所述意图识别模型,直至所述意图识别模型输出的意图信息与预先识别的意图信息一致。
5.根据权利要求1所述的方法,其特征在于,在将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词之前还包括:
获取预先设置查询词及查询词对应的意图信息样本集合;
预先确定所述查询词及查询词对应的意图信息样本集合中每个查询词及查询词对应的意图信息样本对应的目标查询词;
将所述查询词及查询词对应的意图信息样本输入所述目标查询词生成模型,由所述目标查询词生成模型输出目标查询词,将目标生成查询词生成模型输出的目标查询词与预先确定的目标查询词进行比对,如不一致,则调整目标查询词生成模型,直至所述目标查询词生成模型输出的目标查询词与预先确定的目标查询词相一致。
6.根据权利要求1至5中任一项所述的方法,其特征在于,在所述基于所述目标查询词在预存的数据库中确定搜索结果之后,所述方法还包括:
提取所述搜索请求中包含的所述用户对应的用户标识;
基于所述用户标识在预存的用户标识对应用户信息表中确定所述用户的年龄;
基于所述用户的年龄与预存的年龄对应网络不良信息表,确定所述用户对应的网络不良信息;
检测所述搜索结果中是否存在所述不良信息,确定所述搜索结果中是否存在所述不良信息;
若所述搜索结果中存在所述不良信息,则将所述搜索结果中存在所述不良信息的搜索结果滤除。
7.根据权利要求6所述的方法,其特征在于,所述检测所述搜索结果中是否存在所述不良信息,确定所述搜索结果中是否存在所述不良信息包括:
确定所述搜索结果对应的文本信息与所述不良信息对应的文本信息间的杰卡德距离;
若所述杰卡德距离在预设的阈值范围内,则确定所述搜索结果中存在所述不良信息。
8.一种网页搜索装置,其特征在于,包括:
获取模块,配置为响应于用户端发送的搜索请求,获取预设时间段内所述用户端对应用户打开网页的搜索日志和所述搜索请求中包含的查询词;
第一确定模块,配置为基于所述搜索日志和所述查询词,确定所述预设时间段内用户打开的网页对应的文本信息中是否存在所述查询词;
提取模块,配置为若所述预设时间段内用户打开的网页对应的文本信息中存在所述查询词,则提取存在所述查询词的文本信息中所述查询词所处位置的文本信息;
识别模块,配置为将所述查询词与所述查询词所处位置的文本信息输入预设的意图识别模型,由所述意图识别模型输出所述查询词对应的意图信息;
生成模块,配置为将所述查询词与所述意图信息输入目标查询词生成模型,由目标查询词生成模型生成目标查询词;
第二确定模块,配置为基于所述目标查询词在预存的数据库中确定搜索结果。
9.一种网页搜索的电子设备,其特征在于,包括:
存储器,配置为存储可执行指令;
处理器,配置为执行存储器中存储的可执行指令,以实现根据权利要求1-7中任一个所述的方法。
10.一种计算机可读存储介质,其特征在于,其存储有计算机程序指令,当所述计算机指令被计算机执行时,使计算机执行根据权利要求1-7中任一个所述的方法。
CN201910854864.2A 2019-09-10 2019-09-10 网页搜索的方法、装置、电子设备和存储介质 Pending CN110688558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910854864.2A CN110688558A (zh) 2019-09-10 2019-09-10 网页搜索的方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910854864.2A CN110688558A (zh) 2019-09-10 2019-09-10 网页搜索的方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN110688558A true CN110688558A (zh) 2020-01-14

Family

ID=69108059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910854864.2A Pending CN110688558A (zh) 2019-09-10 2019-09-10 网页搜索的方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110688558A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113517047A (zh) * 2021-06-08 2021-10-19 联仁健康医疗大数据科技股份有限公司 医学数据的获取方法、装置、电子设备及存储介质
CN113792125A (zh) * 2021-08-25 2021-12-14 北京库睿科技有限公司 基于文本相关性和用户意图的智能检索排序方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254039A (zh) * 2011-08-11 2011-11-23 武汉安问科技发展有限责任公司 一种基于搜索引擎的网络搜索方法
CN102456018A (zh) * 2010-10-18 2012-05-16 腾讯科技(深圳)有限公司 一种交互搜索方法及装置
CN105159884A (zh) * 2015-09-23 2015-12-16 百度在线网络技术(北京)有限公司 行业词典的建立方法和装置及行业识别方法和装置
CN107870984A (zh) * 2017-10-11 2018-04-03 北京京东尚科信息技术有限公司 识别搜索词的意图的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102456018A (zh) * 2010-10-18 2012-05-16 腾讯科技(深圳)有限公司 一种交互搜索方法及装置
CN102254039A (zh) * 2011-08-11 2011-11-23 武汉安问科技发展有限责任公司 一种基于搜索引擎的网络搜索方法
CN105159884A (zh) * 2015-09-23 2015-12-16 百度在线网络技术(北京)有限公司 行业词典的建立方法和装置及行业识别方法和装置
CN107870984A (zh) * 2017-10-11 2018-04-03 北京京东尚科信息技术有限公司 识别搜索词的意图的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113517047A (zh) * 2021-06-08 2021-10-19 联仁健康医疗大数据科技股份有限公司 医学数据的获取方法、装置、电子设备及存储介质
CN113792125A (zh) * 2021-08-25 2021-12-14 北京库睿科技有限公司 基于文本相关性和用户意图的智能检索排序方法和装置
CN113792125B (zh) * 2021-08-25 2024-04-02 北京库睿科技有限公司 基于文本相关性和用户意图的智能检索排序方法和装置

Similar Documents

Publication Publication Date Title
US10192545B2 (en) Language modeling based on spoken and unspeakable corpuses
US9721205B2 (en) Clarification of submitted questions in a question and answer system
CN110597952A (zh) 信息处理方法、服务器及计算机存储介质
CN109637000B (zh) 发票检验方法及装置、存储介质、电子终端
EP3690676A1 (en) Method, apparatus, computer device and storage medium for verifying community question answer data
WO2015117560A1 (en) Web page recognizing method and apparatus
WO2017121076A1 (zh) 信息推送方法和装置
CN107992484B (zh) 一种评测ocr系统的性能的方法、设备及存储介质
CN111597800B (zh) 同义句的获取方法及装置、设备及存储介质
US10049108B2 (en) Identification and translation of idioms
US11423219B2 (en) Generation and population of new application document utilizing historical application documents
CN110705235A (zh) 业务办理的信息录入方法、装置、存储介质及电子设备
CN110688558A (zh) 网页搜索的方法、装置、电子设备和存储介质
US20180165277A1 (en) Dynamic Translation of Idioms
WO2023272850A1 (zh) 基于决策树的产品匹配方法、装置、设备及存储介质
CN110737770B (zh) 文本数据敏感性识别方法、装置、电子设备及存储介质
CN111159334A (zh) 用于房源跟进信息处理的方法及系统
CN111209367A (zh) 信息查找方法、信息查找装置、电子设备及存储介质
CN110895587A (zh) 用于确定目标用户的方法和装置
WO2019071907A1 (zh) 基于操作页面识别帮助信息的方法及应用服务器
CN111930891A (zh) 基于知识图谱的检索文本扩展方法及相关装置
CN115858776B (zh) 一种变体文本分类识别方法、系统、存储介质和电子设备
CN116305257A (zh) 隐私信息监测装置和隐私信息监测方法
CN110276001B (zh) 盘点页识别方法、装置、计算设备和介质
CN110083807B (zh) 合同的修改影响自动预测方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination