CN112925883A - 搜索请求处理方法、装置、电子设备及可读存储介质 - Google Patents

搜索请求处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112925883A
CN112925883A CN202110198425.8A CN202110198425A CN112925883A CN 112925883 A CN112925883 A CN 112925883A CN 202110198425 A CN202110198425 A CN 202110198425A CN 112925883 A CN112925883 A CN 112925883A
Authority
CN
China
Prior art keywords
entity
knowledge base
search request
search
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110198425.8A
Other languages
English (en)
Other versions
CN112925883B (zh
Inventor
朱嘉琪
卢佳俊
柴春光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110198425.8A priority Critical patent/CN112925883B/zh
Publication of CN112925883A publication Critical patent/CN112925883A/zh
Application granted granted Critical
Publication of CN112925883B publication Critical patent/CN112925883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开公开了搜索请求处理方法、装置、电子设备及可读存储介质,涉及知识图谱、自然语言处理及深度学习等领域,其中的方法可包括:获取用户的原始的搜索请求;对原始的搜索请求进行解析,确定出其中的核心成分;根据获取到的核心成分确定出本次搜索的扩展词;利用扩展词替换核心成分,得到更新后的搜索请求,根据原始的搜索请求及更新后的搜索请求进行搜索。应用本公开所述方案,可丰富召回结果及提升召回结果的准确性等。

Description

搜索请求处理方法、装置、电子设备及可读存储介质
技术领域
本公开涉及人工智能技术领域,特别涉及知识图谱、自然语言处理及深度学习等领域的搜索请求处理方法、装置、电子设备及可读存储介质。
背景技术
当用户进行搜索时,多采用根据搜索请求的字面语义进行匹配的方式,对于一些包含隐含知识的搜索请求,往往召回结果为空,即便能够召回结果,准确性通常也会较差。
发明内容
本公开提供了搜索请求处理方法、装置、电子设备及可读存储介质。
一种搜索请求处理方法,包括:
获取用户的原始的搜索请求;
对所述原始的搜索请求进行解析,确定出其中的核心成分;
根据所述核心成分确定出本次搜索的扩展词;
利用所述扩展词替换所述核心成分,得到更新后的搜索请求,根据所述原始的搜索请求及所述更新后的搜索请求进行搜索。
一种搜索请求处理装置,包括:获取模块、解析模块、扩展模块以及搜索模块;
所述获取模块,用于获取用户的原始的搜索请求;
所述解析模块,用于对所述原始的搜索请求进行解析,确定出其中的核心成分;
所述扩展模块,用于根据所述核心成分确定出本次搜索的扩展词;
所述搜索模块,用于利用所述扩展词替换所述核心成分,得到更新后的搜索请求,根据所述原始的搜索请求及所述更新后的搜索请求进行搜索。
一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行如以上所述的方法。
一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如以上所述的方法。
上述公开中的一个实施例具有如下优点或有益效果:可通过原始的搜索请求中的核心成分确定出扩展词,进而可根据扩展词得到更新后的搜索请求,并可根据原始的搜索请求及更新后的搜索请求进行搜索,从而丰富了召回结果,并提升了召回结果的准确性等。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开所述搜索请求处理方法实施例的流程图;
图2为本公开所述对“**被炸的电影”进行成分识别的结果示意图;
图3为本公开所述检索场景下的实现过程示意图;
图4为本公开所述对“荆轲行刺的时间”进行成分识别的结果示意图;
图5为本公开所述问答场景下的实现过程示意图;
图6为本公开所述基于搜索内容的知识关联方法的实现过程示意图;
图7为本公开所述搜索请求处理装置实施例70的组成结构示意图;
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
另外,应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为本公开所述搜索请求处理方法实施例的流程图。如图1所示,包括以下具体实现方式。
在步骤101中,获取用户的原始的搜索请求。
在步骤102中,对原始的搜索请求进行解析,确定出其中的核心成分。
在步骤103中,根据获取到的核心成分确定出本次搜索的扩展词。
在步骤104中,利用获取到的扩展词替换所述核心成分,得到更新后的搜索请求,根据原始的搜索请求及更新后的搜索请求进行搜索。
可以看出,上述方法实施例所述方案中,可通过原始的搜索请求中的核心成分确定出扩展词,进而可根据扩展词得到更新后的搜索请求,并可根据原始的搜索请求及更新后的搜索请求进行搜索,从而丰富了召回结果,并提升了召回结果的准确性等。
为与后续出现的更新后的搜索请求进行区分,将获取自用户的搜索请求称为原始的搜索请求。
在对原始的搜索请求进行解析,确定出其中的核心成分后,可根据获取到的核心成分确定出本次搜索的扩展词。比如,作为一种可能的实现方式,可从预先构建的知识库中的各实体中确定出与所述核心成分对应的实体,作为所需的扩展词。
知识库可为预先构建的,如何构建不作限制,比如,可采用人工构建方式,或者,采用自动构建方式,或者,采用人工构建与自动构建相结合的方式。
知识库中可记录(即保存)有:实体、实体间的关系(如边关系)、实体属性、实体对应的语义描述字符串、实体对应的文本描述等信息。其中,文本描述可以是指百科中的半结构化文本描述信息等。
针对获取到的核心成分,还可进一步获取其成分标签。所述成分标签可包括但不限于:地点、时间、事件等。相应地,可按照成分标签对应的确定方式,从知识库中的各实体中确定出与核心成分对应的实体。
比如,当核心成分的成分标签为事件时,若确定任一实体对应的语义描述字符串与核心成分的语义相同,则可将该实体作为核心成分对应的实体,语义描述字符串记录在知识库中。语义描述字符串与核心成分的语义相同,可以是指语义描述字符串与核心成分的文字表述完全相同,也可以是指语义描述字符串与核心成分的文字表述不同但表达的语义相同。
通过上述处理方式,可借助于知识库,方便准确地确定出与核心成分对应的实体,即得到所需的扩展词,进而为后续处理奠定了良好的基础等。
所述搜索请求可为针对目标内容的检索请求,或为用户提出的问题等,分别对应于检索场景和问答场景。以下即以这两种场景为例,对本公开所述方法进行进一步说明。
一)检索
针对获取到的用户的原始的检索请求,可对其进行解析,从而确定出原始的检索请求中的核心成分。
比如,原始的检索请求为“**(某一地名)被炸的电影”,通过解析,可确定出其中的核心成分为“**被炸”。如何进行解析不作限制。
进一步地,还可获取核心成分的成分标签,成分标签包括但不限于:地点、时间、事件等。
比如,可对“**被炸的电影”进行成分识别,从而得到图2所示的识别结果,图2为本公开所述对“**被炸的电影”进行成分识别的结果示意图,如图2所示,各个成分之间可能存在词汇交叉标注,其中,“**”为地名,“**被炸”为“事件”等。
之后,可从预先构建的知识库中的各实体中确定出与核心成分对应的实体,作为扩展词,比如,可按照核心成分的成分标签对应的确定方式,从知识库中的各实体中确定出与核心成分对应的实体。
比如,上述核心成分“**被炸”的成分标签为“事件”,那么对于知识库中的各实体,若确定任一实体对应的语义描述字符串与核心成分的语义相同,则可将该实体作为核心成分对应的实体。
进一步地,可用得到的扩展词替换核心成分,从而得到更新后的检索请求,并可分别根据原始的检索请求以及更新后的检索请求进行检索,得到检索结果,返回给用户。
比如,得到的扩展词包括“**爆炸事件”等,那么,可利用该扩展词来替换检索请求中的核心成分,从而得到更新后的检索请求,即“**爆炸事件的电影”,进而可分别根据“**被炸的电影”和“**爆炸事件的电影”进行检索,得到检索结果,返回给用户。
通过上述处理,将“**被炸”字符串与“**爆炸事件”等进行了关联,即实现了知识扩展,并可根据得到的扩展词进行检索,从而丰富了召回结果,并提升了召回结果的准确性等。
另外,还可利用得到的扩展词对应的知识信息对检索结果进行校验,将校验通过的检索结果返回给用户。所述知识信息记录在知识库中,如可包括实体属性信息以及实体对应的文本描述信息等。
如何利用得到的扩展词对应的知识信息对检索结果进行校验不作限制。比如,针对任一实体,可通过实体嵌入(embedding)提取的方式,对该实体对应的知识信息进行编码,得到该实体对应的向量表示,对于任一检索结果,也可根据对应的文本描述信息等确定出对应的向量表示,这样,针对任一检索结果,可利用预先训练得到的评估模型及所述向量表示,分别得到该检索结果与各扩展词之间的相关性评分,并可计算各相关性评分的均值,将所述均值作为该检索结果的最终评分,进而可将最终评分大于预定阈值的检索结果作为校验通过的检索结果。该方式仅为举例说明,并不用于限制本公开的技术方案,具体如何利用得到的扩展词对应的知识信息对检索结果进行校验可根据实际需要而定。
通过上述处理,过滤掉了检索结果中校验未通过的检索结果,从而进一步提升了召回结果即检索结果的准确性等。
以上以核心成分的成分标签为“事件”为例进行说明,当成分标签的类型不同时,从知识库中的各实体中确定出核心成分对应的实体的方式也可不同。
比如,假设原始的检索请求为“关于十大元帅的电影”,核心成分为“十大元帅”,成分标签为“列表类实体”,那么可首先在知识库中找到“十大元帅”这个实体,之后可将与该实体存在边关系的其它十个实体即十位元帅分别对应的实体作为核心成分对应的实体。
基于上述介绍,图3为本公开所述检索场景下的实现过程示意图,具体实现请参照前述相关说明,不再赘述。
二)问答
在获取到用户提出的问题后,可对其进行解析,从而确定出其中的核心成分。
比如,用户提出的问题为“荆轲行刺的时间”,通过解析,可确定出其中的核心成分为“荆轲行刺”。
进一步地,还可获取核心成分的成分标签。比如,可对“荆轲行刺的时间”进行成分识别,从而得到图4所示的识别结果,图4为本公开所述对“荆轲行刺的时间”进行成分识别的结果示意图,其中,“荆轲”为人物,“行刺”为动作,“荆轲行刺”为事件等。
之后,可从预先构建的知识库中的各实体中确定出与核心成分对应的实体,作为扩展词,比如,可按照核心成分的成分标签对应的确定方式,从知识库中的各实体中确定出与核心成分对应的实体。
比如,上述核心成分“荆轲刺秦”的成分标签为“事件”,那么对于知识库中的各实体,若确定任一实体对应的语义描述字符串与核心成分的语义相同,则可将该实体作为核心成分对应的实体。
进一步地,可将所述问题转换为原始的知识库查询语句,并可根据扩展词生成更新后的知识库查询语句,进而可根据原始的知识库查询语句及更新后的知识库查询语句进行知识库查询,得到查询结果,返回给用户。
比如,得到的扩展词为“荆轲刺秦王”,原始的知识库查询语句为Date(Event(荆轲行刺)),其中,Data表示时间,Event表示事件,更新后的知识库查询语句为Date(Event(荆轲刺秦王)),可分别根据原始的知识库查询语句及更新后的知识库查询语句进行知识库查询,假设根据Date(Event(荆轲行刺))得到的查询结果为空,而根据Date(Event(荆轲刺秦王))则可得到所需的查询结果。
通过上述处理,实现了知识扩展,并可根据得到的扩展词进行知识库查询,从而丰富了召回结果,满足了用户的查询需求等。
基于上述介绍,图5为本公开所述问答场景下的实现过程示意图,具体实现请参照前述相关说明,不再赘述。
如前所述,知识库中可记录有实体对应的语义描述字符串,这是因为对于事件类的核心成分,链指往往很难将其直接关联到知识库中的对应实体上,为了解决这一问题,本公开中提出了一种基于搜索内容的知识关联方法,基于搜索结果等,将描述字符串与知识库中的对应实体关联起来,用于本公开所述的知识扩展等。
具体地,针对历史上任一用户进行搜索时输入的任一描述字符串,可分别进行以下处理:通过预定站点,确定出描述字符串对应的实体,确定出的实体为知识库中的实体;根据描述字符串对应的搜索结果中被用户点击过的点击搜索结果,对确定出的实体进行校验,将描述字符串作为校验通过的实体对应的语义描述字符串,记录到知识库中。
具体地,可将确定出的实体作为初选实体,根据点击搜索结果对初选实体进行校验,将校验通过的初选实体作为候选实体,并可确定出在点击搜索结果中出现频率大于预定阈值的高频实体,利用高频实体对候选实体进行校验,将描述字符串作为校验通过的候选实体对应的语义描述字符串,记录到知识库中,高频实体为知识库中的实体。
其中,利用点击搜索结果对初选实体进行校验,将校验通过的初选实体作为候选实体的方式可包括:分别获取各点击搜索结果对应的语义向量;根据语义向量对各点击搜索结果进行聚类;针对任一初选实体,分别根据聚类结果以及各点击搜索结果与该初选实体之间的相关性,确定出该初选实体对应的评分;将对应的评分符合预定要求的初选实体作为校验通过的实体。
利用高频实体对候选实体进行校验的方式可包括:针对任一候选实体,分别确定出与该候选实体存在关联关系的高频实体数量,存在关联关系包括:存在边关系和/或存在属性关联;将存在关联关系的高频实体数量符合预定要求的候选实体作为校验通过的候选实体。
图6为本公开所述基于搜索内容的知识关联方法的实现过程示意图,假设描述字符串为“**被炸”,可通过预定站点,确定出该描述字符串对应的实体,比如,可通过百科垂站,确定出该描述字符串对应的实体,假设包括“**爆炸事件”、“&&(另一地名)大爆炸事件”以及“%%(另一地名)事故”,可将“**爆炸事件”、“&&大爆炸事件”及“%%事故”作为初选实体。
另外,还可根据利用“**被炸”在搜索引擎中进行搜索时得到的搜索结果中被用户点击过的点击搜索结果,对初选实体进行校验。比如,可分别获取各点击搜索结果对应的语义向量,如何获取为现有技术,并可根据语义向量对各点击搜索结果进行聚类。假设点击搜索结果的数量为十个,分别为点击搜索结果1-点击搜索结果10,通过聚类,得到三个聚类结果,分别为聚类结果1、聚类结果2和聚类结果3,其中,聚类结果1中包括5个点击搜索结果,聚类结果2中包括3个点击搜索结果,聚类结果3中包括2个点击搜索结果,那么针对任一初选实体,可分别获取该初选实体与各点击搜索结果之间的相关性评分,从而得到10个评分,进而可将这10个评分分别与对应的权重相乘,并将各乘积相加,将相加之和作为该初选实体对应的评分,属于同一聚类结果的不同点击搜索结果可对应相同的权重,并且,聚类结果中包括的点击搜索结果数量越多,对应的权重可越大。
进一步地,可根据对应的评分从大到小的顺序对各初选实体进行排序,将排序后处于前M位的初选实体作为校验通过的初选实体,M为正整数,且小于或等于初选实体的数量。或者,也可将对应的评分大于预定阈值的初选实体作为校验通过的实体,具体实现方式不限。可将校验通过的初选实体作为候选实体,假设校验通过的初选实体包括“**爆炸事件”和“&&大爆炸事件”,那么可将这些初选实体作为候选实体。
如图6所示,还可确定出在点击搜索结果中出现频率大于预定阈值的高频实体,利用高频实体对候选实体进行校验。比如,可通过实体链指等确定出高频实体。假设得到的高频实体包括“##(**所属的国家名称)”和“战争”等。针对任一候选实体,可分别确定出与该候选实体存在关联关系的高频实体数量,存在关联关系包括:存在边关系和/或存在属性关联,以候选实体“**爆炸事件”为例,假设其属性中的“发生地”为“##”,那么则可认为高频实体“##”与该候选实体存在属性关联,另外,假设该候选实体与“战争”这一实体之间存在边关系,那么则可确定出与该候选实体存在关联关系的高频实体数量为2。
进一步地,可将对应的高频实体数量最多的N个候选实体作为校验通过的候选实体,N为正整数,且小于或等于候选实体的数量。假设校验通过的候选实体包括“**爆炸事件”,那么可将描述字符串“**被炸”作为“**爆炸事件”对应的语义描述字符串,记录到知识库中。
通过上述处理,可完善知识库中的知识信息,将事件类的语义描述字符串与知识库中的实体关联起来,从而为检索及问答场景中的知识扩展等奠定了良好的基础,并且,通过校验处理,确保了关联结果的准确性等。
需要说明的是,对于前述的方法实施例,为了简单描述,将其表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本公开所述方案进行进一步说明。
图7为本公开所述搜索请求处理装置实施例70的组成结构示意图。如图7所示,包括:获取模块701、解析模块702、扩展模块703以及搜索模块704。
获取模块701,用于获取用户的原始的搜索请求。
解析模块702,用于对原始的搜索请求进行解析,确定出其中的核心成分。
扩展模块703,用于根据获取到的核心成分确定出本次搜索的扩展词。
搜索模块704,用于利用扩展词替换核心成分,得到更新后的搜索请求,根据原始的搜索请求及更新后的搜索请求进行搜索。
其中,扩展模块703可从预先构建的知识库中的各实体中确定出与核心成分对应的实体,作为扩展词。
解析模块702还可获取核心成分的成分标签。相应地,扩展模块703可按照成分标签对应的确定方式,从知识库中的各实体中确定出与核心成分对应的实体。
比如,成分标签可包括:事件。相应地,扩展模块703若确定任一实体对应的语义描述字符串与核心成分的语义相同,则可将该实体作为核心成分对应的实体,语义描述字符串记录在知识库中。
搜索请求可为针对目标内容的检索请求。这种情况下,搜索模块704可根据原始的检索请求及更新后的检索请求进行检索,得到检索结果,返回给用户。
搜索模块704还可利用扩展词对应的知识信息对检索结果进行校验,将校验通过的检索结果返回给用户,知识信息记录在知识库中。
搜索请求也可为用户提出的问题。这种情况下,搜索模块704可将问题转换为原始的知识库查询语句,并可根据扩展词生成更新后的知识库查询语句,根据原始的知识库查询语句及更新后的知识库查询语句进行知识库查询,得到查询结果,返回给用户。
图7所示装置中还可包括:预处理模块700,用于针对历史上任一用户进行搜索时输入的任一描述字符串,分别进行以下处理:通过预定站点,确定出描述字符串对应的实体,确定出的实体为知识库中的实体;根据描述字符串对应的搜索结果中被用户点击过的点击搜索结果,对确定出的实体进行校验,将描述字符串作为校验通过的实体对应的语义描述字符串,记录到知识库中。
具体地,预处理模块700可将确定出的实体作为初选实体,利用点击搜索结果对初选实体进行校验,将校验通过的初选实体作为候选实体,并可确定出在点击搜索结果中出现频率大于预定阈值的高频实体,利用高频实体对候选实体进行校验,将描述字符串作为校验通过的候选实体对应的语义描述字符串,记录到知识库中;初选实体及高频实体均为知识库中的实体。
其中,预处理模块700可分别获取各点击搜索结果对应的语义向量,根据语义向量对各点击搜索结果进行聚类,针对任一初选实体,分别根据聚类结果以及各点击搜索结果与该初选实体之间的相关性,确定出该初选实体对应的评分,将对应的评分符合预定要求的初选实体作为校验通过的初选实体。
预处理模块700还可针对任一候选实体,分别确定出与该候选实体存在关联关系的高频实体数量,存在关联关系包括:存在边关系和/或存在属性关联,将存在关联关系的高频实体数量符合预定要求的候选实体作为校验通过的候选实体。
图7所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明,不再赘述。
总之,采用本公开装置实施例所述方案,可通过原始的搜索请求中的核心成分确定出扩展词,进而可根据扩展词得到更新后的搜索请求,并可根据原始的搜索请求及更新后的搜索请求进行搜索,从而丰富了召回结果,并提升了召回结果的准确性等。
本公开所述方案可应用于人工智能领域,特别涉及知识图谱、自然语言处理及深度学习等领域。人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术,人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术,人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如本公开所述的方法。例如,在一些实施例中,本公开所述的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行本公开所述的方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行本公开所述的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。云计算指的是通过网络接入弹性可扩展的共享物理或虚拟资源池,资源可以包括服务器、操作系统、网络、软件、应用和存储设备等,并可以以按需、自服务的方式对资源进行部署和管理的技术体系,通过云计算技术,可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (25)

1.一种搜索请求处理方法,包括:
获取用户的原始的搜索请求;
对所述原始的搜索请求进行解析,确定出其中的核心成分;
根据所述核心成分确定出本次搜索的扩展词;
利用所述扩展词替换所述核心成分,得到更新后的搜索请求,根据所述原始的搜索请求及所述更新后的搜索请求进行搜索。
2.根据权利要求1所述的方法,其中,所述根据所述核心成分确定出本次搜索的扩展词包括:
从预先构建的知识库中的各实体中确定出与所述核心成分对应的实体,作为所述扩展词。
3.根据权利要求2所述的方法,还包括:获取所述核心成分的成分标签;
其中,所述从预先构建的知识库中的各实体中确定出与所述核心成分对应的实体包括:
按照所述成分标签对应的确定方式,从所述知识库中的各实体中确定出与所述核心成分对应的实体。
4.根据权利要求3所述的方法,其中,
所述成分标签包括:事件;
所述按照所述成分标签对应的确定方式,从所述知识库中的各实体中确定出与所述核心成分对应的实体包括:
若确定任一实体对应的语义描述字符串与所述核心成分的语义相同,则将所述实体作为所述核心成分对应的实体,所述语义描述字符串记录在所述知识库中。
5.根据权利要求2所述的方法,其中,
所述搜索请求包括:针对目标内容的检索请求;
所述根据所述原始的搜索请求及所述更新后的搜索请求进行搜索包括:根据原始的检索请求及更新后的检索请求进行检索,得到检索结果,返回给用户。
6.根据权利要求5所述的方法,还包括:
利用所述扩展词对应的知识信息对所述检索结果进行校验,将校验通过的检索结果返回给用户,所述知识信息记录在所述知识库中。
7.根据权利要求2所述的方法,其中,
所述搜索请求包括:用户提出的问题;
所述根据所述原始的搜索请求及所述更新后的搜索请求进行搜索包括:
将所述问题转换为原始的知识库查询语句,并根据所述扩展词生成更新后的知识库查询语句;
根据所述原始的知识库查询语句及所述更新后的知识库查询语句进行知识库查询,得到查询结果,返回给用户。
8.根据权利要求4所述的方法,还包括:
针对历史上任一用户进行搜索时输入的任一描述字符串,分别进行以下处理:
通过预定站点,确定出所述描述字符串对应的实体,所述实体为所述知识库中的实体;
根据所述描述字符串对应的搜索结果中被用户点击过的点击搜索结果,对确定出的实体进行校验,将所述描述字符串作为校验通过的实体对应的语义描述字符串,记录到所述知识库中。
9.根据权利要求8所述的方法,其中,所述对确定出的实体进行校验,将所述描述字符串作为校验通过的实体对应的语义描述字符串,记录到所述知识库中包括:
将确定出的实体作为初选实体;
利用所述点击搜索结果对所述初选实体进行校验,将校验通过的初选实体作为候选实体;
确定出在所述点击搜索结果中出现频率大于预定阈值的高频实体,所述高频实体为所述知识库中的实体;
利用所述高频实体对所述候选实体进行校验,将所述描述字符串作为校验通过的候选实体对应的语义描述字符串,记录到所述知识库中。
10.根据权利要求9所述的方法,其中,所述利用所述点击搜索结果对所述初选实体进行校验,将校验通过的初选实体作为候选实体包括:
分别获取各点击搜索结果对应的语义向量;
根据所述语义向量对各点击搜索结果进行聚类;
针对任一初选实体,分别根据聚类结果以及各点击搜索结果与所述初选实体之间的相关性,确定出所述初选实体对应的评分;
将对应的评分符合预定要求的初选实体作为校验通过的初选实体。
11.根据权利要求9所述的方法,其中,所述利用所述高频实体对所述候选实体进行校验包括:
针对任一候选实体,分别确定出与所述候选实体存在关联关系的高频实体数量,所述存在关联关系包括:存在边关系和/或存在属性关联;
将所述存在关联关系的高频实体数量符合预定要求的候选实体作为校验通过的候选实体。
12.一种搜索请求处理装置,包括:获取模块、解析模块、扩展模块以及搜索模块;
所述获取模块,用于获取用户的原始的搜索请求;
所述解析模块,用于对所述原始的搜索请求进行解析,确定出其中的核心成分;
所述扩展模块,用于根据所述核心成分确定出本次搜索的扩展词;
所述搜索模块,用于利用所述扩展词替换所述核心成分,得到更新后的搜索请求,根据所述原始的搜索请求及所述更新后的搜索请求进行搜索。
13.根据权利要求12所述的装置,其中,所述扩展模块从预先构建的知识库中的各实体中确定出与所述核心成分对应的实体,作为所述扩展词。
14.根据权利要求13所述的装置,其中,
所述解析模块进一步用于,获取所述核心成分的成分标签;
所述扩展模块按照所述成分标签对应的确定方式,从所述知识库中的各实体中确定出与所述核心成分对应的实体。
15.根据权利要求14所述的装置,其中,
所述成分标签包括:事件;
所述扩展模块若确定任一实体对应的语义描述字符串与所述核心成分的语义相同,则将所述实体作为所述核心成分对应的实体,所述语义描述字符串记录在所述知识库中。
16.根据权利要求13所述的装置,其中,
所述搜索请求包括:针对目标内容的检索请求;
所述搜索模块根据原始的检索请求及更新后的检索请求进行检索,得到检索结果,返回给用户。
17.根据权利要求16所述的装置,其中,
所述搜索模块进一步用于,利用所述扩展词对应的知识信息对所述检索结果进行校验,将校验通过的检索结果返回给用户,所述知识信息记录在所述知识库中。
18.根据权利要求13所述的装置,其中,
所述搜索请求包括:用户提出的问题;
所述搜索模块将所述问题转换为原始的知识库查询语句,并根据所述扩展词生成更新后的知识库查询语句,根据所述原始的知识库查询语句及所述更新后的知识库查询语句进行知识库查询,得到查询结果,返回给用户。
19.根据权利要求15所述的装置,还包括:
预处理模块,用于针对历史上任一用户进行搜索时输入的任一描述字符串,分别进行以下处理:通过预定站点,确定出所述描述字符串对应的实体,所述实体为所述知识库中的实体;根据所述描述字符串对应的搜索结果中被用户点击过的点击搜索结果,对确定出的实体进行校验,将所述描述字符串作为校验通过的实体对应的语义描述字符串,记录到所述知识库中。
20.根据权利要求19所述的装置,其中,
所述预处理模块将确定出的实体作为初选实体,利用所述点击搜索结果对所述初选实体进行校验,将校验通过的初选实体作为候选实体,确定出在所述点击搜索结果中出现频率大于预定阈值的高频实体,所述高频实体为所述知识库中的实体,利用所述高频实体对所述候选实体进行校验,将所述描述字符串作为校验通过的候选实体对应的语义描述字符串,记录到所述知识库中。
21.根据权利要求20所述的装置,其中,
所述预处理模块分别获取各点击搜索结果对应的语义向量,根据所述语义向量对各点击搜索结果进行聚类,针对任一初选实体,分别根据聚类结果以及各点击搜索结果与所述初选实体之间的相关性,确定出所述初选实体对应的评分,将对应的评分符合预定要求的初选实体作为校验通过的初选实体。
22.根据权利要求20所述的装置,其中,
所述预处理模块针对任一候选实体,分别确定出与所述候选实体存在关联关系的高频实体数量,所述存在关联关系包括:存在边关系和/或存在属性关联,将所述存在关联关系的高频实体数量符合预定要求的候选实体作为校验通过的候选实体。
23.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-11中任一项所述的方法。
25.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。
CN202110198425.8A 2021-02-19 2021-02-19 搜索请求处理方法、装置、电子设备及可读存储介质 Active CN112925883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110198425.8A CN112925883B (zh) 2021-02-19 2021-02-19 搜索请求处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110198425.8A CN112925883B (zh) 2021-02-19 2021-02-19 搜索请求处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112925883A true CN112925883A (zh) 2021-06-08
CN112925883B CN112925883B (zh) 2024-01-19

Family

ID=76170225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110198425.8A Active CN112925883B (zh) 2021-02-19 2021-02-19 搜索请求处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112925883B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806519A (zh) * 2021-09-24 2021-12-17 金蝶软件(中国)有限公司 一种搜索召回方法、装置及介质
CN114218404A (zh) * 2021-12-29 2022-03-22 北京百度网讯科技有限公司 内容检索方法、检索库的构建方法、装置和设备
CN114564599A (zh) * 2022-04-28 2022-05-31 中科雨辰科技有限公司 一种基于查询字符串模板的检索系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030172061A1 (en) * 2002-03-01 2003-09-11 Krupin Paul Jeffrey Method and system for creating improved search queries
WO2017173773A1 (zh) * 2016-04-07 2017-10-12 北京百度网讯科技有限公司 信息搜索方法和装置
WO2018000557A1 (zh) * 2016-06-30 2018-01-04 北京百度网讯科技有限公司 搜索结果展示方法和装置
US20180060323A1 (en) * 2016-08-23 2018-03-01 Michael Sperling System and method for query expansion using knowledge base and statistical methods in electronic search
US20190205384A1 (en) * 2017-12-28 2019-07-04 Beijing Baidu Netcom Science And Technology Co., Ltd. Search method and device based on artificial intelligence
CN110134796A (zh) * 2019-04-19 2019-08-16 平安科技(深圳)有限公司 基于知识图谱的临床试验检索方法、装置、计算机设备及存储介质
KR20200014047A (ko) * 2018-07-31 2020-02-10 주식회사 포티투마루 시맨틱 트리플 기반의 지식 확장 시스템, 방법 및 컴퓨터 프로그램
CN111966869A (zh) * 2020-07-07 2020-11-20 北京三快在线科技有限公司 短语提取方法、装置、电子设备及存储介质
CN111984774A (zh) * 2020-08-11 2020-11-24 北京百度网讯科技有限公司 搜索方法、装置、设备以及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030172061A1 (en) * 2002-03-01 2003-09-11 Krupin Paul Jeffrey Method and system for creating improved search queries
WO2017173773A1 (zh) * 2016-04-07 2017-10-12 北京百度网讯科技有限公司 信息搜索方法和装置
WO2018000557A1 (zh) * 2016-06-30 2018-01-04 北京百度网讯科技有限公司 搜索结果展示方法和装置
US20180060323A1 (en) * 2016-08-23 2018-03-01 Michael Sperling System and method for query expansion using knowledge base and statistical methods in electronic search
US20190205384A1 (en) * 2017-12-28 2019-07-04 Beijing Baidu Netcom Science And Technology Co., Ltd. Search method and device based on artificial intelligence
KR20200014047A (ko) * 2018-07-31 2020-02-10 주식회사 포티투마루 시맨틱 트리플 기반의 지식 확장 시스템, 방법 및 컴퓨터 프로그램
CN110134796A (zh) * 2019-04-19 2019-08-16 平安科技(深圳)有限公司 基于知识图谱的临床试验检索方法、装置、计算机设备及存储介质
CN111966869A (zh) * 2020-07-07 2020-11-20 北京三快在线科技有限公司 短语提取方法、装置、电子设备及存储介质
CN111984774A (zh) * 2020-08-11 2020-11-24 北京百度网讯科技有限公司 搜索方法、装置、设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
庞观松;张黎莎;蒋盛益;: "跨语言智能学术搜索系统设计与实现", 山东大学学报(工学版), no. 05, pages 66 - 71 *
林荣恒;吴步丹;赵耀;朱光楠;: "一种辅助用户搜索的聚类可视化搜索服务", 华中科技大学学报(自然科学版), no. 2, pages 107 - 112 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806519A (zh) * 2021-09-24 2021-12-17 金蝶软件(中国)有限公司 一种搜索召回方法、装置及介质
CN114218404A (zh) * 2021-12-29 2022-03-22 北京百度网讯科技有限公司 内容检索方法、检索库的构建方法、装置和设备
CN114564599A (zh) * 2022-04-28 2022-05-31 中科雨辰科技有限公司 一种基于查询字符串模板的检索系统

Also Published As

Publication number Publication date
CN112925883B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
CN112925883B (zh) 搜索请求处理方法、装置、电子设备及可读存储介质
WO2020108063A1 (zh) 特征词的确定方法、装置和服务器
CN112560496A (zh) 语义分析模型的训练方法、装置、电子设备及存储介质
CN113836925B (zh) 预训练语言模型的训练方法、装置、电子设备及存储介质
CN113836314B (zh) 知识图谱构建方法、装置、设备以及存储介质
CN113128209B (zh) 用于生成词库的方法及装置
CN113032673A (zh) 资源的获取方法、装置、计算机设备及存储介质
CN114595686A (zh) 知识抽取方法、知识抽取模型的训练方法及装置
CN112699237B (zh) 标签确定方法、设备和存储介质
CN113190746B (zh) 推荐模型的评估方法、装置及电子设备
CN112560425B (zh) 模板生成方法、装置、电子设备及存储介质
CN113408280A (zh) 负例构造方法、装置、设备和存储介质
CN115248890A (zh) 用户兴趣画像的生成方法、装置、电子设备以及存储介质
CN112925912A (zh) 文本处理方法、同义文本召回方法及装置
CN114201607B (zh) 一种信息处理的方法和装置
CN113792230B (zh) 服务链接方法、装置、电子设备和存储介质
CN113868508B (zh) 写作素材查询方法、装置、电子设备和存储介质
CN114048315A (zh) 确定文档标签的方法、装置、电子设备和存储介质
CN114647739A (zh) 实体链指方法、装置、电子设备及存储介质
CN114417862A (zh) 文本匹配方法、文本匹配模型的训练方法和装置
CN113204665A (zh) 图像检索方法、装置、电子设备及计算机可读存储介质
CN113807102A (zh) 建立语义表示模型的方法、装置、设备和计算机存储介质
CN115168577B (zh) 模型更新方法、装置、电子设备及存储介质
CN115795023B (zh) 文档推荐方法、装置、设备以及存储介质
CN112818167B (zh) 实体检索方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant