CN113312539B - 一种检索服务的提供方法、装置、设备和介质 - Google Patents
一种检索服务的提供方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113312539B CN113312539B CN202110648075.0A CN202110648075A CN113312539B CN 113312539 B CN113312539 B CN 113312539B CN 202110648075 A CN202110648075 A CN 202110648075A CN 113312539 B CN113312539 B CN 113312539B
- Authority
- CN
- China
- Prior art keywords
- data
- index
- data source
- target
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004044 response Effects 0.000 claims abstract description 29
- 230000006978 adaptation Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 78
- 238000013507 mapping Methods 0.000 claims description 54
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 12
- 230000002085 persistent effect Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种检索服务的提供方法、装置、设备、及介质,涉及计算机技术领域,尤其涉及大数据和人工智能技术领域,所述方法包括:通过接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台;根据检索服务配置信息,从数据源处获取更新数据,并在检索服务平台中适配的各检索引擎中进行索引数据的更新;响应于接收到通用检索请求,将通用检索请求转换为与检索引擎匹配的引擎适配检索请求;将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果。本公开实施例的技术方案可以提供一种通用的、标准化的检索服务,可以降低检索服务的开发成本,提高检索服务的开发效率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及大数据和人工智能技术领域,具体涉及一种检索服务的提供方法、装置、设备、及介质。
背景技术
检索场景在互联网中是非常普遍的场景,对于高并发以及高流量的业务平台,检索服务的提供是必不可少的。
相关技术中,由于检索场景所需要的检索引擎以及数据源存在差异,各个业务平台需要开发人员根据实际的检索需求,选择匹配的检索引擎以及输入数据源,分别独立开发出各自所使用的检索服务。
相关技术中检索服务的提供方法需要的人力成本较高,费时费力;其次,开发人员在开发检索服务时,耗费的学习成本较高,且重复性劳动较多。
发明内容
本公开提供了一种检索服务的提供方法、装置、设备、及介质。
根据本公开的一方面,提供了一种检索服务的提供方法,包括:
通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台;
根据检索服务配置信息,从至少一个数据源处获取更新数据,并在检索服务平台中适配的各检索引擎中进行与更新数据匹配的索引数据的更新;
响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求;
将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果。
根据本公开的另一方面,提供了一种检索服务的提供装置,包括:
服务平台构建模块,用于通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台;
数据获取模块,用于根据检索服务配置信息,从至少一个数据源处获取更新数据,并在检索服务平台中适配的各检索引擎中进行与更新数据匹配的索引数据的更新;
请求转换模块,用于响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求;
请求发送模块,用于将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开中任一实施例所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开中任一实施例所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本公开中任一实施例所述的方法。
本公开实施例的技术方案可以提供一种通用的、标准化的检索服务,可以降低检索服务的开发成本,提高检索服务的开发效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
图1是根据本公开实施例的一种检索服务的提供方法的流程示意图;
图2是根据本公开实施例的又一种检索服务的提供方法的流程示意图;
图3是根据本公开实施例的又一种检索服务的提供方法的流程示意图;
图4是根据本公开实施例的一种检索服务的提供装置的结构示意图;
图5是根据本公开实施例的检索服务的提供方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例的一种检索服务的提供方法的流程示意图,本实施例适用于为业务平台提供检索服务的情形,该方法可以通过检索服务的提供装置来执行,该装置可以通过软件和/或硬件的方式实现,并一般可以集成在具有数据处理功能的终端或者服务器中。具体的,参考图1,该方法具体包括如下步骤:
步骤110、通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台。
在本实施例中,所述通用检索配置平台可以与多种业务平台相适配,当开发人员需要为某一业务平台创建检索服务时,可以通过通用检索配置平台输入检索服务配置信息,所述检索服务配置信息可以为与所述检索服务相关联的信息,例如与所述检索服务对应的数据源,以及数据源中的关键字段等信息。
在通过通用检索配置平台接收到开发人员输入的检索服务配置信息后,可以根据检索服务配置信息中指定的数据源以及数据源中的关键字段,构建检索服务平台。所述检索服务平台中可以包括多种检索引擎,检索引擎中存储了多个与数据源中的关键字段相对应的索引数据。所述检索服务平台用于接收用户输入的检索请求,并利用所述检索引擎在存储的多个索引数据中,查询与所述检索请求对应的索引数据,最后通过所述索引数据在指定的数据源中查询到与所述检索请求匹配的结果数据,并将所述结果数据反馈至用户。所述检索引擎可以为Elasticsearch以及BaikalDB分布式可扩展存储系统等。所述索引数据可以包括索引字段以及索引字段的字段值。例如,假设索引字段为“人物”和“文章”,则该索引字段的字段值可以为具体的关于人物的文章信息,例如文章题目以及文章作者等。
步骤120、根据检索服务配置信息,从至少一个数据源处获取更新数据,并在检索服务平台中适配的各检索引擎中进行与更新数据匹配的索引数据的更新。
在一个具体的实施例中,可以根据检索服务配置信息,在对应的数据源中检测是否发生关键字段的更新,若是,则可以将更新后的关键字段作为更新数据,然后将该更新数据作为索引数据写入至检索服务平台中适配的各检索引擎中,以完成对检索引擎中索引数据的更新。
步骤130、响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求。
在本实施例中,通用检索请求为用户在检索服务平台中输入的检索请求,为了避免检索引擎无法对通用检索请求进行有效识别,保证检索请求的标准化,可以将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求。
在一个具体的实施方式中,假设通用检索请求为用户输入的口语化的表述,则可以将所述通用检索请求转化为规整化的,书面语的表述,并将此表述作为与检索引擎匹配的引擎适配检索请求。
在另一个具体的实施方式中,假设检索引擎需要根据检索请求中各个词之间的分隔符对检索请求进行识别,如果通用检索请求为一句话,则可以在该通用检索请求中包括的各个词之间添加预设的分隔符,以得到与检索引擎匹配的引擎适配检索请求。
步骤140、将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果。
在此步骤中,可以将各引擎适配检索请求发送至匹配的检索引擎,利用各检索引擎在存储的多个索引数据中,查询与所述引擎适配检索请求对应的索引数据,通过所述索引数据在指定的数据源中查询到与所述引擎适配检索请求匹配的检索结果,并将所述检索结果反馈至用户。
本公开实施例的技术方案,通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台,然后根据检索服务配置信息,从至少一个数据源处获取更新数据,并在检索服务平台中适配的各检索引擎中进行与更新数据匹配的索引数据的更新,响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求,将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果的技术手段,可以提供一种通用的、标准化的检索服务,可以降低检索服务的开发成本,提高检索服务的开发效率。
图2是根据本公开实施例的又一种检索服务的提供方法的流程示意图,本实施例是对上述技术方案的进一步细化,本实施例中的技术方案可以与上述一个或者多个实施方式结合。具体的,参考图2,该方法具体包括如下步骤:
步骤210、通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台。
在本实施例中,检索服务配置信息包括:数据源配置信息和索引配置信息。所述数据源配置信息可以为与检索服务对应的数据源信息,所述索引配置信息可以为数据源中包括的关键字段映射到检索引擎中索引字段的信息。
在一个具体的实施例中,假设数据源中包括的关键字段为“context”,开发人员可以根据检索服务的实际需求,将该关键字段映射到检索引擎中的索引字段,例如“人物资料”,得到索引配置信息。
步骤220、响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源。
在本实施例中,可以根据检索服务配置信息,在对应的数据源中检测是否发生关键字段的更新,若是,则确认满足索引数据更新条件,并将更新后的关键字段作为更新数据,然后获取与该更新数据匹配的目标数据源。
在本实施例的一个实施方式中,响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源,包括:
步骤221、响应于检测到满足全量索引定时更新条件,将数据源配置信息中配置的各持久化的数据源,确定为所述目标数据源;
在此步骤中,可以根据检索服务配置信息,在对应的数据源中检测发生更新的关键字段的个数是否大于或者等于预设阈值,若是,则可以确认满足全量索引定时更新条件;或者检测最近一次从数据源中获取更新数据的时间与当前时间之间的间隔是否大于或者等于预设间隔(例如一天),若是,并且在此间隔内数据源中的关键字段发生了更新,则可以确认满足全量索引定时更新条件。
这样设置的好处在于,可以实现批量获取更新数据,节省索引数据更新时的资源消耗。
响应于检测到满足全量索引定时更新条件,可以将数据源配置信息中配置的各持久化的数据源,确定为目标数据源。
步骤222、根据数据源配置信息中配置的各持久化的数据源之间的依赖关系,构建数据源依赖树;所述数据源依赖树中包括唯一主数据源;
在本实施例中,开发人员在检索配置平台中输入的数据源配置信息中,除了包括与检索服务对应的数据源信息,还包括各数据源之间的依赖关系。其中,假设第一个数据源中的关键字段细分的字段存储在第二个数据源中,则可以确定该这两个数据源之间具有依赖关系,且第二个数据源依赖于第一个数据源。
在此步骤中,可以根据数据源配置信息中配置的各持久化的数据源之间的依赖关系,构建数据源依赖树,其中,数据源依赖树中的叶子节点对应的数据源依赖于根节点对应的数据源。数据源依赖树中的叶子节点对应的数据源为从数据源,第一层根节点对应的数据源为主数据源,且所述数据源依赖树中包括唯一主数据源。
步骤223、将沿数据源依赖树自顶向下的顺序,确定为各目标数据源对检索引擎中的索引数据进行更新的顺序。
在此步骤中,可以沿数据源依赖树自顶向下的顺序,遍历各目标数据源中的更新数据,然后按照该顺序依次在检索服务平台中适配的各检索引擎中进行与更新数据匹配的索引数据的更新。
在本实施例的另一个实施方式中,响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源,包括:
步骤224、根据所述数据源配置信息中配置的消息队列形式的数据源,对所述消息队列进行实时监控;
在本实施例中,开发人员在检索配置平台中输入的数据源配置信息中,除了包括与检索服务对应的数据源信息,还包括与各数据源关联的消息队列,所述消息队列用于存储与各数据源关联的动态消息。
步骤225、响应于检测到所述消息队列中加入数据变更日志,确定检测到满足增量索引数据更新条件,并在数据变更日志中,提取目标数据源。
在本实施例中,如果数据源中的关键字段发生更新,则会将与该关键字段对应的数据变更日志添加至消息队列中,所述数据变更日志中记载了数据源中发生更新的关键字段。
响应于检测到消息队列中加入数据变更日志,则可以确定检测到满足增量索引数据更新条件,然后在数据变更日志中提取到发生更新的关键字段,以及该关键字段对应的目标数据源。
这样设置的好处在于,可以及时根据更新数据对检索引擎中的索引数据进行更新,以提高索引数据更新过程的时效性。
步骤230、将每个目标数据源中的目标更新数据按照数据源配置信息以及索引配置信息中分别配置的映射规则,依次进行数据过滤,和/或格式转换处理,得到与目标更新数据对应的目标索引数据。
在本实施例中,数据源配置信息中配置了主数据源中关键字段与从数据源中关键字段的映射规则,以及数据源中各关键字段与检索引擎中索引字段的映射规则。在获取到目标更新数据后,可以根据开发人员的需求对目标更新数据中不重要的信息进行过滤,然后将目标更新数据中的数据按照预设的格式进行转换,按照数据源配置信息以及索引配置信息中分别配置的映射规则得到目标索引数据。所述目标索引数据中包括:目标更新数据与检索引擎中的索引字段之间的映射关系。
在一个具体的实施例中,假设主数据源中的关键字段“context”可以细分为从数据源中的关键字段“context1”。数据源配置信息中配置了关键字段“context”与“context1”之间的映射关系,关键字段“context”与索引字段“人物资料”之间的映射关系,以及关键字段“context1”与索引字段“文章”之间的映射关系。
假设关键字段“context1”下新增了一条关于文章数据“题目《xxx》,作者xxx,日期xxx,来源xxx”,该文章数据即为目标更新数据,则可以将该目标更新数据中的“来源xxx”进行过滤,将该目标更新数据中的日期按照预设的标准格式进行转换,最后照数据源配置信息以及索引配置信息中分别配置的映射规则,可以得到目标索引数据为“人物资料,文章,题目《xxx》,作者xxx,日期xxx”。
这样设置的好处在于,可以减少索引数据中的无效信息,保证目标索引数据的标准化。
在本实施例的一个实施方式中,将每个目标数据源中的目标更新数据按照数据源配置信息中配置的映射规则,进行数据过滤,和/或格式转换处理,包括:
步骤231、获取目标更新数据中包括的至少一个数据项,每个数据项中包括至少一个字段数据,每个字段数据中包括字段名和字段值;
在此步骤中,可以根据预设的分隔符获取目标更新数据中包括的数据项。例如,假设目标更新数据为“编号x,题目《xxx》,作者xxx,日期xxx,来源xxx”,则可以获取目标更新数据中包括的数据项为“编号x”、“题目《xxx》”、“作者xxx”、“日期xxx”以及“来源xxx”。每个数据项中包括至少一个字段数据,以数据项“题目《xxx》”为例,其中,“题目”为该数据项中字段数据中包括的字段名,“《xxx》”为该数据项中字段数据中包括的字段值。
步骤232、根据数据源配置信息中配置的映射规则,针对每个数据项执行下述至少一项操作:滤除至少一个字段数据、将至少一个字段数据的字段值进行格式转换,以及将至少一个字段数据的字段名进行重命名处理,以形成备选索引数据。
在此步骤中,以步骤231中的数据项为例,可以对字段数据“来源xxx”进行滤除,将字段数据“日期xxx”中的字段值进行格式转换。此外,为了避免数据项中的字段名与索引字段的字段名发生混淆,可以对数据项中的字段名进行重命名处理。
例如,假设检索引擎中存在某索引字段的字段名为“编号”,为了避免目标更新数据中数据项“编号x”与索引字段的字段名“编号”进行混淆,可以将数据项“编号x”中的字段名重命名为“序号”,通过上述方式可以得到备选索引数据为“序号x,题目《xxx》,作者xxx,日期xxx”。
这样设置的好处在于,可以避免数据项中的字段名与索引字段的字段名发生混淆,保证检索结果的准确性。
在本实施例的另一个实施方式中,将每个目标数据源中的目标更新数据按照数据源配置信息中配置的映射规则,进行数据过滤,和/或格式转换处理,包括:
步骤233、获取备选索引数据中包括的各中间处理数据项;
在此步骤中,可以采用与步骤231相同的方式,在备选索引数据中包括的各中间处理数据项。
步骤234、根据索引配置信息中配置的各中间处理数据项的字段名与预设的索引字段之间的映射关系,将各中间处理数据项的字段值映射为匹配的索引字段的字段值。
在此步骤中,假设备选索引数据为“序号x,题目《xxx》,作者xxx,日期xxx”。索引配置信息中记录了与各中间处理数据项的字段名对应的索引字段为“序号”、“题目”、“作者”以及“日期”,则可以将所述备选索引数据中各中间处理数据项的字段值映射为匹配的索引字段的字段值。
这样设置的好处在于,根据字段名与预设的索引字段之间的映射关系,可以将各中间处理数据项的字段值映射为匹配的索引字段的字段值,由此可以提高索引数据的更新效率。
其中,根据索引配置信息中配置的各中间处理数据项的字段名与预设的索引字段之间的映射关系,将各中间处理数据项的字段值映射为匹配的索引字段的字段值,进一步包括:
步骤2341、在各中间处理数据项中获取当前处理数据项,并获取当前处理数据项中的各当前处理字段数据;
步骤2342、将至少一个当前处理字段数据的字段名进行分词处理;
在步骤中,假设当前处理字段数据的字段名为“题目时间”,则可以按照预设的分词方法将该字段名进行分词,得到字段名“题目”和“时间”。
步骤2343、将至少一个当前处理字段数据的字段名分词处理结果,与其他当前处理字段数据的字段名或者字段名分词处理结果进行组合后,得到至少一个组合字段名;
在此步骤中,假设当前处理字段数据的字段名分词处理结果为“题目”和“时间”,其他处理字段数据的字段名为“作者”,则可以将字段名“题目”与字段名“作者”进行组合,得到组合字段名“题目作者”;或者如果存在其他处理字段数据的字段名分词处理结果为“作者”和“来源”,则可以将当前处理字段数据的字段名分词处理结果,与其他处理字段数据的字段名分词处理结果进行组合,得到组合字段名“题目作者”。
步骤2344、在当前处理数据项中,获取与各组合字段名分别对应的组合字段值,并根据索引配置信息中配置的组合字段名与索引字段之间的映射关系,将各组合字段值映射为匹配的索引字段的字段值。
在此步骤中,假设组合字段名为“题目作者”。索引配置信息中记录了与该组合字段名对应的索引字段为“题目”,则可以将组合字段名“题目作者”的字段值映射为索引字段“题目”的字段值。
这样设置的好处在于,通过将组合字段值映射为匹配的索引字段的字段值,可以实现用户输入检索字段后,为用户提供全面的检索结果。
步骤240、使用与每个目标数据源分别对应的目标索引数据,对检索服务平台中适配的各检索引擎进行索引数据的更新。
步骤250、响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求。
步骤260、将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果。
本公开实施例的技术方案,通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台,响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源,将每个目标数据源中的目标更新数据按照数据源配置信息以及索引配置信息中分别配置的映射规则,依次进行数据过滤,和/或格式转换处理,得到与目标更新数据对应的目标索引数据,然后使用与每个目标数据源分别对应的目标索引数据,对检索服务平台中适配的各检索引擎进行索引数据的更新,响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求,将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果的技术手段,可以提供一种通用的、标准化的检索服务,可以降低检索服务的开发成本,提高检索服务的开发效率。
本公开实施例是对上述实施例的进一步细化,与上述实施例相同或相应的术语解释,本公开实施例不再赘述。图3为本公开实施例提供的一种检索服务的提供方法的流程图,本实施例的方法具体包括如下步骤:
步骤301、通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台。
步骤302、响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源。
步骤303、将每个目标数据源中的目标更新数据按照数据源配置信息以及索引配置信息中分别配置的映射规则,依次进行数据过滤,和/或格式转换处理,得到与目标更新数据对应的目标索引数据。
步骤304、判断当前处理的目标数据源是否为主数据源,若是,执行步骤305-307,若否,执行步骤308-311。
在此步骤中,可以根据数据源配置信息判断当前处理的目标数据源是否为主数据源。
步骤305、根据索引配置信息中的主键配置信息,使用目标索引数据组装得到与当前处理的目标数据源的主键。
在本实施例中,开发人员输入的索引配置信息中还包括用于定位关键字段的主键配置信息,所述主键配置信息用于对关键字段进行唯一标识。
在一个具体的实施例中,假设数据源中的关键字段“context”可以细分为关键字段“context1”,关键字段“context1”下新增了一条关于文章数据“题目《xxx》,作者xxx,日期xxx,来源xxx”,该文章数据也即目标更新数据,其中,关键字段“context”与索引字段“人物资料”之间的映射关系,关键字段“context1”与索引字段“文章”之间的映射关系。通过上述方式可以得到目标索引数据为“人物资料,文章,题目《xxx》,作者xxx,日期xxx”。假设索引配置信息中记录的主键为关键字段“context”,则可以将关键字段“context”与目标索引数据中对应的索引字段进行组装,得到与当前处理的目标数据源的主键为“context,人物资料”。
步骤306、以所述主键为起点,使用所述目标索引数据中的各索引字段组装得到索引树,并形成与所述索引树匹配的主数据源更新索引数据。
在此步骤中,以目标索引数据“人物资料,文章,题目《xxx》,作者xxx,日期xxx”为例,可以将“人物资料”作为索引树中的第一层,将“文章”作为索引树的第二层,将“题目,作者,日期”作为索引树的第三层。在组装得到索引树后,可以将目标索引数据中各索引字段对应的字段值,映射为索引树中索引字段的字段值,以形成与所述索引树匹配的主数据源更新索引数据。
步骤307、将主数据源更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
这样设置的好处在于,通过使用目标索引数据中的各索引字段组装得到索引树,并形成与索引树匹配的主数据源更新索引数据,可以避免主数据源更新索引数据发生遗漏,提高索引数据更新结果的有效性。
步骤308、根据所述数据源依赖树,确定与当前处理的目标数据源匹配的主数据源,并获取所述主数据源的主键。
在此步骤中,如果当前处理的目标数据源不是主数据源,则可以根据数据源依赖树查找当前处理的目标数据源所依赖的数据源,作为与当前处理的目标数据源匹配的主数据源,然后采用与步骤305中同样的方式获取所述主数据源的主键。
步骤309、根据获取的所述主键,在各检索引擎中分别查询得到匹配的待追加索引树。
在此步骤中,可以将获取的主键与检索引擎中各索引树的主键进行比对,以查找到匹配的待追加索引树。
步骤310、使用所述目标索引数据中的各索引字段对所述待追加索引树进行索引字段的追加,并形成与追加后的索引树匹配的从数据源更新索引数据。
在此步骤中,可以将目标索引数据中的各索引字段添加至待追加索引树中,然后将目标索引数据中各索引字段对应的字段值,映射为待追加索引树中索引字段的字段值,以形成与追加后的索引树匹配的从数据源更新索引数据。
步骤311、将从数据源更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
这样设置的好处在于,通过使用目标索引数据中的各索引字段对待追加索引树进行索引字段的追加,并形成与追加后的索引树匹配的从数据源更新索引数据,可以保证从数据源更新索引数据与待追加索引树中原有的索引数据具备关联性,从而保证索引数据更新结果的准确性。
步骤312、响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求。
步骤313、将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果。
本公开实施例通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台,响应于检测到满足索引数据更新条件,获取目标数据源,将目标数据源中的目标更新数据按照映射规则,进行数据过滤,和/或格式转换处理,得到目标索引数据,然后判断目标数据源是否为主数据源,如果是,则根据主键配置信息使用目标索引数据组装得到目标数据源的主键,以主键为起点使用目标索引数据中的各索引字段组装得到索引树,并形成主数据源更新索引数据写入到检索引擎中;如果否,则确定与当前处理的目标数据源匹配的主数据源,并获取主数据源的主键,根据所述主键在检索引擎中查询得到待追加索引树,使用目标索引数据中的各索引字段对待追加索引树进行索引字段的追加,并形成从数据源更新索引数据写入到检索引擎中,响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求,将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果的技术手段,可以提供一种通用的、标准化的检索服务,可以降低检索服务的开发成本,提高检索服务的开发效率。
在上述实施例的基础上,使用与目标数据源对应的目标索引数据,对检索服务平台中适配的各检索引擎进行索引数据的更新,还包括:
步骤314、根据数据源配置信息,获取与所述目标数据源匹配的数据源依赖树;
步骤315、查询所述数据源依赖树,获取与所述目标数据源匹配的主数据源,并获取所述主数据源的主键;
在此步骤中,可以根据数据源依赖树获取与目标数据源匹配的主数据源。如果目标数据源位于数据源依赖树的第一层,则可以确认当前处理的目标数据源为主数据源,然后通过步骤305的方式获取目标数据源的主键;如果目标数据源不是主数据源,则可以根据数据源依赖树查找目标数据源所依赖的数据源,作为与目标数据源匹配的主数据源。
这样设置的好处在于,通过查询数据源依赖树,可以直接获取与目标数据源匹配的主数据源,进而可以提高索引数据的更新效率。
步骤316、根据所述主键,在各检索引擎中分别查询得到匹配的待追加索引树;
步骤317、使用所述目标索引数据中的各索引字段对所述待追加索引树进行索引字段的追加,并形成与追加后的索引树匹配的增量更新索引数据;
步骤318、将增量更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
本公开实施例还提供了一种检索服务的提供装置,用于执行上述的检索服务的提供方法。
图4为本公开实施例提供的一种检索服务的提供装置400的结构图,该装置包括:服务平台构建模块410、数据获取模块420、请求转换模块430和请求发送模块440。
其中,服务平台构建模块410,用于通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台;数据获取模块420,用于根据检索服务配置信息,从至少一个数据源处获取更新数据,并在检索服务平台中适配的各检索引擎中进行与更新数据匹配的索引数据的更新;请求转换模块430,用于响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求;请求发送模块440,用于将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果。
本公开实施例的技术方案,通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台,然后根据检索服务配置信息,从至少一个数据源处获取更新数据,并在检索服务平台中适配的各检索引擎中进行与更新数据匹配的索引数据的更新,响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求,将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果的技术手段,可以提供一种通用的、标准化的检索服务,可以降低检索服务的开发成本,提高检索服务的开发效率。
在上述各实施例的基础上,检索服务配置信息包括:数据源配置信息和索引配置信息;数据获取模块420包括:目标数据源获取单元,用于响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源;目标索引数据获取单元,用于将每个目标数据源中的目标更新数据按照数据源配置信息以及索引配置信息中分别配置的映射规则,依次进行数据过滤,和/或格式转换处理,得到与目标更新数据对应的目标索引数据;其中,目标索引数据中包括:目标更新数据与检索引擎中的索引字段之间的映射关系;索引数据更新单元,用于使用与每个目标数据源分别对应的目标索引数据,对检索服务平台中适配的各检索引擎进行索引数据的更新。目标数据源获取单元,包括:目标数据源确定子单元,用于响应于检测到满足全量索引定时更新条件,将数据源配置信息中配置的各持久化的数据源,确定为所述目标数据源;依赖数构建子单元,用于根据数据源配置信息中配置的各持久化的数据源之间的依赖关系,构建数据源依赖树;所述数据源依赖树中包括唯一主数据源;更新顺序确定子单元,用于将沿数据源依赖树自顶向下的顺序,确定为各目标数据源对检索引擎中的索引数据进行更新的顺序。目标数据源获取单元包括:队列监控子单元,用于根据所述数据源配置信息中配置的消息队列形式的数据源,对所述消息队列进行实时监控;数据源提取子单元,用于响应于检测到所述消息队列中加入数据变更日志,确定检测到满足增量索引数据更新条件,并在数据变更日志中,提取目标数据源。目标索引数据获取单元包括:数据项获取子单元,用于获取目标更新数据中包括的至少一个数据项,每个数据项中包括至少一个字段数据,每个字段数据中包括字段名和字段值;备选索引数据形成子单元,用于根据数据源配置信息中配置的映射规则,针对每个数据项执行下述至少一项操作:滤除至少一个字段数据、将至少一个字段数据的字段值进行格式转换,以及将至少一个字段数据的字段名进行重命名处理,以形成备选索引数据。
目标索引数据获取单元包括还包括:处理数据项获取子单元,用于获取备选索引数据中包括的各中间处理数据项;字段值映射子单元,用于根据索引配置信息中配置的各中间处理数据项的字段名与预设的索引字段之间的映射关系,将各中间处理数据项的字段值映射为匹配的索引字段的字段值。字段值映射子单元包括:字段数据获取子单元,用于在各中间处理数据项中获取当前处理数据项,并获取当前处理数据项中的各当前处理字段数据;分词子单元,用于将至少一个当前处理字段数据的字段名进行分词处理;组合子单元,用于将至少一个当前处理字段数据的字段名分词处理结果,与其他当前处理字段数据的字段名或者字段名分词处理结果进行组合后,得到至少一个组合字段名;组合字段值映射子单元,用于在当前处理数据项中,获取与各组合字段名分别对应的组合字段值,并根据索引配置信息中配置的组合字段名与索引字段之间的映射关系,将各组合字段值映射为匹配的索引字段的字段值。索引数据更新单元包括:数据源判断子单元,用于判断当前处理的目标数据源是否为主数据源;主键生成子单元,用于响应于当前处理的目标数据源为主数据源,根据索引配置信息中的主键配置信息,使用目标索引数据组装得到与当前处理的目标数据源的主键;索引树构建子单元,用于以所述主键为起点,使用所述目标索引数据中的各索引字段组装得到索引树,并形成与所述索引树匹配的主数据源更新索引数据;索引数据写入子单元,用于将主数据源更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
索引数据更新单元还包括:主键获取子单元,用于响应于当前处理的目标数据源不是主数据源,确定与当前处理的目标数据源匹配的主数据源,并获取所述主数据源的主键;索引树查询子单元,用于根据获取的所述主键,在各检索引擎中分别查询得到匹配的待追加索引树;索引字段追加子单元,用于使用所述目标索引数据中的各索引字段对所述待追加索引树进行索引字段的追加,并形成与追加后的索引树匹配的从数据源更新索引数据;检索引擎更新子单元,用于将从数据源更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。索引数据更新单元还包括:数据源依赖数获取子单元,用于根据数据源配置信息,获取与所述目标数据源匹配的数据源依赖树;主数据源获取子单元,用于查询所述数据源依赖树,获取与所述目标数据源匹配的主数据源,并获取所述主数据源的主键;检索引擎查询子单元,用于根据所述主键,在各检索引擎中分别查询得到匹配的待追加索引树;更新索引数据形成子单元,用于使用所述目标索引数据中的各索引字段对所述待追加索引树进行索引字段的追加,并形成与追加后的索引树匹配的增量更新索引数据;更新索引数据写入子单元,用于将增量更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
本公开实施例所提供的检索服务的提供装置可执行本公开任意实施例所提供的检索服务的提供方法,具备执行方法相应的功能模块和有益效果。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示,设备500包括计算单元501,其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序,来执行各种适当的动作和处理。在RAM 503中,还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理,例如检索服务的提供方法。例如,在一些实施例中,检索服务的提供方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时,可以执行上文描述的检索服务的提供方法的一个或多个步骤。备选地,在其他实施例中,计算单元501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行检索服务的提供方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开提供的技术方案所期望的结果,本文在此不进行限制。上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (20)
1.一种检索服务的提供方法,包括:
通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台;
根据检索服务配置信息,从至少一个数据源处获取更新数据,并在检索服务平台中适配的各检索引擎中进行与更新数据匹配的索引数据的更新;
响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求;
将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果;其中,检索服务配置信息包括:数据源配置信息和索引配置信息;
根据检索服务配置信息,从至少一个数据源处获取更新数据,并在检索服务平台中的各检索引擎中进行与更新数据匹配的索引数据的更新,包括:响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源;将每个目标数据源中的目标更新数据按照数据源配置信息以及索引配置信息中分别配置的映射规则,依次进行数据过滤,和/或格式转换处理,得到与目标更新数据对应的目标索引数据;其中,目标索引数据中包括:目标更新数据与检索引擎中的索引字段之间的映射关系;使用与每个目标数据源分别对应的目标索引数据,对检索服务平台中适配的各检索引擎进行索引数据的更新。
2.根据权利要求1所述的方法,其中,响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源,包括:
响应于检测到满足全量索引定时更新条件,将数据源配置信息中配置的各持久化的数据源,确定为所述目标数据源;
根据数据源配置信息中配置的各持久化的数据源之间的依赖关系,构建数据源依赖树;所述数据源依赖树中包括唯一主数据源;
将沿数据源依赖树自顶向下的顺序,确定为各目标数据源对检索引擎中的索引数据进行更新的顺序。
3.根据权利要求1所述的方法,其中,响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源,包括:
根据所述数据源配置信息中配置的消息队列形式的数据源,对所述消息队列进行实时监控;
响应于检测到所述消息队列中加入数据变更日志,确定检测到满足增量索引数据更新条件,并在数据变更日志中,提取目标数据源。
4.根据权利要求1-3任一项所述的方法,其中,将每个目标数据源中的目标更新数据按照数据源配置信息中配置的映射规则,进行数据过滤,和/或格式转换处理,包括:
获取目标更新数据中包括的至少一个数据项,每个数据项中包括至少一个字段数据,每个字段数据中包括字段名和字段值;
根据数据源配置信息中配置的映射规则,针对每个数据项执行下述至少一项操作:滤除至少一个字段数据、将至少一个字段数据的字段值进行格式转换,以及将至少一个字段数据的字段名进行重命名处理,以形成备选索引数据。
5.根据权利要求4所述的方法,其中,将每个目标数据源中的目标更新数据按照索引配置信息中配置的映射规则,进行数据过滤,和/或格式转换处理,包括:
获取备选索引数据中包括的各中间处理数据项;
根据索引配置信息中配置的各中间处理数据项的字段名与预设的索引字段之间的映射关系,将各中间处理数据项的字段值映射为匹配的索引字段的字段值。
6.根据权利要求5所述的方法,其中,根据索引配置信息中配置的各中间处理数据项的字段名与预设的索引字段之间的映射关系,将各中间处理数据项的字段值映射为匹配的索引字段的字段值,进一步包括:
在各中间处理数据项中获取当前处理数据项,并获取当前处理数据项中的各当前处理字段数据;
将至少一个当前处理字段数据的字段名进行分词处理;
将至少一个当前处理字段数据的字段名分词处理结果,与其他当前处理字段数据的字段名或者字段名分词处理结果进行组合后,得到至少一个组合字段名;
在当前处理数据项中,获取与各组合字段名分别对应的组合字段值,并根据索引配置信息中配置的组合字段名与索引字段之间的映射关系,将各组合字段值映射为匹配的索引字段的字段值。
7.根据权利要求2所述的方法,其中,使用与目标数据源对应的目标索引数据,对检索服务平台中适配的各检索引擎进行索引数据的更新,包括:
判断当前处理的目标数据源是否为主数据源;
若是,则根据索引配置信息中的主键配置信息,使用目标索引数据组装得到与当前处理的目标数据源的主键;
以所述主键为起点,使用所述目标索引数据中的各索引字段组装得到索引树,并形成与所述索引树匹配的主数据源更新索引数据;
将主数据源更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
8.根据权利要求7所述的方法,在判断当前处理的目标数据源是否为主数据源之后,还包括:
若否,则根据所述数据源依赖树,确定与当前处理的目标数据源匹配的主数据源,并获取所述主数据源的主键;
根据获取的所述主键,在各检索引擎中分别查询得到匹配的待追加索引树;
使用所述目标索引数据中的各索引字段对所述待追加索引树进行索引字段的追加,并形成与追加后的索引树匹配的从数据源更新索引数据;
将从数据源更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
9.根据权利要求3所述的方法,其中,使用与目标数据源对应的目标索引数据,对检索服务平台中适配的各检索引擎进行索引数据的更新,包括:
根据数据源配置信息,获取与所述目标数据源匹配的数据源依赖树;
查询所述数据源依赖树,获取与所述目标数据源匹配的主数据源,并获取所述主数据源的主键;
根据所述主键,在各检索引擎中分别查询得到匹配的待追加索引树;
使用所述目标索引数据中的各索引字段对所述待追加索引树进行索引字段的追加,并形成与追加后的索引树匹配的增量更新索引数据;
将增量更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
10.一种检索服务的提供装置,包括:
服务平台构建模块,用于通过通用检索配置平台接收检索服务配置信息,并构建与检索服务配置信息匹配的检索服务平台;
数据获取模块,用于根据检索服务配置信息,从至少一个数据源处获取更新数据,并在检索服务平台中适配的各检索引擎中进行与更新数据匹配的索引数据的更新;
请求转换模块,用于响应于通过检索服务平台接收到通用检索请求,将通用检索请求转换为与各检索引擎分别匹配的引擎适配检索请求;
请求发送模块,用于将各引擎适配检索请求发送至匹配的检索引擎,并根据各检索引擎通过查询索引数据得到的查询结果,形成检索结果;其中,检索服务配置信息包括:数据源配置信息和索引配置信息;
数据获取模块,包括:目标数据源获取单元,用于响应于检测到满足索引数据更新条件,获取与索引数据更新条件匹配的至少一个目标数据源;目标索引数据获取单元,用于将每个目标数据源中的目标更新数据按照数据源配置信息以及索引配置信息中分别配置的映射规则,依次进行数据过滤,和/或格式转换处理,得到与目标更新数据对应的目标索引数据;其中,目标索引数据中包括:目标更新数据与检索引擎中的索引字段之间的映射关系;索引数据更新单元,用于使用与每个目标数据源分别对应的目标索引数据,对检索服务平台中适配的各检索引擎进行索引数据的更新。
11.根据权利要求10所述的装置,其中,目标数据源获取单元,包括:
目标数据源确定子单元,用于响应于检测到满足全量索引定时更新条件,将数据源配置信息中配置的各持久化的数据源,确定为所述目标数据源;
依赖数构建子单元,用于根据数据源配置信息中配置的各持久化的数据源之间的依赖关系,构建数据源依赖树;所述数据源依赖树中包括唯一主数据源;
更新顺序确定子单元,用于将沿数据源依赖树自顶向下的顺序,确定为各目标数据源对检索引擎中的索引数据进行更新的顺序。
12.根据权利要求10所述的装置,其中,目标数据源获取单元包括:
队列监控子单元,用于根据所述数据源配置信息中配置的消息队列形式的数据源,对所述消息队列进行实时监控;
数据源提取子单元,用于响应于检测到所述消息队列中加入数据变更日志,确定检测到满足增量索引数据更新条件,并在数据变更日志中,提取目标数据源。
13.根据权利要求10-12任一项所述的装置,其中,目标索引数据获取单元包括:
数据项获取子单元,用于获取目标更新数据中包括的至少一个数据项,每个数据项中包括至少一个字段数据,每个字段数据中包括字段名和字段值;
备选索引数据形成子单元,用于根据数据源配置信息中配置的映射规则,针对每个数据项执行下述至少一项操作:滤除至少一个字段数据、将至少一个字段数据的字段值进行格式转换,以及将至少一个字段数据的字段名进行重命名处理,以形成备选索引数据。
14.根据权利要求13所述的装置,其中,目标索引数据获取单元包括还包括:
处理数据项获取子单元,用于获取备选索引数据中包括的各中间处理数据项;
字段值映射子单元,用于根据索引配置信息中配置的各中间处理数据项的字段名与预设的索引字段之间的映射关系,将各中间处理数据项的字段值映射为匹配的索引字段的字段值。
15.根据权利要求14所述的装置,其中,字段值映射子单元包括:
字段数据获取子单元,用于在各中间处理数据项中获取当前处理数据项,并获取当前处理数据项中的各当前处理字段数据;
分词子单元,用于将至少一个当前处理字段数据的字段名进行分词处理;
组合子单元,用于将至少一个当前处理字段数据的字段名分词处理结果,与其他当前处理字段数据的字段名或者字段名分词处理结果进行组合后,得到至少一个组合字段名;
组合字段值映射子单元,用于在当前处理数据项中,获取与各组合字段名分别对应的组合字段值,并根据索引配置信息中配置的组合字段名与索引字段之间的映射关系,将各组合字段值映射为匹配的索引字段的字段值。
16.根据权利要求11所述的装置,其中,索引数据更新单元包括:
数据源判断子单元,用于判断当前处理的目标数据源是否为主数据源;
主键生成子单元,用于响应于当前处理的目标数据源为主数据源,根据索引配置信息中的主键配置信息,使用目标索引数据组装得到与当前处理的目标数据源的主键;
索引树构建子单元,用于以所述主键为起点,使用所述目标索引数据中的各索引字段组装得到索引树,并形成与所述索引树匹配的主数据源更新索引数据;
索引数据写入子单元,用于将主数据源更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
17.根据权利要求16所述的装置,其中,索引数据更新单元还包括:
主键获取子单元,用于响应于当前处理的目标数据源不是主数据源,确定与当前处理的目标数据源匹配的主数据源,并获取所述主数据源的主键;
索引树查询子单元,用于根据获取的所述主键,在各检索引擎中分别查询得到匹配的待追加索引树;
索引字段追加子单元,用于使用所述目标索引数据中的各索引字段对所述待追加索引树进行索引字段的追加,并形成与追加后的索引树匹配的从数据源更新索引数据;
检索引擎更新子单元,用于将从数据源更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
18.根据权利要求12所述的装置,其中,索引数据更新单元还包括:
数据源依赖数获取子单元,用于根据数据源配置信息,获取与所述目标数据源匹配的数据源依赖树;
主数据源获取子单元,用于查询所述数据源依赖树,获取与所述目标数据源匹配的主数据源,并获取所述主数据源的主键;
检索引擎查询子单元,用于根据所述主键,在各检索引擎中分别查询得到匹配的待追加索引树;
更新索引数据形成子单元,用于使用所述目标索引数据中的各索引字段对所述待追加索引树进行索引字段的追加,并形成与追加后的索引树匹配的增量更新索引数据;
更新索引数据写入子单元,用于将增量更新索引数据分别写入到至少一个检索引擎中,以实现对各检索引擎进行索引数据的更新。
19.一种电子设备,其中,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110648075.0A CN113312539B (zh) | 2021-06-10 | 2021-06-10 | 一种检索服务的提供方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110648075.0A CN113312539B (zh) | 2021-06-10 | 2021-06-10 | 一种检索服务的提供方法、装置、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113312539A CN113312539A (zh) | 2021-08-27 |
CN113312539B true CN113312539B (zh) | 2024-01-12 |
Family
ID=77378006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110648075.0A Active CN113312539B (zh) | 2021-06-10 | 2021-06-10 | 一种检索服务的提供方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113312539B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114398379B (zh) * | 2021-11-29 | 2024-03-01 | 平安科技(深圳)有限公司 | 一种数据更新方法、装置、设备及介质 |
CN115994145B (zh) * | 2023-02-09 | 2023-08-22 | 中国证券登记结算有限责任公司 | 一种处理数据的方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101989301A (zh) * | 2010-10-22 | 2011-03-23 | 复旦大学 | 一种支持多数据源的索引维护方法 |
CN104778266A (zh) * | 2015-04-22 | 2015-07-15 | 无锡天脉聚源传媒科技有限公司 | 一种多数据源搜索的方法及装置 |
US9280601B1 (en) * | 2012-02-15 | 2016-03-08 | Google Inc. | Modifying search results |
CN108062384A (zh) * | 2017-12-13 | 2018-05-22 | 阿里巴巴集团控股有限公司 | 数据检索的方法和装置 |
CN112698862A (zh) * | 2019-10-23 | 2021-04-23 | 北京奇虎科技有限公司 | 引擎系统以及引擎处理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10061807B2 (en) * | 2012-05-18 | 2018-08-28 | Splunk Inc. | Collection query driven generation of inverted index for raw machine data |
-
2021
- 2021-06-10 CN CN202110648075.0A patent/CN113312539B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101989301A (zh) * | 2010-10-22 | 2011-03-23 | 复旦大学 | 一种支持多数据源的索引维护方法 |
US9280601B1 (en) * | 2012-02-15 | 2016-03-08 | Google Inc. | Modifying search results |
CN104778266A (zh) * | 2015-04-22 | 2015-07-15 | 无锡天脉聚源传媒科技有限公司 | 一种多数据源搜索的方法及装置 |
CN108062384A (zh) * | 2017-12-13 | 2018-05-22 | 阿里巴巴集团控股有限公司 | 数据检索的方法和装置 |
CN112698862A (zh) * | 2019-10-23 | 2021-04-23 | 北京奇虎科技有限公司 | 引擎系统以及引擎处理方法 |
Non-Patent Citations (1)
Title |
---|
统一检索服务关键技术的研究与实现;王庆恒;马自卫;李高虎;;现代图书情报技术(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113312539A (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111522967B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
CN113312539B (zh) | 一种检索服务的提供方法、装置、设备和介质 | |
CN111522927A (zh) | 基于知识图谱的实体查询方法和装置 | |
CN113836314B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
CN113722600B (zh) | 应用于大数据的数据查询方法、装置、设备及产品 | |
CN112559717A (zh) | 搜索匹配方法、装置、电子设备以及存储介质 | |
CN112528067A (zh) | 图数据库的存储方法、读取方法、装置及设备 | |
CN116226350A (zh) | 一种文档查询方法、装置、设备和存储介质 | |
CN115048352B (zh) | 一种日志字段提取方法、装置、设备和存储介质 | |
CN113239054B (zh) | 信息生成方法及相关装置 | |
CN112860811B (zh) | 数据血缘关系的确定方法、装置、电子设备和存储介质 | |
CN110704481A (zh) | 展示数据的方法和装置 | |
CN114969444A (zh) | 数据的处理方法、装置、电子设备和存储介质 | |
CN114186147A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN114579580A (zh) | 存储数据的方法、查询数据的方法和装置 | |
CN113312540A (zh) | 信息处理方法、装置、设备、系统及可读存储介质 | |
CN115458103B (zh) | 医疗数据处理方法、装置、电子设备及可读存储介质 | |
CN115828915B (zh) | 实体消歧方法、装置、电子设备和存储介质 | |
CN114925118B (zh) | 跨表搜索方法、装置、设备以及存储介质 | |
CN114579573B (zh) | 信息检索方法、装置、电子设备以及存储介质 | |
CN112817990B (zh) | 数据处理方法、装置、电子设备以及可读存储介质 | |
CN115878661A (zh) | 一种查询方法、装置、电子设备及存储介质 | |
CN117076611A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
CN116431764A (zh) | 一种数据匹配方法、装置、设备以及存储介质 | |
CN116861033A (zh) | 时变图的存储方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |