CN112860798B - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112860798B CN112860798B CN202110185043.1A CN202110185043A CN112860798B CN 112860798 B CN112860798 B CN 112860798B CN 202110185043 A CN202110185043 A CN 202110185043A CN 112860798 B CN112860798 B CN 112860798B
- Authority
- CN
- China
- Prior art keywords
- target
- data
- distributed cluster
- data processing
- version type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例公开了一种数据处理方法、装置、电子设备及存储介质,该方法包括:当接收到数据处理请求时,确定与数据处理请求相匹配的目标接口名;根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与目标接口名相对应的目标分布式集群版本类型;调取与目标分布式集群版本类型所适配的目标解析模板,将与数据处理请求对应的数据转换为与目标解析模板语法适配的待处理目标数据;将待处理目标数据转换为目标格式的目标数据,并将与目标数据所对应的处理结果反馈至与数据处理请求所对应的客户端,以在客户端上展示处理结果。通过本发明实施例的技术方案,实现了提高不同版本类型的分布式集群的兼容性,并降低开发成本的技术效果。
Description
技术领域
本发明实施例涉及数据同步领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
ElasticSearch(基于Lucene的搜索服务器)是一个开源的搜索服务器,提供了一个具有分布式多用户能力的全文搜索引擎。在大数据行业中,ElasticSearch成为了当前流行的企业级搜索引擎。
为了使ElasticSearch提供更优质的服务,会针对ElasticSearch进行版本升级。在ElasticSearch版本升级后,用户需要升级对应的客户端,同时对应代码的API(Application Programming Interface,应用程序接口)也要进行修改,会造成用户使用ElasticSearch进行开发时的成本较高的问题。
并且,ElasticSearch兼具了数据存储和搜索引擎的功能,因此,数据同步就是常见的数据处理操作。目前的数据同步只支持单一版本的ElasticSearch集群,无法在不同版本的ElasticSearch集群上进行数据同步,也就无法兼容不同ElasticSearch版本所对应的业务场景。
发明内容
本发明提供一种数据处理方法、装置、电子设备及存储介质,以实现提高不同版本类型的分布式集群的兼容性,并降低开发成本的技术效果。
第一方面,本发明实施例提供了一种数据处理方法,其特征在于,包括:
当接收到数据处理请求时,确定与所述数据处理请求相匹配的目标接口名;
根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与所述目标接口名相对应的目标分布式集群版本类型;
调取与所述目标分布式集群版本类型所适配的目标解析模板,将与所述数据处理请求对应的数据转换为与所述目标解析模板语法适配的待处理目标数据;
将所述待处理目标数据转换为目标格式的目标数据,并将与所述目标数据所对应的处理结果反馈至与所述数据处理请求所对应的客户端,以在所述客户端上展示所述处理结果。
第二方面,本发明实施例还提供了一种数据处理装置,其特征在于,包括:
目标接口名确定模块,用于当接收到数据处理请求时,确定与所述数据处理请求相匹配的目标接口名;
版本类型确定模块,用于根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与所述目标接口名相对应的目标分布式集群版本类型;
待处理目标数据转换模块,用于调取与所述目标分布式集群版本类型所适配的目标解析模板,将与所述数据处理请求对应的数据转换为与所述目标解析模板语法适配的待处理目标数据;
处理结果反馈模块,用于将所述待处理目标数据转换为目标格式的目标数据,并将与所述目标数据所对应的处理结果反馈至与所述数据处理请求所对应的客户端,以在所述客户端上展示所述处理结果。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例任一所述的数据处理方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的数据处理方法。
本发明实施例的技术方案,通过当接收到数据处理请求时,确定与数据处理请求相匹配的目标接口名,根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与目标接口名相对应的目标分布式集群版本类型,进而,调取与目标分布式集群版本类型所适配的目标解析模板,将与数据处理请求对应的数据转换为与目标解析模板语法适配的待处理目标数据,将待处理目标数据转换为目标格式的目标数据,并将与目标数据所对应的处理结果反馈至与数据处理请求所对应的客户端,以在客户端上展示所述处理结果,解决了使用不同版本分布式集群进行开发时开发成本较高问题,以及不同版本分布式集群无法兼容的问题,实现了提高不同版本类型的分布式集群的兼容性,并降低开发成本的技术效果。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案,下面对描述实施例中所需要用到的附图做一简单介绍。显然,所介绍的附图只是本发明所要描述的一部分实施例的附图,而不是全部的附图,对于本领域普通技术人员,在不付出创造性劳动的前提下,还可以根据这些附图得到其他的附图。
图1为本发明实施例一所提供的一种数据处理方法的流程示意图;
图2为本发明实施例二所提供的一种数据处理方法的流程示意图;
图3为本发明实施例三所提供的一种数据处理方法的示意图;
图4为本发明实施例四所提供的一种数据处理装置的结构示意图;
图5为本发明实施例五所提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种数据处理方法的流程示意图,本实施例可适用于对不同版本类型的分布式集群数据进行兼容处理的情况,该方法可以由数据存储装置来执行,该装置可以通过软件和/或硬件的形式实现,该硬件可以是电子设备,可选的,电子设备可以是移动终端等。
如图1所述,本实施例的方法具体包括如下步骤:
S110、当接收到数据处理请求时,确定与数据处理请求相匹配的目标接口名。
其中,数据处理请求可以是对数据进行处理的请求,可以是请求命令或请求代码等,数据处理请求可以包括数据查询请求,数据更新请求或数据创建请求等,在本实施例中不做具体限定。目标接口名可以是对数据处理请求进行处理时,进行数据传输所使用的接口所对应的名称。
具体的,若数据处理请求中携带与目标接口名相对应的字段信息,则根据该字段信息可以确定目标接口名。若针对不同接口发送的数据处理请求在结构或命名等方面的存在不同,则可以对数据请求处理进行结构解析等操作,以根据解析结果确定数据处理请求所对应的目标接口名。
S120、根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与目标接口名相对应的目标分布式集群版本类型。
其中,分布式集群可以是分布式服务器和/或集群服务器等,用于执行数据处理请求所对应的处理任务。版本类型可以是分布式集群所对应的版本。需要说明的是,不同的分布式集群对应的版本可能不同,因此,在对数据处理请求进行处理时所需的程序语言的语法结构和/或参数命名等也可能不同。
分布式集群可以是ElasticSearch集群,ElasticSearch集群可以提供分布式多用户的搜索功能。ElasticSearch到2021年1月为止已发布93个版本,每个版本都加入了新的功能和特性。
具体的,预先创建的接口名和分布式集群版本类型之间的对应关系可以是根据分布式集群的版本类型变化进行更新的。在确定目标接口名之后,可以根据目标接口名在预先创建的接口名和分布式集群版本类型之间的对应关系中查找到与目标接口名所对应的版本类型,将该版本类型作为目标分布式集群版本类型,用于后续进行数据处理使用。
S130、调取与目标分布式集群版本类型所适配的目标解析模板,将与数据处理请求对应的数据转换为与目标解析模板语法适配的待处理目标数据。
其中,目标解析模板可以是预先设置好的与各分布式集群版本类型相对应的模板,用于对数据处理请求对应的数据进行转换。目标解析模板可以是领域特定语言(DomainSpecific Language,DSL)模板等。语法适配指的是使用相同语法的数据。待处理目标数据可以是将数据处理请求的数据写入目标解析模板后的数据。
具体的,根据目标分布式集群版本类型,在预先存储的解析模板中调取与该版本类型相对应的解析模板,并将该解析模板作为目标解析模板。由于数据处理请求中携带数据内容,可以将数据处理请求进行解析,获取数据的具体内容。将与数据处理请求相匹配的数据写入至目标解析模板中,可以获取与目标解析模板语法适配的待处理目标数据。
需要说明的是,不同分布式集群版本类型所适配的解析模板可以相同也可以不同。若不同版本类型的分布式集群的底层语法结构等是一致的或相似的,那么解析模板可以是相同的。若不同版本类型的分布式集群的底层语法结构等是具有较大差别的,那么解析模板可以是不同的。
S140、将待处理目标数据转换为目标格式的目标数据,并将与目标数据所对应的处理结果反馈至与数据处理请求所对应的客户端,以在客户端上展示处理结果。
其中,目标格式可以是目标分布式集群能够识别和处理的数据格式,处理结果可以是目标分布式集群进行数据处理后反馈的结果,例如:数据处理是否成功,分布式集群连接是否成功等。客户端可以是发送数据处理请求的客户端。
具体的,可以根据目标分布式集群所对应的目标格式,将待处理目标数据转换为目标格式的目标数据,以根据目标数据对目标分布式集群内的数据进行处理。当目标分布式集群内的数据处理完成后,可以将处理结果反馈至与数据处理请求所对应的客户端。处理结果可以是处理成功,处理失败,若处理失败时,还可以附加反馈处理失败的原因,例如:服务器连接失败,找不到数据信息,数据更新出错等。将处理结果反馈至客户端,可以使工作人员对目标分布式集群的数据处理进行监督。当处理结果为处理失败时,工作人员可以及时根据错误信息进行检查,避免影响后续业务使用。
本发明实施例的技术方案,通过当接收到数据处理请求时,确定与数据处理请求相匹配的目标接口名,根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与目标接口名相对应的目标分布式集群版本类型,进而,调取与目标分布式集群版本类型所适配的目标解析模板,将与数据处理请求对应的数据转换为与目标解析模板语法适配的待处理目标数据,将待处理目标数据转换为目标格式的目标数据,并将与目标数据所对应的处理结果反馈至与数据处理请求所对应的客户端,以在客户端上展示所述处理结果,解决了使用不同版本分布式集群进行开发时开发成本较高问题,以及不同版本分布式集群无法兼容的问题,实现了提高不同版本类型的分布式集群的兼容性,并降低开发成本的技术效果。
实施例二
图2为本发明实施例二所提供的一种数据处理方法的流程示意图,本实施例在上述各实施例的基础上,针对接口名和分布式集群版本类型之间的对应关系的建立方式以及确定与分布式集群版本类型所适配的目标解析模板的实施方式可参见本实施例的技术方案。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
如图2所述,本实施例的方法具体包括如下步骤:
S210、获取至少一个用户预先配置的配置信息。
其中,配置信息中包括分布式集群版本类型和相应的集群版本地址。分布式集群版本类型可以包括主版本号、次版本号以及修订版本号等,例如:若主版号为6,次版本号为8,修订版本号为0,则分布式集群版本类型可以是6.8.0。
具体的,用户可以预先配置各分布式集群的配置信息,可以是通过代码进行配置,也可以是通过可视化界面进行配置,具体的配置方式不作具体限定。当用户配置完成后,可以获取用户输入和/或选择的配置信息。实时的或定时的获取用户配置的配置信息,以将配置信息中的分布式集群版本类型用于确定解析模板,集群版本地址用于与分布式集群建立通信连接。
需要说明的是,当分布式集群的功能模块有较大的变动,比如增加模块或是整体架构发生变化时,主版本号可能会发生变化。相对于主版本号而言,次版本号的升级对应的是局部的变动,但该局部的变动造成程序和以前版本不能兼容,或者对该程序以前的协作关系产生了破坏,或者是功能上有大的改进或增强等。修订版本号一般是针对Bug的修复或是一些小的变动或是一些功能的扩充等发布的修订版所对应的编号,修复一个严重的Bug就可以更新一个修订版本号。
S220、根据配置信息中的分布式集群版本类型以及分布式集群版本类型对应的请求链接,将与配置信息对应的请求客户端连接至相应的分布式集群。
其中,请求连接可以是根据分布式集群版本类型以及集群版本地址生成的链接,用于请求与分布式集群建立通信连接使用。请求客户端可以是用户进行配置信息配置时使用的客户端,例如后台应用程序等。
具体的,可以根据配置信息中的分布式集群版本类型以及集群版本地址生成请求链接。进而,可以向分布式集群发送对应的请求链接,以建立请求客户端与分布式集群的连接,用于后续传输数据使用。
S230、建立接口名和分布式集群版本类型之间的对应关系。
其中,接口名可以是请求客户端与分布式集群进行数据通信时使用的接口的名称。
具体的,在将请求客户端连接至相应的分布式集群后,可以分别建立与各分布式集群进行通信的接口,并为不同的接口配置相对应的接口名。进而,可以建立分布式集群的版本类型以及与该分布式集群进行数据通信时所使用的接口所对应的接口名的对应关系。
具体的,可以根据下述步骤建立接口名和分布式集群版本类型之间的对应关系。
步骤一、根据预先注册的配置信息,确定与配置信息相对应的分布式集群版本类型。
具体的,在获取预先配置的配置信息之后,可以获取配置信息中预先配置的分布式集群版本类型。
步骤二、创建与配置信息对应的接口和接口名,并建立同一配置信息所对应的接口名和分布式集群版本的对应关系。
具体的,针对预先配置的每一个配置信息,都可以创建一个与配置信息相对应的接口,并为该接口配置相对应的接口名。根据获取的预先配置的分布式集群版本,可以建立同一配置信息所对应的接口名和分布式集群版本的对应关系。
S240、当接收到数据处理请求时,确定与数据处理请求相匹配的目标接口名。
S250、根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与目标接口名相对应的目标分布式集群版本类型。
S260、根据目标分布式集群版本类型调取相应的目标解析模板,将与数据处理请求相匹配的数据写入目标解析模板。
具体的,可以预先配置与不同分布式集群版本相对应的解析模板,在确定目标分布式集群版本类型后,可以调取与该版本类型相对应的解析模板,并将该解析模板作为目标解析模板。进而,对数据处理请求中所携带的信息进行解析,获取处理数据的具体内容,例如:删除某一条数据,更新某一条数据等。将解析得到的数据写入至目标解析模板中,用于后续生成待处理目标数据。
需要说明的是,目标解析模板中可以包括各种数据处理类型的模板,例如:与每一个版本类型相对应的解析模板中,都包含更新数据,删除数据,新增数据,查询数据等对应的信息。在确定数据处理请求中的数据处理类型之后,可以将数据处理请求所对应的数据内容写入至目标解析模板中相对应的数据处理类型处。
为了根据目标分布式集群版本类型调取相应的目标解析模板,需要先确定与分布式集群版本类型所适配的目标解析模板。
具体的,确定与分布式集群版本类型所适配的解析模板,具体包括如下步骤:
步骤一、获取各个分布式集群版本类型所对应的待处理解析模板。
其中,待处理解析模板可以是与各分布式集群版本类型相对应的解析模板,不同分布式集群版本类型所对应的待处理解析模板所使用的语法可能不同。
具体的,可以获取预先为各个分布式集群版本类型建立对应的待处理解析模板,该解析模板中包括需要进行语法转换的可配置项,以便于对待处理解析模板处理进行进一步处理。
需要说明的是,待处理解析模板所使用的语言可以是通用编程语言,通用编程语言可以是Objective-C、Java、Python或C语言等。
步骤二、基于第一目标解析语法将待处理解析模板处理为与待处理解析模板的语法所适配的待使用解析模板,以在接收到数据处理请求并确定目标分布式集群版本类型,从待使用解析模板中调取与分布式集群版本类型所适配的目标解析模板。
其中,第一目标解析语法可以是领域编程语言语法,也可以是预先设定的某种特定语法。待使用解析模板可以是基于第一目标解析语法对待处理解析模板处理处理后生成的解析模板,不同的分布式集群版本类型可以对应不同的待使用解析模板。
具体的,根据第一目标解析语法可以对待处理解析模板进行处理,例如可以是将待处理解析模板中的通用编程语言转换为领域编程语言。将处理后的待处理解析模板作为待使用解析模板,以用于后续确定与分布式集群版本类型所适配的解析模板时使用。
S270、将数据转换为与目标解析模板相匹配的待处理目标数据。
具体的,将与数据处理请求相匹配的数据写入至目标解析模板中,可以获取与目标解析模板语法适配的待处理目标数据。
S280、调取与目标分布式集群版本类型所对应的处理结果解析器,基于处理结果解析器将处理结果转换为预设格式的待展示处理结果。
其中,处理结果解析器可以是对分布式集群的处理结果进行解析,以得到不同字段所对应的结果。预设格式可以是预先设定的用于展示处理结果的格式,例如:名称A=XX,名称B=XXX等。待展示处理结果可以是基于预设格式进行处理后确定的结果。
具体的,根据目标分布式集群版本类型确定与该版本类型相对应的处理结果解析器,将处理结果输入至处理结果解析器中,可以对处理结果进行解析,并分解为不同字段的结果,例如:是否处理成功=否,连接是否成功=否,连接次数=3等。
示例性的,处理结果是json格式的结果,通过与目标分布式集群版本类型所对应的处理结果解析器处理后,可以将json格式的处理结果处理为不同字段的待展示处理结果。
S290、将待展示处理结果反馈至客户端,以在客户端上展示待展示处理结果。
具体的,将处理后的待展示处理结果反馈至发送数据处理请求的客户端,以便于发送数据处理请求的工作人员监督和确认数据处理的结果,并能够及时对处理失败的任务进行核实。
本发明实施例的技术方案,通过获取至少一个用户预先配置的配置信息,将与配置信息对应的请求客户端连接至相应的分布式集群,建立接口名和分布式集群版本类型之间的对应关系,当接收到数据处理请求时,确定与数据处理请求相匹配的目标接口名,进而,确定目标分布式集群版本类型,根据目标分布式集群版本类型调取相应的目标解析模板,将与数据处理请求相匹配的数据写入目标解析模板,以将数据转换为待处理目标数据,将处理结果处理为预设格式的待展示处理结果,并将待展示处理结果反馈至客户端并展示,解决了使用不同版本分布式集群进行开发时开发成本较高问题,以及不同版本分布式集群无法兼容的问题,实现了提高不同版本类型的分布式集群的兼容性,并降低开发成本的技术效果。
实施例三
图3为本发明实施例三所提供的一种数据处理方法的示意图,本发明实施例是上述各实施例的优选实施例,具体实施方式如下:
1、用户可以在后台应用程序中为ElasticSearch集群配置的相对应的分布式集群版本类型(集群的版本号,如V-5,V-6或V-7等)和相应的集群版本地址(主机地址)。
2、预先设置定时任务,定时拉取存储配置信息的数据库中的ElasticSearch配置信息。根据配置信息中的集群的版本号和相应的主机地址,确定对应的ElasticSearch集群(搜索服务),进而,注册并连接该ElasticSearch集群(如:ES-5,ES-6或ES-7等,ES-5对应的版本号为V-5,ES-6对应的版本号为V-6,ES-7对应的版本号为V-7等)上。
3、接口创建(创建模块):在确定与配置信息相对应的ElasticSearch集群后,根据集群的版本号,可以创建与该版本号相对应的接口,并为各接口分配对应的接口名。建立各ElasticSearch集群所对应的接口名和集群的版本号的对应关系。
4、写入(索引模块):在接口名和集群的版本号的对应关系中,根据接口名,确定接口对应的集群的版本号,根据集群的版本号获取相对应的目标解析模板(DSL语法模板),批量地将数据处理请求携带的数据写入。
5、查询(查询模块):根据接口名,确定与接口名对应的集群的版本号,根据版本号获取到预先存储的与版本号相对应的目标解析模板(DSL语法模板),并且,将通用编程语法转换为第一目标解析语法(DSL语法),将DSL语法写入到DSL语法模板内生成语法适配的用于查询的待处理目标数据。
6、查询结果解析:获取Json格式的查询结果,根据版本号获取对应的结果解析器,将结果转换为预设格式的待展示处理结果。
本实施例的技术方案,通过用户配置集群版本号和主机地址,定时获取配置的版本号和主机地址,以连接至相对应的分布式集群,基于不同版本号进行接口创建,数据写入,数据查询操作,并将数据处理结果进行解析和展示,解决了使用不同版本分布式集群进行开发时开发成本较高问题,以及不同版本分布式集群无法兼容的问题,实现了提高不同版本类型的分布式集群的兼容性,并降低开发成本的技术效果。
实施例四
图4为本发明实施例四所提供的一种数据处理装置的结构示意图,该装置包括:目标接口名确定模块310、版本类型确定模块320、待处理目标数据转换模块330和处理结果反馈模块340。
其中,目标接口名确定模块310,用于当接收到数据处理请求时,确定与所述数据处理请求相匹配的目标接口名;版本类型确定模块320,用于根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与所述目标接口名相对应的目标分布式集群版本类型;待处理目标数据转换模块330,用于调取与所述目标分布式集群版本类型所适配的目标解析模板,将与所述数据处理请求对应的数据转换为与所述目标解析模板语法适配的待处理目标数据;处理结果反馈模块340,用于将所述待处理目标数据转换为目标格式的目标数据,并将与所述目标数据所对应的处理结果反馈至与所述数据处理请求所对应的客户端,以在所述客户端上展示所述处理结果。
可选的,所述装置还包括:对应关系建立模块,用于建立接口名和分布式集群版本类型之间的对应关系;
所述对应关系建立模块,具体用于根据预先注册的配置信息,确定与所述配置信息相对应的分布式集群版本类型;创建与所述配置信息对应的接口和接口名,并建立同一配置信息所对应的接口名和分布式集群版本的对应关系。
可选的,所述装置还包括:连接模块,用于获取至少一个用户预先配置的配置信息,所述配置信息中包括分布式集群版本类型和相应的集群版本地址;根据所述配置信息中的分布式集群版本类型以及所述分布式集群版本类型对应的请求链接,将与所述配置信息对应的请求客户端连接至相应的分布式集群。
可选的,待处理目标数据转换模块330,具体用于根据所述目标分布式集群版本类型调取相应的目标解析模板,将与所述数据处理请求相匹配的数据写入所述目标解析模板;将所述数据转换为与所述目标解析模板相匹配的所述待处理目标数据。
可选的,所述装置还包括:目标解析模板确定模块,用于确定与所述分布式集群版本类型所适配的目标解析模板;
所述目标解析模板确定模块,具体用于获取各个分布式集群版本类型所对应的待处理解析模板;基于第一目标解析语法将所述待处理解析模板处理为与所述待处理解析模板的语法所适配的待使用解析模板,以在接收到数据处理请求并确定目标分布式集群版本类型,从待使用解析模板中调取与所述分布式集群版本类型所适配的目标解析模板。
可选的,处理结果反馈模块340,具体用于调取与所述目标分布式集群版本类型所对应的处理结果解析器,基于所述处理结果解析器将所述处理结果转换为预设格式的待展示处理结果;将所述待展示处理结果反馈至客户端,以在所述客户端上展示所述待展示处理结果。
可选的,分布式集群是ElasticSearch集群。
本发明实施例的技术方案,通过当接收到数据处理请求时,确定与数据处理请求相匹配的目标接口名,根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与目标接口名相对应的目标分布式集群版本类型,进而,调取与目标分布式集群版本类型所适配的目标解析模板,将与数据处理请求对应的数据转换为与目标解析模板语法适配的待处理目标数据,将待处理目标数据转换为目标格式的目标数据,并将与目标数据所对应的处理结果反馈至与数据处理请求所对应的客户端,以在客户端上展示所述处理结果,解决了使用不同版本分布式集群进行开发时开发成本较高问题,以及不同版本分布式集群无法兼容的问题,实现了提高不同版本类型的分布式集群的兼容性,并降低开发成本的技术效果。
本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述系统所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。
实施例五
图5为本发明实施例五所提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施例实施方式的示例性电子设备40的框图。图5显示的电子设备40仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于:一个或者多个处理器或者处理单元401,系统存储器402,连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备40访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统406可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408,可以存储在例如存储器402中,这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
电子设备40也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信,还可与一个或者多个使得用户能与该电子设备40交互的设备通信,和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且,电子设备40还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器412通过总线403与电子设备40的其它模块通信。应当明白,尽管图5中未示出,可以结合电子设备40使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元401通过运行存储在系统存储器402中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据处理方法。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法,该方法包括:
当接收到数据处理请求时,确定与所述数据处理请求相匹配的目标接口名;
根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与所述目标接口名相对应的目标分布式集群版本类型;
调取与所述目标分布式集群版本类型所适配的目标解析模板,将与所述数据处理请求对应的数据转换为与所述目标解析模板语法适配的待处理目标数据;
将所述待处理目标数据转换为目标格式的目标数据,并将与所述目标数据所对应的处理结果反馈至与所述数据处理请求所对应的客户端,以在所述客户端上展示所述处理结果。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
当接收到数据处理请求时,确定与所述数据处理请求相匹配的目标接口名;
根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与所述目标接口名相对应的目标分布式集群版本类型;
调取与所述目标分布式集群版本类型所适配的目标解析模板,将与所述数据处理请求对应的数据转换为与所述目标解析模板语法适配的待处理目标数据;
将所述待处理目标数据转换为目标格式的目标数据,并将与所述目标数据所对应的处理结果反馈至与所述数据处理请求所对应的客户端,以在所述客户端上展示所述处理结果。
2.根据权利要求1所述的方法,其特征在于,还包括:
建立接口名和分布式集群版本类型之间的对应关系;
所述建立接口名和分布式集群版本类型之间的对应关系,包括:
根据预先注册的配置信息,确定与所述配置信息相对应的分布式集群版本类型;
创建与所述配置信息对应的接口和接口名,并建立同一配置信息所对应的接口名和分布式集群版本的对应关系。
3.根据权利要求2所述的方法,其特征在于,在所述建立接口名和分布式集群版本类型之间的对应关系之前,所述方法还包括:
获取至少一个用户预先配置的配置信息,所述配置信息中包括分布式集群版本类型和相应的集群版本地址;
根据所述配置信息中的分布式集群版本类型以及所述分布式集群版本类型对应的请求链接,将与所述配置信息对应的请求客户端连接至相应的分布式集群。
4.根据权利要求1所述的方法,其特征在于,所述调取与所述目标分布式集群版本类型所适配的目标解析模板,将与所述数据处理请求对应的数据转换为与所述目标解析模板语法适配的待处理目标数据,包括:
根据所述目标分布式集群版本类型调取相应的目标解析模板,将与所述数据处理请求相匹配的数据写入所述目标解析模板;
将所述数据转换为与所述目标解析模板相匹配的所述待处理目标数据。
5.根据权利要求1所述的方法,其特征在于,还包括:
确定与所述分布式集群版本类型所适配的目标解析模板;
所述确定与所述分布式集群版本类型所适配的目标解析模板,包括:
获取各个分布式集群版本类型所对应的待处理解析模板;
基于第一目标解析语法将所述待处理解析模板处理为与所述待处理解析模板的语法所适配的待使用解析模板,以在接收到数据处理请求并确定目标分布式集群版本类型,从待使用解析模板中调取与所述分布式集群版本类型所适配的目标解析模板。
6.根据权利要求1所述的方法,其特征在于,所述将与所述目标数据所对应的处理结果反馈至与所述数据处理请求所对应的客户端,以在所述客户端上展示所述处理结果,包括:
调取与所述目标分布式集群版本类型所对应的处理结果解析器,基于所述处理结果解析器将所述处理结果转换为预设格式的待展示处理结果;
将所述待展示处理结果反馈至客户端,以在所述客户端上展示所述待展示处理结果。
7.根据权利要求1-6任一所述的方法,其特征在于,所述分布式集群是ElasticSearch集群。
8.一种数据处理装置,其特征在于,包括:
目标接口名确定模块,用于当接收到数据处理请求时,确定与所述数据处理请求相匹配的目标接口名;
版本类型确定模块,用于根据预先创建的接口名和分布式集群版本类型之间的对应关系,确定与所述目标接口名相对应的目标分布式集群版本类型;
待处理目标数据转换模块,用于调取与所述目标分布式集群版本类型所适配的目标解析模板,将与所述数据处理请求对应的数据转换为与所述目标解析模板语法适配的待处理目标数据;
处理结果反馈模块,用于将所述待处理目标数据转换为目标格式的目标数据,并将与所述目标数据所对应的处理结果反馈至与所述数据处理请求所对应的客户端,以在所述客户端上展示所述处理结果。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据处理方法。
10.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110185043.1A CN112860798B (zh) | 2021-02-10 | 2021-02-10 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110185043.1A CN112860798B (zh) | 2021-02-10 | 2021-02-10 | 数据处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112860798A CN112860798A (zh) | 2021-05-28 |
CN112860798B true CN112860798B (zh) | 2022-07-12 |
Family
ID=75987989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110185043.1A Active CN112860798B (zh) | 2021-02-10 | 2021-02-10 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112860798B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113641503B (zh) * | 2021-09-01 | 2024-05-14 | 上海联蔚盘云科技有限公司 | 多云多集群的Kubernetes管理系统及方法与设备 |
CN113867986A (zh) * | 2021-09-29 | 2021-12-31 | 北京锐安科技有限公司 | 一种接口数据处理方法、装置、设备及存储介质 |
CN113971192A (zh) * | 2021-10-22 | 2022-01-25 | 北京火山引擎科技有限公司 | 数据处理方法、装置、可读介质及电子设备 |
CN114265621A (zh) * | 2021-12-10 | 2022-04-01 | 北京金山云网络技术有限公司 | 一种适配方法、装置、设备及存储介质 |
CN114374601A (zh) * | 2021-12-28 | 2022-04-19 | 海南视联大健康智慧医疗科技有限公司 | 一种配置信息的确定方法和装置 |
CN114513553A (zh) * | 2022-02-16 | 2022-05-17 | 北京恒安嘉新安全技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
CN116055450B (zh) * | 2023-01-05 | 2024-07-30 | 光大科技有限公司 | 通讯录数据的处理方法、装置和存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105227606A (zh) * | 2014-06-24 | 2016-01-06 | 腾讯科技(深圳)有限公司 | 应用程序适配方法和装置 |
CN108920169A (zh) * | 2018-07-26 | 2018-11-30 | 郑州云海信息技术有限公司 | 服务器集群的升级方法和节点服务器 |
CN109104318A (zh) * | 2018-08-23 | 2018-12-28 | 广东轩辕网络科技股份有限公司 | 用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及系统 |
CN110895478A (zh) * | 2019-09-29 | 2020-03-20 | 苏州浪潮智能科技有限公司 | 一种集群配置方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7130897B2 (en) * | 2001-10-11 | 2006-10-31 | International Business Machines Corporation | Dynamic cluster versioning for a group |
-
2021
- 2021-02-10 CN CN202110185043.1A patent/CN112860798B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105227606A (zh) * | 2014-06-24 | 2016-01-06 | 腾讯科技(深圳)有限公司 | 应用程序适配方法和装置 |
CN108920169A (zh) * | 2018-07-26 | 2018-11-30 | 郑州云海信息技术有限公司 | 服务器集群的升级方法和节点服务器 |
CN109104318A (zh) * | 2018-08-23 | 2018-12-28 | 广东轩辕网络科技股份有限公司 | 用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及系统 |
CN110895478A (zh) * | 2019-09-29 | 2020-03-20 | 苏州浪潮智能科技有限公司 | 一种集群配置方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112860798A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112860798B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN110891057B (zh) | 一种协议转换的方法、装置、设备及存储介质 | |
CN111290806B (zh) | 应用程序接口的调用方法、装置、计算机设备及存储介质 | |
CN111026931B (zh) | 一种数据查询方法、装置、设备及介质 | |
WO2017156916A1 (zh) | 数据访问方法和装置 | |
CN114528044B (zh) | 一种接口调用方法、装置、设备及介质 | |
CN110263277B (zh) | 页面数据的显示方法、更新方法、装置、设备及存储介质 | |
CN110647316B (zh) | 通用业务对象的生成方法、装置、计算机设备及存储介质 | |
CN109726217B (zh) | 一种数据库操作方法、装置、设备及存储介质 | |
CN110716960B (zh) | 一种数据库查询方法、装置、设备及存储介质 | |
WO2023134412A1 (zh) | 车辆控制方法及装置、软件配置方法及装置、电子设备、存储介质 | |
CN113626223A (zh) | 一种接口调用方法和装置 | |
CN110221840B (zh) | 应用程序的功能实现方法及装置、设备及存储介质 | |
CN113419740A (zh) | 程序数据流的分析方法、装置、电子设备及可读存储介质 | |
US11579948B2 (en) | Application programming interface for web page and visualization generation | |
CN117540805A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN113761588A (zh) | 一种数据校验方法、装置、终端设备及存储介质 | |
WO2023151397A1 (zh) | 应用程序部署方法、装置、设备及介质 | |
CN107992457B (zh) | 一种信息转换方法、装置、终端设备及存储介质 | |
CN112769975B (zh) | 一种数据集成方法、装置、服务器及存储介质 | |
CN111770236B (zh) | 一种对话处理方法、装置、系统、服务器和存储介质 | |
CN114219643A (zh) | 一种交易调用方法、装置、设备及存储介质 | |
CN112711602B (zh) | 一种存储过程的运行方法、装置,数据库系统及存储介质 | |
CN112182083A (zh) | 文件生成方法、装置、设备及存储介质 | |
CN113779018A (zh) | 一种数据处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |