CN113326264A - 数据处理方法、服务器及存储介质 - Google Patents
数据处理方法、服务器及存储介质 Download PDFInfo
- Publication number
- CN113326264A CN113326264A CN202110653633.2A CN202110653633A CN113326264A CN 113326264 A CN113326264 A CN 113326264A CN 202110653633 A CN202110653633 A CN 202110653633A CN 113326264 A CN113326264 A CN 113326264A
- Authority
- CN
- China
- Prior art keywords
- label
- configuration information
- tag
- priority
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 83
- 238000013500 data storage Methods 0.000 claims abstract description 51
- 238000010276 construction Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 239000002699 waste material Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据处理方法、服务器及存储介质,该方法包括:接收数据存储请求;所述数据存储请求中携带至少一类标识和配置信息;基于所述至少一类标识,构造出第一标签;为所述第一标签分配第一索引值;将所述第一标签和所述第一索引值关联存储至第一数据表,以及将所述第一索引值和所述数据存储请求中携带的配置信息,关联存储至第二数据表;所述配置信息用于配置大数据引擎。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理方法、服务器及存储介质。
背景技术
随着计算机技术的发展,越来越多的技术(例如,大数据等)应用在金融领域,传统金融业正在逐步向金融科技转变,然而,由于金融行业的安全性、实时性要求,金融科技也对技术提出了更高的要求。金融科技领域下,在对大数据引擎进行多层分级配置时,存在不同层级的配置信息,相关技术中,通过至少两张关联表,将所有层级对应的配置项和对应的配置参数关联起来,但至少两张关联表之间存在大量重复的数据,例如,配置项和/或配置参数,导致内存浪费。
发明内容
有鉴于此,本发明实施例提供一种数据处理方法、服务器及存储介质,以解决相关技术中通过至少两张关联表存储多个层级的配置信息时,因大量重复的配置项导致内存浪费的技术问题。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供了一种数据处理方法,包括:
接收数据存储请求;所述数据存储请求中携带至少一类标识和配置信息;
基于所述至少一类标识,构造出第一标签;
为所述第一标签分配第一索引值;
将所述第一标签和所述第一索引值关联存储至第一数据表,以及将所述第一索引值和所述数据存储请求中携带的配置信息,关联存储至第二数据表;所述配置信息用于配置大数据引擎。
上述方案中,所述至少一类标识包括以下至少之一:
用户标识;
应用标识;
大数据引擎的类别标识;
大数据引擎的版本标识。
上述方案中,所述基于所述至少一类标识,构造出第一标签,包括:
基于至少两类设定标识与设定标签构造方法之间的设定对应关系,确定出所述数据存储请求中携带的至少两类标识对应的设定标签构造方法;
按照确定出的设定标签构造方法,构造出所述至少两类标识对应的第一标签。
上述方案中,所述方法还包括:
接收更新请求;所述更新请求用于请求更新所述第一标签和/或所述配置信息;
基于所述第一索引值,在所述第一数据表中更新所述第一标签和/或在所述第二数据表中更新所述配置信息。
上述方案中,所述方法还包括:
接收配置信息的查询请求;所述查询请求中携带至少一类标识;
基于所述查询请求中的至少一类标识,构造出至少一个第二标签;
在所述第一数据表中查找出与所述至少一个第二标签中每个第二标签匹配的标签对应的第一索引值;
从所述第二数据表中获取确定出的每个第一索引值对应的配置信息;
基于获取到的配置信息,输出关于所述查询请求的查询结果。
上述方案中,所述基于所述查询请求中的至少一类标识,构造出至少一个第二标签,包括:
基于查询请求中的用户标识和应用标识构造出第三标签,以及基于查询请求中的大数据引擎的类别标识和版本标识构造出第四标签;
将所述第三标签和所述第四标签进行组合,得到第一优先级的第二标签;
采用第一设定字符替代所述第一优先级的第二标签中的用户标识和应用标识,得到第二优先级的第二标签;
采用第二设定字符替代所述第一优先级的第二标签中的用户标识,得到第三优先级的第二标签;其中,所述第一优先级高于所述第二优先级;所述第二优先级高于所述第三优先级。
上述方案中,所述配置信息包括至少一个配置项和对应的配置参数;所述基于获取到的配置信息,输出关于所述查询请求的查询结果,包括:
基于每个第二标签对应的配置信息中包括的配置项,以及基于每个第二标签对应的优先级,从获取到的配置信息中包括的第一配置参数中确定出每个配置项对应的第二配置参数;
输出每个配置项和对应的第二配置参数。
本发明实施例还提供了一种服务器,包括:
接收单元,用于接收数据存储请求;所述数据存储请求中携带至少一类标识和配置信息;
构建单元,用于基于所述至少一类标识,构造出第一标签;
分配单元,用于为所述第一标签分配第一索引值;
存储单元,用于将所述第一标签和所述第一索引值关联存储至第一数据表,以及将所述第一索引值和所述数据存储请求中携带的配置信息,关联存储至第二数据表;所述配置信息用于配置大数据引擎。
本发明实施例还提供了一种服务器,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器用于运行所述计算机程序时,执行上述数据处理方法的步骤。
本发明实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述数据处理方法的步骤。
本发明实施例中,为接收到的数据存储请求中携带的第一标签分配第一索引值,将第一标签和第一索引值关联存储至第一数据表,以及将第一索引值和数据存储请求中携带的配置信息,关联存储至第二数据表。由此,通过一张第一数据表(即,关联表)和一张第二数据表来存储大数据引擎的配置信息,不需要设置多张关联表,可以减少关联表占用的内存资源,关联表中不存在重复的关联数据,相对于相关技术中存储的配置信息方法而言,本发明中只有一张关联表,且关联表中不存在重复关联的配置项和/或配置参数,可以避免大量重复的关联数据浪费系统资源;第一数据表和第二数据表通过索引值进行关联,可以降低处理大数据引擎的配置信息的复杂度,提高处理效率。
附图说明
图1为本发明实施例提供的数据处理方法的实现流程示意图;
图2为本发明实施例提供的数据处理方法中查询配置信息的实现流程示意图;
图3为本发明应用实施例提供的数据处理方法中查询配置信息的实现流程示意图;
图4为本发明实施例提供的服务器的结构示意图;
图5为本发明实施例提供的服务器的硬件组成结构示意图。
具体实施方式
在对大数据引擎进行多层级配置时,存在不同层级的配置信息,相关技术中,通过一张配置表存储配置项以及配置项对应的配置参数,通过至少两张关联表,将所有层级对应的配置项和对应的配置参数关联起来。将所有层级对应的配置项和对应的配置参数关联起来,然而,关联表的数量随着配置层级的增多而增多,例如,对于三层配置结构,最少需要设置两张关联表;对于5层配置结构,最少需要设置4张关联表;对于10层配置结构,至少需要设置9张关联表。当配置层级较多时,导致以下问题:
1、占用系统资源较多:关联表中过多的关联关系占用了较大的存储空间,大量重复的数据导致资源浪费;
2、管理复杂:过多的关联关系导致在对大数据引擎的配置信息进行存储、更新和查询等处理时,操作过于繁琐;
3、拓展性差:在增加层级或者拓展某一层级的配置项的数量时,需要在所有关联表中构建新的关联关系,无法实现动态拓展。
例如,在对大数据引擎进行“用户级-引擎级-应用级”的三级配置的情况下,需要保存用户级的配置信息、引擎级的配置信息和应用级的配置信息,用户级的配置信息至少包括用户标识、引擎信息、配置项和对应的配置参数,还可以包括应用标识;引擎级的配置信息至少包括引擎信息、配置项和对应的配置参数;应用级的配置信息至少包括应用标识、引擎信息、配置项和对应的配置参数。
相关技术中,需要配置一张配置表存储引擎级的配置信息,以及配置至少两张关联表,其中一张关联表用于存储用户标识、引擎信息、配置项和配置参数之间的对应关系、另一张关联表用于存储引擎信息、应用标识、配置项和配置参数之间的对应关系。由此,不管是同一张关联表中,还是不同的关联表之间均可能存在大量重复的配置项和/或配置参数。
为了解决上述技术问题,在本发明的实施例中,接收数据存储请求;所述数据存储请求中携带第一标签和配置信息;为所述第一标签分配第一索引值;将所述第一标签和所述第一索引值关联存储至第一数据表,以及将所述第一索引值和所述数据存储请求中包括的配置信息,关联存储至第二数据表;所述配置信息用于配置大数据引擎。由此,通过一张第一数据表(即,关联表)和一张第二数据表来存储大数据引擎的配置信息,不需要设置多张关联表,可以减少关联表占用的内存资源,关联表中不存在重复的关联数据,可以避免大量重复的关联数据浪费系统资源;第一数据表和第二数据表通过索引值进行关联,可以降低处理大数据引擎的配置信息的复杂度,提高处理效率。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为本发明实施例提供的数据处理方法的实现流程示意图,其中,流程的执行主体为服务器,例如大数据平台对应的服务器。如图1示出的,数据处理方法包括:
步骤101:接收数据存储请求;所述数据存储请求中携带至少一类标识和配置信息;其中,所述配置信息用于配置大数据引擎。
服务器接收终端发送的数据存储请求;数据存储请求用于请求存储配置信息。数据存储请求中携带至少一类标识和配置信息;配置信息用于在调用大数据引擎执行数据处理任务时配置大数据引擎。其中,数据处理请求可以是在终端对大数据引擎或第一应用进行初始化的场景下发送,也可以是用户对大数据引擎进行个性化设置的场景下发送。第一应用为需要调用大数据引擎执行数据处理任务的应用。
示例性地,在用户通过设定的交互界面对大数据引擎进行初始化的场景下,触发终端向服务器发送第一数据存储请求,第一数据存储请求中携带的配置信息为大数据引擎对应的引擎级的配置信息,第一数据存储请求中携带的至少一类标识用于构造引擎级的第一标签。引擎级的配置信息表征在未指定用户和应用的情况下,大数据引擎采用的配置信息。实际应用时,引擎级的配置信息为默认的配置信息。
示例性地,在用户通过设定操作对第一应用进行初始化的场景下,安装有第一应用的终端向服务器发送第二数据存储请求,第二数据存储请求中携带的配置信息为大数据引擎对应的应用级的配置信息。第二数据存储请求中携带的至少一类标识用于构造应用级的第一标签。应用级的配置信息表征在未指定用户的情况下,对应应用在调用大数据引擎执行数据处理任务时,所采用的配置信息。实际应用时,应用级的配置信息也是默认的配置信息。
示例性地,在用户通过设定的交互界面对大数据引擎进行个性化配置的场景下,触发终端向服务器发送第三数据存储请求,第三数据存储请求中携带的配置信息为大数据引擎对应的用户级的配置信息,第三数据存储请求中携带的至少一类标识用于构造用户级的第一标签。用户级的配置信息是指用户对大数据引擎的个性化配置信息,表征用户在使用某个应用的过程中,触发该应用调用大数据引擎执行数据处理任务时所采用的配置信息。需要说明的是,引擎级的第一标签、应用级的第一标签以及用户级的第一标签中所包括标识的类别至少有部分不同。在一些实施例中,所述至少一类标识包括以下至少之一:
用户标识;
应用标识;
大数据引擎的类别标识;
大数据引擎的版本标识。
这里,用户标识表征用户身份,应用标识表征应用类型。不同层级的第一标签中至少有一类标识不同。
本实施例中,通过不同类别的标识来区分第一标签所属的层级,从而可以便捷地存储不同层级的第一标签对应的配置信息。
实际应用时,引擎级的第一标签包括大数据引擎的类别标识和大数据引擎的版本标识。应用级的第一标签包括应用标识、大数据引擎的类别标识和大数据引擎的版本标识。用户级的第一标签包括用户标识、应用标识、大数据引擎的类别标识和大数据引擎的版本标识。
在实际应用中,配置信息包括配置项和配置项对应的配置参数。不同层级的第一标签对应的配置信息中至少一项配置项对应的配置参数不同。配置项包括内存的最大使用阈值、最大并发数等。
步骤102:基于所述至少一类标识,构造出第一标签。
考虑到在存储配置信息的阶段,第一标签和配置信息是一一对应的,并且第一标签只能是其中一种设定层级的标签,例如,第一标签为引擎级的标签、应用级的标签或用户级的标签,因此,服务器基于获取到的标识的类别和数量,确定出对应的设定标签构造方法,并采用确定出的设定标签构造方法,构造出对应的第一标签。其中,
服务器在获取到一类标识的情况下,服务器将该类标识确定为第一标签。
服务器在获取到至少两类标识的情况下,将不同类别的标识按照设定的排列顺序进行排列,得到对应的第二标签。
在数据存储请求中携带至少两类标识的情况下,为了统一第一标签的格式,从而便于管理第一标签和对应的配置信息,在一些实施例中,所述基于所述至少一类标识,构造出所述第一标签,包括:
基于至少两类设定标识与设定标签构造方法之间的设定对应关系,确定出所述数据存储请求中携带的至少两类标识对应的设定标签构造方法;
按照确定出的设定标签构造方法,构造出所述至少两类标识对应的第一标签。
这里,设定标签构造方法表征不同类别的标签的排列格式、设定连接符和设定分隔符,设定连接符用于连接不同类别的标识,设定分隔符用于分隔采用设定连接符连接的两个标识。数据库中存储有至少两类设定标识与设定标签构造方法之间的设定对应关系;该数据库可以是本地数据库,也可以是非本地数据库,例如,云端数据库。
电子设备在数据存储请求中携带至少两类标识,情况下,基于数据库中存储的至少两类设定标识类别与设定标签构造方法之间的设定对应关系,确定出获取到的至少两类标识对应的设定标签构造方法;按照确定出的设定标签构造方法表征的排列格式,对获取到的至少两类标识进行排列,得到排序后的至少两类标识;采用确定出的设定标签构造方法表征的设定连接符,连接排序后的至少两类标识中每两类标识,并采用设定分隔符,来分隔采用设定连接符连接的两个标识,从而得到第一标签。
需要说明的是,在一些实施例中,也可以将至少两类标识按照设定的排序顺序进行排列,并采用设定连接符连接相邻的标识,得到第一标签。当然,第一标签还可以是用户设置的,也就是说,服务器接收到的数据存储请求中携带第一标签和配置信息。
步骤103:为所述第一标签分配第一索引值。
服务器在接收到数据存储请求的情况下,为接收到的数据存储请求中携带的第一标签分配对应的第一索引值。其中,不同的第一标签对应的第一索引值不同。实际应用时,服务器为不同的第一标签分配的第一索引值构成一组连续的数字。
步骤104:将所述第一标签和所述第一索引值关联存储至第一数据表,以及将所述第一索引值和所述数据存储请求中携带的配置信息,关联存储至第二数据表;所述配置信息用于配置大数据引擎。
这里,服务器中存储有按照设定表结构设置的第一数据表和第二数据表。第一数据表用于存储标签和索引值,第二数据表用于存储标签对应的索引值和配置信息,第一数据表和第二数据表通过标签的索引值进行关联。
服务器在为第一标签分配了第一索引值的情况下,将第一标签和为第一标签分配的第一索引值关联存储至第一数据表中,以及将为第一标签分配的第一索引值和数据存储请求中携带的配置信息,关联存储至第二数据表。
实际应用时,第一数据表至少包括第一设定字段和第二设定字段。第一设定字段用于写入标签的索引值;第二设定字段用于写入标签的具体内容,第二字段的字段名可以是label_key_value。当然,第一数据表还可以包括第三设定字段和第四设定字段,第三设定字段用于写入创建第一数据表的时间;第四设定字段用于写入更新第一数据表的时间。第二数据表包括第五设定字段和第六设定字段,第五设定字段用于写入标签的索引值,第六设定字段用于写入配置信息。
在实际应用中,第二字段的字段值的格式为(label_key,label_stringvalue)。label_key表示label对应的labelKey,即,标签的键;label_stringvalue表示label对应的StringValue,即标签的键值,用于标识标签的具体内容。
示例性地,第一标签的label_key可以是Combine_UserCreator_EngineType。当用户A对应用A下版本号为A的大数据引擎A进行配置时,第一标签的label_stringvalue对应为“userA-creatorA,engineA-A”。userA表征用户标识,creatorA表征应用标识,engineA表征大数据引擎的类别标识,A表征大数据引擎的版本标识。
在本实施例中,接收数据存储请求;数据存储请求中携带第一标签和配置信息;为第一标签分配第一索引值;将第一标签和第一索引值关联存储至第一数据表,以及将第一索引值和数据存储请求中包括的配置信息,关联存储至第二数据表;配置信息用于配置大数据引擎。由此,通过一张第一数据表(即,关联表)和一张第二数据表(配置表)来存储大数据引擎的配置信息,不需要设置多张关联表,可以减少关联表占用的内存资源,关联表中不存在重复的关联数据,可以避免大量重复的关联数据浪费系统资源;第一数据表和第二数据表通过索引值进行关联,可以降低处理大数据引擎的配置信息的复杂度,提高处理效率。
考虑到在对大数据引擎进行多层级配置的应用场景下,一些层级的配置信息是不可修改的,例如默认的配置信息,一些层级的配置信息是允许修改的,例如个性化的配置信息,为了更好地满足用户修改配置信息的需求,在一些实施例中,在将第一标签和第一索引值关联存储至第一数据表,以及将第一标签对应的第一索引值和配置信息关联存储至第二数据表的基础上,所述方法还包括:
接收更新请求;所述更新请求用于请求更新所述第一标签和/或所述配置信息;
基于所述第一索引值,在所述第一数据表中更新所述第一标签和/或在所述第二数据表中更新所述配置信息。
这里,用户在想要更新某个层级的配置信息的情况下,可以通过设定的交互界面修改大数据引擎的配置信息,并触发终端向服务器发送更新请求,以请求更新第一数据表中的第一标签和/或配置信息。
示例性地,在用户通过设定的交互界面修改大数据引擎的个性化配置的场景下,触发终端向服务器发送更新请求。
服务器在接收到更新请求的情况下,基于该更新请求和第一数据表中的第一索引值,在第一数据表中更新第一标签,和/或,在第二数据表中更新配置信息。具体实现过程如下:
服务器在接收到更新请求的情况下,从第一数据表中查找与更新请求中携带的第一标签匹配的第一标签,得到查找结果。
在查找结果表征未查找到匹配的第一标签的情况下,第一数据表中未存储更新请求中携带的第一标签,更新请求用于请求更新第一数据表中的第一标签和第二数据表中的配置信息,此时,服务器为更新请求中携带的第一标签分配第一索引值,将更新请求中携带的第一标签以及为该第一标签分配的第一索引值关联存储至第一数据表,从而对第一数据表中的第一标签进行更新。
在查找结果表征查找到匹配的第一标签的情况下,更新请求用于请求更新第二数据表中配置信息,服务器从第一数据表中确定出更新请求中携带的第一标签对应的第一索引值,并从第二数据表中查找与确定出的第一索引值匹配的第一索引值,将第二数据表中该匹配的第一索引值对应的配置信息替换为更新请求中携带的配置信息。
需要说明的是,在用户的用户名发生变更的情况下,更新请求用于更新第一数据表中的第一标签。
示例性地,在用户的用户名发生变更的情况下,用户触发终端发送的更新请求中携带变更前的第一标签和变更后的第一标签。服务器在接收到更新请求的情况下,从第一数据表中查找与更新请求中携带的变更前的第一标签匹配的第一标签,并将查找到的第一标签替换为更新请求中携带的变更后的第一标签。
示例性地,在用户的用户名发生变更,且用户已获取到变更前的第一标签对应的第一索引值的情况下,用户触发终端发送的更新请求中携带第一索引值和变更后的第一标签。服务器在接收到更新请求的情况下,从第一数据表中查找更新请求中携带的第一索引值匹配的第一索引值,在查找到匹配的第一索引值的情况下,基于查找到的匹配的第一索引值,将第一数据表中该匹配的第一索引值对应的第一标签替换为更新请求中携带的变更后的第一标签。
本实施例中,通过一张第一数据表(即,关联表)和一张第二数据表(配置表)来存储大数据引擎的配置信息,不存在重复的关联关系,在需要更新大数据引擎的配置信息时,用户只需要更新第一数据表中的第一标签和/或第二数据表中的配置信息即可,可以提高数据更新效率。
考虑到在用户更新第一数据表中的第一标签或第二数据表中的配置信息的场景下,或者,在调用大数据引擎执行数据处理任务的场景下,需要查询大数据引擎的配置信息,如图2所示,在一些实施例中,所述方法还包括:
步骤201:接收配置信息的查询请求;所述查询请求中携带至少一类标识;
步骤202:基于所述查询请求中的至少一类标识,构造出至少一个第二标签;
步骤203:在所述第一数据表中查找出与所述至少一个第二标签中每个第二标签匹配的标签对应的第一索引值;
步骤204:从所述第二数据表中获取确定出的每个第一索引值对应的配置信息;
步骤205:基于获取到的配置信息,输出关于所述查询请求的查询结果。
这里,服务器在接收到终端发送的配置信息的查询请求的情况下,基于查询请求中的至少一类标识,采用对应设定的标签构造方法构造出至少一个第二标签。其中,采用对应设定的标签构造方法构造出至少一个第二标签的实现过程如下:
当查询请求中只携带一类标识时,服务器将该类标识确定为第二标签。
当查询请求中携带至少两类标识时,服务器基于获取到的每个标识所属的类别,以及基于数据库中存储的第一设定对应关系和第二设定对应关系,从数据库中确定出对应的设定的标签构造方法,并采用该设定的标签构造方法,构造出获取到至少两类标识对应的至少一个第二标签。其中,第一设定对应关系表征不同设定层级的标签与标签类别之间的设定对应关系;第二设定对应关系表征不同设定层级的标签与设定的标签构造方法之间的设定对应关系。实际应用时,当查询请求中携带至少两类标识时,服务器可以构造出不同层级的第二标签。例如,在对大数据引擎进行了用户级、引擎级和应用级的配置的情况下,设定的标签构造方法包括用于构造用户级标签的方法、用于构造引擎级标签的方法和用于构造应用级标签的方法;当查询请求中携带大数据引擎的类别标识和大数据引擎的版本标识时,服务器可以基于用于构造引擎级标签的方法,构造出引擎级的第二标签;当查询请求中携带应用标识、大数据引擎的类别标识和大数据引擎的版本标识的情况下,服务器可以基于用于构造引擎级标签的方法和用于构造应用级标签的方法,构造出引擎级的第二标签和应用级的第二标签;当查询请求中携带用户标识、应用标识、大数据引擎的类别标识和大数据引擎的版本标识的情况下,服务器可以构造出用户级的第二标签、引擎级的第二标签和应用级的第二标签。
示例性地,在对大数据引擎进行了用户级、引擎级和应用级的配置的情况下,由于只有用户级的配置信息可修改,因此,在用户想要更新用户级的配置信息的应用场景下,用户可以在终端中用于查询大数据引擎的配置信息的交互界面,输入或输入用户名、应用标识、大数据引擎的类别标识和版本标识,并触发终端向服务器发送查询请求,查询请求中携带用户标识、应用标识、大数据引擎的类别标识和大数据引擎的版本标识,服务器在接收到终端发送的查询请求的情况下,可以基于查询请求中携带的用户标识、应用标识、大数据引擎的类别标识和大数据引擎的版本标识,采用对应设定的标签构造方法构造出用户级的第二标签、引擎级的第二标签和应用级的第二标签。
在构造出第二标签的情况下,在第一数据表中查找出与第二标签匹配的标签对应的第一索引值,得到每个第二标签对应的第一索引值;从第二数据表中获取每个第一索引值对应的配置信息,得到每个第二标签对应的配置信息。
在构造出的第二标签的数量为一个的情况下,将第二标签对应的配置信息确定为查询请求的查询结果,并输出第一标签对应的配置信息。
在构造出的第二标签的数量为至少两个的情况下,基于每个第二标签对应的设定优先级以及每个第二标签对应的配置信息,确定出关于查询请求的查询结果,并输出该查询结果。
实际应用时,配置信息包括配置项和配置项对应的配置参数。在构造出两个不同层级的第二标签的情况下,服务器可以采用优先级高的第二标签对应的配置信息,对优先级低的第二标签对应的配置信息中相同的配置项对应的配置参数进行替换,输出替换后的配置信息。在构造出至少三个不同层级的第二标签的情况下,按照优先级从高到低的顺序,采用最高优先级的第二标签对应的配置信息对次高优先级的第二标签对应的配置信息进行替换处理,得到处理结果,基于处理结果对下一优先级的第二标签对应的配置信息进行替换处理,依此类推,直至完成对优先级最低的第二标签对应的配置信息进行替换处理。
实际应用时,输出关于查询请求的查询结果是指将查询结果发送给发送查询请求的终端。在用户需要更新用户级的配置信息的应用场景下,终端在接收到服务器发送的关于查询请求的查询结果的情况下,显示该查询结果,以基于该查询结果修改用户级的配置信息;在用户操控某个应用,触发该应用调用大数据引擎执行数据处理任务的场景下,终端在接收到服务器发送的关于查询请求的查询结果的情况下,采用查询结果中的配置信息对被调用的大数据引擎进行配置,并通过大数据引擎执行相应的数据处理任务。
在本实施例中,通过配置信息的查询请求中携带的标识构造出第二标签,从第一数据表中查找出与构造出的第二标签匹配的匹配对应的第一索引值,再从第二数据表中获取查找到的第一索引值对应的配置信息,由此,服务器通过第二标签对应的索引值即可查找到对应的配置信息,不需要通过多个关联关系查询配置信息,可以减少查询配置信息所消耗的时间,提供查询配置信息的效率。
考虑到不同层级的标签对应的配置信息中包含的配置项不完全相同,为了获得与大数据引擎的调用对象的使用习惯或运行需求匹配的配置信息,需要基于查询请求构造出不同层级的第二标签,以从第二数据表中查询出不同层级的第二标签对应的配置信息,其中,调用对象包括用户或应用。在一些实施例中,在步骤202中,所述基于所述查询请求中的至少一类标识,构造出至少一个第二标签,包括:
基于查询请求中的用户标识和应用标识构造出第三标签,以及基于查询请求中的大数据引擎的类别标识和版本标识构造出第四标签;
将所述第三标签和所述第四标签进行组合,得到第一优先级的第二标签;
采用第一设定字符替代所述第一优先级的第二标签中的用户标识和应用标识,得到第二优先级的第二标签;
采用第二设定字符替代所述第一优先级的第二标签中的用户标识,得到第三优先级的第二标签;其中,
所述第一优先级高于所述第二优先级;所述第二优先级高于所述第三优先级。
这里,查询请求中携带用户标识、应用标识、大数据引擎的类别标识和大数据引擎的版本标识。
服务器按照用户标识和应用标识各自对应的设定优先级,确定出查询请求中携带的用户标识和应用标识的排列顺序,按照确定出的排列顺序对用户标识和应用标识进行排列,得到第三标签。
服务器按照大数据引擎的类别标识和版本标识各自对应的设定优先级,确定出查询请求中携带的大数据引擎的类别标识和版本标识的排列顺序,按照确定出的排列顺序对大数据引擎的类别标识和版本标识进行排列,得到第四标签。
在确定出第三标签和第四标签的情况下,按照设定规则将第三标签和第四标签进行组合,得到第一优先级的第二标签,即用户级的第二标签。例如,当第三标签为userA-creatorA,第四标签为engineA-A时,第一优先级的第二标签为“userA-creatorA,engineA-A”。
在确定出第一优先级的第二标签的情况下,采用第一设定字符替代第一优先级的第二标签中的用户标识和应用标识,得到第二优先级的第二标签;以及采用第二设定字符替代第一优先级的第二标签中的用户标识,得到第三优先级的第二标签。第一设定字符和第二设定字符均表征空值,第一设定字符和第二设定字符可以相同,也可以不同。实际应用时,第一设定字符和第二设定字符均为“*”。
示例性地,在第一优先级的第二标签为“userA-creatorA,engineA-A”的情况下,第二优先级的第二标签为engineA-A,第三优先级的第二标签为=<creatorA,engineA-A>。
实际应用时,标签的格式为(label_key,label_stringvalue)。需要说明的是,在本发明各实施例中的标签涉及四种实体类:通用标签(GenericLabel)、用户-应用标签(UserCreatorLabel)、引擎类别标签(EngineTypeLabel)、组合标签(CombineLabel);UserCreatorLabel、EngineTypeLabel和CombineLabel均继承GenericLabel的属性。其中,
GenericLabel、UserCreatorLabel、EngineTypeLabel和CombineLabel包含的字段和方法解释如下:
(1)GenericLabel包含的字段和方法解释如下:
第一字段labelKey:固定的字符串常量,用于标识值所属的标签类型;
第二字段labelValue:该标签对应存储的map数据,类型为Map<String,String>,该map中存储标签对应的键值对信息,在实体类构建时需要进行初始化设置对应的值;
第三字段value_separator:值连接分隔符,用于连接map中的value值;
第四字段stringValue:用于存储map中value通过value_separator连接的结果,也是数据库中存储的核心值。
getStringValue():构造StringValue的核心方法,根据value_separator和labelValue对stringValue进行连接构造,构造顺序基于继承类中labelKey的set方法中的自定义注解ValueSerialNum进行解析。解析流程:通过class.getDeclaredMethods获取继承类的所有方法-->通过每个方法的method.isAnnotationPresent(ValueSerialNum.class)对方法进行过滤,得到被注解标注的方法--->获取被注解标注的方法的注释ValueSerialNum中对应的值-->根据ValueSerialNum的值标识的优先级,对labelValue中的键(key)进行排序,以确定出labelValue的key的排列顺序。这种设计的好处在于只需要在顶层设计好排序方法,在继承类中通过引入注解的方式设置key的排列顺序,大幅度减少了继承类的代码实现内容,而传统方法则需要通过继承类设置额外的变量用于自定义键的排列顺序,然后再重新实现getStringValue方法进行排序。
setStringValue():构造StringValue的核心方法,处理逻辑与getStringValue相似,此处不做赘述。
(2)UserCreatorLabel包含的字段和方法解释如下:
labelKey:重写字段,固定的字符串常量“userCreator”,主要用于标识该labelValue所属的Label类型;
labelValue:重写字段,该label对应存储的map数据,类型为Map<String,String>,该map中键值对存储的键值对包含两种,即<'user',value>、<'creator',value>,在实体类构建时需要进行初始化设置对应的值;
setUser():设置标签用户的方法,被ValueSerialNum(0)注释,代表最高优先级,用于GenericLabel中进行标签key优先级解析;
setCreator():设置标签所属应用的方法,被ValueSerialNum(1)注释,代表次优先级,用于GenericLabel中进行标签key优先级解析。
default_user:代表无指定用户时,user的值。
(3)EngineTypeLabel包含主要字段和方法解释如下:
labelKey:重写字段,固定的字符串常量“engineType”,主要用于标识该labelValue所属的Label类型;
labelValue:重写字段,该label对应存储的map数据,类型为Map<String,String>,该map中键值对存储的键值对包含两种,即<'engineType',value>、<'version',value>,在实体类构建时需要进行初始化设置对应的值;
setEngine:设置标签引擎的方法,被ValueSerialNum(0)注释,代表最高优先级;
setType:设置标签引擎所属版本的方法,被ValueSerialNum(1)注释,代表次优先级。
(4)CombineLabel用于将UserCreatorLabel和EngineTypeLabel进行组合转换,是真正用于存储的标签,核心类和方法如下:
labelKey:组合型LabelKey,内容必须为对被组合的标签的键labelKey经过一定规则排序的结果。
labelValue:map数据,用于存储记录被组合的标签;
COMBINED_LABEL_KEY_PREFIX:labelKey前缀,用于标识该标签类型
LABEL_KEY_JOIN_SYMBOL:labelKey分隔符,用于构造和解析CombineLabel的labelKey;
LABEL_VALUE_JOIN_SYMBOL:labelValue分隔符,用于构造和解析CombineLabel的labelValue;
getStringValue():构造StringValue的核心方法;该方法步骤如下:解析labelKey优先级并进行排序-->对labelValue进行相同顺序的排序-->根据LABEL_VALUE_JOIN_SYMBOL的值组合labelValue-->返回StringValue。
下面结合具体的例子对服务器基于查询请求中携带的用户标识、应用标识、大数据引擎的类别标识和版本标识,构造出不同层级的第二标签的实现过程进行详细说明:
在对大数据引擎进行三层级配置的场景下,优先级由高到低为:用户级、引擎级和应用级。
在查询请求中携带userA、应用A、引擎类型A和版本A的情况下,服务器构造第二标签的实现过程为:
服务器获取设定参数,设定参数包括值连接分隔符(value_separator)、组合标签的前缀、组合标签的labelKey对应的第一分隔符、组合标签的labelValue对应的第二分隔符和设定字符。实际应用时,value_separator=“-”;组合标签的前缀COMBINED_LABEL_KEY_PREFIX=“Combined”;组合标签的labelKey对应的第一分隔符LABEL_KEY_JOIN_SYMBOL=“_”;组合标签的labelValue对应的第二分隔符LABEL_VALUE_JOIN_SYMBOL=“,”;设定字符为“*”,即default_user=“*”。
服务器基于查询请求中的用户标识、应用标识以及设定参数中的值连接分隔符,构造出UserCreatorLabel;基于查询请求中的大数据引擎的类别标识、版本标识以及设定参数中的值连接分隔符,构造出EngineTypeLabel;基于设定参数中的第一分隔符和第二分隔符,将构造出UserCreatorLabel和构造出的EngineTypeLabel进行组合,得到第一优先级的第二标签。其中,
服务器基于查询请求中的用户标识和应用标识,构造出UserCreatorLabel的实现过程如下:
新建UserCreatorLabel对象,调用setUser()方法设置'user'的值为userA,得到键值对<'user',userA>;调用setUser()方法设置'creator'的值为creatorA,得到键值对<'creator',creatorA>。也就是说,UserCreatorLabel中包括两个键值对:<'user',userA>和<'creator',creatorA>。
服务器调用UserCreatorLabel的getStringValue方法,基于设定参数中包括的值连接分隔符(value_separator),构建出UserCreatorLabel的StringValue。由于'user'的优先级高于'creator'的优先级,因此,在值连接分隔符为“-”的情况下,UserCreatorLabel的StringValue为userA-creatorA。
也就是说,构建出的UserCreatorLabel的labelKey为userCreator;构建出的UserCreatorLabel的labelValue包括:<'user',userA>和<'creator',creatorA>;构建出的UserCreatorLabel的StringValue为userA-creatorA。
服务器基于查询请求中的大数据引擎的类别标识和版本标识,构造出EngineTypeLabel:
服务器新建EngineTypeLabel对象,调用setUser()方法设置'engineType'的值为engineA,得到键值对<'engineType',engineA>;调用setUser()方法设置'version'的值为A,得到键值对<'version',A>。也就是说,EngineTypeLabel中包括两个键值对:<'engineType',engineA>和<'version',A>。
服务器调用EngineTypeLabel的getStringValue方法,基于设定参数中包括的值连接分隔符(value_separator),构建出EngineTypeLabel的StringValue。由于'engineType'的优先级高于'version'的优先级,因此,在值连接分隔符为“-”的情况下,EngineTypeLabel的stringValue为engineA-A。
服务器将构造出UserCreatorLabel和构造出的EngineTypeLabel进行组合,得到第一优先级的第二标签的实现过程如下:
服务器在构造出的UserCreatorLabel和EngineTypeLabel的情况下,新建CombinLabel对象,从构造出的UserCreatorLabel中获取UserCreatorLabel的labelKey,得到userCreator;从构造出的EngineTypeLabel中获取EngineTypeLabel的labelKey,得到engineType;从设定参数中获取组合标签的labelKey对应的第一分隔符;基于构造出的UserCreatorLabel的labelKey、构造出的EngineTypeLabel的labelKey和组合标签的labelKey对应的第一分隔符,构造出第一优先级的第二标签的labelKey;第一优先级的第二标签的labelKey=Combined_UserCreator_EngineType。其中,在构造组合标签的过程中,将构造出的UserCreatorLabel和EngineTypeLabel作为组合标签的传入参数。也就是说,服务器将构造出的UserCreatorLabel的labelKey以及构造出的EngineTypeLabel的labelKey传入新建的CombinLabel对象,并按照UserCreatorLabel和EngineTypeLabel的优先级,通过组合标签的labelKey对应的第一分隔符,分别连接组合标签的前缀、UserCreatorLabel的labelKey和EngineTypeLabel的labelKey,得到第一优先级的第二标签的labelKey。
服务器从构造出的UserCreatorLabel中获取UserCreatorLabel的stringValue,得到userA-creatorA;从构造出的EngineTypeLabel中获取EngineTypeLabel的stringValue,得到engineA-A,并按照UserCreatorLabel和EngineTypeLabel的优先级,通过组合标签的labelValue对应的第二分隔符,将UserCreatorLabel的stringValue和EngineTypeLabel的stringValue进行分隔,得到第一优先级的第二标签的stringValue=<userA-creatorA,engineA-A>。
在实际应用中,构建出的第一优先级的第二标签的labelKey为Combined_UserCreator_EngineType;构建出的第一优先级的第二标签的labelValue包括:<user-creator,userA-creatorA>和<engineType-version,engineA-A>;构建出的第一优先级的第二标签的stringValue为<userA-creatorA,engineA-A>。
服务器在确定出第一优先级的第二标签的情况下,将从查询请求中获取到的用户标识和应用标识均替换为设定字符“*”,基于替换后的用户标识、替换后的应用标识、大数据引擎的类别标识和版本标识,构造出第二优先级的第二标签;将从查询请求中获取到的用户标识替换为设定标识“*”,基于替换后的用户标识、应用标识、大数据引擎的类别标识和版本标识,构造出第三优先级的第二标签。其中,构造第二优先级或第三优先级的第二标签的方法与上文中构造第一优先级的第二标签的方法类似,请参照上文中的相关描述,此处不赘述。
在一些实施例中,这里,考虑到第一优先级、第二优先级和第三优先级的第二标签的labelKey是不变的,并且组合标签的StringValue由UserCreatorLabel中的StringValue和EngineTypeLabel中的StringValue组合得到,因此,服务器可以保持第一优先级的第二标签的labelKey不变,将第一优先级的第二标签的StringValue中的用户标识和应用标签用设定字符“*”替代,得到第二优先级的第二标签,将第一优先级的第二标签的StringValue中的用户标识用设定字符“*”替代,得到第二优先级的第三标签。例如,在第一优先级的第二标签的labelKey=Combined_UserCreator_EngineType,第一优先级的第二标签的StringValue=<userA-creatorA,engineA-A>的情况下,第二优先级的第二标签的StringValue=<*-*,engineA-A>,第三优先级的第二标签的StringValue=<*-creatorA,engineA-A>。
考虑到不同层级的标签对应的配置信息中包含的配置项不完全相同,为了获得与大数据引擎的调用对象的使用习惯或运行需求匹配的配置信息,在一些实施例中,在步骤205中所述基于获取到的配置信息,输出关于所述查询请求的查询结果,包括:
基于每个第二标签对应的配置信息中包括的配置项,以及基于每个第二标签对应的优先级,从获取到的配置信息中包括的第一配置参数中确定出每个配置项对应的第二配置参数;
输出每个配置项和对应的第二配置参数。
这里,在所有第二标签对应的配置信息中包括的配置项均相同的情况下,服务器将第一优先级的第二标签对应的配置信息中每个配置项对应的第一配置参数,确定为对应配置项对应的第二配置参数,输出第一优先级的第二标签对应的配置信息。
在第一优先级的第二标签对应的配置信息中包括的配置项与第二优先级的第二标签对应的配置信息中包括的配置项不完全相同的情况下,基于第一优先级的第二标签对应的配置信息对第二优先级的第二标签对应的配置信息中对应配置项的配置参数进行替换,得到第一配置信息。其中,对配置信息进行替换是指相同配置项对应的配置参数之间进行替换。
在第二优先级的第二标签对应的配置信息中包括的配置项与第三优先级的第二标签对应的配置信息中包括的配置项完全相同的情况下,将第一配置信息中每个配置项对应的第一配置参数,确定为对应配置项对应的第二配置参数;输出第一配置信息。
在第二优先级的第二标签对应的配置信息中包括的配置项与第三优先级的第二标签对应的配置信息中包括的配置项不完全相同的情况下,基于第一配置信息对第三优先级的第二标签对应的配置信息中对应配置项对应的配置参数进行替换,得到第二配置信息,输出第二配置信息。
实际应用时,用户级的配置信息中包括的配置项的数量最少。引擎级的配置信息中包括的配置项与应用级的配置信息中包括的配置项可以完全相同,也可以部分相同。
由于不同用户、不同应用对应的大数据引擎的配置信息均不同,本实施例中,基于每个第二标签对应的配置信息中包括的配置项,以及基于每个第二标签对应的优先级,从获取到的配置信息中包括的第一配置参数中确定出每个配置项对应的第二配置参数;输出每个配置项和对应的第二配置参数,由此,可以输出与大数据引擎的调用对象的使用习惯或运行需求匹配的配置信息。
图3示出了本发明应用实施例提供的数据处理方法中查询配置信息的实现流程示意图,如图3所示,查询配置信息的方法包括:
步骤301:接收配置信息的查询请求,查询请求中携带用户标识、应用标识、大数据引擎的类别标识和大数据引擎的版本标识。
步骤302:基于所述用户标识和所述应用标识构造出用户-应用标签,以及基于所述大数据引擎的类别标识和所述版本标识构造出引擎类别标签。
这里,服务器基于用户标识和应用标识构造出UserCreatorLabel,基于大数据引擎的类别标识和版本标识构造出EngineTypeLabel,具体实现过程请参照上文中构造第三标签和第四标签的相关描述,此处不赘述。
步骤303:将构造出的用户-应用标签和引擎类别标签进行组合,得到组合标签。
这里,服务器将UserCreatorLabel和EngineTypeLabel进行组合,得到组合标签,具体实现方式请参照上文中将第三标签和第四标签进行组合,得到第一优先级的第二标签的相关描述,此处不赘述。
步骤304:在第一数据表中查找出与组合标签匹配的标签对应的第一索引值。
其中,步骤304与步骤203类似,的具体实现过程请步骤203中的相关描述,此处不赘述。
步骤305:从第二数据表中获取确定出的第一索引值对应的配置信息。
其中,步骤305与步骤204类似,具体实现过程请参照步骤204中的相关描述,此处不赘述。
步骤306:判断组合标签的优先级是否为最低优先级。
服务器判断组合标签的优先级是否为最低优先级,得到判断结果。在判断结果表征组合标签的优先级不是最低优先级的情况下,执行步骤307,在判断结果表征组合标签的优先级为最低优先级的情况下,执行步骤308。
步骤307:采用设定字符替代用户标识和应用标识,或者采用设定字符替代用户标识。
需要说明的是,在首次执行步骤307时,将从查询请求中获取到的用户标识和应用标识均替换为设定字符“*”,再次执行步骤302至步骤306。
在再次执行步骤306得到的判断结果表征组合标签的优先级不是最低优先级的情况下,再次执行步骤307时,将从查询请求中获取到的用户标识替换为设定字符“*”,再次执行步骤302至步骤306。
需要说明的是,在本应用实施例中,对大数据引擎进行用户级、引擎级和应用级这3个层级的配置,优先级从高到低的顺序用户级、引擎级和应用级。服务器首次执行步骤302至步骤303,得到的组合标签为用户级的组合标签,第二次执行步骤302至步骤303,得到的组合标签为引擎级的组合标签,第三次执行步骤302至步骤303,得到的组合标签为应用级的组合标签。
步骤308:基于获取到的配置信息,输出关于所述查询请求的查询结果。
其中,步骤308的实现过程请求参照上文中,在构造出第一优先级的第二标签、第二优先级的第二标签和第三优先级的第二标签的情况下,基于这三个优先级的第二标签对应的配置信息,输出关于查询请求的查询结果的实现过程,此处不赘述。
为实现本申请实施例的方法,本申请实施例还提供了一种服务器,如图4所示,该服务器包括:
接收单元41,用于接收数据存储请求;所述数据存储请求中携带至少一类标识和配置信息;
构建单元42,用于基于所述至少一类标识,构造出所述第一标签;
分配单元43,用于为所述第一标签分配第一索引值;
存储单元44,用于将所述第一标签和所述第一索引值关联存储至第一数据表,以及将所述第一索引值和所述数据存储请求中携带的配置信息,关联存储至第二数据表;所述配置信息用于配置大数据引擎。
在一些实施例中,所述至少一类标识包括以下至少之一:
用户标识;
应用标识;
大数据引擎的类别标识;
大数据引擎的版本标识。
在一些实施例中,构建单元42具体用于:
基于至少两类设定标识与设定标签构造方法之间的设定对应关系,确定出所述数据存储请求中携带的至少两类标识对应的设定标签构造方法;
按照确定出的设定标签构造方法,构造出所述至少两类标识对应的第一标签。
在一些实施例中,接收单元41还用于接收更新请求;所述更新请求用于请求更新所述第一标签和/或所述配置信息;该服务器还包括:
更新单元,用于基于所述第一索引值,在所述第一数据表中更新所述第一标签和/或在所述第二数据表中更新所述配置信息。
在一些实施例中,接收单元41还用于接收配置信息的查询请求;所述查询请求中携带至少一类标识;该服务器还包括:
构造单元,用于基于所述查询请求中的至少一类标识,构造出至少一个第二标签;
查询单元,用于在所述第一数据表中查找出与所述至少一个第二标签中每个第二标签匹配的标签对应的第一索引值;
确定单元,用于从所述第二数据表中获取确定出的每个第一索引值对应的配置信息;
输出单元,用于基于获取到的配置信息,输出关于所述查询请求的查询结果。
在一些实施例中,所述构造单元用于:
基于查询请求中的用户标识和应用标识构造出第三标签,以及基于查询请求中的大数据引擎的类别标识和版本标识构造出第四标签;
将所述第三标签和所述第四标签进行组合,得到第一优先级的第二标签;
采用第一设定字符替代所述第一优先级的第二标签中的用户标识和应用标识,得到第二优先级的第二标签;
采用第二设定字符替代所述第一优先级的第二标签中的用户标识,得到第三优先级的第二标签;其中,所述第一优先级高于所述第二优先级;所述第二优先级高于所述第三优先级。
在一些实施例中,所述配置信息包括至少一个配置项和对应的配置参数;所述输出单元用于:
基于每个第二标签对应的配置信息中包括的配置项,以及基于每个第二标签对应的优先级,从获取到的配置信息中包括的第一配置参数中确定出每个配置项对应的第二配置参数;
输出每个配置项和对应的第二配置参数。
实际应用时,服务器包括的各单元可通过服务器中的处理器,比如中央处理器(CPU,Central Processing Unit)、数字信号处理器(DSP,Digital Signal Processor)、微控制单元(MCU,Microcontroller Unit)或可编程门阵列(FPGA,Field-ProgrammableGate Array)等实现。
需要说明的是:上述实施例提供的服务器在进行数据处理时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的服务器与数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
基于上述程序模块的硬件实现,且为了实现本申请实施例的方法,本申请实施例还提供了一种服务器。图5为本发明实施例服务器的硬件组成结构示意图,如图5所示,服务器5包括:
通信接口51,能够与其它设备比如网络设备等进行信息交互;
处理器52,与所述通信接口51连接,以实现与其它设备进行信息交互,用于运行计算机程序时,执行上述一个或多个技术方案提供的方法。而所述计算机程序存储在存储器53上。
当然,实际应用时,服务器5中的各个组件通过总线系统54耦合在一起。可理解,总线系统54用于实现这些组件之间的连接通信。总线系统54除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统54。
本申请实施例中的存储器53用于存储各种类型的数据以支持服务器5的操作。这些数据的示例包括:用于在服务器5上操作的任何计算机程序。
可以理解,存储器53可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器53旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器52中,或者由处理器52实现。处理器52可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器52中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器52可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器52可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器53,处理器52读取存储器53中的程序,结合其硬件完成前述方法的步骤。
可选地,所述处理器52执行所述程序时实现本申请实施例的各个方法中由终端实现的相应流程,为了简洁,在此不再赘述。
在示例性实施例中,本申请实施例还提供了一种存储介质,即计算机存储介质,具体为计算机可读存储介质,例如包括存储计算机程序的第一存储器53,上述计算机程序可由终端的处理器52执行,以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
接收数据存储请求;所述数据存储请求中携带至少一类标识和配置信息;
基于所述至少一类标识,构造出第一标签;
为所述第一标签分配第一索引值;
将所述第一标签和所述第一索引值关联存储至第一数据表,以及将所述第一索引值和所述数据存储请求中携带的配置信息,关联存储至第二数据表;所述配置信息用于配置大数据引擎。
2.根据权利要求1所述的方法,其特征在于,所述至少一类标识包括以下至少之一:
用户标识;
应用标识;
大数据引擎的类别标识;
大数据引擎的版本标识。
3.根据权利要求1或2所述的方法,其特征在于,所述基于所述至少一类标识,构造出第一标签,包括:
基于至少两类设定标识与设定标签构造方法之间的设定对应关系,确定出所述数据存储请求中携带的至少两类标识对应的设定标签构造方法;
按照确定出的设定标签构造方法,构造出所述至少两类标识对应的第一标签。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收更新请求;所述更新请求用于请求更新所述第一标签和/或所述配置信息;
基于所述第一索引值,在所述第一数据表中更新所述第一标签和/或在所述第二数据表中更新所述配置信息。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收配置信息的查询请求;所述查询请求中携带至少一类标识;
基于所述查询请求中的至少一类标识,构造出至少一个第二标签;
在所述第一数据表中查找出与所述至少一个第二标签中每个第二标签匹配的标签对应的第一索引值;
从所述第二数据表中获取确定出的每个第一索引值对应的配置信息;
基于获取到的配置信息,输出关于所述查询请求的查询结果。
6.根据权利要求5所述的方法,其特征在于,所述基于所述查询请求中的至少一类标识,构造出至少一个第二标签,包括:
基于查询请求中的用户标识和应用标识构造出第三标签,以及基于查询请求中的大数据引擎的类别标识和版本标识构造出第四标签;
将所述第三标签和所述第四标签进行组合,得到第一优先级的第二标签;
采用第一设定字符替代所述第一优先级的第二标签中的用户标识和应用标识,得到第二优先级的第二标签;
采用第二设定字符替代所述第一优先级的第二标签中的用户标识,得到第三优先级的第二标签;其中,
所述第一优先级高于所述第二优先级;所述第二优先级高于所述第三优先级。
7.根据权利要求6所述的方法,其特征在于,所述配置信息包括至少一个配置项和对应的配置参数;所述基于获取到的配置信息,输出关于所述查询请求的查询结果,包括:
基于每个第二标签对应的配置信息中包括的配置项,以及基于每个第二标签对应的优先级,从获取到的配置信息中包括的第一配置参数中确定出每个配置项对应的第二配置参数;
输出每个配置项和对应的第二配置参数。
8.一种服务器,其特征在于,包括:
接收单元,用于接收数据存储请求;所述数据存储请求中携带至少一类标识和配置信息;
构建单元,用于基于所述至少一类标识,构造出第一标签;
分配单元,用于为所述第一标签分配第一索引值;
存储单元,用于将所述第一标签和所述第一索引值关联存储至第一数据表,以及将所述第一索引值和所述数据存储请求中携带的配置信息,关联存储至第二数据表;所述配置信息用于配置大数据引擎。
9.一种服务器,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行权利要求1至7任一项所述的方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110653633.2A CN113326264A (zh) | 2021-06-11 | 2021-06-11 | 数据处理方法、服务器及存储介质 |
PCT/CN2021/136011 WO2022257390A1 (zh) | 2021-06-11 | 2021-12-07 | 数据处理方法、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110653633.2A CN113326264A (zh) | 2021-06-11 | 2021-06-11 | 数据处理方法、服务器及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113326264A true CN113326264A (zh) | 2021-08-31 |
Family
ID=77420642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110653633.2A Pending CN113326264A (zh) | 2021-06-11 | 2021-06-11 | 数据处理方法、服务器及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113326264A (zh) |
WO (1) | WO2022257390A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113810235A (zh) * | 2021-09-22 | 2021-12-17 | 国网吉林省电力有限公司 | 基于配置智能发现的cmdb自动化运维管理方法及系统 |
CN115291913A (zh) * | 2022-08-16 | 2022-11-04 | 广州汽车集团股份有限公司 | 一种整车ecu配置数据更新系统及方法 |
WO2022257390A1 (zh) * | 2021-06-11 | 2022-12-15 | 深圳前海微众银行股份有限公司 | 数据处理方法、服务器及存储介质 |
CN116955352A (zh) * | 2023-05-22 | 2023-10-27 | 广州生产力促进中心有限公司 | 一种基于等比数列的标签管理方法和系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116521198A (zh) * | 2023-04-13 | 2023-08-01 | 广州汽车集团股份有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN116842223B (zh) * | 2023-08-29 | 2023-11-10 | 天津鑫宝龙电梯集团有限公司 | 一种工况数据管理方法、装置、设备和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897458A (zh) * | 2017-03-10 | 2017-06-27 | 广州白云电器设备股份有限公司 | 一种面向机电设备数据的存储及检索方法 |
CN109325089A (zh) * | 2018-10-10 | 2019-02-12 | 北京锐安科技有限公司 | 一种非定点对象查询方法、装置、终端设备及存储介质 |
CN111581247A (zh) * | 2019-10-01 | 2020-08-25 | 上海忆芯实业有限公司 | 数据管理器、时序数据库及信息处理系统 |
CN112445845A (zh) * | 2020-12-02 | 2021-03-05 | 平安科技(深圳)有限公司 | 基于大数据挖掘的模型部署方法、装置、设备及存储介质 |
US11030242B1 (en) * | 2018-10-15 | 2021-06-08 | Rockset, Inc. | Indexing and querying semi-structured documents using a key-value store |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101639835A (zh) * | 2008-07-30 | 2010-02-03 | 国际商业机器公司 | 多租户场景中应用数据库分区的方法和装置 |
CN110351107B (zh) * | 2018-04-03 | 2021-04-09 | 华为技术有限公司 | 配置管理方法及装置 |
CN110825358B (zh) * | 2019-11-22 | 2023-07-21 | 广联达科技股份有限公司 | 一种基于前序优先匹配规则多层级系统配置服务设计方法 |
CN112000748A (zh) * | 2020-07-14 | 2020-11-27 | 北京神州泰岳智能数据技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
CN113326264A (zh) * | 2021-06-11 | 2021-08-31 | 深圳前海微众银行股份有限公司 | 数据处理方法、服务器及存储介质 |
-
2021
- 2021-06-11 CN CN202110653633.2A patent/CN113326264A/zh active Pending
- 2021-12-07 WO PCT/CN2021/136011 patent/WO2022257390A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897458A (zh) * | 2017-03-10 | 2017-06-27 | 广州白云电器设备股份有限公司 | 一种面向机电设备数据的存储及检索方法 |
CN109325089A (zh) * | 2018-10-10 | 2019-02-12 | 北京锐安科技有限公司 | 一种非定点对象查询方法、装置、终端设备及存储介质 |
US11030242B1 (en) * | 2018-10-15 | 2021-06-08 | Rockset, Inc. | Indexing and querying semi-structured documents using a key-value store |
CN111581247A (zh) * | 2019-10-01 | 2020-08-25 | 上海忆芯实业有限公司 | 数据管理器、时序数据库及信息处理系统 |
CN112445845A (zh) * | 2020-12-02 | 2021-03-05 | 平安科技(深圳)有限公司 | 基于大数据挖掘的模型部署方法、装置、设备及存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022257390A1 (zh) * | 2021-06-11 | 2022-12-15 | 深圳前海微众银行股份有限公司 | 数据处理方法、服务器及存储介质 |
CN113810235A (zh) * | 2021-09-22 | 2021-12-17 | 国网吉林省电力有限公司 | 基于配置智能发现的cmdb自动化运维管理方法及系统 |
CN113810235B (zh) * | 2021-09-22 | 2024-02-23 | 国网吉林省电力有限公司 | 基于配置智能发现的cmdb自动化运维管理方法及系统 |
CN115291913A (zh) * | 2022-08-16 | 2022-11-04 | 广州汽车集团股份有限公司 | 一种整车ecu配置数据更新系统及方法 |
CN115291913B (zh) * | 2022-08-16 | 2023-10-24 | 广州汽车集团股份有限公司 | 一种整车ecu配置数据更新系统及方法 |
CN116955352A (zh) * | 2023-05-22 | 2023-10-27 | 广州生产力促进中心有限公司 | 一种基于等比数列的标签管理方法和系统 |
CN116955352B (zh) * | 2023-05-22 | 2024-06-11 | 广州生产力促进中心有限公司 | 一种基于等比数列的标签管理方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2022257390A1 (zh) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113326264A (zh) | 数据处理方法、服务器及存储介质 | |
CN111859470B (zh) | 一种业务数据上链方法及装置 | |
US11770450B2 (en) | Dynamic routing of file system objects | |
US7593951B2 (en) | Application programming interface for centralized storage of principal data | |
KR101355273B1 (ko) | 컴퓨팅 시스템 및 그 실행 제어 방법과, 그 실행 제어 프로그램을 기록한 기록 매체 | |
JPH09179733A (ja) | オブジェクト変換システム | |
JP2000089989A (ja) | 文書に付与されたプロパティを用いたサ―ビスの起動方法 | |
US20070050399A1 (en) | Storage and retrieval of richly typed hierarchical network models | |
CN107103011B (zh) | 终端数据搜索的实现方法和装置 | |
CN110134681B (zh) | 数据存储与查询方法、装置、计算机设备及存储介质 | |
CN106557307B (zh) | 业务数据的处理方法及处理系统 | |
CN107277120B (zh) | 配置文件管理方法、装置以及服务配置方法与系统 | |
CN113721862B (zh) | 数据处理方法及装置 | |
CN115705313A (zh) | 一种数据处理方法、装置、设备及计算机可读存储介质 | |
CN113987337A (zh) | 基于组件化动态编排的搜索方法、系统、设备及存储介质 | |
CN112068812B (zh) | 一种微服务生成方法、装置、计算机设备和存储介质 | |
CN113239047A (zh) | 一种分库配置方法、业务处理方法、装置及设备 | |
CN112835638A (zh) | 一种基于嵌入式应用程序的配置信息管理方法及装置 | |
CN116127154A (zh) | 知识标签推荐方法、装置、电子设备及存储介质 | |
CN112162731B (zh) | 数据扩展方法、装置、存储介质及电子装置 | |
CN1828596A (zh) | 在数据库内部表示的文件系统 | |
CN113779068A (zh) | 数据查询方法、装置、设备及存储介质 | |
CN115221360A (zh) | 树形结构配置方法和系统 | |
CN111339245A (zh) | 数据存储方法、装置、存储介质及设备 | |
CN116561106B (zh) | 一种配置项数据管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |