CN114116699A - 数据处理方法、装置、电子设备和计算机可读存储介质 - Google Patents
数据处理方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN114116699A CN114116699A CN202010893362.3A CN202010893362A CN114116699A CN 114116699 A CN114116699 A CN 114116699A CN 202010893362 A CN202010893362 A CN 202010893362A CN 114116699 A CN114116699 A CN 114116699A
- Authority
- CN
- China
- Prior art keywords
- data
- identifier
- processed
- key
- target storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据处理方法、装置、电子设备和计算机可读存储介质。所述方法包括:获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键;基于所述第一分表键和所述第二分表键确定目标存储表;依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识;合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;存储所述数据标识和所述待处理动态数据至所述目标存储表。实施本申请实施例有缩短数据查询周期、简化数据查询流程、提高数据查询效率的优点。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着计算机技术的发展,能够存放数据的数据库应运而生,数据库可以按照数据结构来组织、存储和管理数据,是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
由于数据量的增大,分库分表存储逐渐成为热门技术,目前的分库分表技术主要是通过从数据的一个字段中提取分片标识实现,因此当分片标识缺失时,只能在整个数据库遍历查询该数据标识,导致整个数据查询周期长,查询效率低,用户体验度低下。
发明内容
基于此,有必要针对上述技术问题,提供一种数据处理方法、装置、电子设备和计算机可读存储介质,通过提取第一分表键和第二分表键确定目标存储表和数据标识并存储,有利于实现在分片标识缺失时依据数据标识快速查询数据,缩短数据查询周期,简化数据查询流程,提高数据查询效率。
第一方面,本申请实施例提供了一种数据处理方法,包括:
获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;
对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键;
基于所述第一分表键和所述第二分表键确定目标存储表;
依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识;
合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;
存储所述数据标识和所述待处理动态数据至所述目标存储表。
在其中一个实施例中,所述基于所述第一分表键和所述第二分表键确定目标存储表,包括:基于所述第一分表键确定存储表名;基于预设的分片标识提取规则对所述第二分表键执行提取操作,得到分片标识;在所述存储表名对应的多个子表中确定所述分片标识对应的子表为所述目标存储表。
在其中一个实施例中,所述依据所述待处理用户数据生成第一标识包括:获取预设的多个数据属性标签;基于所述多个数据属性标签在所述待处理用户数据中提取多个用户数据属性;对所述多个用户数据属性执行标识转换操作,得到所述多个用户数据属性对应的多个用户属性标识;获取当前日期,基于所述当前日期生成日期标识;依据所述日期标识与所述多个用户属性标识生成所述第一标识。
在其中一个实施例中,所述基于所述当前日期生成日期标识之后,还包括:将所述多个用户属性标识和所述日期标识写入上下文。
在其中一个实施例中,所述依据所述日期标识与所述多个用户属性标识生成所述第一标识,包括:获取预设的编写规则;基于所述编写规则从所述上下文中依次提取所述多个用户属性标识和所述日期标识,合成所述第一标识。
在其中一个实施例中,所述依据所述目标存储表和所述第二分表键生成第二标识,包括:获取所述目标存储表对应的配置表;基于所述配置表确定所述目标存储表的可用编号;针对所述第二分表键提取分片标识;合成所述可用编号与所述分片标识得到所述第二标识。
第二方面,本申请实施例提供了一种数据处理装置,包括:
获取模块,用于获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;
标识生成模块,用于对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键,基于所述第一分表键和所述第二分表键确定目标存储表,依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识,合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;
存储模块,用于存储所述数据标识和所述待处理动态数据至所述目标存储表。
在其中一个实施例中,在所述基于所述第一分表键和所述第二分表键确定目标存储表方面,所述标识生成模块,具体用于:基于所述第一分表键确定存储表名;基于预设的分片标识提取规则对所述第二分表键执行提取操作,得到分片标识;在所述存储表名对应的多个子表中确定所述分片标识对应的子表为所述目标存储表。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,电子设备获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键;基于所述第一分表键和所述第二分表键确定目标存储表;依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识;合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;存储所述数据标识和所述待处理动态数据至所述目标存储表。可以看出,通过第一分表键和第二分表键确定目标存储表,依据第一分表键和第二分表键生成带有分片信息的数据标识,可以实现通过数据标识实现数据路由,有利于实现依据数据标识对数据进行快速查找,缩短数据查询周期,简化数据查询流程,提高数据查询效率,提高用户体验度。
附图说明
图1是本申请实施例提供的一种数据处理方法的应用环境架构图;
图2是本申请实施例提供的一种数据处理方法的流程示意图;
图3是本申请实施例提供的一种数据处理方法的应用实例架构图;
图4是本申请实施例提供的一种数据处理方法的交互示意图;
图5是本申请实施例提供的一种电子设备500的结构示意图;
图6是本申请实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(例如智能手机或平板电脑)、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminal device)等等。
下面对本申请实施例进行详细介绍。
请参阅图1,图1是本申请实施例提供的一种数据处理方法的应用环境架构图,如图所示,终端100与数据库110连接。其中,终端100可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,数据库110可以为服务器中的数据库或者是终端设备中的数据库,当数据库110为服务器中的数据库时,终端100通过网络与数据库110实现数据互通,当数据库110为终端设备中的数据库时,终端100通过设备内部指令与数据库110进行数据互通。
请参阅图2,图2是本申请实施例提供的一种数据处理方法的流程示意图,如图所示,本数据处理方法包括:
步骤201、获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;
可选的,接收数据处理请求,从该数据处理请求中获取待处理动态数据,其中,该待处理动态数据包含多个动态数据属性,该动态数据属性可以包括:动态标识、用户标识、内容等等,在此不作限定,基于该待处理动态数据包含的用户标识提取该待处理动态数据对应的用户数据,其中,该用户数据包含多个用户属性标识,该用户属性标识可以包括:用户标识、名称、终端等等,在此不作限定。
步骤202、对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键;
可选的,基于该数据处理请求确定该待处理动态数据包含的多个动态数据属性和多个数据值,例如,基于数据处理请求获取到结构化查询语音sql“INSERT INTO moment(momentId,userId,content)VALUES(null,123,“hello”)”,确定可以获取该待处理动态数据的三个数据属性标签,分别为:动态标识(momentId)、用户标识(userId)和内容(content),该三个数据属性标签对应的三个数据值:动态标识=null,用户标识=123,内容=hello;对待处理动态数据执行解析操作,包括:获取数据解析规则,基于数据解析规则在待处理动态数据中提取第一分表键和第二分表键,例如,数据解析规则可以为提取动态数据的主键和用户标识作为第一分表键和第二分表键,通过对动态标识(momentId)进行解析可以获取主键为moment,即提取到第一分表键为moment,第二分表键为123。
步骤203、基于所述第一分表键和所述第二分表键确定目标存储表;
步骤204、依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识;
步骤205、合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;
步骤206、存储所述数据标识和所述待处理动态数据至所述目标存储表。
在一可能的示例中,所述基于所述第一分表键和所述第二分表键确定目标存储表,包括:基于所述第一分表键确定存储表名;基于预设的分片标识提取规则对所述第二分表键执行提取操作,得到分片标识;在所述存储表名对应的多个子表中确定所述分片标识对应的子表为所述目标存储表。
可选的,确定第一分表键对应的主键名称为存储表名,获取预设的分片标识提取规则,其中,该分片标识提取规则可以包括:第二分表键对10取模的值作为分片标识即获取第二分表键对应的数据值的个位数字为分片标识、第二分表键对100取模的值作为分片标识即获取第二分表键对应的数据值的百位数字为分片标识等等,在此不作限定;基于分片标识提取规则对第二分表键执行提取操作,可以包括:获取分片标识提取规则:确定第二分表键对10取模的值作为分片标识,对第二分表键执行对10取模操作,得到分片标识;基于存储表名确定存储表集,获取存储表集对应的多个存储子表,在多个存储子表中确定与该分片标识对应的子表作为目标存储表。例如,获取到结构化查询语音sql“INSERT INTOmoment(momentId,userId,content)VALUES(null,123,“hello”)”,提取第二分表键为123,其中分片标识提取规则为第二分表键对10取模,得到分片标识3,在主键moment对应的存储表集中确定分片标识3对应的存储表tb_moment_3为目标存储表。
在一可能的示例中,所述依据所述待处理用户数据生成第一标识包括:获取预设的多个数据属性标签;基于所述多个数据属性标签在所述待处理用户数据中提取多个用户数据属性;对所述多个用户数据属性执行标识转换操作,得到所述多个用户数据属性对应的多个用户属性标识;获取当前日期,基于所述当前日期生成日期标识;依据所述日期标识与所述多个用户属性标识生成所述第一标识。
可选的,获取预设的编写规则,该编写规则用于对第一标识进行编写,依据该编写规则确定第一标识的位数以及用于编写第一标识的多个数据属性标签,基于该多个数据属性标签提取多个用户数据属性,针对该多个用户数据属性中每个用户数据属性执行标识转换操作,得到多个用户数据属性对应的多个用户属性标识,其中,该标识转换操作包括:确定该多个用户数据属性中任意一个用户数据属性为目标用户数据属性,获取该目标用户数据属性标签对应的数据属性与属性标识的映射关系,确定该目标用户数据属性对应的目标用户属性标识,例如,该用户数据属性标签为终端时,依据该用户数据属性标签在该待处理用户数据中提取到用户数据属性为ios终端,即该待处理用户数据对应的终端为ios终端,获取该目标用户属性标签(即:终端)对应的数据属性和属性标识的映射关系,即终端类型与终端标识的映射关系,该映射关系可以包括:
终端类型 | 终端标识 |
ios | 1 |
Android | 2 |
Windows | 3 |
则确定该ios终端对应的终端标识为1;获取当前日期,基于当前日期生成日期标识,包括:获取当前日期,提取该当前日期年份的后两位数字、月份和日份生成日期标识,例如,获取当前日期为2020-08-24,则生成日期标识为200824。
在一可能的示例中,所述基于所述当前日期生成日期标识之后,还包括:将所述多个用户属性标识和所述日期标识写入上下文。
在本申请实施例中,上述上下文,用于存储系统的一些初始化信息,例如在基于J2EE的开放源代码的应用服务器jboss中通过配置文件指定了数据源,那么在jboss启动的时候就把这个文件的相关信息上下文中,于是在我们使用这个数据源的时候,就需要先获得系统的上下文,然后再通过一定的方式将数据源取出来。
在一可能的示例中,所述依据所述日期标识与所述多个用户属性标识生成所述第一标识,包括:获取预设的编写规则;基于所述编写规则从所述上下文中依次提取所述多个用户属性标识和所述日期标识,合成所述第一标识。
具体实施过程中,依据预设的编写规则,首先从上下文中依次提取日期标识(例如200824)、服务器版本标识(例如:3)、客户端版本标识(例如:1)、来源标识(例如:2)、灰度标识(例如:2)以及终端标识(例如:1),基于编写规则,合成第一标识为20082431221。
在一可能的示例中,所述依据所述目标存储表和所述第二分表键生成第二标识,包括:获取所述目标存储表对应的配置表;基于所述配置表确定所述目标存储表的可用编号;针对所述第二分表键提取分片标识;合成所述可用编号与所述分片标识得到所述第二标识。
可选的,在获取目标存储表对应的配置表之前,获取当前目标存储表对应的计数器,该计数器用于确定该目标存储表已存数据的数量,获取目标存存储表对应的历史存储表,其中,该历史存储表包括:历史可用编号数和历史自增步长,判断该计数器的数量是否大于该历史可用编号数,若该计数器的数量大于该历史可用编号数,则获取该目标存储表当前对应的配置表,并基于该配置表对该已存配置表进行更新;若该计数器的数量小于该历史可用编号数,或基于该配置表对该已存配置表更新后,获取当前自增编号,基于该历史自增步长和该当前自增编号生成可用编号,针对第二分片键提取分片标识,合成该可用编号与该分片标识得到第二标识。
具体实施过程中,获取目标存储表moment对应的计数器,读取该计数器的数字(例如:100),获取目标存储表对应的历史存储表,其中,该历史存储表可以为:
表名 | 可用编号数 | 一次取编号个数 | 自增步长 |
moment | 99 | 100 | 1 |
从该历史存储表中获取历史可用编号数99,判断该计数器数字100大于该历史可用编号数99,则获取目标存储表当前对应的配置表,其中,该配置表可以为:
表名 | 可用编号数 | 一次取编号个数 | 自增步长 |
moment | 199 | 100 | 1 |
即该目标存储表当前对应的配置表基于该一次取编号个数预先提取100个编号;或者,该计数器数字为50时,该计数器数字50小于该历史可用编号数99,则获取基于计数器数字和该自增步长确定可用编号,例如,当计数器数字为100时,该可用编号为101,当该计数器数字为50时,该可用编号为51;针对第二标识(例如:123)提取分片标识(例如:3),确定该第二标识的位数,合成可用编号与分片标识,得到第二标识“01013”或“00513”。
可以看出,通过一个配置表对数据库中的分表分库进行配置,并且在每次获取配置表时预占多个编号,通过自增编号的方式生成数据标识,减少对配置表的依赖,有利于提高服务性能;基于分片标识生成数据标识,有利于在分片标识缺失时通过数据标识对数据进行查找,提高数据查询效率,提高用户体验度。
请参阅图3,图3是本申请实施例提供的一种数据处理方法的应用实例架构图,如图所示,图3包括数据处理模块和数据库,该数据处理模块用于实施如图2的实施例所描述的数据处理方法,该数据库用于对数据进行存储,其中,该数据处理模块可以包括多个核心模块(例如:核心模块1-核心模块n),多个核心模块中任意一个核心模块均包括标识生成器和路由管理单元,该标识生成器用于生成待处理动态数据对应的数据标识,该路由管理单元用于基于该数据标识将待处理动态数据路由至数据库中的分库、分表中,该数据库用于存储数据,该数据库可以包括多个分库(例如:分库1-分库n),多个分库中任意一个分库可以包括多个分表(例如:分表0-分表m或分表x-分表n),该数据库还可以包括一个配置表,其中,该配置表可以存储在多个分库中任意一个分库。
如此,数据处理模块可以在应用进程中运行,不需要额外部署服务单独运行,有利于降低运维成本;通过一个配置表对数据库的分表分库进行配置,减少对配置表的依赖,提高服务器性能。
请参阅图4,图4是本申请实施例提供的一种数据处理方法的交互示意图。如图所示,用户终端向电子设备传输数据存储请求,电子设备执行步骤401、获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;
步骤402、对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键;
步骤403、基于所述第一分表键和所述第二分表键确定目标存储表;
步骤404、依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识;
步骤405、合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;
步骤406、存储所述数据标识和所述待处理动态数据至所述目标存储表。
本申请实施例中,步骤401-步骤406的具体描述可以参照上述图2所描述的数据处理方法的相应步骤,在此不再赘述
请参阅图5,图5是本申请实施例提供的一种电子设备500的结构示意图,如图所示,所述电子设备500包括应用处理器510、存储器520、通信接口530以及一个或多个程序521,其中,所述一个或多个程序521被存储在上述存储器520中,并且被配置由上述应用处理器510执行,所述一个或多个程序521包括用于执行以下步骤的指令:
获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;
对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键;
基于所述第一分表键和所述第二分表键确定目标存储表;
依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识;
合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;
存储所述数据标识和所述待处理动态数据至所述目标存储表。
可以看出,电子设备获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键;基于所述第一分表键和所述第二分表键确定目标存储表;依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识;合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;存储所述数据标识和所述待处理动态数据至所述目标存储表。可以看出,通过第一分表键和第二分表键确定目标存储表,依据第一分表键和第二分表键生成带有分片信息的数据标识,可以实现通过数据标识实现数据路由,有利于实现依据数据标识对数据进行快速查找,缩短数据查询周期,简化数据查询流程,提高数据查询效率,提高用户体验度。
在一可能的示例中,在所述基于所述第一分表键和所述第二分表键确定目标存储表方面,所述程序中的指令具体用于执行以下操作:基于所述第一分表键确定存储表名;基于预设的分片标识提取规则对所述第二分表键执行提取操作,得到分片标识;在所述存储表名对应的多个子表中确定所述分片标识对应的子表为所述目标存储表。
在一可能的示例中,在所述依据所述待处理用户数据生成第一标识方面,所述程序中的指令具体用于执行以下操作:获取预设的多个数据属性标签;基于所述多个数据属性标签在所述待处理用户数据中提取多个用户数据属性;对所述多个用户数据属性执行标识转换操作,得到所述多个用户数据属性对应的多个用户属性标识;获取当前日期,基于所述当前日期生成日期标识;依据所述日期标识与所述多个用户属性标识生成所述第一标识。
在一可能的示例中,在所述基于所述当前日期生成日期标识之后方面,所述程序中的指令还用于执行以下操作:将所述多个用户属性标识和所述日期标识写入上下文。
在一可能的示例中,在所述依据所述日期标识与所述多个用户属性标识生成所述第一标识方面,所述程序中的指令具体用于执行以下操作:获取预设的编写规则;基于所述编写规则从所述上下文中依次提取所述多个用户属性标识和所述日期标识,合成所述第一标识。
在一可能的示例中,在所述依据所述目标存储表和所述第二分表键生成第二标识方面,所述程序中的指令具体用于执行以下操作:获取所述目标存储表对应的配置表;基于所述配置表确定所述目标存储表的可用编号;针对所述第二分表键提取分片标识;合成所述可用编号与所述分片标识得到所述第二标识。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个控制单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
请参阅图6,图6是本申请实施例提供的一种数据处理装置的结构示意图,如图所示,所述数据处理装置包括获取模块601、标识生成模块602、存储模块603,其中:
获取模块601,用于获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;
标识生成模块602,用于对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键,基于所述第一分表键和所述第二分表键确定目标存储表,依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识,合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;
存储模块603,用于存储所述数据标识和所述待处理动态数据至所述目标存储表。
可以看出,电子设备获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键;基于所述第一分表键和所述第二分表键确定目标存储表;依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识;合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;存储所述数据标识和所述待处理动态数据至所述目标存储表。可以看出,通过第一分表键和第二分表键确定目标存储表,依据第一分表键和第二分表键生成带有分片信息的数据标识,可以实现通过数据标识实现数据路由,有利于实现依据数据标识对数据进行快速查找,缩短数据查询周期,简化数据查询流程,提高数据查询效率,提高用户体验度。
在一可能的示例中,在所述基于所述第一分表键和所述第二分表键确定目标存储表方面,所述标识生成模块602,具体用于:基于所述第一分表键确定存储表名;基于预设的分片标识提取规则对所述第二分表键执行提取操作,得到分片标识;在所述存储表名对应的多个子表中确定所述分片标识对应的子表为所述目标存储表。
在一可能的示例中,在所述依据所述待处理用户数据生成第一标识方面,所述标识生成模块602,具体用于:获取预设的多个数据属性标签;基于所述多个数据属性标签在所述待处理用户数据中提取多个用户数据属性;对所述多个用户数据属性执行标识转换操作,得到所述多个用户数据属性对应的多个用户属性标识;获取当前日期,基于所述当前日期生成日期标识;依据所述日期标识与所述多个用户属性标识生成所述第一标识。
在一可能的示例中,在所述基于所述当前日期生成日期标识之后方面,所述标识生成模块602,具体用于:将所述多个用户属性标识和所述日期标识写入上下文。
在一可能的示例中,在所述依据所述日期标识与所述多个用户属性标识生成所述第一标识方面,所述标识生成模块602,具体用于:获取预设的编写规则;基于所述编写规则从所述上下文中依次提取所述多个用户属性标识和所述日期标识,合成所述第一标识。
在一可能的示例中,在所述依据所述目标存储表和所述第二分表键生成第二标识方面,所述标识生成模块602,具体用于:获取所述目标存储表对应的配置表;基于所述配置表确定所述目标存储表的可用编号;针对所述第二分表键提取分片标识;合成所述可用编号与所述分片标识得到所述第二标识。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;
对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键;
基于所述第一分表键和所述第二分表键确定目标存储表;
依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识;
合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;
存储所述数据标识和所述待处理动态数据至所述目标存储表。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一分表键和所述第二分表键确定目标存储表,包括:
基于所述第一分表键确定存储表名;
基于预设的分片标识提取规则对所述第二分表键执行提取操作,得到分片标识;
在所述存储表名对应的多个子表中确定所述分片标识对应的子表为所述目标存储表。
3.根据权利要求1所述的方法,其特征在于,所述依据所述待处理用户数据生成第一标识包括:
获取预设的多个数据属性标签;
基于所述多个数据属性标签在所述待处理用户数据中提取多个用户数据属性;
对所述多个用户数据属性执行标识转换操作,得到所述多个用户数据属性对应的多个用户属性标识;
获取当前日期,基于所述当前日期生成日期标识;
依据所述日期标识与所述多个用户属性标识生成所述第一标识。
4.根据权利要求3所述的方法,其特征在于,所述基于所述当前日期生成日期标识之后,还包括:
将所述多个用户属性标识和所述日期标识写入上下文。
5.根据权利要求3或4任一项所述的方法,其特征在于,所述依据所述日期标识与所述多个用户属性标识生成所述第一标识,包括:
获取预设的编写规则;
基于所述编写规则从所述上下文中依次提取所述多个用户属性标识和所述日期标识,合成所述第一标识。
6.根据权利要求1所述的方法,其特征在于,所述依据所述目标存储表和所述第二分表键生成第二标识,包括:
获取所述目标存储表对应的配置表;
基于所述配置表确定所述目标存储表的可用编号;
针对所述第二分表键提取分片标识;
合成所述可用编号与所述分片标识得到所述第二标识。
7.一种数据处理装置,其特征在于,包括:
获取模块,用于获取待处理动态数据和所述待处理动态数据对应的待处理用户数据;
标识生成模块,用于对所述待处理动态数据执行解析操作,得到所述待处理动态数据的第一分表键和第二分表键,基于所述第一分表键和所述第二分表键确定目标存储表,依据所述待处理用户数据生成第一标识,依据所述目标存储表和所述第二分表键生成第二标识,合成所述第一标识和所述第二标识得到所述待处理动态数据对应的数据标识;
存储模块,用于存储所述数据标识和所述待处理动态数据至所述目标存储表。
8.根据权利要求7所述的装置,其特征在于,在所述基于所述第一分表键和所述第二分表键确定目标存储表方面,所述标识生成模块,具体用于:
基于所述第一分表键确定存储表名;
基于预设的分片标识提取规则对所述第二分表键执行提取操作,得到分片标识;
在所述存储表名对应的多个子表中确定所述分片标识对应的子表为所述目标存储表。
9.一种电子设备,其特征在于,包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010893362.3A CN114116699A (zh) | 2020-09-01 | 2020-09-01 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010893362.3A CN114116699A (zh) | 2020-09-01 | 2020-09-01 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114116699A true CN114116699A (zh) | 2022-03-01 |
Family
ID=80359847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010893362.3A Pending CN114116699A (zh) | 2020-09-01 | 2020-09-01 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114116699A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024050972A1 (zh) * | 2022-09-05 | 2024-03-14 | 金蝶软件(中国)有限公司 | 数据库表的分片方法、装置、计算机设备和存储介质 |
-
2020
- 2020-09-01 CN CN202010893362.3A patent/CN114116699A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024050972A1 (zh) * | 2022-09-05 | 2024-03-14 | 金蝶软件(中国)有限公司 | 数据库表的分片方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112527816B (zh) | 数据血缘关系解析方法、系统、计算机设备及存储介质 | |
CN106874348B (zh) | 文件存储和索引方法、装置及读取文件的方法 | |
CN109189367B (zh) | 一种数据处理方法、装置、服务器及存储介质 | |
CN110515951B (zh) | 一种bom标准化方法、系统及电子设备和存储介质 | |
CN109446197A (zh) | 用户信息处理方法、装置、计算机设备及存储介质 | |
CN102982130A (zh) | 一种nosql与rdbms的数据库同步方法和系统 | |
CN111274045A (zh) | 一种多平台对接方法、装置、计算机设备及可读存储介质 | |
CN110795499A (zh) | 基于大数据的集群数据同步方法、装置、设备及存储介质 | |
CN107679208A (zh) | 一种图片的搜索方法、终端设备及存储介质 | |
CN111552704A (zh) | 一种数据报表生成方法、装置、计算机设备及存储介质 | |
CN108334609A (zh) | Oracle中实现JSON格式数据存取的方法、装置、设备及存储介质 | |
CN104750872A (zh) | 一种业务对象的查询方法及装置 | |
KR20200121744A (ko) | 사용자 페르소나를 처리하는 방법, 장치, 서버 및 저장 매체 | |
CN112632071A (zh) | 数据库主键id生成方法、装置、设备及存储介质 | |
CN114610951A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
CN111476595A (zh) | 产品推送方法、装置、计算机设备和存储介质 | |
CN112685493A (zh) | 报表处理方法、装置、电子设备及存储介质 | |
CN113407785A (zh) | 一种基于分布式储存系统的数据处理方法和系统 | |
CN110647577A (zh) | 数据立方体的分区方法、装置、计算机设备及存储介质 | |
CN114116699A (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN109785867A (zh) | 双录流程配置方法、装置、计算机设备和存储介质 | |
CN110266834B (zh) | 基于互联网协议地址的地区查找方法及装置 | |
CN114004212B (zh) | 数据处理方法、装置及存储介质 | |
CN108268545B (zh) | 一种分级的用户标签库的创建的方法和装置 | |
CN112162731B (zh) | 数据扩展方法、装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |