CN113849550A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN113849550A CN113849550A CN202111122766.3A CN202111122766A CN113849550A CN 113849550 A CN113849550 A CN 113849550A CN 202111122766 A CN202111122766 A CN 202111122766A CN 113849550 A CN113849550 A CN 113849550A
- Authority
- CN
- China
- Prior art keywords
- database
- processed
- data
- identifier
- service data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供数据处理方法及装置,其中所述数据处理方法包括:接收待处理业务数据;在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识;获取所述目标数据库的数据流水号;基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键。本申请的数据处理方法,通过基于数据库标识生成主键,便于基于包含数据库标识的主键快速确定目标数据库,从而实现数据的高效获取。
Description
技术领域
本申请涉及互联网技术领域,特别涉及数据处理方法。本申请同时涉及数据处理装置,一种计算设备,以及一种计算机可读存储介质。
背景技术
随着计算机技术的不断发展,用户对数据库的需求越来越高。许多业务数据需要数据库进行存储,导致数据库中的数据量猛增,访问性能也变慢了,优化迫在眉睫。关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到一定数量后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。通过提升服务器硬件能力来提高数据处理能力,比如增加存储容量、CPU等,这种方案成本很高,并且提升的效果较为有限。所以,我们往往把数据分散在不同的数据库中,使得单一数据库的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的;将数据库拆分为若干独立的数据库,并且对于大表也拆分为若干小表,即通过使用分布式数据库的方式来解决数据库的性能问题;当前一般为通过遍历分布式数据库中的所有数据库从而定位查询数据,查询效率较低。
因此,如何高效定位查询数据所在的数据库成为技术人员亟待解决的问题。
发明内容
有鉴于此,本申请实施例提供了一种数据出炉方法。本申请同时涉及数据处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的在查询数据过程中需遍历所有数据库导致数据获取效率低的问题。
根据本申请实施例的第一方面,提供了一种数据处理方法,包括:
接收待处理业务数据;
在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识;
获取所述目标数据库的数据流水号;
基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键。
根据本申请实施例的第二方面,提供了另一种数据处理方法,包括:
接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识;
基于所述待处理业务数据标识获得所述待处理业务数据的主键;
获取所述主键中的数据库标识,并基于所述数据库标识确定目标数据库;
根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
根据本申请实施例的第三方面,提供了一种数据处理装置,包括:
第一接收模块,被配置为接收待处理业务数据;
第一确定模块,被配置为在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识;
获取模块,被配置为获取所述目标数据库的数据流水号;
生成模块,被配置为基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键。
根据本申请实施例的第四方面,提供了另一种数据处理装置,包括:
第二接收模块,被配置为接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识;
获得模块,被配置为基于所述待处理业务数据标识获得所述待处理业务数据的主键;
第二确定模块,被配置为获取所述主键中的数据库标识,并基于所述数据库标识确定目标数据库;
读取模块,被配置为根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
根据本申请实施例的第五方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述计算机指令时实现所述数据处理方法的步骤。
根据本申请实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机指令,该计算机指令被处理器执行时实现所述数据处理方法的步骤。
本申请提供的数据处理方法,接收待处理业务数据;在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识;获取所述目标数据库的数据流水号;基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键。本申请的数据处理方法,通过基于数据库标识生成主键,便于基于包含数据库标识的主键快速确定目标数据库,从而实现数据的高效获取。
附图说明
图1是本申请一实施例提供的一种数据处理方法的流程图;
图2是本申请一实施例提供的另一种数据处理方法的流程图;
图3是本申请一实施例提供的一种应用于学生课程数据的数据处理方法的处理流程图;
图4是本申请一实施例提供的一种数据处理装置的结构示意图;
图5是本申请一实施例提供的另一种数据处理装置的结构示意图;
图6是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本申请一个或多个实施例涉及的名词术语进行解释。
主键:表中经常有一个列或多列的组合,其值能唯一地标识表中的每一行。这样的一列或多列称为表的主键,通过它可强制表的实体完整性。
数据库集群:利用至少两台或者多台数据库服务器,构成一个虚拟单一数据库逻辑映像。
在本申请中,提供了数据处理方法,本申请同时涉及数据处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种数据处理方法的流程图,具体包括以下步骤:
步骤102:接收待处理业务数据。
其中,待处理业务数据是指需要存入数据库中的数据。
具体的,接收数据存入指令,所述数据存入指令中包含待处理业务数据;提取所述数据存入指令中的待处理业务数据,作为存入数据库中的数据。
在本申请一具体实施方式中,以接收数据存入指令为例,接收数据存入指令;响应于数据存入指令,确定要存入数据库中的待处理业务数据。
通过接收待处理业务数据,用于后续确定待处理业务数据所需存入的数据库,便于根据确定的数据库为待处理业务数据生成主键。
步骤104:在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识。
其中,数据库集群是指包含目标数据库在内的由至少两个数据库组成的集群;目标数据库是指用于存储待处理业务数据的数据库。目标数据库标识是指在数据库集群中能够唯一标识目标数据库的标识值。
随着如公司业务等业务的快速发展,数据库中的数据量猛增,访问性能也变慢了,对数据库的优化迫在眉睫。通过提升服务器硬件能力来提高数据处理能力,比如增加存储容量、CPU等,这种方案成本很高,并且提高的效果有限。所以,为了优化数据库的处理效率,可将数据分散在不同的数据库中,使得单一数据库的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的,将数据库拆分为若干独立的数据库,并且对于大表也拆分为若干小表,通过这种数据库拆分的方法,来解决数据库的性能问题。
因此,为解决单一数据库的性能不佳的问题,可采用数据库集群,在数据库集群中确定待处理业务数据对应的目标数据库。在确定目标数据库后,需确定目标数据库的目标数据库标识。在构建数据库的过程中,会对数据库进行标记,例如,采用“学生成绩数据库”等数据库名称或采用“3”等数据库标号读数据库进行标记,即“学生成绩数据库”、“3”等为数据库标识。
在本申请一具体实施方式中,以为学生成绩数据为例,在数据库集群中确定学生成绩数据对应的成绩数据库,并获取成绩数据库的数据库标识“1”。
通过确定目标数据库的标识,用于后续基于目标数据库标识生成待处理业务数据的主键,便于基于主键快速定位待处理业务数据所在的目标数据库。
在实际应用中,为了提高数据库的使用性能,在数据库集群中确定待处理业务数据对应的目标数据库的具体方法包括:
确定预设数据库分配策略;
根据待处理业务数据以及所述预设数据库分配策略确定所述待处理业务数据对应的目标数据库。
其中,预设数据库分配策略是指用于确定将接收的数据存入至数据库集群中哪个数据库中的策略,如,采用负载均衡策略为待处理业务数据分配当前数据库集群中存储量较小的数据库等等,在实际应用中可基于实际情况设定预设分配策略,本申请不做具体限定。
在本申请一具体实施方式中,以业务数据A为例,确定预设分配策略为将接收到的数据存储至当前数据库集群中访问量最小的数据库中,基于预设分配策略确定数据库集群中的访问量最小的数据库为数据库1,则确定业务数据A对应的数据库为数据库集群中的数据库1。
通过预设数据库分配策略确定与待处理业务数据对应的目标数据库,实现了对数据库集群中数据库的高效使用。
步骤106:获取所述目标数据库的数据流水号。
为了保证主键可以唯一标识数据库中的数据,需要获取目标数据库的数据流水号用于主键的生成。其中,数据流水号是指目标数据库累计存储数据的总数,如,目标数据库接收并存储了三条数据,则当前的数据流水号为4。
在本申请一具体实施方式中,沿用上例,当前数据库1累计存储的数据总数为29,则获取数据库1的数据流水号30,即存储待处理业务数据为数据库1累计存储的第30条数据。
通过获取目标数据库的数据流水号,便于后续基于数据库的数据流水号为存储的数据生成可以对数据进行唯一标识的主键。
步骤108:基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键。
其中,预设标识是指用于表示主键正负的标识;主键是指可唯一标识数据库中每行数据的标识。
具体的,将预设标识、数据流水号以及目标数据库标识按照预设的数据转化规则转化为预设格式,再将转化为预设格式的预设标识、数据流水号以及目标数据库标识按照预设主键格式进行排列,最终获得待处理业务数据的主键。
在实际应用中,基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键的具体方法包括:
根据预设转换规则将所述预设标识转换为主键标识值,将所述数据流水号转换为主键流水号,将所述目标数据库标识转换为主键数据库值;
基于预设主键格式拼接所述主键标识值、所述主键流水号以及所述主键数据库值获得所述待处理业务数据的主键。
其中,预设转换规则是指将用于生成主键的数据进行格式转换的规则,如,预设转换规则为将十进制数据转换为二进制数据的规则等;主键标识值是指标识主键正负的数值;主键流水号是指包含待处理业务数据在内目标数据库接收数据的总数值;主键数据库值是指表示数据所在数据库的标识;预设主键格式是指预先设定的主键的样式。
在本申请一具体实施方式中,以预设转换规则为转二进制为例,预设标识为0,表示主键为正数;数据流水号为5,表示待处理业务数据为目标数据库存储的第五条数据;目标数据库标识为6,表示待处理业务数据存储在标识为6的数据库中。根据预设转换规则,将十进制的预设标识0转换为二进制的主键标识值0,将十进制的数据流水号5转换为二进制的主键流水号101,将十进制的目标数据库标识6转换为二进制的主键数据库值110。基于预设主键格式“1位主键标识位、7位主键数据库位和56位主键流水位”,对主键标识值、主键流水号以及主键数据库值进行排列和补零,获得待处理业务数据的主键为“0-0000110-00000000 00000000 00000000 00000000 00000000 00000000 00000101”。
在实际应用中,为了在主数据库存在问题后仍可以对所需的数据进行正常操作,可预先设置多个备份数据库,备份数据库中包含主数据库中的所有数据,在主数据库无法访问时可访问对应的备份数据库,从而完成数据的查询等操作。在生成数据库主键时,为了避免无法从主数据库中获取到数据的情况,可为主键设置两个数据库标识位,在主数据库无法访问时,根据备份数据库标识位确定待处理业务数据所在的备份数据库,从而实现数据的正常访问,其中,备份数据库可在主数据库的多个备份数据库中随机选取其一。
在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识的具体方法还包括:
在数据库集群中确定所述待处理业务数据对应的主数据库以及备份数据库;
获取所述主数据库的主数据库标识以及所述备份数据库的备份数据库标识。
其中,主数据库是指存储有待处理业务数据的数据库;备份数据库是指包含主数据库中所有数据的数据库;主数据库标识是指用于标识主数据库的标识;备份数据库标识是指用于标识备份数据库的标识。
在本申请一具体实施方式中,以网站访问数据为例,在数据库集群中确定包含网站访问数据的主数据库以及对应的同样包含网站访问数据的备份数据库;获取主数据库的主数据库标识a以及备份数据库的备份数据库标识a1。
在实际应用中,在获取到主数据库标识以及备份数据库标识的情况下,基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键的具体方法包括:
根据所述预设标识、所述数据流水号、所述主数据库标识以及所述备份数据库标识获得所述待处理业务数据的主键。
在本申请一具体实施方式中,以学生成绩数据为例,根据预设标识0、数据流水号3、主数据库标识a以及备份数据库a1生成学生成绩数据的主键。
在实际应用中,根据所述预设标识、所述数据流水号、所述主数据库标识以及所述备份数据库标识获得所述待处理业务数据的主键的具体方法包括:
根据预设转换规则将所述预设标识转换为主键标识值,将所述数据流水号转换为主键流水号,将所述主数据库标识转换为主键主数据库值,将所述备份数据标识转换为主键备份数据库值;
基于预设主键格式拼接所述主键标识值、所述主键流水号、所述主键主数据库值以及所述主键备份数据库值获得所述待处理业务数据的主键。
其中,主键主数据库值是指表示数据所在的主数据库的标识;主键备份数据库值是指表示数据所在的备份数据库的标识。
在本申请以具体实施方式中,以转二进制的预设转换规则为例,预设标识为0、数据流水号2、主数据库标识为4、备份数据库标识为5;根据预设转换规则将十进制的预设标识0转换为二进制的主键标识值0,将十进制的数据流水号2转换为二进制的主键流水号10,将十进制的主数据库标识4转换为二进制的主键主数据库值100,将十进制的备份数据库标识5转换为二进制的主键备份数据库值101;基于预设主键格式“1位主键标识位、7位主键主数据库位、7位主键备份数据库位和49位主键流水位”,对主键标识值、主键流水号、主键主数据库值以及主键备份数据库值进行排列和补零,获得待处理业务数据的主键为“0-0000100-0000101-00000000 00000000 00000000 00000000 00000000 000000010”。
为了便于基于主键在数据库中访问数据,可待处理业务数据库的主键的格式进行转换。
在实际应用中,基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键之后,还包括:
基于预设转换格式将所述待处理业务数据的主键转换为待处理业务数据标识。
其中,待处理业务数据标识是指对待处理业务数据的主键进行格式转换后得到的标识。
在本申请一具体实施方式中,以转十进制的预设转换格式为例,将待处理业务数据的二进制格式的主键根据预设转换格式转换为十进制的待处理业务数据标识。
通过对待处理业务数据的格式转换获得待处理业务数据标识,即将主键转换为便于记录的数据格式,以便后续用户基于待处理业务数据标识高效的获取待处理业务数据。
在生成待处理业务数据的主键以及待处理业务数据库标识后,需将待处理业务数据以及待处理业务数据的主键以及待处理业务数据标识存入目标数据库,后续才可对目标数据库中的待处理业务数据进行访问。
即基于预设转换格式将所述待处理业务数据的主键转换为待处理业务数据标识之后,还包括:
将所述待处理业务数据、所述待处理业务数据的主键以及所述待处理业务数据标识存储至所述目标数据库。
在本申请一具体实施方式中,以登录数据为例,将登录数据以及登录数据的主键和登录数据标识存储至登录数据库中,后续即可根据登录数据标识获取到登录数据库中登录数据。
在实际应用中,将所述待处理业务数据、所述待处理业务数据的主键以及所述待处理业务数据标识存储至所述目标数据库之后,可以对存入目标数据库的待处理业务数据进行查询,具体的步骤包括步骤S1082-S1088:
S1082:接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识。
其中,待处理业务数据库获取请求是指获取待处理业务数据的请求。
具体的,接收待处理业务数据获取请求,所述待处理业务数据获取请求中包含要获取的待处理业务数据的待处理业务数据标识,所述待处理业务数据标识是基于待处理业务数据的主键获得的。
在本申请一具体实施方式中,以考试成绩数据为例,接收考试成绩数据获取请求,其中,考试成绩数据获取请求中携带有考试成绩数据标识“学生考号”。
S1084:基于所述待处理业务数据标识获得所述待处理业务数据的主键。
在获取待待处理业务数据标识后,可对待处理业务数据标识进行数据的转换从而获得待处理业务数据的主键。
在实际应用中,基于所述待处理业务数据标识获得所述待处理业务数据的主键的方法包括:
基于所述预设转换格式,将所述待处理业务数据标识转换为所述待处理业务数据的主键。
在本申请一具体实施方式中,沿用上例,基于预设转换规则“转二进制”将考试成绩数据的考试成绩数据标识转换为考试成绩数据的主键。
S1086:获取所述主键中的主键数据库值,并基于所述主键数据库值确定目标数据库。
其中,主键数据库值即在生成数据主键时添加的用于标识数据库的标识。
在实际应用中,获取所述主键中的主键数据库值,并基于所述主键数据库值确定目标数据库,包括:
根据预设主键格式在所述主键中确定主键数据库值;
根据预设转换规则将所述主键数据库值转换为目标数据库标识;
基于所述目标数据库标识确定目标数据库。
其中,预设转换规则是指对主数据库值进行转换的规则。
具体的,根据预设主键格式可以确定主键中用于标识待处理业务数据所在数据库的主数据库值;根据预设转换规则对主键数据库值进行转换,将转换后获得的数据库标识与数据库集群的数据库标识表中的数据库标识进行匹配从而确定目标数据库,或将主键数据库值与包含主键数据库值以及对应的数据库标识的数据库标识表中确定与表中与主键数据库值对应的主键数据库值,从而确定与主键数据库值对应的数据库标识,基于数据库标识确定目标数据库。
在本申请一具体实施方式中,以转为十进制的预设转换规则为例,根据预设主键格式“1位主键标识位、7位主键数据库位和56位主键流水位”确定主键中的主数据库值10,根据预设转换规则将二进制的主数据库值10转换为十进制的数据库标识2,基于数据库标识2在数据库集群的数据标识表中确定数据标识2对应的数据库为目标数据库。
S1088:根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
在确定了待处理业务数据存储于目标数据库后,可从目标数据库中读取到待处理业务数据的内容。
在实际应用中,除仅包含主键数据库值的主键外,还有包含主键主数据库以及主键备份数据库的主键。在存储待处理业务数据的主数据库发生无法访问的情况时,可确定主键中的主键备份数据库值,基于主键备份数据库值在数据库集群中确定与待处理业务数据对应的备份数据库,再从备份数据库中即可获取待处理业务数据,从而避免主数据库发生问题时无法获取待处理业务数据的情况。
本申请的数据处理方法,通过基于数据库标识生成主键,便于基于包含数据库标识的主键快速确定目标数据库,从而实现数据的高效获取。
图2示出了根据本申请一实施例提供的另一种数据处理方法的流程图,具体包括以下步骤:
步骤202:接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识。
在本申请一具体实施方式中,以登录数据为例,接收登录数据获取请求,其中,登录数据获取请求中携带有登录数据标识。
步骤204:基于所述待处理业务数据标识获得所述待处理业务数据的主键。
具体的,本实施例中待处理业务数据的主键是基于上述步骤生成的包含数据库标识的主键。
在本申请一具体实施方式中,沿用上例,在获取到登录数据标识后,根据登录数据标识中包含的登录数据标识获得登录数据的主键。
在实际应用中,基于所述待处理业务数据标识获得所述待处理业务数据的主键的方法包括:
基于所述预设转换格式,将所述待处理业务数据标识转换为所述待处理业务数据的主键。
在本申请一具体实施方式中,沿用上例,基于预设转换格式“转为二进制”将登录数据标识转换为二进制的登录数据的主键。
步骤206:获取所述主键中的主键数据库值,并基于所述主键数据库值确定目标数据库。
在本申请一具体实施方式中,沿用上例,获取登录数据的主键中的主键数据库值“101”,并基于主键数据库值“101”确定存储登录数据的登录数据库。
在实际应用中,获取所述主键中的主键数据库值,并基于所述主键数据库值确定目标数据库的具体方法包括:
根据预设主键格式在所述主键中确定主键数据库值;
根据预设转换规则将所述主键数据库值转换为目标数据库标识;
基于所述目标数据库标识确定目标数据库。
在本申请一具体实施方式中,沿用上例,根据预设主键格式“1位主键标识位、7位主键数据库位和56位主键流水位”确定7位主键数据位上的主键数据库值“0000101”;根据预设转换规则“转十进制”将二进制的主键数据库值“0000101”转换为十进制的数据库标识“4”;根据预设数据库标识“4”在数据库标识表中确定数据库标识为“4”的数据库为存储登录数据的登录数据库。
步骤208:根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
在本申请一具体实施方式中,沿用上例,根据登录数据标识确定登录数据库中与登录数据匹配的数据作为请求获取的登录数据。
在本申请另一具体实施方式中,仍以登录数据为例,本实施例中的登录数据同时于存储主登录数据库以及备份登录数据库中;在主登录数据存在访问异常的情况下,可根据登录数据的主键中的备份登录数据标识,在备份登录数据库中获取到得到数据。
本申请的数据处理方法,接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识;基于所述待处理业务数据标识获得所述待处理业务数据的主键;通过获取所述主键中的数据库标识,并基于所述数据库标识确定目标数据库,避免了在数据库集群中遍历所有数据库才可确定目标数据库的问题;通过根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据,即可直接在基于主键确定的目标数据库中获得待处理业务数据,提高了数据获取的效率以及准确率,使用包含主数据库标识以及备份数据标识的主键确定待处理业务数据,在主数据库存在问题时可定位至备份数据库中获取到目标数据库。
下述结合附图3,以本申请提供的数据处理方法在学生课程数据的应用为例,对所述数据处理方法进行进一步说明。其中,图3示出了本申请一实施例提供的一种应用于学生课程数据的数据处理方法的处理流程图,具体包括以下步骤:
步骤302:接收待处理业务数据。
在本申请一具体实施方式中,以学生课程数据为例,服务器接收数据存储指令,数据存储指令中包含张三的学生课程数据。
步骤304:在数据库集群中确定所述待处理业务数据对应的主数据库以及备份数据库,获取所述主数据库的主数据库标识以及所述备份数据库的备份数据库标识。
在本申请一具体实施方式中,沿用上例,在数据库集群中确定用于存储学生课程数据的主数据库以及备份数据库,获取主数据库标识5以及备份数据标识6。
步骤306:获取所述主数据库的数据流水号。
在本申请一具体实施方式中,沿用上例,当前主数据库累计存储过数据的总量为3,则确定主数据库存储学生课程数据的数据流水号为4。
步骤308:根据所述预设标识、所述数据流水号、所述主数据库标识以及所述备份数据库标识获得所述待处理业务数据的主键。
在本申请一具体实施方式中,沿用上例,根据预设转换规则将预设标识0、数据流水号4以及主数据库标识5以及备份数据库标识6转换为二进制的主键标识值0、主键主数据库值101、主键备份数据库值110以及主键流水号100;根据预设主键格式对主键标识值、主键流水号、主键主数据库值以及主键备份数据库值进行排列和补零,获得登录数据的主键为“0-0000101-0000110-0000000000000000000000000000000000000000000000100”。将登录数据的主键根据预设转换格式转换为十进制的登录数据标识363665669910167522,将登录数据、登录数据的主键以及登录数据标识存储至主数据库以及备份数据库。
步骤310:接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识。
在本申请一具体实施方式中,沿用上例,接收登录数据获取请求,其中,所述登录数据获取请求中携带有登录数据标识“363665669910167522”。
步骤312:基于所述待处理业务数据标识获得所述待处理业务数据的主键。
在本申请一具体实施方式中,沿用上例,根据预设转换规则将十进制的登录数据标识转换为二进制,获得登录数据的主键。
步骤314:获取所述主键中的主键主数据库值,并基于所述主键数据库值确定目标数据库。
在本申请一具体实施方式中,沿用上例,基于预设主键格式确定主键主数据库值;本实施例中主数据库中发生异常无法对数据库中的数据进行访问,则确定主键中的主键备份数据库值;将主键备份数据库值110转化为十进制的数据库标识6,并根据数据库标识确定数据库集群中的备份数据库。
步骤316:根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
在本申请一具体实施方式中,沿用上例,根据登录数据标识从确定的备份数据库中获取登录数据。
本实施例中的数据处理方法,通过在生成主键的过程中添加主数据库标识以及备份数据库标识,便于后续基于主键确定数据所在的数据库,直接从确定数据库中获取数据,提升了数据的获取效率,并且在主键中设置主数据库标识以及备份数据库标识,避免主数据库发生问题后无法从数据库中获取数据的问题,提高了数据获取的成功率,以及用户的数据查询体验。
与上述方法实施例相对应,本申请还提供了数据处理装置实施例,图4示出了本申请一实施例提供的一种数据处理装置的结构示意图。如图4所示,该装置包括:
第一接收模块402,被配置为接收待处理业务数据;
第一确定模块404,被配置为在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识;
获取模块406,被配置为获取所述目标数据库的数据流水号;
生成模块408,被配置为基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键。
在本申请一具体实施例中,所述第一确定模块402,进一步被配置为:
确定预设数据库分配策略;
根据待处理业务数据以及所述预设数据库分配策略确定所述待处理业务数据对应的目标数据库。
可选地,所述生成模块408,进一步被配置为:
根据预设转换规则将所述预设标识转换为主键标识值,将所述数据流水号转换为主键流水号,将所述目标数据库标识转换为主键数据库值;
基于预设主键格式拼接所述主键标识值、所述主键流水号以及所述主键数据库值获得所述待处理业务数据的主键。
可选地,所述第一确定模块404,进一步被配置为:
在数据库集群中确定所述待处理业务数据对应的主数据库以及备份数据库;
获取所述主数据库的主数据库标识以及所述备份数据库的备份数据库标识。
可选地,所述生成模块408,进一步被配置为:
根据所述预设标识、所述数据流水号、所述主数据库标识以及所述备份数据库标识获得所述待处理业务数据的主键。
可选地,所述生成模块408,进一步被配置为:
根据预设转换规则将所述预设标识转换为主键标识值,将所述数据流水号转换为主键流水号,将所述主数据库标识转换为主键主数据库值,将所述备份数据标识转换为主键备份数据库值;
基于预设主键格式拼接所述主键标识值、所述主键流水号、所述主键主数据库值以及所述主键备份数据库值获得所述待处理业务数据的主键。
可选地,所述装置还包括,转换模块,被配置为:
基于预设转换格式将所述待处理业务数据的主键转换为待处理业务数据标识。
可选地,所述装置还包括,存储模块,被配置为:
将所述待处理业务数据、所述待处理业务数据的主键以及所述待处理业务数据标识存储至所述目标数据库。
可选地,所述装置还包括,读取模块,被配置为:
接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识;
基于所述待处理业务数据标识获得所述待处理业务数据的主键;
获取所述主键中的主键数据库值,并基于所述主键数据库值确定目标数据库;
根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
可选地,所述读取模块进一步被配置为:
基于所述预设转换格式,将所述待处理业务数据标识转换为所述待处理业务数据的主键。
可选地,所述读取模块进一步被配置为:
根据预设主键格式在所述主键中确定主键数据库值;
根据预设转换规则将所述主键数据库值转换为目标数据库标识;
基于所述目标数据库标识确定目标数据库。
本申请的数据处理装置,通过第一接收模块,被配置为接收待处理业务数据;第一确定模块,被配置为在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识;获取模块,被配置为获取所述目标数据库的数据流水号;生成模块,被配置为基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键。通过基于数据库标识生成主键,便于基于包含数据库标识的主键快速确定目标数据库,从而实现数据的高效获取。
与上述方法实施例相对应,本申请还提供了数据处理装置另一实施例,图5示出了本申请一实施例提供的另一种数据处理装置的结构示意图。如图5所示,该装置包括:
第二接收模块502,被配置为接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识;
获得模块504,被配置为基于所述待处理业务数据标识获得所述待处理业务数据的主键;
第二确定模块506,被配置为获取所述主键中的数据库标识,并基于所述数据库标识确定目标数据库;
读取模块508,被配置为根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
本申请的数据处理装置,通过第二接收模块,被配置为接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识;获得模块,被配置为基于所述待处理业务数据标识获得所述待处理业务数据的主键;第二确定模块,被配置为获取所述主键中的数据库标识,并基于所述数据库标识确定目标数据库;读取模块,被配置为根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。本申请的数据处理装置可直接在基于主键确定的目标数据库中获得待处理业务数据,提高了数据获取的效率以及准确率,使用包含主数据库标识以及备份数据标识的主键确定待处理业务数据,在主数据库存在问题时可定位至备份数据库中获取到目标数据库。
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于数据处理方法的技术方案的描述。
图6示出了根据本申请一实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本申请的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中,处理器620执行所述计算机指令时实现所述的数据处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该计算机指令被处理器执行时实现如前所述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本申请的内容,可作很多的修改和变化。本申请选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (16)
1.一种数据处理方法,其特征在于,包括:
接收待处理业务数据;
在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识;
获取所述目标数据库的数据流水号;
基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键。
2.如权利要求1所述的数据处理方法,其特征在于,在数据库集群中确定所述待处理业务数据对应的目标数据库,包括:
确定预设数据库分配策略;
根据待处理业务数据以及所述预设数据库分配策略确定所述待处理业务数据对应的目标数据库。
3.如权利要求1所述的数据处理方法,其特征在于,基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键,包括:
根据预设转换规则将所述预设标识转换为主键标识值,将所述数据流水号转换为主键流水号,将所述目标数据库标识转换为主键数据库值;
基于预设主键格式拼接所述主键标识值、所述主键流水号以及所述主键数据库值获得所述待处理业务数据的主键。
4.如权利要求1所述的数据处理方法,其特征在于,在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识,包括:
在数据库集群中确定所述待处理业务数据对应的主数据库以及备份数据库;
获取所述主数据库的主数据库标识以及所述备份数据库的备份数据库标识。
5.如权利要求4所述的数据处理方法,其特征在于,基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键,包括:
根据所述预设标识、所述数据流水号、所述主数据库标识以及所述备份数据库标识获得所述待处理业务数据的主键。
6.如权利要求5所述的数据处理方法,其特征在于,根据所述预设标识、所述数据流水号、所述主数据库标识以及所述备份数据库标识获得所述待处理业务数据的主键,包括:
根据预设转换规则将所述预设标识转换为主键标识值,将所述数据流水号转换为主键流水号,将所述主数据库标识转换为主键主数据库值,将所述备份数据标识转换为主键备份数据库值;
基于预设主键格式拼接所述主键标识值、所述主键流水号、所述主键主数据库值以及所述主键备份数据库值获得所述待处理业务数据的主键。
7.如权利要求1-6任意一项所述的数据处理方法,其特征在于,基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键之后,还包括:
基于预设转换格式将所述待处理业务数据的主键转换为待处理业务数据标识。
8.如权利要求7所述的数据处理方法,其特征在于,基于预设转换格式将所述待处理业务数据的主键转换为待处理业务数据标识之后,还包括:
将所述待处理业务数据、所述待处理业务数据的主键以及所述待处理业务数据标识存储至所述目标数据库。
9.如权利要求8所述的数据处理方法,其特征在于,将所述待处理业务数据、所述待处理业务数据的主键以及所述待处理业务数据标识存储至所述目标数据库之后,还包括:
接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识;
基于所述待处理业务数据标识获得所述待处理业务数据的主键;
获取所述主键中的主键数据库值,并基于所述主键数据库值确定目标数据库;
根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
10.如权利要求9所述的数据处理方法,其特征在于,基于所述待处理业务数据标识获得所述待处理业务数据的主键,包括:
基于所述预设转换格式,将所述待处理业务数据标识转换为所述待处理业务数据的主键。
11.如权利要求9所述的数据处理方法,其特征在于,获取所述主键中的主键数据库值,并基于所述主键数据库值确定目标数据库,包括:
根据预设主键格式在所述主键中确定主键数据库值;
根据预设转换规则将所述主键数据库值转换为目标数据库标识;
基于所述目标数据库标识确定目标数据库。
12.一种数据处理方法,其特征在于,包括:
接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识;
基于所述待处理业务数据标识获得所述待处理业务数据的主键;
获取所述主键中的数据库标识,并基于所述数据库标识确定目标数据库;
根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
13.一种数据处理装置,其特征在于,包括:
第一接收模块,被配置为接收待处理业务数据;
第一确定模块,被配置为在数据库集群中确定所述待处理业务数据对应的目标数据库,并获取所述目标数据库的目标数据库标识;
获取模块,被配置为获取所述目标数据库的数据流水号;
生成模块,被配置为基于预设标识、所述数据流水号以及所述目标数据库标识生成所述待处理业务数据的主键。
14.一种数据处理装置,其特征在于,包括:
第二接收模块,被配置为接收待处理业务数据获取请求,其中,所述待处理业务数据获取请求中携带有待处理业务数据标识;
获得模块,被配置为基于所述待处理业务数据标识获得所述待处理业务数据的主键;
第二确定模块,被配置为获取所述主键中的数据库标识,并基于所述数据库标识确定目标数据库;
读取模块,被配置为根据所述待处理业务数据标识从所述目标数据库中读取所述待处理业务数据。
15.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述计算机指令时实现权利要求1-11或者12任意一项所述方法的步骤。
16.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-11或者12任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111122766.3A CN113849550A (zh) | 2021-09-24 | 2021-09-24 | 数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111122766.3A CN113849550A (zh) | 2021-09-24 | 2021-09-24 | 数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113849550A true CN113849550A (zh) | 2021-12-28 |
Family
ID=78979250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111122766.3A Pending CN113849550A (zh) | 2021-09-24 | 2021-09-24 | 数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113849550A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114595245A (zh) * | 2022-03-18 | 2022-06-07 | 上海哔哩哔哩科技有限公司 | 数据处理方法及装置 |
-
2021
- 2021-09-24 CN CN202111122766.3A patent/CN113849550A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114595245A (zh) * | 2022-03-18 | 2022-06-07 | 上海哔哩哔哩科技有限公司 | 数据处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106874348B (zh) | 文件存储和索引方法、装置及读取文件的方法 | |
WO2023131218A1 (zh) | 图数据的存储 | |
CN107704202B (zh) | 一种数据快速读写的方法和装置 | |
CN109669925B (zh) | 非结构化数据的管理方法及装置 | |
CN108682421B (zh) | 一种语音识别方法、终端设备及计算机可读存储介质 | |
CN113704243A (zh) | 数据分析方法、装置、计算机装置及存储介质 | |
CN113297269A (zh) | 数据查询方法及装置 | |
US20230082563A1 (en) | Data processing method and data processing apparatus | |
CN112925954A (zh) | 用于在图数据库中查询数据的方法和装置 | |
CN111475105A (zh) | 监控数据存储方法、设备、服务器及存储介质 | |
CN111949324A (zh) | 一种分布式序列号生成方法和装置 | |
CN110618999A (zh) | 数据的查询方法及装置、计算机存储介质、电子设备 | |
JP2022137281A (ja) | データ照会方法、装置、電子デバイス、記憶媒体、及びプログラム | |
CN113849550A (zh) | 数据处理方法及装置 | |
CN115525652A (zh) | 用户访问数据处理方法及装置 | |
CN114579570A (zh) | 数据处理方法及装置 | |
CN116055559B (zh) | 数据交换格式的处理方法及装置 | |
CN112612929A (zh) | 数据处理方法及装置 | |
EP4216076A1 (en) | Method and apparatus of processing an observation information, electronic device and storage medium | |
CN107943981A (zh) | HBase行分页方法、服务器及计算机可读存储介质 | |
CN116842012A (zh) | 一种Redis集群的分片存储方法、装置、设备及存储介质 | |
CN115422270A (zh) | 信息处理方法及装置 | |
CN114860722A (zh) | 基于人工智能的数据分片方法、装置、设备及介质 | |
CN111984657B (zh) | 数据归集方法、装置、存储介质及计算机设备 | |
CN114064729A (zh) | 一种数据检索方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |