CN116932551A - 数据表的处理方法、装置、电子设备及存储介质 - Google Patents
数据表的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116932551A CN116932551A CN202310917250.0A CN202310917250A CN116932551A CN 116932551 A CN116932551 A CN 116932551A CN 202310917250 A CN202310917250 A CN 202310917250A CN 116932551 A CN116932551 A CN 116932551A
- Authority
- CN
- China
- Prior art keywords
- data table
- processing
- determining
- data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 286
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000013523 data management Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 238000013508 migration Methods 0.000 description 6
- 230000005012 migration Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据表的处理方法、装置、电子设备及存储介质,可用于数据治理或其他领域。方法包括:获取数据表合并请求;获取每个数据表的数据表信息,数据表信息包括数据表所在的数据库的标识、数据表中存储的数据量、数据表所在的数据库中存储的总数据量;根据请求优先级、每个数据表的数据表信息、以及处理设备的剩余资源量,确定对数据表合并请求进行处理的处理时刻;在处理时刻,对至少两个数据表进行合并处理,得到目标数据表。以上方案,通过请求优先级、数据表信息以及处理设备的剩余资源量,确定处理数据表合并请求的合理处理时刻,避免同一时刻下处理的数据表合并请求过多,从而提升数据库运行稳定性。
Description
技术领域
本申请涉及数据治理领域,尤其涉及一种数据表的处理方法、装置、电子设备及存储介质。
背景技术
在银行领域或者其他大数据量的领域中,由于数据量庞大,对数据库的运行造成压力,通过分布式数据库代替单一的集中式数据库存储数据,可以将数据分散存储,从而减小数据库的压力,避免数据量过多导致数据库卡顿。
为了满足客户不同的业务需求,同一个用户可以设置多个客户号,同一个用户的不同客户号下的数据可以存储在同一个数据表、也可以存储在同一个数据库的不同数据表,也可以存储在不同数据库的不同数据表,每个客户号下的数据执行对应客户号的业务。
当一个业务的执行需要不同客户号下的数据时,若不同客户号下的数据时存储在不同的数据表,则需要通过数据合并业务将不同客户号下的数据进行合并,并存储在同一个数据表。然而,数据合并业务会占用数据库的运行资源,若同一时刻下数据合并业务过多,则会对数据库的运行产生压力,影响数据库正常工作。
发明内容
本申请提供一种数据表的处理方法、装置、电子设备及存储介质,用于提升数据库运行稳定性。
第一方面,本申请提供一种数据表的处理方法,应用于处理设备,所述方法包括:获取数据表合并请求,所述数据表合并请求包括待合并的至少两个数据表的标识、以及请求优先级;获取每个数据表的数据表信息,所述数据表信息包括所述数据表所在的数据库的标识、所述数据表中存储的数据量、所述数据表所在的数据库中存储的总数据量;根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻;在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表。
在一种可能的实施方式中,根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻,包括:若所述请求优先级为第一优先级,则根据每个数据表的数据表信息,确定处理策略,并根据所述处理策略、以及所述剩余资源量,确定所述处理时刻,所述处理策略为时间优先策略或者资源优先策略;若所述请求优先级为第二优先级,则根据所述处理设备的历史运行信息,确定所述处理时刻。
在一种可能的实施方式中,根据每个数据表的数据表信息,确定处理策略,包括:在至少一个预设条件分别被满足时,确定所述处理策略为所述时间优先策略;在所述至少一个预设条件中存在预设条件不被满足时,确定所述处理策略为所述资源优先策略;其中,所述至少一个预设条件包括如下至少一个:所述至少两个数据表位于同一数据库;每个数据表中存储的数据量小于或等于对应的数据量阈值;所述至少两个数据表所在的数据库中存储的总数据量小于或等于总数据量阈值。
在一种可能的实施方式中,根据所述处理策略、以及所述剩余资源量,确定所述处理时刻,包括:若所述处理策略为所述时间优先策略,则根据当前时刻确定所述处理时刻;若所述处理策略为所述资源优先策略,则根据所述剩余资源量,确定所述处理时刻。
在一种可能的实施方式中,根据当前时刻确定所述处理时刻,包括:将所述当前时刻确定为所述处理时刻;或者,确定最大时延,根据所述当前时刻和所述最大时延确定所述处理时刻,所述处理时刻位于所述当前时刻之后,所述处理时刻与所述当前时刻之间的时间差小于或等于所述最大时延。
在一种可能的实施方式中,根据所述剩余资源量,确定所述处理时刻,包括:监测所述处理设备的剩余资源量,直至所述处理设备的剩余资源量大于或等于第一预设资源量时,将所述处理设备的剩余资源量大于或等于所述第一预设资源量的时刻、确定为所述处理时刻。
在一种可能的实施方式中,所述历史运行信息中包括所述处理设备在多个历史处理周期中各时段的历史剩余资源量;根据所述处理设备的历史运行信息,确定所述处理时刻,包括:根据所述处理设备在多个历史处理周期中各时段的历史剩余资源量,确定目标时段,所述处理设备在所述历史处理周期的所述目标时段内的剩余资源量最大;根据当前处理周期和所述目标时段,确定所述处理时刻,所述处理时刻为所述当前处理周期中、所述目标时段的起始时刻。
在一种可能的实施方式中,在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表,包括:在所述至少两个数据表所在的数据库中,确定目标数据库;将所述目标数据表存储至所述目标数据库。
在一种可能的实施方式中,所述方法还包括:确定当前处理周期中生成的至少一个目标数据表;确定每个目标数据表对应的合并信息,所述合并信息包括:合并所述目标数据表的至少两个数据表的标识;根据每个目标数据表的合并信息,生成所述当前处理周期的合并日志。
第二方面,本申请提供一种数据表的处理装置,应用于处理设备,包括:请求模块,用于获取数据表合并请求,所述数据表合并请求包括待合并的至少两个数据表的标识、以及请求优先级;获取模块,用于获取每个数据表的数据表信息,所述数据表信息包括所述数据表所在的数据库的标识、所述数据表中存储的数据量、所述数据表所在的数据库中存储的总数据量;确定模块,用于根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻;合并模块,用于在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表。
在一种可能的实施方式中,所述确定模块,具体用于若所述请求优先级为第一优先级,则根据每个数据表的数据表信息,确定处理策略,并根据所述处理策略、以及所述剩余资源量,确定所述处理时刻,所述处理策略为时间优先策略或者资源优先策略;所述确定模块,具体还用于若所述请求优先级为第二优先级,则根据所述处理设备的历史运行信息,确定所述处理时刻。
在一种可能的实施方式中,所述确定模块,具体用于在至少一个预设条件分别被满足时,确定所述处理策略为所述时间优先策略;所述确定模块,具体还用于在所述至少一个预设条件中存在预设条件不被满足时,确定所述处理策略为所述资源优先策略;其中,所述至少一个预设条件包括如下至少一个:所述至少两个数据表位于同一数据库;每个数据表中存储的数据量小于或等于对应的数据量阈值;所述至少两个数据表所在的数据库中存储的总数据量小于或等于总数据量阈值。
在一种可能的实施方式中,所述确定模块,具体用于若所述处理策略为所述时间优先策略,则根据当前时刻确定所述处理时刻;所述确定模块,具体还用于若所述处理策略为所述资源优先策略,则根据所述剩余资源量,确定所述处理时刻。
在一种可能的实施方式中,所述确定模块,具体用于将所述当前时刻确定为所述处理时刻;或者,所述确定模块,具体还用于确定最大时延,根据所述当前时刻和所述最大时延确定所述处理时刻,所述处理时刻位于所述当前时刻之后,所述处理时刻与所述当前时刻之间的时间差小于或等于所述最大时延。
在一种可能的实施方式中,所述确定模块,具体用于监测所述处理设备的剩余资源量,直至所述处理设备的剩余资源量大于或等于第一预设资源量时,将所述处理设备的剩余资源量大于或等于所述第一预设资源量的时刻、确定为所述处理时刻。
在一种可能的实施方式中,所述历史运行信息中包括所述处理设备在多个历史处理周期中各时段的历史剩余资源量;所述确定模块,具体用于根据所述处理设备在多个历史处理周期中各时段的历史剩余资源量,确定目标时段,所述处理设备在所述历史处理周期的所述目标时段内的剩余资源量最大;所述确定模块,具体还用于根据当前处理周期和所述目标时段,确定所述处理时刻,所述处理时刻为所述当前处理周期中、所述目标时段的起始时刻。
在一种可能的实施方式中,所述装置还包括:迁移模块,用于在所述至少两个数据表所在的数据库中,确定目标数据库;所述迁移模块,还用于将所述目标数据表存储至所述目标数据库。
在一种可能的实施方式中,所述装置还包括:确定当前处理周期中生成的至少一个目标数据表;确定每个目标数据表对应的合并信息,所述合并信息包括:合并所述目标数据表的至少两个数据表的标识;根据每个目标数据表的合并信息,生成所述当前处理周期的合并日志。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现第一方面中任一项所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行如第一方面中任一项所述的方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行如第一方面中任一项所述的方法。
本申请提供的数据表的处理方法、装置、电子设备及存储介质,包括:获取数据表合并请求,所述数据表合并请求包括待合并的至少两个数据表的标识、以及请求优先级;获取每个数据表的数据表信息,所述数据表信息包括所述数据表所在的数据库的标识、所述数据表中存储的数据量、所述数据表所在的数据库中存储的总数据量;根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻;在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表。以上方案,通过请求优先级、数据表信息以及处理设备的剩余资源量,确定处理数据表合并请求的合理处理时刻,避免同一时刻下处理的数据表合并请求过多,从而提升数据库运行稳定性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种数据表的处理方法的应用场景示意图;
图2为本申请实施例提供的一种数据表的处理方法的流程示意图;
图3为本申请实施例提供的一种数据表的处理方法的流程示意图;
图4为本申请实施例提供的确定处理策略示意图;
图5为本申请实施例提供的确定处理时刻示意图;
图6为本申请实施例提供的一种数据表的处理装置的结构示意图;
图7为本申请实施例提供的一种数据表的处理装置的结构示意图;
图8为本申请实施例提供的一种电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
需要说明的是,本申请数据表的处理的方法和装置可用于数据治理领域,也可用于除数据治理之外的任意领域,本申请数据表的处理的方法和装置的应用领域不做限定。
本发明人发现,在相关技术中,在接收到数据表合并请求时即处理数据表合并请求,若同一时刻的数据表合并请求过多,则同一时刻处理大量的数据表合并请求会对数据库的运行产生压力,影响数据库的正常工作。
为了解决以上问题,本发明人设置不同的处理条件,根据数据表合并请求符合的条件确定数据表合并请求的处理时刻,从而将数据表合并请求分摊到不同的时刻进行处理,避免同一时刻下处理的数据表合并请求过多。
图1为本申请实施例提供的一种数据表的处理方法的应用场景示意图,结合图示的场景进行举例:每个数据库下包括多个数据表,每个数据表存储不同的数据,将数据表1和数据表2合并为目标数据表,可以通过目标数据表统一管理数据表1和数据表2中的数据。
实际应用中,存在同一个用户的数据分别存储在不同的数据表,若用户的业务需要同时调用存储在不同的数据表的数据,则需要首先执行合并业务,以将存储在不同的数据表的数据合并存储到一个数据表。
本申请提供的数据表的处理的方法,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的一种数据表的处理方法的流程示意图,该方法包括以下步骤:
S201、获取数据表合并请求,所述数据表合并请求包括待合并的至少两个数据表的标识、以及请求优先级。
作为示例,该实施例的执行主体可以为数据表的处理装置,该数据表的处理装置的实现有多种。例如,可以为程序软件,也可以为存储有相关计算机程序的介质,例如,U盘等;或者,该装置还可以为集成或安装有相关计算机程序的实体设备,例如,芯片、智能终端、电脑、服务器等。
其中,请求优先级用于说明数据表合并请求的时限要求,时限要求包括需要立即合并数据表或者不需要立即合并数据表等。
其中,数据表标识可以为数据表的编号或者数据表的目录信息等唯一标识,用于准确确定待合并的数据表。
可选的,由用户确定并输入请求优先级或者由系统根据用户业务的紧急性,确定请求优先级。
S202、获取每个数据表的数据表信息,所述数据表信息包括所述数据表所在的数据库的标识、所述数据表中存储的数据量、所述数据表所在的数据库中存储的总数据量。
其中,待合并的数据表可以位于同一个数据库或者不同的数据库。
可选的,数据表中存储的数据量以及数据库中存储的总数据量可以从数据库管理系统中直接获取。
S203、根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻。
其中,处理时刻可以为固定的某个时刻,也可以为多个备选时刻组成的时段。
举例来说,处理时刻可以为14时10分至15时10分组成的时段,在这个时段内的任意时刻均可处理数据表合并请求。
可选的,所述处理时刻为实时确定的,可以根据系统执行业务的状态,实时修改处理时刻。
S204、在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表。
可选的,完成合并处理后,对数据库中的数据进行去重处理,去除与目标数据表中的数据重复的数据。
可以理解,通过去重处理,可以避免重复的数据影响用户业务的执行。
本申请实施例提供的数据表的处理方法,获取数据表合并请求,所述数据表合并请求包括待合并的至少两个数据表的标识、以及请求优先级;获取每个数据表的数据表信息,所述数据表信息包括所述数据表所在的数据库的标识、所述数据表中存储的数据量、所述数据表所在的数据库中存储的总数据量;根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻;在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表。以上方案,通过请求优先级、数据表信息以及处理设备的剩余资源量,确定处理数据表合并请求的合理处理时刻,避免同一时刻下处理的数据表合并请求过多,从而提升数据库运行稳定性。
在上述任意一个实施例的基础上,下面,结合图3,对数据表的处理的详细过程进行说明。
图3为本申请实施例提供的一种数据表的处理方法的流程示意图。如图3所示,该方法包括:
S301、获取数据表合并请求,所述数据表合并请求包括待合并的至少两个数据表的标识、以及请求优先级。
需要说明的是,S301的执行过程参见S201,此处不再赘述。
S302、获取每个数据表的数据表信息,所述数据表信息包括所述数据表所在的数据库的标识、所述数据表中存储的数据量、所述数据表所在的数据库中存储的总数据量。
需要说明的是,S302的执行过程参见S202,此处不再赘述。
S303、若所述请求优先级为第一优先级,则根据每个数据表的数据表信息,确定处理策略,并根据所述处理策略、以及所述剩余资源量,确定所述处理时刻,所述处理策略为时间优先策略或者资源优先策略。
其中,第一优先级为紧急需求的优先级,第一优先级的合并请求需要优先进行处理。
结合场景示例来说,时间优先策略下需要立即执行合并处理,资源优先策略下需要根据资源空闲状态确定执行合并处理的时刻。
一种可行的实现方式,根据每个数据表的数据表信息,确定处理策略,包括:在至少一个预设条件分别被满足时,确定所述处理策略为所述时间优先策略;在所述至少一个预设条件中存在预设条件不被满足时,确定所述处理策略为所述资源优先策略;其中,所述至少一个预设条件包括如下至少一个:所述至少两个数据表位于同一数据库;每个数据表中存储的数据量小于或等于对应的数据量阈值;所述至少两个数据表所在的数据库中存储的总数据量小于或等于总数据量阈值。
下面,结合图4对确定处理策略进行说明。
图4为本申请实施例提供的确定处理策略示意图。如图4所示,确定数据表信息以及确定预设条件,若数据表信息满足所有预设条件,则确定处理策略为时间优先策略,若存在至少一个预设条件不被数据表信息满足,则确定处理策略为资源优先策略。
结合场景示例来说,执行数据表合并需要消耗数据库资源,同一数据库内进行数据表合并消耗资源较少,并且可以快速完成数据表合并。若每个数据表中存储的数据量小于或等于对应的数据量阈值,则对应的数据表合并消耗的资源较少。若至少两个数据表所在的数据库中存储的总数据量小于或等于总数据量阈值,则数据库的剩余资源较多,可以立即执行数据表合并。若存在至少一个预设条件不被满足,则说明数据库的剩余资源有限,需要进行调控,不能立即处理数据表合并。
在该种可行的实现方式中,通过多个预设条件确定处理策略,可以提升处理策略的准确性。
进一步的,一种可行的实现方式,根据所述处理策略、以及所述剩余资源量,确定所述处理时刻,包括:若所述处理策略为所述时间优先策略,则根据当前时刻确定所述处理时刻;若所述处理策略为所述资源优先策略,则根据所述剩余资源量,确定所述处理时刻。
结合场景示例来说,若处理策略为时间优先策略,则说明当前时刻下数据库的剩余资源足够处理合并请求,根据当前时刻确定处理时刻。若处理策略为资源优先策略,则说明当前时刻下数据库的剩余资源不足以处理合并请求,根据所述剩余资源量,确定处理时刻。
在该种可行的实现方式中,综合处理策略、以及剩余资源量,确定处理时刻,可以在及早处理合并请求的同时,保证数据库的资源足够正常运行。
进一步的,一种可行的实现方式,根据当前时刻确定所述处理时刻,包括:将所述当前时刻确定为所述处理时刻;或者,确定最大时延,根据所述当前时刻和所述最大时延确定所述处理时刻,所述处理时刻位于所述当前时刻之后,所述处理时刻与所述当前时刻之间的时间差小于或等于所述最大时延。
结合场景示例来说,若当前时刻为14时,最大时延为10分,则可以将14时确定为处理时刻,或者将14时1分到14时10分之间的任意时刻确定为处理时刻。
在该种可行的实现方式中,设置最大时延可以给数据库缓冲时间,保证数据库正常运行。
进一步的,一种可行的实现方式,根据所述剩余资源量,确定所述处理时刻,包括:监测所述处理设备的剩余资源量,直至所述处理设备的剩余资源量大于或等于第一预设资源量时,将所述处理设备的剩余资源量大于或等于所述第一预设资源量的时刻、确定为所述处理时刻。
下面,结合图5对确定处理时刻进行说明。
图5为本申请实施例提供的确定处理时刻示意图。如图5所示,实时监测数据库在每个时刻下的剩余资源量,确定第一预设资源量,以当前时刻作为起始,依次确定未来每个第一时刻下的剩余资源,直至得到剩余资源大于或者等于第一预设资源的,将对应的第一时刻确定为处理时刻。
可选的,第一预设资源量根据业务场景确定。
S304、所述历史运行信息中包括所述处理设备在多个历史处理周期中各时段的历史剩余资源量;根据所述处理设备在多个历史处理周期中各时段的历史剩余资源量,确定目标时段,所述处理设备在所述历史处理周期的所述目标时段内的剩余资源量最大。
结合场景示例来说,请求优先级为第二优先级说明数据表合并请求为非紧急请求,例如历史处理周期为1天,统计历史1天内各时段的历史剩余资源量,历史剩余资源量为在该时段未使用的资源量,在历史剩余资源量最大的目标时段,处理设备最空闲,可用于处理数据表合并请求。
S305、根据当前处理周期和所述目标时段,确定所述处理时刻,所述处理时刻为所述当前处理周期中、所述目标时段的起始时刻。
可选的,确定目标时段中的多个时刻,从多个时刻中确定处理时刻,确定的依据为多个时刻中对应的剩余资源量最大的时刻。
S306、在所述至少两个数据表所在的数据库中,确定目标数据库。
可选的,将数据量多的数据表对应的数据库,确定为目标数据库。
结合场景示例来说,数据表合并需要执行数据迁移,对于多个数据库的数据表合并,将数据量多的数据表对应的数据库,确定为目标数据库,可以减少数据迁移的数据量,从而提升数据表合并的效率。
S307、将所述目标数据表存储至所述目标数据库。
一种可行的实现方式,数据表的处理方法还包括:确定当前处理周期中生成的至少一个目标数据表;确定每个目标数据表对应的合并信息,所述合并信息包括:合并所述目标数据表的至少两个数据表的标识;根据每个目标数据表的合并信息,生成所述当前处理周期的合并日志。
结合场景示例来说,数据表合并为自动执行,可能存在执行错误的场景,通过校对可以解释发现并处理执行错误。
在该种可行的实现方式中,通过合并日志,可以确定数据表合并记录,并根据数据表合并记录对数据表进行校对,从而及时解决数据表合并错误。
图6为本申请实施例提供的一种数据表的处理装置的结构示意图。如图6所示,该数据表的处理装置60可以包括:请求模块61、获取模块62、确定模块63以及合并模块64,其中,
所述请求模块61,用于获取数据表合并请求,所述数据表合并请求包括待合并的至少两个数据表的标识、以及请求优先级。
所述获取模块62,用于获取每个数据表的数据表信息,所述数据表信息包括所述数据表所在的数据库的标识、所述数据表中存储的数据量、所述数据表所在的数据库中存储的总数据量。
所述确定模块63,用于根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻。
所述合并模块64,用于在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表。
可选的,请求模块61可以执行图2实施例中的S201。
可选的,获取模块62可以执行图2实施例中的S202。
可选的,确定模块63可以执行图2实施例中的S203。
可选的,合并模块64可以执行图2实施例中的S204。
需要说明的是,本申请实施例所示的数据表的处理装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
在一种可能的实施方式中,所述确定模块63,具体用于:
若所述请求优先级为第一优先级,则根据每个数据表的数据表信息,确定处理策略,并根据所述处理策略、以及所述剩余资源量,确定所述处理时刻,所述处理策略为时间优先策略或者资源优先策略;
若所述请求优先级为第二优先级,则根据所述处理设备的历史运行信息,确定所述处理时刻。
在一种可能的实施方式中,所述确定模块63,具体用于:
在至少一个预设条件分别被满足时,确定所述处理策略为所述时间优先策略;
在所述至少一个预设条件中存在预设条件不被满足时,确定所述处理策略为所述资源优先策略;
其中,所述至少一个预设条件包括如下至少一个:所述至少两个数据表位于同一数据库;每个数据表中存储的数据量小于或等于对应的数据量阈值;所述至少两个数据表所在的数据库中存储的总数据量小于或等于总数据量阈值。
在一种可能的实施方式中,所述确定模块63,具体用于:
若所述处理策略为所述时间优先策略,则根据当前时刻确定所述处理时刻;
若所述处理策略为所述资源优先策略,则根据所述剩余资源量,确定所述处理时刻。
在一种可能的实施方式中,所述确定模块63,具体用于:
将所述当前时刻确定为所述处理时刻;或者,
确定最大时延,根据所述当前时刻和所述最大时延确定所述处理时刻,所述处理时刻位于所述当前时刻之后,所述处理时刻与所述当前时刻之间的时间差小于或等于所述最大时延。
在一种可能的实施方式中,所述确定模块63,具体用于:
监测所述处理设备的剩余资源量,直至所述处理设备的剩余资源量大于或等于第一预设资源量时,将所述处理设备的剩余资源量大于或等于所述第一预设资源量的时刻、确定为所述处理时刻。
在一种可能的实施方式中,所述历史运行信息中包括所述处理设备在多个历史处理周期中各时段的历史剩余资源量;所述确定模块63,具体用于:
根据所述处理设备在多个历史处理周期中各时段的历史剩余资源量,确定目标时段,所述处理设备在所述历史处理周期的所述目标时段内的剩余资源量最大;
根据当前处理周期和所述目标时段,确定所述处理时刻,所述处理时刻为所述当前处理周期中、所述目标时段的起始时刻。
图7为本申请实施例提供的一种数据表的处理装置的结构示意图。在图6所示实施例的基础上,如图7所示,该数据表的处理装置70还包括:迁移模块65以及生成模块66,其中:
所述迁移模块65,用于:
在所述至少两个数据表所在的数据库中,确定目标数据库;
将所述目标数据表存储至所述目标数据库。
所述生成模块66,用于:
确定当前处理周期中生成的至少一个目标数据表;
确定每个目标数据表对应的合并信息,所述合并信息包括:合并所述目标数据表的至少两个数据表的标识;
根据每个目标数据表的合并信息,生成所述当前处理周期的合并日志。
图8为本申请实施例中提供的一种电子设备的结构示意图,如图8所示,该电子设备包括:
处理器(processor)291,电子设备还包括了存储器(memory)292;还可以包括通信接口(Communication Interface)293和总线294。其中,处理器291、存储器292、通信接口293、可以通过总线294完成相互间的通信。通信接口293可以用于信息传输。处理器291可以调用存储器292中的逻辑指令,以执行上述实施例的方法。
此外,上述的存储器292中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器292作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本申请实施例中的方法对应的程序指令/模块。处理器291通过运行存储在存储器292中的软件程序、指令以及模块,从而执行功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器292可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器292可以包括高速随机存取存储器,还可以包括非易失性存储器。
一种非临时性计算机可读存储介质,当该存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行上述终端设备的分屏处理方法。
本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如前述实施例所述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (12)
1.一种数据表的处理方法,其特征在于,应用于处理设备,所述方法包括:
获取数据表合并请求,所述数据表合并请求包括待合并的至少两个数据表的标识、以及请求优先级;
获取每个数据表的数据表信息,所述数据表信息包括所述数据表所在的数据库的标识、所述数据表中存储的数据量、所述数据表所在的数据库中存储的总数据量;
根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻;
在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表。
2.根据权利要求1所述的方法,其特征在于,根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻,包括:
若所述请求优先级为第一优先级,则根据每个数据表的数据表信息,确定处理策略,并根据所述处理策略、以及所述剩余资源量,确定所述处理时刻,所述处理策略为时间优先策略或者资源优先策略;
若所述请求优先级为第二优先级,则根据所述处理设备的历史运行信息,确定所述处理时刻。
3.根据权利要求2所述的方法,其特征在于,根据每个数据表的数据表信息,确定处理策略,包括:
在至少一个预设条件分别被满足时,确定所述处理策略为所述时间优先策略;
在所述至少一个预设条件中存在预设条件不被满足时,确定所述处理策略为所述资源优先策略;
其中,所述至少一个预设条件包括如下至少一个:
所述至少两个数据表位于同一数据库;
每个数据表中存储的数据量小于或等于对应的数据量阈值;
所述至少两个数据表所在的数据库中存储的总数据量小于或等于总数据量阈值。
4.根据权利要求2或3所述的方法,其特征在于,根据所述处理策略、以及所述剩余资源量,确定所述处理时刻,包括:
若所述处理策略为所述时间优先策略,则根据当前时刻确定所述处理时刻;
若所述处理策略为所述资源优先策略,则根据所述剩余资源量,确定所述处理时刻。
5.根据权利要求4所述的方法,其特征在于,根据当前时刻确定所述处理时刻,包括:
将所述当前时刻确定为所述处理时刻;或者,
确定最大时延,根据所述当前时刻和所述最大时延确定所述处理时刻,所述处理时刻位于所述当前时刻之后,所述处理时刻与所述当前时刻之间的时间差小于或等于所述最大时延。
6.根据权利要求4所述的方法,其特征在于,根据所述剩余资源量,确定所述处理时刻,包括:
监测所述处理设备的剩余资源量,直至所述处理设备的剩余资源量大于或等于第一预设资源量时,将所述处理设备的剩余资源量大于或等于所述第一预设资源量的时刻、确定为所述处理时刻。
7.根据权利要求2所述的方法,其特征在于,所述历史运行信息中包括所述处理设备在多个历史处理周期中各时段的历史剩余资源量;根据所述处理设备的历史运行信息,确定所述处理时刻,包括:
根据所述处理设备在多个历史处理周期中各时段的历史剩余资源量,确定目标时段,所述处理设备在所述历史处理周期的所述目标时段内的剩余资源量最大;
根据当前处理周期和所述目标时段,确定所述处理时刻,所述处理时刻为所述当前处理周期中、所述目标时段的起始时刻。
8.根据权利要求1-7任一项所述的方法,其特征在于,在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表,包括:
在所述至少两个数据表所在的数据库中,确定目标数据库;
将所述目标数据表存储至所述目标数据库。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述方法还包括:
确定当前处理周期中生成的至少一个目标数据表;
确定每个目标数据表对应的合并信息,所述合并信息包括:合并所述目标数据表的至少两个数据表的标识;
根据每个目标数据表的合并信息,生成所述当前处理周期的合并日志。
10.一种数据表的处理装置,其特征在于,应用于处理设备,包括:
请求模块,用于获取数据表合并请求,所述数据表合并请求包括待合并的至少两个数据表的标识、以及请求优先级;
获取模块,用于获取每个数据表的数据表信息,所述数据表信息包括所述数据表所在的数据库的标识、所述数据表中存储的数据量、所述数据表所在的数据库中存储的总数据量;
确定模块,用于根据所述请求优先级、每个数据表的数据表信息、以及所述处理设备的剩余资源量,确定对所述数据表合并请求进行处理的处理时刻;
合并模块,用于在所述处理时刻,对所述至少两个数据表进行合并处理,得到目标数据表。
11.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310917250.0A CN116932551A (zh) | 2023-07-25 | 2023-07-25 | 数据表的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310917250.0A CN116932551A (zh) | 2023-07-25 | 2023-07-25 | 数据表的处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116932551A true CN116932551A (zh) | 2023-10-24 |
Family
ID=88393865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310917250.0A Pending CN116932551A (zh) | 2023-07-25 | 2023-07-25 | 数据表的处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116932551A (zh) |
-
2023
- 2023-07-25 CN CN202310917250.0A patent/CN116932551A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110941481A (zh) | 资源调度方法、装置及系统 | |
CN109981702B (zh) | 一种文件存储方法及系统 | |
CN112738172B (zh) | 区块链节点的管理方法、装置、计算机设备和存储介质 | |
WO2020042503A1 (zh) | 风控系统的验证方法、装置、设备及存储介质 | |
CN106407395A (zh) | 数据查询的处理方法及装置 | |
CN111309548A (zh) | 一种超时监控方法、装置及计算机可读存储介质 | |
CN107193749B (zh) | 测试方法、装置及设备 | |
CN111291018A (zh) | 数据管理方法、装置、设备及存储介质 | |
CN107092556B (zh) | 测试方法、装置及设备 | |
CN108241616B (zh) | 消息推送方法和装置 | |
CN110909023B (zh) | 一种查询计划的获取方法、数据查询方法及装置 | |
CN116932551A (zh) | 数据表的处理方法、装置、电子设备及存储介质 | |
CN113905092B (zh) | 一种确定可复用代理队列的方法、装置、终端及存储介质 | |
CN115664992A (zh) | 网络运行数据的处理方法、装置、电子设备及介质 | |
CN110908821B (zh) | 任务失败管理的方法、装置、设备和存储介质 | |
CN114157717A (zh) | 一种微服务动态限流的系统及方法 | |
CN108920722B (zh) | 一种参数配置的方法、装置及计算机存储介质 | |
US10102052B2 (en) | Dumping resources | |
CN115168297A (zh) | 绕行日志审计方法及装置 | |
CN108805778A (zh) | 电子装置、采集征信数据的方法及存储介质 | |
CN115081233B (zh) | 一种流程仿真方法及电子设备 | |
CN117041356B (zh) | 指标分发方法、指标计算方法、装置、电子设备及系统 | |
CN109783331B (zh) | 数据库集群的压力测试方法和装置 | |
CN116842299B (zh) | 动态数据访问风险控制系统与方法 | |
CN113741810B (zh) | 一种数据迁移方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |