CN111190898B - 一种数据处理的方法及装置、电子设备、存储介质 - Google Patents

一种数据处理的方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111190898B
CN111190898B CN201911168073.0A CN201911168073A CN111190898B CN 111190898 B CN111190898 B CN 111190898B CN 201911168073 A CN201911168073 A CN 201911168073A CN 111190898 B CN111190898 B CN 111190898B
Authority
CN
China
Prior art keywords
data
data table
processing type
processing
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911168073.0A
Other languages
English (en)
Other versions
CN111190898A (zh
Inventor
欧阳娅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN201911168073.0A priority Critical patent/CN111190898B/zh
Publication of CN111190898A publication Critical patent/CN111190898A/zh
Application granted granted Critical
Publication of CN111190898B publication Critical patent/CN111190898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据处理的方法及装置、电子设备、存储介质,所述方法包括:在接收到数据处理请求时,确定所述数据处理请求对应的处理类型;判断所述处理类型是否为指定处理类型;若所述处理类型为指定处理类型时,采用所述数据处理请求,对第一数据表进行与所述处理类型对应的操作;若所述处理类型为非指定处理类型时,确定所述数据处理请求对应的第二数据表,对所述第二数据表进行与所述处理类型对应的操作;其中,所述第二数据表为对所述第一数据表进行拆分得到的数据表,实现了在拆分数据表时无需修改代码,可以根据数据的处理类型确定对应的数据表,既减少了代码修改次数,又提高了系统稳定性。

Description

一种数据处理的方法及装置、电子设备、存储介质
技术领域
本申请涉及信息技术领域,特别是涉及一种数据处理的方法及装置、电子设备、存储介质。
背景技术
随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富,数据库存储的数据量越来越多,为了提高数据的读取效率,可以对包含海量数据的数据库表进行分表。
在现有技术中,在对数据库表进行分表后,数据表的名称发生改变,工作人员需要对数据库的代码进行相应调整,以保证在后续数据的查询过程中可以找到对应的数据表。
然而,在分表后都需要手动对代码进行修改,造成数据表分表效率低下,并且,对代码的适应性调整会都会降低系统的稳定性。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法及装置、电子设备、存储介质,包括:
一种数据处理的方法,所述方法包括:
在接收到数据处理请求时,确定所述数据处理请求对应的处理类型;
判断所述处理类型是否为指定处理类型;
若所述处理类型为指定处理类型时,采用所述数据处理请求,对第一数据表进行与所述处理类型对应的操作;
若所述处理类型为非指定处理类型时,确定所述数据处理请求对应的第二数据表,对所述第二数据表进行与所述处理类型对应的操作;其中,所述第二数据表为对所述第一数据表进行拆分得到的数据表。
可选地,所述指定处理类型包括数据插入类型。
可选地,所述方法还包括:
在检测到触发事件时,对所述第一数据表进行拆分,得到第二数据表。
可选地,所述触发事件包括以下任一项或多项:
当前时间为指定时间、所述第一数据表中数据量大于预设数据量。
可选地,所述触发事件为当前时间为指定时间,每个第二数据表的数据表标识包含一第一时间字段,所述确定所述数据处理请求对应的第二数据表的步骤包括:
确定所述数据处理请求对应的第一数据标识;
在所述第一数据标识中确定目标时间信息,并采用所述目标时间信息,确定第二数据表标识;其中,每个数据标识包含一第二时间字段;
确定所述第二数据表标识对应的数据表为第二数据表。
可选地,所述触发事件为所述第一数据表中数据量大于预设数据量,所述确定所述数据处理请求对应的第二数据表的步骤包括:
确定所述数据处理请求对应的第二数据标识;
在预置的第三数据表中,查找所述第二数据标识所属的目标数据标识范围,并确定所述目标数据标识范围对应的第二数据表标识;其中,所述第三数据表中存储多个数据标识范围与数据表标识的对应关系;
确定所述第二数据表标识对应的数据表为第二数据表。
可选地,所述方法还包括:
在对所述第一数据表进行拆分时,确定拆分得到的第二数据表中存储数据对应的数据标识范围;
存储所述第二数据表的数据表标识与所述数据标识范围的对应关系。
一种数据处理的装置,所述装置包括:
处理类型确定模块,用于在接收到数据处理请求时,确定所述数据处理请求对应的处理类型;
判断模块,用于判断所述处理类型是否为指定处理类型;
第一操作模块,用于若所述处理类型为指定处理类型时,采用所述数据处理请求,对第一数据表进行与所述处理类型对应的操作;
第二操作模块,用于若所述处理类型为非指定处理类型时,确定所述数据处理请求对应的第二数据表,对所述第二数据表进行与所述处理类型对应的操作;其中,所述第二数据表为对所述第一数据表进行拆分得到的数据表。
一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的数据处理的方法的步骤。
一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的数据处理的方法的步骤。
本申请实施例具有以下优点:
在本申请实施例中,通过在接收到数据处理请求时,确定数据处理请求对应的处理类型并判断是否为指定处理类型,若处理类型为指定处理类型时,可以采用对第一数据表进行与处理类型对应的操作,若处理类型不为指定处理类型时,可以在由第一数据表拆分后得到的第二数据表中,进行与处理类型对应的操作,实现了在拆分数据表时无需修改代码,可以根据数据的处理类型确定对应的数据表,既减少了代码修改次数,又提高了系统稳定性。
附图说明
为了更清楚地说明本申请的技术方案,下面将对本申请的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种数据处理的方法的步骤流程图;
图2是本申请一实施例提供的另一种数据处理的方法的步骤流程图;
图3是本申请提供的一种定时分表示意图;
图4是本申请提供的一种数据表分表流程图;
图5是本申请提供的一种数据处理流程图;
图6是本申请一实施例提供的另一种数据处理的方法的步骤流程图;
图7是本申请提供的一种定量分表示意图;
图8是本申请提供的另一种数据表分表流程图;
图9是本申请提供的另一种数据处理流程图;
图10是本申请一实施例提供的一种数据处理的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,示出了本申请一实施例提供的一种数据处理的方法的步骤流程图,具体可以包括如下步骤:
步骤101,在接收到数据处理请求时,确定所述数据处理请求对应的处理类型;
作为一示例,处理类型可以包括以下一种或多种:
数据插入类型、数据读取类型、数据修改类型。
在进行数据处理时,工作人员可以在后台中生成一数据处理请求,并输入至服务端中,在接收到数据处理请求时,服务端可以确定数据处理请求的处理类型。
具体的,不同的处理类型可以具有不同的处理类型标识,服务端中可以预先存储处理类型与处理类型标识的对应关系,在生成数据处理请求时,可以将处理类型标识添加至数据处理请求中,当服务端接收到该数据处理请求,可以从数据处理请求中获取处理类型标识,确定对应的处理类型。
步骤102,判断所述处理类型是否为指定处理类型;
作为一示例,指定处理类型可以包括数据插入类型。
在确定处理类型后,服务端可以判断该处理类型是否为处理类型。
在具体实现中,服务端中可以预先针对指定处理类型存储一指定处理类型标识,在获取处理类型标识后,服务端可以将处理类型标识与指定处理类型标识进行匹配,以判断处理类型是否为指定处理类型。
步骤103,若所述处理类型为指定处理类型时,采用所述数据处理请求,对第一数据表进行与所述处理类型对应的操作;
当处理类型为指定处理类型时,服务端可以确定处理类型对应的操作,并采用数据处理请求,对第一数据表进行该处理类型的操作。
在具体实现中,当数据处理类型为数据插入类型时,服务端可以从数据处理请求中获取待处理的数据,并将待处理的数据插入至第一数据表中。
步骤104,若所述处理类型为非指定处理类型时,确定所述数据处理请求对应的第二数据表,对所述第二数据表进行与所述处理类型对应的操作;其中,所述第二数据表为对所述第一数据表进行拆分得到的数据表。
在具体实现中,可以对第一数据表拆分,得到一个或多个第二数据表。当处理类型不为指定处理类型时,服务端可以确定数据处理请求对应的第二数据表,并在第二数据表中进行与处理类型对应的的操作。
例如,当数据处理类型为数据读取类型时,服务端采用数据处理请求确定第二数据表,并读取第二数据表中的数据。
在本申请实施例中,通过在接收到数据处理请求时,确定数据处理请求对应的处理类型并判断是否为指定处理类型,若处理类型为指定处理类型时,可以采用对第一数据表进行与处理类型对应的操作,若处理类型不为指定处理类型时,可以在由第一数据表拆分后得到的第二数据表中,进行与处理类型对应的操作,实现了在拆分数据表时无需修改代码,可以根据数据的处理类型确定对应的数据表,既减少了代码修改次数,又提高了系统稳定性。
参照图2,示出了本申请一实施例提供的另一种数据处理的方法的步骤流程图,具体可以包括如下步骤:
步骤201,在检测到触发事件时,对所述第一数据表进行拆分,得到第二数据表;
作为一示例,触发事件可以为当前时间为指定时间,每个第二数据表的数据表标识可以包含第一时间字段。
在实际应用中,可以在服务端中预先设置触发事件,当服务端检测到触发事件时,可以对第一数据表进行拆分,得到多个第二数据表,并在得到第二数据表后,为每个第二数据表设置包含第一时间字段的数据表标识。
例如,在触发事件为当前时间为每年1月1日的零点三十分时,服务端可以对在上一年获取的第一数据表A按照月份进行拆分,拆分为12个第二数据表,每个数据表以月份序号作为第一时间字段,如“A_201801”,当按照年份对2010年至2019年存储的第一数据表进行拆分时,可以采用年份作为第一时间字段,例如“A_2018”。如图3所示,是本申请提供的一种定时分表示意图,在拆分时,服务端可以按照年份对第一数据表(图3中的表A)进行拆分,并获取包括“表A_2018”、“表A_2017”在内的多个第二数据表。
当然,本领域技术人员可以根据实际需要设置第一时间字段,在满足数据的分表逻辑与分表后查找数据的所在表的逻辑这一条件时即可。
在一示例中,在获取多个第二数据表后,最新写入的数据仍然可以存储在第一数据表中。
步骤202,在接收到数据处理请求时,确定所述数据处理请求对应的处理类型;
步骤203,判断所述处理类型是否为指定处理类型;
步骤204,若所述处理类型为指定处理类型时,采用所述数据处理请求,对所述第一数据表进行与所述处理类型对应的操作;
步骤205,若所述处理类型为非指定处理类型时,确定所述数据处理请求对应的第一数据标识;
在具体实现中,可以通过数据标识确定一具体的数据,在生成数据处理请求时,可以在该请求中添加第一数据标识。当处理类型不为指定处理类型时,服务端可以从数据处理请求中获取第一数据标识,确定需要被执行与处理类型对应操作的数据。
步骤206,在所述第一数据标识中确定目标时间信息,并采用所述目标时间信息,确定第二数据表标识;其中,每个数据标识包含一第二时间字段;
作为一示例,第一数据标识中可以包含一第二时间字段。
在获取第一数据标识后,服务端可以确定第一数据标识中的第二时间字段,然后可以通过第二时间字段获取目标时间信息,进而可以采用目标时间信息,确定包含该目标时间信息的第二数据表标识。
步骤207,确定所述第二数据表标识对应的数据表为第二数据表,对所述第二数据表进行与所述处理类型对应的操作。
在确定第二数据表标识后,服务端可以将第二数据表标识对应的数据表确定为第二数据表,并对第二数据表中的数据,进行与处理类型对应的操作。
例如,当处理类型为数据读取类型时,用户可以通过与服务端通信连接的客户端生成包含第一数据标识的数据处理请求,服务端在获取该数据处理请求后,可以对第一数据标识进行自动拆分,获取其中的目标时间信息。在一示例中,服务端还可以在拆分后对目标时间信息进行拼接,得到第二数据表标识,并直接在对应的第二数据表中查找。
在本申请实施例中,通过在当前时间为指定时间时,对第一数据表进行拆分,得到第二数据表,在接收到数据处理请求时,确定数据处理请求对应的处理类型,若处理类型不为指定处理类型时,可以确定数据处理请求对应的第一数据标识,然后,可以在第一数据标识中确定目标时间信息,并采用目标时间信息,确定第二数据表标识,将第二数据表标识对应的数据表确定为第二数据表,并对第二数据表进行与处理类型对应的操作,实现了按照时间定时对数据表进行自动划分,提高了分表效率,并且,在读取数据时可以通过获取数据标识中的时间信息在分表后的多个数据表中进行快速查找,无需遍历数据表中的所有数据,提高了数据查找效率。
为了使本领域技术人员能够更好地理解上述步骤,以下通过一个例子对本发明实施例加以示例性说明,但应当理解的是,本发明实施例并不限于此。
企业网络学院中招收有多名培训学员,并设置有多个培训班,为了更好地记录和统计学员信息,工作人员在服务端中存储有培训班学员信息表“class_student”(即第一数据表),“class_student”表中有培训班编号、学员编号、学员姓名、学员状态、是否结训等字段,由于每年都有开设培训班,为了区分培训班的年份,“class_student”表的培训班编号字段中包含年份这一时间信息,基于此,可以采用定时分表的方式对存储的数据表进行分表。
在进行数据库初始分表时,可以将2017年创建的培训班的学员信息存储在表“class_student_2017”中,2016年创建的培训班的学员信息存储在表“class_student_2016”中,并依据此模式,相应对2016年前创建的培训班的学员信息创建多个第二数据表。
然后,参照图4,示出了本申请提供的一种数据表分表流程图,在对第一数据表进行拆分时,可以在服务端中设置一指定时间,并在当前时间为指定时间时,自动对第一数据表进行分表,例如在每年第一天的零点三十分执行。在分表时,可以新增一标识为“新表标识为“class_student_(当前年-2)”的第二数据表,例如,在2020-01-01 00:30:00时,可以创建新的“class_student_2018”第二数据表。在创建“class_student_2018”表后,服务端可以遍历“class_student”中的所有数据,并根据培训班编号获得年份值year为2018年的学员数据,并移到“class_student_2018”中。
参照图5,示出了本申请提供的一种数据处理流程图,若有新增数据,可以写入表“class_student”中,若要对数据进行读取或修改,服务端可以通过培训班编号获得年份值year,若year大于或等于今年年份数值减1,即(今年2020年和前一年2019年),则可以在表“class_student”中进行操作,否则,可以在表“class_student_(year)”中操作,如“class_student_2017”。
参照图6,示出了本申请一实施例提供的另一种数据处理的方法的步骤流程图,具体可以包括如下步骤:
步骤601,在检测到触发事件时,对所述第一数据表进行拆分,得到第二数据表;
作为一示例,触发事件为所述第一数据表中数据量大于预设数据量
在实际应用中,可以在服务端中预先设置触发事件,当服务端检测到触发事件时,可以对第一数据表进行拆分,得到多个第二数据表。
在本申请一实施例中,所述方法还可以包括如下步骤:
在对所述第一数据表进行拆分时,确定拆分得到的第二数据表中存储数据对应的数据标识范围;存储所述第二数据表的数据表标识与所述数据标识范围的对应关系。
由于可以在数据量达到预设数量时自动将第一数据表拆分为第二数据表,而第一数据表中的数据可以按照降序或升序方式对数据标识自动进行排列,则在对第一数据表进行拆分时,通过拆分得到第二数据表后,服务端可以确定第二数据表中存储数据的数据标识范围,并在确定数据标识范围后,服务端可以在一预置的数据表中存储数据表标识与数据标识范围的对应关系。
步骤602,在接收到数据处理请求时,确定所述数据处理请求对应的处理类型;
步骤603,判断所述处理类型是否为指定处理类型;
步骤604,若所述处理类型为指定处理类型时,采用所述数据处理请求,对所述第一数据表进行与所述处理类型对应的操作;
步骤605,若所述处理类型为非指定处理类型时,确定所述数据处理请求对应的第二数据标识;
作为一示例,第二数据标识可以是一自然数,如序号。
在实际应用中,每一数据都可以通过一数据标识确定。为了确定要执行处理操作的数据,可以在生成数据处理请求时,在数据处理请求中添加第二数据标识,则在接收到数据处理请求后,服务端可以从数据处理请求中,确定数据处理请求的第二数据标识。
步骤606,在预置的第三数据表中,查找所述第二数据标识所属的目标数据标识范围,并确定所述目标数据标识范围对应的第二数据表标识;其中,所述第三数据表中存储多个数据标识范围与数据表标识的对应关系;
在具体实现用,可以在服务端中预先设置第三数据表,第三数据表中可以存储有多个数据表标识范围与数据表标识的对应关系。参照图7,是本申请提供的一种定量分表示意图。在对第一数据表(即图7中的“表A”)进行拆分,获取多个第二数据表后(即图7中“表A_01”、“表A_02”),可以在第三数据表(即图7中的“中间表”)中,记录“表A_01”的数据标识范围和数据表标识的对应关系,以第二数据表标识为“表A_01”的第二数据表为例,在第三数据表中,记录了“表A_01”的数据标识范围为“20170130”至“20180303”。
在获取第二数据标识后,可以在预置的第三数据表中,查找第二数据标识所属的目标数据标识范围,并确定与该目标数据标识范围对应的第二数据表标识。
步骤607,确定所述第二数据表标识对应的数据表为第二数据表,对所述第二数据表进行与所述处理类型对应的操作。
在确定第二数据表标识后,可以将第二数据表标识对应的数据表确定为第二数据表,并在第二数据表中执行与处理类型对应的操作。
在本申请实施例中,通过在第一数据表中数据量大于预设数据量时,对第一数据表进行拆分,得到第二数据表,在接收到数据处理请求时,确定数据处理请求对应的处理类型,若处理类型不为指定处理类型时,可以确定数据处理请求对应的第二数据标识,在预置的第三数据表中,查找第二数据标识所属的目标数据标识范围,并确定目标数据标识范围对应的第二数据表标识和第二数据表,然后,可以对第二数据表进行与处理类型对应的操作,实现了自动对数据表进行定量划分,在数据量大于预设阈值时自动分表,提高了分表效率,并且,在查找个数据时,可以利用数据标识在中间表中确定拆分后的新表标识后,在新表中进行查找,无需遍历数据表中的所有数据,提高了数据查找效率。
为了使本领域技术人员能够更好地理解上述步骤,以下通过一个例子对本发明实施例加以示例性说明,但应当理解的是,本发明实施例并不限于此。
企业网络学院中招收有多名培训学员,在培训过程中,可以通过考试对学员学习情况进行考核,为了清楚地记录学员成绩,可以在服务端中设置一学员考试答案信息表“student_examResult”,表“student_examResult”中包含有考试编号、学员编号、题目号、答案等字段,由于学员考试次数频繁且缺乏时间规律,导致“student_examResult”表中的数据具有增长速度较快且数据写入后不会再修改的特点,基于此,可以对表“student_examResult”采用定量分表的方式进行分表。
参照图8,示出了本申请提供的另一种数据表分表流程图,在对“student_examResult”表进行分表时,可以判断“student_examResult”表中的数据是否大于预设阈值,如数据数量是否大于300万条,当大于300万条时,可以将“student_examResult”表的标识更改为“student_examResult_(num)”作为第二数据表,如标识为“student_examResult_1”的第二数据表,并新建数据表“student_examResult”,同时,还可以取student_examResult_(num)中去重后的考试编号,将考试编号与student_examResult_(num)的对应关系存入表“student_examResult_Relationship”中。
参照图9,示出了本申请提供的另一种数据处理流程图,在获取到数据处理请求时,若数据处理类型为数据插入类型,可以在表“student_examResult”中插入新增数据,若数据处理类型为数据读取类型或数据修改类型,可以根据培训班及考试名称等信息获得考试编号,并在表“student_examResult_Relationship”中进行查询,确定对应的表“student_examResult_(num)”,并在该表中进行访问,若在表“student_examResult_Relationship”无法确定对应的“student_examResult_(num)”,可以访问表“student_examResult”。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图10,示出了本申请一实施例提供的一种数据处理的装置的结构示意图,具体可以包括如下模块:
处理类型确定模块1001,用于在接收到数据处理请求时,确定所述数据处理请求对应的处理类型;
判断模块1002,用于判断所述处理类型是否为指定处理类型;
第一操作模块1003,用于若所述处理类型为指定处理类型时,采用所述数据处理请求,对第一数据表进行与所述处理类型对应的操作;
第二操作模块1004,用于若所述处理类型为非指定处理类型时,确定所述数据处理请求对应的第二数据表,对所述第二数据表进行与所述处理类型对应的操作;其中,所述第二数据表为对所述第一数据表进行拆分得到的数据表。
在本申请一实施例中,所述指定处理类型包括数据插入类型。
在本申请一实施例中,所述装置还包括:
拆分模块,用于在检测到触发事件时,对所述第一数据表进行拆分,得到第二数据表。
在本申请一实施例中,所述触发事件包括以下任一项或多项:
当前时间为指定时间、所述第一数据表中数据量大于预设数据量。
在本申请一实施例中,所述触发事件为当前时间为指定时间,每个第二数据表的数据表标识包含一第一时间字段,第二操作模块1004包括:
第一数据标识确定子模块,用于确定所述数据处理请求对应的第一数据标识;
第二数据表标识确定子模块,用于在所述第一数据标识中确定目标时间信息,并采用所述目标时间信息,确定第二数据表标识;其中,每个数据标识包含一第二时间字段;
第一第二数据表确定子模块,用于确定所述第二数据表标识对应的数据表为第二数据表。
在本申请一实施例中,所述触发事件为所述第一数据表中数据量大于预设数据量,第二操作模块1004包括:
第二数据标识确定子模块,用于确定所述数据处理请求对应的第二数据标识;
查找子模块,用于在预置的第三数据表中,查找所述第二数据标识所属的目标数据标识范围,并确定所述目标数据标识范围对应的第二数据表标识;其中,所述第三数据表中存储多个数据标识范围与数据表标识的对应关系;
第二第二数据表确定子模块,用于确定所述第二数据表标识对应的数据表为第二数据表。
在本申请一实施例中,所述装置还包括:
数据标识范围确定模块,在对所述第一数据表进行拆分时,确定拆分得到的第二数据表中存储数据对应的数据标识范围;
存储模块,用于存储所述第二数据表的数据表标识与所述数据标识范围的对应关系。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请一实施例还提供了一种电子设备,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上数据处理的方法的步骤。
本申请一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上数据处理的方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种数据处理的方法及装置、电子设备、存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (6)

1.一种数据处理的方法,其特征在于,所述方法包括:
在接收到数据处理请求时,确定所述数据处理请求对应的处理类型;
判断所述处理类型是否为指定处理类型;
若所述处理类型为指定处理类型时,采用所述数据处理请求,对第一数据表进行与所述处理类型对应的操作;
若所述处理类型为非指定处理类型时,确定所述数据处理请求对应的第二数据表,对所述第二数据表进行与所述处理类型对应的操作;其中,所述第二数据表为对所述第一数据表进行拆分得到的数据表;
其中,所述方法还包括:
在检测到触发事件时,对所述第一数据表进行拆分,得到第二数据表;
其中,所述触发事件为所述第一数据表中数据量大于预设数据量,所述确定所述数据处理请求对应的第二数据表的步骤包括:
确定所述数据处理请求对应的第二数据标识;
在预置的第三数据表中,查找所述第二数据标识所属的目标数据标识范围,并确定所述目标数据标识范围对应的第二数据表标识;其中,所述第三数据表中存储多个数据标识范围与数据表标识的对应关系;
确定所述第二数据表标识对应的数据表为第二数据表。
2.根据权利要求1所述的方法,其特征在于,所述指定处理类型包括数据插入类型。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在对所述第一数据表进行拆分时,确定拆分得到的第二数据表中存储数据对应的数据标识范围;
存储所述第二数据表的数据表标识与所述数据标识范围的对应关系。
4.一种数据处理的装置,其特征在于,所述装置包括:
处理类型确定模块,用于在接收到数据处理请求时,确定所述数据处理请求对应的处理类型;
判断模块,用于判断所述处理类型是否为指定处理类型;
第一操作模块,用于若所述处理类型为指定处理类型时,采用所述数据处理请求,对第一数据表进行与所述处理类型对应的操作;
第二操作模块,用于若所述处理类型为非指定处理类型时,确定所述数据处理请求对应的第二数据表,对所述第二数据表进行与所述处理类型对应的操作;其中,所述第二数据表为对所述第一数据表进行拆分得到的数据表;
其中,所述装置还包括:
拆分模块,用于在检测到触发事件时,对所述第一数据表进行拆分,得到第二数据表;
其中,所述触发事件为所述第一数据表中数据量大于预设数据量,所述第二操作模块包括:
第二数据标识确定子模块,用于确定所述数据处理请求对应的第二数据标识;
查找子模块,用于在预置的第三数据表中,查找所述第二数据标识所属的目标数据标识范围,并确定所述目标数据标识范围对应的第二数据表标识;其中,所述第三数据表中存储多个数据标识范围与数据表标识的对应关系;
第二第二数据表确定子模块,用于确定所述第二数据表标识对应的数据表为第二数据表。
5.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的数据处理的方法的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的数据处理的方法的步骤。
CN201911168073.0A 2019-11-25 2019-11-25 一种数据处理的方法及装置、电子设备、存储介质 Active CN111190898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911168073.0A CN111190898B (zh) 2019-11-25 2019-11-25 一种数据处理的方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168073.0A CN111190898B (zh) 2019-11-25 2019-11-25 一种数据处理的方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111190898A CN111190898A (zh) 2020-05-22
CN111190898B true CN111190898B (zh) 2023-07-14

Family

ID=70707192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168073.0A Active CN111190898B (zh) 2019-11-25 2019-11-25 一种数据处理的方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111190898B (zh)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547786A (zh) * 2015-09-22 2017-03-29 阿里巴巴集团控股有限公司 一种数据存储方法及装置
CN106708891A (zh) * 2015-11-17 2017-05-24 中兴通讯股份有限公司 一种网管数据同步方法及装置
CN107193827B (zh) * 2016-03-14 2020-07-17 阿里巴巴集团控股有限公司 分库分表的幂等控制方法和装置
CN105930387A (zh) * 2016-04-14 2016-09-07 北京思特奇信息技术股份有限公司 一种基于数据路由、分库分表的数据操作系统及方法
CN106897345B (zh) * 2016-07-22 2021-01-05 创新先进技术有限公司 一种数据存储的方法及装置
CN106294740A (zh) * 2016-08-10 2017-01-04 北京创锐文化传媒有限公司 数据处理方法、装置及服务器
CN107741937B (zh) * 2016-09-13 2020-04-28 腾讯科技(深圳)有限公司 一种数据查询方法及装置
CN108255852B (zh) * 2016-12-29 2020-09-11 中国移动通信集团浙江有限公司 Sql执行方法及装置
CN107515908A (zh) * 2017-08-11 2017-12-26 新智数通(北京)技术服务有限公司 一种数据处理方法及装置
CN110019444B (zh) * 2017-09-08 2023-07-25 阿里云计算有限公司 一种操作请求处理方法、装置、设备及系统
CN110069487A (zh) * 2017-09-28 2019-07-30 北京国双科技有限公司 一种数据处理方法、装置及系统
CN107870981B (zh) * 2017-09-30 2021-10-22 平安科技(深圳)有限公司 电子装置、数据表归档处理的方法及存储介质
CN108108434A (zh) * 2017-12-19 2018-06-01 福建中金在线信息科技有限公司 一种管理数据库的方法及装置
CN108228828A (zh) * 2018-01-02 2018-06-29 北京思空科技有限公司 数据表处理方法及装置
CN110264329B (zh) * 2019-06-25 2022-03-04 中国工商银行股份有限公司 高频热点数据处理系统及方法
CN110473110B (zh) * 2019-07-05 2023-11-28 中国平安人寿保险股份有限公司 一种数据处理方法、装置、可读存储介质及终端设备

Also Published As

Publication number Publication date
CN111190898A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN106897342B (zh) 一种数据校验方法和设备
CN109358898B (zh) 一种信息处理方法、装置、电子设备和存储介质
CN111444718A (zh) 一种保险产品需求文档处理方法、装置及电子设备
CN110688574A (zh) 一种学习内容推荐的方法、系统、设备及可读存储介质
CN112905451B (zh) 应用程序的自动化测试方法及装置
CN111190898B (zh) 一种数据处理的方法及装置、电子设备、存储介质
CN111737349B (zh) 数据一致性校验方法及装置
WO2015124086A1 (en) Virus signature matching method and apparatus
CN108828427B (zh) 信号完整性测试的判据查找方法、装置、设备及存储介质
CN111143483A (zh) 确定数据表关系的方法、设备和计算机可读存储介质
CN116167457A (zh) 一种数据标注方法、装置、计算机设备和存储介质
CN116418705A (zh) 基于机器学习的网络资产识别方法、系统、终端及介质
CN104268277A (zh) 用于数据库的数据读取方法及装置
CN112016607B (zh) 一种基于深度学习的错因分析方法
CN114065288A (zh) 数据变更sql语句的审核方法及装置
CN110517010A (zh) 一种数据处理方法、系统及存储介质
CN113468155B (zh) 问题数据处理方法和装置
CN111694887B (zh) 一种数据适应性存储调度系统及方法
CN109446022B (zh) 一种数据库溢出页异常的检测方法、装置及存储介质
CN112835991B (zh) 监控数据的系统、方法、设备及存储介质
CN113177023B (zh) 一种日志检索方法、装置及电子设备
CN112764740B (zh) 一种基于Shell的应用在系统间文件交互中的处理方法
KR102665966B1 (ko) 도서목록정보(marc data) 구축을 위한 인공지능을 이용한 분류번호(kdc, ddc) 생성 방법 및 시스템
CN108628750B (zh) 一种测试代码处理方法及装置
CN117520370A (zh) 一种数据表血缘分析方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant