CN109145052B - 数据分区存储方法、设备、系统、存储介质及电子设备 - Google Patents
数据分区存储方法、设备、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN109145052B CN109145052B CN201810762116.7A CN201810762116A CN109145052B CN 109145052 B CN109145052 B CN 109145052B CN 201810762116 A CN201810762116 A CN 201810762116A CN 109145052 B CN109145052 B CN 109145052B
- Authority
- CN
- China
- Prior art keywords
- data
- workflow
- area
- time node
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种数据分区存储方法、设备、系统、存储介质及电子设备。本发明提供的数据分区存储方法,包括:迁移活动区中的第一工作流数据至历史区,第一工作流数据为活动区中已经结束的工作流任务对应的数据;在历史区中根据预设的数据分类规则对第一工作流数据进行分类,并根据第一工作流数据的数据类型为第一工作流数据分配存储地址,存储地址对应归档区中的唯一存储位置;将第一工作流数据存储至归档区中存储地址对应的位置。本发明提供的数据分区存储方法,通过多分区的设置,保证了活动区数据处于低水平,同时还保证了历史区数据量也处于低量水平,大大提高了工作流引擎对控制数据的处理性能,也使得按规则归档的控制数据更容易被维护。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据分区存储方法、设备、系统、存储介质及电子设备。
背景技术
工作流系统是支撑应用软件开发的一个基础组件产品,它的发展与应用平台的发展需求息息相关,需要不断适应新的要求。随着硬件平台的性能不断提升,集群、虚拟化部署、云计算平台的发展,部署统一工作流引擎服务平台,统一维护与管理,分配给不同的独立应用或独立机构调用,进行严格的分级管理权限,成为此类通用基础组件平台统一规划部署的一个方向,可以大幅降低用户的部署维护成本。
工作流引擎在执行的过程中,会产生大量的控制数据,如果将这些数据都存储在一张表中,随着数据量的不断增加,由于数据量过于庞大,势必会导致工作流引擎对控制数据的处理能力的降低。在现有技术中,为了避免控制数据存储在一张表中而导致单表数据量过大,通常将控制数据分离存储在两张表中,即采用活动表和历史表相结合的数据存储结构,其中,活动表中任务结束的数据就会被转移至历史表中进行存储。
但是,随着活动表中不断产生的数据迁移至历史表,历史表中的数据也就会随之不断增加,同样会造成工作流引擎对历史表中的结束类控制数据的计数、查询等处理能力的降低。
发明内容
本发明提供一种数据分区存储方法、设备、系统、存储介质及电子设备,以提高工作流引擎对控制数据的处理性能。
第一方面,本发明提供一种数据分区存储方法,应用于工作流系统,所述工作流系统包括:工作流引擎和数据存储区,所述数据存储区包括活动区、历史区以及归档区,所述历史区分别与所述活动区以及所述归档区之间数据交互;所述方法包括:
迁移所述活动区中的第一工作流数据至所述历史区,其中,所述第一工作流数据为所述活动区中已经结束的工作流任务对应的数据;
在所述历史区中根据预设的数据分类规则对所述第一工作流数据进行分类,并根据所述第一工作流数据的数据类型为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置;
将所述第一工作流数据存储至所述归档区中所述存储地址对应的位置。
在一种可能的设计中,所述在所述历史区中根据预设的数据分类规则对所述第一工作流数据进行分类,并为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置,包括:
在所述历史区中判断所述第一工作流数据对应的时间节点是否早于预设的第一时间节点;
若判断结果为是,则所述第一工作流数据为第一类数据,所述第一类数据对应第一存储地址,所述第一存储地址对应所述归档区中的第一存储位置,所述第一存储位置在所述系统处于脱机状态时,不可被访问。
在一种可能的设计中,在所述第一工作流数据为第一类数据,所述第一类数据对应第一存储地址,所述第一存储地址对应所述归档区中的第一存储位置之后,还包括:
移除所述第一存储位置在缓存中对应的第一键值对数据,以使所述缓存释放空间。
在一种可能的设计中,若所述第一工作流数据对应的时间节点不早于预设的第一时间节点;
在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第二时间节点,其中,所述第一时间节点早于所述第二时间节点;
若判断结果为是,则所述第一工作流数据为第二类数据,所述第二类数据对应第二存储地址,所述第二存储地址对应所述归档区中的第二存储位置,所述第二存储位置在所述系统处于后台可查状态时,可被所述工作流系统对应的管理员维护。
在一种可能的设计中,若所述第一工作流数据对应的所述时间节点不早于预设的第二时间节点;
在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第三时间节点,其中,所述第二时间节点早于所述第三时间节点;
若判断结果为是,则所述第一工作流数据为第三类数据,所述第三类数据对应第三存储地址,所述第三存储地址对应所述归档区中的第三存储位置,所述第三存储位置在所述系统处于前端可查状态时,可被所述工作流系统对应的管理员维护和/或被用户调用查看。
在一种可能的设计中,所述在所述历史区中根据预设的数据分类规则对所述第一工作流数据进行分类,并为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置,包括:
在所述历史区中根据所述第一工作流数据对应的数据类型从预设的数据类型表筛选出所述第一工作流数据对应的第四类数据,所述第四类数据对应第四存储地址,所述第四存储地址对应所述归档区中的第四存储位置。
第二方面,本发明还提供一种数据分区存储设备,应用于工作流系统,所述工作流系统包括:工作流引擎和数据存储区,所述数据存储区包括活动区、历史区以及归档区,所述历史区分别与所述活动区以及所述归档区之间数据交互;所述设备包括:
迁移模块,用于迁移所述活动区中的第一工作流数据至所述历史区,其中,所述第一工作流数据为所述活动区中已经结束的工作流任务对应的数据;
分类模块,用于在所述历史区中根据预设的数据分类规则对所述第一工作流数据进行分类,并根据所述第一工作流数据的数据类型为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置;
存储模块,用于将所述第一工作流数据存储至所述归档区中所述存储地址对应的位置。
在一种可能的设计中,所述分类模块,具体包括:
判断模块,用于在所述历史区中判断所述第一工作流数据对应的时间节点是否早于预设的第一时间节点;
对应模块,用于当所述第一工作流数据对应的时间节点早于预设的第一时间节点时,将所述第一工作流数据对应为第一类数据,所述第一类数据对应第一存储地址,所述第一存储地址对应所述归档区中的第一存储位置,所述第一存储位置在所述系统处于脱机状态时,不可被访问。
在一种可能的设计中,所述迁移模块,还用于移除所述第一存储位置在缓存中对应的第一键值对数据,以使所述缓存释放空间。
在一种可能的设计中,若所述第一工作流数据对应的时间节点不早于预设的第一时间节点;
所述判断模块,还用于在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第二时间节点,其中,所述第一时间节点早于所述第二时间节点;
所述对应模块,还用于当所述第一工作流数据对应的时间节点早于预设的第二时间节点时,将所述第一工作流数据对应为第二类数据,所述第二类数据对应第二存储地址,所述第二存储地址对应所述归档区中的第二存储位置,所述第二存储位置在所述系统处于后台可查状态时,可被所述工作流系统对应的管理员维护。
在一种可能的设计中,当所述第一工作流数据对应的所述时间节点不早于预设的第二时间节点时;
所述判断模块,还用于在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第三时间节点,其中,所述第二时间节点早于所述第三时间节点;
所述对应模块,还用于在所述第一工作流数据对应的所述时间节点早于预设的第三时间节点时,将所述第一工作流数据对应为第三类数据,所述第三类数据对应第三存储地址,所述第三存储地址对应所述归档区中的第三存储位置,所述第三存储位置在所述系统处于前端可查状态时,可被所述工作流系统对应的管理员维护和/或被用户调用查看。
在一种可能的设计中,所述数据分区存储设备,还包括:
筛选模块,用于在所述历史区中根据所述第一工作流数据对应的数据类型从预设的数据类型表筛选出所述第一工作流数据对应的第四类数据,所述第四类数据对应第四存储地址,所述第四存储地址对应所述归档区中的第四存储位置。
第三方面,本发明还提供一种工作流系统,包括:工作流引擎和数据存储区,所述数据存储区包括活动区、历史区以及归档区,所述历史区分别与所述活动区以及所述归档区之间数据交互;
所述工作流引擎,用于在所述活动区中产生所述第一工作流数据,所述第一工作流数据为所述活动区中已经结束的工作流任务对应的数据;
所述活动区,用于存储所述工作流引擎产生的所述第一工作流数据,并将所述第一工作流数据迁移至所述历史区;
所述历史区,用于根据预设的数据分类规则对所述第一工作流数据进行分类,并为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置。
第四方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中所提供的任意一种所述的数据分区存储方法。
第五方面,本发明还提供一种电子设备,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中所提供的任意一种所述的数据分区存储方法。
本发明提供的一种数据分区存储方法、设备、系统、存储介质及电子设备,通过将活动区中的控制数据迁移至历史区中,并利用预设的数据分类规则在历史区中对第一工作流数据进行分类,然后根据第一工作流数据的数据类型为第一工作流数据分配存储地址,最后根据所分配的存储地址将第一工作流数据迁移至归档区中相应的位置进行存储,通过多分区的设置,保证了活动区数据处于低水平,此外,历史区中的数据也会根据预设规则迁移至归档区中进行对应归档,同时也保证了历史区数据量也处于低量水平,从而大大提高了工作流引擎对控制数据的处理性能,并且也使得按规则归档的控制数据更容易被维护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的数据分区存储方法的流程示意图;
图2是根据另一示例性实施例示出的数据分区存储方法的流程示意图;
图3是根据一示例性实施例示出的数据分区存储设备的结构示意图;
图4是根据另一示例性实施例示出的数据分区存储设备的结构示意图;
图5是根据又一示例性实施例示出的数据分区存储设备的结构示意图;
图6是根据一示例性实施例示出的工作流系统结构示意图;
图7为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是根据一示例性实施例示出的数据分区存储方法的流程示意图。如图1所示,本实施例提供的数据分区存储方法,应用于工作流系统,工作流系统包括:工作流引擎和数据存储区,数据存储区包括活动区、历史区以及归档区,历史区分别与活动区以及归档区之间数据交互,其中,本实施例提供的方法包括:
步骤101、迁移活动区中的第一工作流数据至历史区。
值得理解地,工作流引擎是指工作流作为应用系统的一部分,并为之提供对各应用系统有决定作用的根据角色、分工和条件的不同决定信息传递路由、内容等级等核心解决方案。工作流引擎包括了,流程的节点管理、流向管理、流程样例管理等重要功能。工作流引擎在执行过程中,会在活动区内产生大量的控制数据,例如,位置数据、支付数据、订单数据等。
由于如果活动区内存储的控制数据过大的话,则势必会引起工作流引擎对控制数据的处理性能降低,因此,可以将在活动区中已经结束的工作流任务对应的数据,即为第一工作流数据,迁移活动区中的第一工作流数据至历史区。
步骤102、第一工作流数据为第一类数据。
在将第一工作流数据迁移至历史区之后,在历史区中根据预设的数据分类规则对第一工作流数据进行分类,并根据第一工作流数据的数据类型为第一工作流数据分配存储地址,其中,该存储地址对应归档区中的唯一存储位置。值得说明地,在本实施例中上述的预设的数据分类规则可以时间节点先后顺序,也可以是数据类型的区分,在本实施例中并不对上述的预设的数据分类规则进行具体的限定,只需保证通过该预设的数据分类规则可以有效的对第一工作流数据进行合理的分类即可。此外,针对利用上述预设的数据分类规则确定数据类型,对于不同的数据类型可以设置不同的访问权限、访问优先级顺序以及访问时分配资源的优先级顺序等。
步骤103、将第一工作流数据存储至归档区中存储地址对应的位置。
具体地,在历史区中利用预设的数据分类规则对上述的第一工作流数据进行分类,并根据第一工作流数据的数据类型为第一工作流数据分配存储地址,例如第一工作流数据的类型为过期数据,则就可以为该第一工作流数据分配归档区中用于存放过期数据的存储位置对应的地址,然后将第一工作流数据存储至归档区中存储地址对应的位置。
在本实施例中,通过将活动区中的控制数据迁移至历史区中,并利用预设的数据分类规则在历史区中对第一工作流数据进行分类,然后根据第一工作流数据的数据类型为第一工作流数据分配存储地址,最后根据所分配的存储地址将第一工作流数据迁移至归档区中相应的位置进行存储,通过多分区的设置,保证了活动区数据处于低水平,此外,历史区中的数据也会根据预设规则迁移至归档区中进行对应归档,同时也保证了历史区数据量也处于低量水平,从而大大提高了工作流引擎对控制数据的处理性能,并且也使得按规则归档的控制数据更容易被维护。
图2是根据另一示例性实施例示出的数据分区存储方法的流程示意图。如图2所示,本实施例提供的数据分区存储方法,应用于工作流系统,工作流系统包括:工作流引擎和数据存储区,数据存储区包括活动区、历史区以及归档区,历史区分别与活动区以及归档区之间数据交互,其中,本实施例提供的方法包括:
步骤201、迁移活动区中的第一工作流数据至历史区。
值得说明地,步骤201的具体实现方式参照图1所示实施例中步骤101的描述,这里不再赘述。
步骤202、在历史区中判断第一工作流数据对应的时间节点是否早于预设的第一时间节点。若判断结果为是,则执行步骤203,若判断结果为否,则执行步骤204。
具体地,在历史区中判断第一工作流数据对应的时间节点是否早于预设的第一时间节点,值得理解地,上述预设的第一时间节点可以是以当前时间为基点,向前追溯24个月对应的时间节点,也可以是向前追溯15个月对应的时间节点,在本实施例中并不对预设的第一时间节点与当前时间之间的间隔进行具体的限定。例如,当前时间为2018.1.1,则可以向前追溯24个月,将2016.1.1作为预设的第一时间节点。而第一工作流数据对应的时间节点若为2016.2.1日,则认为该第一工作流数据对应的时间节点晚于预设的第一时间节点,而如果该第一工作流数据对应的时间节点若为2015.12.1日,则认为该第一工作流数据对应的时间节点早于预设的第一时间节点。
步骤203、第一工作流数据为第一类数据。
若第一工作流数据对应的时间节点早于预设的第一时间节点,则可以将第一工作流数据分类为第一类数据,而第一类数据对应第一存储地址,并且第一存储地址对应归档区中的第一存储位置,其中,归档区中的第一存储位置在系统处于脱机状态时,不可被访问。例如,如果当前时间为2018.1.1,而对于两年前的数据,即早于2016.2.1日的相关控制数据被再次利用的概率已经极低了,就可将这部分的数据分类为过期数据,上述的第一类数据即可以指的是过期数据。值得理解地,第一存储地址对应归档区中的第一存储位置可以是当前数据库,也可以是另外的一个数据库,在本实施例中并不对其进行具体限定。
在第一工作流数据为第一类数据,第一类数据对应第一存储地址,第一存储地址对应归档区中的第一存储位置之后,移除第一存储位置在缓存中对应的第一键值对数据,以使所述缓存释放空间。
具体地,在第一类数据仍处于非脱机数据状态时,是以第一键值对数据的方式加载至缓存中,在定位第一类数据所在的存储位置时,可以先根据分区信息表判断第一类数据目前所在的存储位置访问级别,如果是非脱机级别,直接先查缓存,从而提高检索效率。而在将第一类数据设置为脱机级别时,第一存储位置在缓存中的键值对数据就可以移除了,从而可以大大减少缓存的数据量。步骤204、在历史区中判断第一工作流数据对应的时间节点是否早于预设的第二时间节点。若判断结果为是,则执行步骤205,若判断结果为否,则执行步骤206。
但是,若第一工作流数据对应的时间节点不早于预设的第一时间节点,例如预设的第一时间节点为2017.1.1,而第一工作流数据对应的时间节点为2016.12.1,则该第一工作流数据对应的时间节点不早于预设的第一时间节点。在历史区中可以进一步判断第一工作流数据对应的时间节点是否早于预设的第二时间节点,其中,第一时间节点早于第二时间节点。值得理解地,上述预设的第二时间节点可以是以当前时间为基点,向前追溯15个月对应的时间节点,也可以是向前追溯12个月对应的时间节点,在本实施例中并不对预设的第二时间节点与当前时间之间的间隔进行具体的限定。例如,当前时间为2018.1.1,则可以向前追溯15个月,将2016.6.1作为预设的第一时间节点。而第一工作流数据对应的时间节点若为2016.12.1日,则认为该第一工作流数据对应的时间节点晚于预设的第二时间节点,而如果该第一工作流数据对应的时间节点若为2016.1.1日,则认为该第一工作流数据对应的时间节点早于预设的第二时间节点。
步骤205、第一工作流数据为第二类数据。
若第一工作流数据对应的时间节点早于预设的第二时间节点,则可以将第一工作流数据分类为第二类数据,而第二类数据对应第二存储地址,并且第二存储地址对应归档区中的第二存储位置,其中,归档区中的第二存储位置在在系统处于后台可查状态时,可被工作流系统相应的管理员维护。
步骤206、在历史区中判断第一工作流数据对应的时间节点是否早于预设的第三时间节点。若判断结果为是,则执行步骤207。
但是,若第一工作流数据对应的时间节点不早于预设的第二时间节点,例如预设的第二时间节点为2016.7.1,而第一工作流数据对应的时间节点为2017.12.1,则该第一工作流数据对应的时间节点不早于预设的第二时间节点。在历史区中可以进一步判断第一工作流数据对应的时间节点是否早于预设的第三时间节点,其中,第二时间节点早于第三时间节点。值得理解地,上述预设的第三时间节点可以是以当前时间为基点,向前追溯12个月对应的时间节点,也可以是向前追溯6个月对应的时间节点,还可以是向前追溯2个月对应的时间节点,在本实施例中并不对预设的第三时间节点与当前时间之间的间隔进行具体的限定。例如,当前时间为2018.1.1,则可以向前追溯3个月,将2017.9.1作为预设的第一时间节点。而第一工作流数据对应的时间节点若为2017.12.1日,则认为该第一工作流数据对应的时间节点晚于预设的第三时间节点,而如果该第一工作流数据对应的时间节点若为2017.8.1日,则认为该第一工作流数据对应的时间节点早于预设的第三时间节点。
步骤207、第一工作流数据为第三类数据。
若第一工作流数据对应的时间节点早于预设的第三时间节点,则可以将第一工作流数据分类为第三类数据,而第三类数据对应第三存储地址,并且第三存储地址对应归档区中的第三存储位置,其中,归档区中的第三存储位置在在系统处于前端可查状态时,可被工作流系统对应的管理员维护、或者被相应的用户调用查看。
在另一种可能的设计中,还可以在历史区中根据第一工作流数据对应的数据类型从预设的数据类型表筛选出第一工作流数据对应的第四类数据,第四类数据对应第四存储地址,第四存储地址对应归档区中的第四存储位置。例如,上述预设的数据类型表的筛选条件可以是数据类型,其中,该数据类型可以是位置定位数据或者是订单支付数据等类型,具体地,可以根据实际应用场景中所产生的数据类型来确定,在本实施例中并不进行具体的限制。
图3是根据一示例性实施例示出的数据分区存储设备的结构示意图。如图3所示,本实施例提供的一种数据分区存储设备,应用于工作流系统,所述工作流系统包括:工作流引擎和数据存储区,所述数据存储区包括活动区、历史区以及归档区,所述历史区分别与所述活动区以及所述归档区之间数据交互;所述设备包括:
迁移模块301,用于迁移所述活动区中的第一工作流数据至所述历史区,其中,所述第一工作流数据为所述活动区中已经结束的工作流任务对应的数据;
分类模块302,用于在所述历史区中根据预设的数据分类规则对所述第一工作流数据进行分类,并根据所述第一工作流数据的数据类型为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置;
存储模块303,用于将所述第一工作流数据存储至所述归档区中所述存储地址对应的位置。
在图3所示实施例的基础上,图4是根据另一示例性实施例示出的数据分区存储设备的结构示意图。如图4所示,本实施例提供的一种数据分区存储设备中的所述分类模块302,具体包括:
判断模块3021,用于在所述历史区中判断所述第一工作流数据对应的时间节点是否早于预设的第一时间节点;
对应模块3022,用于当所述第一工作流数据对应的时间节点早于预设的第一时间节点时,将所述第一工作流数据对应为第一类数据,所述第一类数据对应第一存储地址,所述第一存储地址对应所述归档区中的第一存储位置,所述第一存储位置在所述系统处于脱机状态时,不可被访问。
在一种可能的设计中,所述迁移模块301,还用于移除所述第一存储位置在缓存中对应的第一键值对数据,以使所述缓存释放空间。
在一种可能的设计中,若所述第一工作流数据对应的时间节点不早于预设的第一时间节点;
所述判断模块3021,还用于在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第二时间节点,其中,所述第一时间节点早于所述第二时间节点;
所述对应模块3022,还用于当所述第一工作流数据对应的时间节点早于预设的第二时间节点时,将所述第一工作流数据对应为第二类数据,所述第二类数据对应第二存储地址,所述第二存储地址对应所述归档区中的第二存储位置,所述第二存储位置在所述系统处于后台可查状态时,可被所述工作流系统对应的管理员维护。
在一种可能的设计中,当所述第一工作流数据对应的所述时间节点不早于预设的第二时间节点时;
所述判断模块3021,还用于在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第三时间节点,其中,所述第二时间节点早于所述第三时间节点;
所述对应模块3022,还用于在所述第一工作流数据对应的所述时间节点早于预设的第三时间节点时,将所述第一工作流数据对应为第三类数据,所述第三类数据对应第三存储地址,所述第三存储地址对应所述归档区中的第三存储位置,所述第三存储位置在所述系统处于前端可查状态时,可被所述工作流系统对应的管理员维护和/或被用户调用查看。
在图3所示实施例的基础上,图5是根据又一示例性实施例示出的数据分区存储设备的结构示意图。所述数据分区存储设备,还包括:
筛选模块304,用于在所述历史区中根据所述第一工作流数据对应的数据类型从预设的数据类型表筛选出所述第一工作流数据对应的第四类数据,所述第四类数据对应第四存储地址,所述第四存储地址对应所述归档区中的第四存储位置。
图3-图5所示的实施例提供的数据分区存储设备,可用于执行上述图1-图2提供的方法,具体实现方式和技术效果类似,这里不再赘述。
图6是根据一示例性实施例示出的工作流系统结构示意图。如图6所示,本实施例提供的工作流系统,包括:工作流引擎401和数据存储区402,所述数据存储区包括活动区4021、历史区4022以及归档区4023,所述历史区4022分别与所述活动区4021以及所述归档区4023之间数据交互;
所述工作流引擎401,用于在所述活动区4021中产生所述第一工作流数据,所述第一工作流数据为所述活动区4021中已经结束的工作流任务对应的数据;
所述活动区4021,用于存储所述工作流引擎产生的所述第一工作流数据,并将所述第一工作流数据迁移至所述历史区4022;
所述历史区4022,用于根据预设的数据分类规则对所述第一工作流数据进行分类,并为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区4023中的唯一存储位置。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一项方法实施例所述的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本发明一实施例提供的电子设备的结构示意图。如图7所示,本实施例提供的电子设备,包括:
处理器501;以及
存储器502,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行前述任一项方法实施例所述的技术方案,其实现原理和技术效果类似,此处不再赘述。
并且,上述设备中的各模块的功能可以通过处理器501实现。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种数据分区存储方法,其特征在于,应用于工作流系统,所述工作流系统包括:工作流引擎和数据存储区,所述数据存储区包括活动区、历史区以及归档区,所述历史区分别与所述活动区以及所述归档区之间数据交互;所述方法包括:
迁移所述活动区中的第一工作流数据至所述历史区,其中,所述第一工作流数据为所述活动区中已经结束的工作流任务对应的数据;
在所述历史区中根据预设的数据分类规则对所述第一工作流数据进行分类,并根据所述第一工作流数据的数据类型为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置;
将所述第一工作流数据存储至所述归档区中所述存储地址对应的位置;
所述在所述历史区中根据预设的数据分类规则对所述第一工作流数据进行分类,并根据所述第一工作流数据的数据类型为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置,包括:
在所述历史区中判断所述第一工作流数据对应的时间节点是否早于预设的第一时间节点;若判断结果为是,则所述第一工作流数据为第一类数据,所述第一类数据对应第一存储地址,所述第一存储地址对应所述归档区中的第一存储位置,所述第一存储位置在所述工作流系统处于脱机状态时,不可被访问;
若所述第一工作流数据对应的时间节点不早于预设的第一时间节点;
在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第二时间节点,其中,所述第一时间节点早于所述第二时间节点;
若判断结果为是,则所述第一工作流数据为第二类数据,所述第二类数据对应第二存储地址,所述第二存储地址对应所述归档区中的第二存储位置,所述第二存储位置在所述工作流系统处于后台可查状态时,可被所述工作流系统对应的管理员维护;
若所述第一工作流数据对应的所述时间节点不早于预设的第二时间节点;
在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第三时间节点,其中,所述第二时间节点早于所述第三时间节点;
若判断结果为是,则所述第一工作流数据为第三类数据,所述第三类数据对应第三存储地址,所述第三存储地址对应所述归档区中的第三存储位置,所述第三存储位置在所述工作流系统处于前端可查状态时,可被所述工作流系统对应的管理员维护和/或被用户调用查看。
2.根据权利要求1所述的方法,其特征在于,在所述第一工作流数据为第一类数据,所述第一类数据对应第一存储地址,所述第一存储地址对应所述归档区中的第一存储位置之后,还包括:
移除所述第一存储位置在缓存中对应的第一键值对数据,以使所述缓存释放空间。
3.根据权利要求1所述的方法,其特征在于,所述在所述历史区中根据预设的数据分类规则对所述第一工作流数据进行分类,并根据所述第一工作流数据的数据类型为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置,包括:
在所述历史区中根据所述第一工作流数据对应的数据类型从预设的数据类型表筛选出所述第一工作流数据对应的第四类数据,所述第四类数据对应第四存储地址,所述第四存储地址对应所述归档区中的第四存储位置。
4.一种数据分区存储设备,其特征在于,应用于工作流系统,所述工作流系统包括:工作流引擎和数据存储区,所述数据存储区包括活动区、历史区以及归档区,所述历史区分别与所述活动区以及所述归档区之间数据交互;所述设备包括:
迁移模块,用于迁移所述活动区中的第一工作流数据至所述历史区,其中,所述第一工作流数据为所述活动区中已经结束的工作流任务对应的数据;
分类模块,用于在所述历史区中根据预设的数据分类规则对所述第一工作流数据进行分类,并为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置;
存储模块,用于将所述第一工作流数据存储至所述归档区中所述存储地址对应的位置;
所述分类模块具体用于:
在所述历史区中判断所述第一工作流数据对应的时间节点是否早于预设的第一时间节点;若判断结果为是,则所述第一工作流数据为第一类数据,所述第一类数据对应第一存储地址,所述第一存储地址对应所述归档区中的第一存储位置,所述第一存储位置在所述工作流系统处于脱机状态时,不可被访问;
若所述第一工作流数据对应的时间节点不早于预设的第一时间节点;
在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第二时间节点,其中,所述第一时间节点早于所述第二时间节点;
若判断结果为是,则所述第一工作流数据为第二类数据,所述第二类数据对应第二存储地址,所述第二存储地址对应所述归档区中的第二存储位置,所述第二存储位置在所述工作流系统处于后台可查状态时,可被所述工作流系统对应的管理员维护;
若所述第一工作流数据对应的所述时间节点不早于预设的第二时间节点;
在所述历史区中判断所述第一工作流数据对应的所述时间节点是否早于预设的第三时间节点,其中,所述第二时间节点早于所述第三时间节点;
若判断结果为是,则所述第一工作流数据为第三类数据,所述第三类数据对应第三存储地址,所述第三存储地址对应所述归档区中的第三存储位置,所述第三存储位置在所述工作流系统处于前端可查状态时,可被所述工作流系统对应的管理员维护和/或被用户调用查看。
5.一种工作流系统,其特征在于,包括:工作流引擎和数据存储区,所述数据存储区包括活动区、历史区以及归档区,所述历史区分别与所述活动区以及所述归档区之间数据交互;
所述工作流引擎,用于在所述活动区中产生第一工作流数据,所述第一工作流数据为所述活动区中已经结束的工作流任务对应的数据;
所述活动区,用于存储所述工作流引擎产生的所述第一工作流数据,并将所述第一工作流数据迁移至所述历史区;
所述历史区,用于根据预设的数据分类规则对所述第一工作流数据进行分类,并为所述第一工作流数据分配存储地址,所述存储地址对应所述归档区中的唯一存储位置;
所述归档区,用于将所述第一工作流数据存储至所述存储地址对应的位置;
所述历史区具体用于:
在所述历史区中判断所述第一工作流数据对应的时间节点是否早于预设的第一时间节点;若判断结果为是,则所述第一工作流数据为第一类数据,所述第一类数据对应第一存储地址,所述第一存储地址对应所述归档区中的第一存储位置,所述第一存储位置在所述工作流系统处于脱机状态时,不可被访问;
若所述第一工作流数据对应的时间节点不早于预设的第一时间节点;
则判断所述第一工作流数据对应的所述时间节点是否早于预设的第二时间节点,其中,所述第一时间节点早于所述第二时间节点;
若判断结果为是,则所述第一工作流数据为第二类数据,所述第二类数据对应第二存储地址,所述第二存储地址对应所述归档区中的第二存储位置,所述第二存储位置在所述工作流系统处于后台可查状态时,可被所述工作流系统对应的管理员维护;
若所述第一工作流数据对应的所述时间节点不早于预设的第二时间节点;
则判断所述第一工作流数据对应的所述时间节点是否早于预设的第三时间节点,其中,所述第二时间节点早于所述第三时间节点;
若判断结果为是,则所述第一工作流数据为第三类数据,所述第三类数据对应第三存储地址,所述第三存储地址对应所述归档区中的第三存储位置,所述第三存储位置在所述工作流系统处于前端可查状态时,可被所述工作流系统对应的管理员维护和/或被用户调用查看。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-3任一项所述的数据分区存储方法。
7.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-3任一项所述的数据分区存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810762116.7A CN109145052B (zh) | 2018-07-12 | 2018-07-12 | 数据分区存储方法、设备、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810762116.7A CN109145052B (zh) | 2018-07-12 | 2018-07-12 | 数据分区存储方法、设备、系统、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109145052A CN109145052A (zh) | 2019-01-04 |
CN109145052B true CN109145052B (zh) | 2021-10-08 |
Family
ID=64800241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810762116.7A Active CN109145052B (zh) | 2018-07-12 | 2018-07-12 | 数据分区存储方法、设备、系统、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109145052B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110457255B (zh) * | 2019-07-05 | 2023-11-21 | 中国平安人寿保险股份有限公司 | 数据归档的方法、服务器及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101777154A (zh) * | 2010-02-01 | 2010-07-14 | 浪潮集团山东通用软件有限公司 | 一种工作流管理系统中工作流数据的持久化方法 |
US20120330954A1 (en) * | 2011-06-27 | 2012-12-27 | Swaminathan Sivasubramanian | System And Method For Implementing A Scalable Data Storage Service |
CN105183391A (zh) * | 2015-09-18 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种分布式数据平台下数据存储的方法和装置 |
CN105677257A (zh) * | 2016-02-04 | 2016-06-15 | 联想(北京)有限公司 | 一种数据存储方法及电子设备 |
CN108052281A (zh) * | 2017-11-30 | 2018-05-18 | 平安科技(深圳)有限公司 | 业务资料存储方法、应用服务器及计算机存储介质 |
-
2018
- 2018-07-12 CN CN201810762116.7A patent/CN109145052B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101777154A (zh) * | 2010-02-01 | 2010-07-14 | 浪潮集团山东通用软件有限公司 | 一种工作流管理系统中工作流数据的持久化方法 |
US20120330954A1 (en) * | 2011-06-27 | 2012-12-27 | Swaminathan Sivasubramanian | System And Method For Implementing A Scalable Data Storage Service |
CN105183391A (zh) * | 2015-09-18 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种分布式数据平台下数据存储的方法和装置 |
CN105677257A (zh) * | 2016-02-04 | 2016-06-15 | 联想(北京)有限公司 | 一种数据存储方法及电子设备 |
CN108052281A (zh) * | 2017-11-30 | 2018-05-18 | 平安科技(深圳)有限公司 | 业务资料存储方法、应用服务器及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109145052A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gautam et al. | A survey on job scheduling algorithms in big data processing | |
Zhao et al. | Dache: A data aware caching for big-data applications using the MapReduce framework | |
US9197703B2 (en) | System and method to maximize server resource utilization and performance of metadata operations | |
US9256460B2 (en) | Selective checkpointing of links in a data flow based on a set of predefined criteria | |
US9372880B2 (en) | Reclamation of empty pages in database tables | |
US9477511B2 (en) | Task-based modeling for parallel data integration | |
US9584442B2 (en) | Managing a set of assets of a shared pool of configurable computing resources | |
US9298849B2 (en) | Managing a template in an operator graph | |
US8843632B2 (en) | Allocation of resources between web services in a composite service | |
US11275667B2 (en) | Handling of workload surges in a software application | |
US20160366224A1 (en) | Dynamic node group allocation | |
TWI677210B (zh) | 一種企業物件的資訊加載方法和裝置 | |
US11863675B2 (en) | Data flow control in distributed computing systems | |
Petrov et al. | Adaptive performance model for dynamic scaling Apache Spark Streaming | |
Ma et al. | Dependency-aware data locality for MapReduce | |
US20220261254A1 (en) | Intelligent Partitioning Engine for Cluster Computing | |
CN115033340A (zh) | 一种宿主机的选择方法及相关装置 | |
CN109145052B (zh) | 数据分区存储方法、设备、系统、存储介质及电子设备 | |
US20210149746A1 (en) | Method, System, Computer Readable Medium, and Device for Scheduling Computational Operation Based on Graph Data | |
CN109788013B (zh) | 分布式系统中作业资源分配方法、装置及设备 | |
US9229659B2 (en) | Identifying and accessing reference data in an in-memory data grid | |
KR101378348B1 (ko) | 프라이빗 클라우드 인프라 기반 하둡 클러스터의 기본 프로토타입 | |
US20160110234A1 (en) | Apparatus and method for processing complex event based on high load path | |
US12008130B1 (en) | Secure data access management system | |
CN111538491A (zh) | 数据事件处理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |