CN112181917A - 一种流水文件装载方法、装置、服务器和存储介质 - Google Patents
一种流水文件装载方法、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN112181917A CN112181917A CN202011025765.2A CN202011025765A CN112181917A CN 112181917 A CN112181917 A CN 112181917A CN 202011025765 A CN202011025765 A CN 202011025765A CN 112181917 A CN112181917 A CN 112181917A
- Authority
- CN
- China
- Prior art keywords
- server
- file
- loading
- pipeline
- loading task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011068 loading method Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种流水文件装载方法、装置、服务器和存储介质，方法包括：确定执行流水文件装载任务的目标服务器分组；将流水文件装载任务下发到目标服务器分组，以使目标服务器分组中的各服务器节点并行执行流水文件装载任务；每间隔预设时间，执行分组轮换操作，以将流水文件装载任务切换到下一个服务器分组，使下一个服务器分组中的各服务器节点继续并行执行流水文件装载任务。本申请实施例中，通过分组轮换的方式，由不同分组内的服务器节点轮流执行流水文件装载任务，由此即使集群中部分节点的失效，也不会导致装载任务的停止，保证了流水文件装载的稳定性和可靠性；而且每个分组内服务器节点并行执行装载任务，可提升文件装载效率。
Description
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种流水文件装载方法、装置、服务器和存储介质。
背景技术
目前，数据文件的装载是指将数据文件从数据源(可以为数据库或磁盘等)读取出来，并装载到指定的位置进行存储。
而针对银行的流水文件进行装载时，现有的流水文件装载系统通常部署在单个服务器上，通过该服务器完成流水文件的加载。这种流水文件装载方式存在一定的不足：流水文件装载系统的可靠性和稳定性差，因为服务器出现故障，将会导致流水文件的堆积，而且需要运维人员人工发现问题后手工修改系统配置系统。
发明内容
本申请实施例提供一种流水文件装载方法、装置、服务器和存储介质，以达到提升流水文件装载系统的可靠性和稳定性差的目的。
第一方面，本申请实施例提供了一种流水文件装载方法，所述方法包括：
确定执行流水文件装载任务的目标服务器分组；其中，目标服务器分组中包括服务器集群中的至少两个服务器节点；
将所述流水文件装载任务下发到目标服务器分组，以使得目标服务器分组中的各服务器节点并行执行所述流水文件装载任务；
每间隔预设时间，执行分组轮换操作，以将所述流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行所述流水文件装载任务。
第二方面，本申请实施例提供了一种流水文件装载装置，所述装置包括：
确认模块，用于确定执行流水文件装载任务的目标服务器分组；其中，目标服务器分组中包括服务器集群中的至少两个服务器节点；
装载任务执行模块，用于将所述流水文件装载任务下发到目标服务器分组，以使得目标服务器分组中的各服务器节点并行执行所述流水文件装载任务；
切换执行模块，用于每间隔预设时间，执行分组轮换操作，以将所述流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行所述流水文件装载任务。
第三方面，本申请实施例还提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请任一实施例所述的流水文件装载方法。
第四方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请任一实施例所述的流水文件装载方法。
本申请实施例中，在将服务器集群内的服务器节点进行分组后，通过分组轮换的方式，由不同分组内的服务器节点轮流执行流水文件装载任务，由此即使集群中部分节点的失效，也不会导致流水装载任务的停止，同时不需要人工进行干预，由此保证的流水文件装载的稳定性和可靠性；而且每个分组内有多个服务器节点并行执行装载任务，可提升流水文件装载效率。
附图说明
图1是根据本申请第一实施例中的流水文件装载方法的流程示意图；
图2是根据本申请第二实施例中的流水文件装载方法的流程示意图；
图3是根据本申请第三实施例的流水文件装载装置的结构示意图；
图4是根据本申请实现流水文件装载方法的服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
图1是根据本申请第一实施例的流水文件装载方法的流程示意图，本实施例可适用于任何需要装载流水文件的情况，该方法可以由流水文件装载装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。
如图1所示，流水文件装载方法具体包括如下流程：
S101、确定执行流水文件装载任务的目标服务器分组；其中，目标服务器分组中包括服务器集群中的至少两个服务器节点。
本申请实施例中，流水文件示例性的至少包括如下任意一项：POS缴费流水文件、存取款交易流水文件和转账流水文件。在此需要说明的是，流水文件也可以是银行业务中的其它流水，在此不做具体限定。而且为了区别流水文件，每个流水文件的文件名后缀不同。
本申请实施例中，要确定目标服务器分组，需要预先对服务器集群进行分组，得到多个服务器分组，在每个服务器分组内包括多个服务器节点。因此，存在流水文件装载任务后，可从多个服务器分组中随机选择一个分组作为目标服务器分组。在此需要说明的是，对服务器集群进行分组的过程，包括：基于预设分组规则，对服务器集群进行分组，得到至少两个服务器分组。其中，预设分组规则为平均分组规则或负荷分组规则。示例性的，按照平均分组规则进行分组时，确定集群中服务器的总数和预设的分组数量，将两者的商值确定每个分组的服务器个数，进而完成分组。除此之外，还可以基于负荷分组规则，也即是根据各个服务器节点运行负荷进行分组。
S102、将流水文件装载任务下发到目标服务器分组，以使得目标服务器分组中的各服务器节点并行执行流水文件装载任务。
本申请实施例中，目标服务器分组内的各个服务器节点在接收到流水文件装载任务后，由于每个服务器节点可以处理特定文件名后缀的流水文件，因此各服务器节点可并行执行流水文件装载任务，彼此之间互不影响。在此需要说明的是，流水文件装载过程中，同一时间只有一个分组进行流水文件装载工作，也即目标服务器分组内的各个服务器节点装载流水文件时，其它服务器分组内的服务器节点并不会处理流水文件装载任务。
S103、每间隔预设时间，执行分组轮换操作，以将流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行流水文件装载任务。
其中，预设时间示例性的为30分钟，而执行分组轮换操作的过程，包括：控制正在执行流水文件装载任务的服务器节点停止执行装载任务，并确定下一个继续执行流水文件装载任务的服务器分组。可选的，在对服务器集群进行分组后，对各个服务器分组进行排序，因此针对当前正在执行流水文件装载任务的目标服务器分组，进行任务切换时，下一个服务器分组为与该目标服务器分组相邻且排在该目标服务器分组后的一个服务器分组。进一步的，将流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行流水文件装载任务。如此实现了通过不断切换不同的服务器分组，轮流执行流水文件装载任务。
在此需要说明的是，之所以进行分组轮换执行流水文件组装任务，是因为服务器分组内的每个服务器节点可以处理特定文件名后缀的流水文件，而为了避免某一个服务器节点故障，导致需要该服务器节点处理的流水文件被堆积，因此采用了服务器分组轮换的方式，由其它分组内的服务器节点继续执行装载任务，以处理被堆积的流水文件，由此保证了流水装载任务不会停止。
本申请实施例中，在将服务器集群内的服务器节点进行分组后，通过分组轮换的方式，由不同分组内的服务器节点轮流执行流水文件装载任务，由此即使集群中部分节点的失效，也不会导致流水装载任务的停止，同时不需要人工进行干预；而且每个分组内有多个服务器节点并行执行装载任务，可提升流水文件装载效率。
图2是根据本申请第二实施例的流水文件装载方法的流程示意图，本实施例是在上述实施例的基础上进行优化，增加了分组内各个服务器节点并行执行装载流水文件的过程，参见图2，该方法包括：
S201、确定执行流水文件装载任务的目标服务器分组；其中，目标服务器分组中包括服务器集群中的至少两个服务器节点。
S202、将流水文件装载任务下发到目标服务器分组，以使得目标服务器分组中的各服务器节点分别访问共享缓存装置，并读取各自对应的流水文件。
其中，共享缓存装置示例性的为共享磁盘，用于缓存实时产生的流水文件。本申请实施例中，共享缓存装置预先通过网络挂载到服务器集群的各个节点服务器上，以便保证服务器集群中的各个服务器节点均能通过地址指令访问该共享缓存装置，以便读取其中缓存的流水文件。
在一种可选的实施方式中，各服务器节点读取各自对应的流水文件的过程，包括：针对任一服务器节点，该服务器节点依次遍历共享缓存装置中的各个流水文件，每遍历到一个流水文件，则根据该流水文件的文件名，确定是否读取该流水文件。
可选的，流水文件以时间戳作为文件名后缀，示例性的，时间戳精确到分钟，则文件名后缀示例性的为2020-09-01-17:34；相应的，根据该流水文件的文件名，确定是否读取该流水文件，包括：将该流水文件的文件名后缀的最后一位数字与服务器分组内的服务器节点的数量进行求模运算；根据求模运算结果，确定是否读取该流水文件。
进一步的，根据求模运算结果，确定是否读取该流水文件，包括：获取该服务器节点在服务器分组内的排序序号，其中，排序序号代表服务器节点在分组中的位置，例如，服务器节点的排序序号1代表该服务器节点位于第一位；判断求模运算结果与排序序号是否相同，若是，则确定读取该流水文件。
示例性的，目标服务器分组中包括编号为A、B、C的3个服务器节点，服务器节点A的排序序号为1，服务器节点B的排序序号为2，服务器节点C的排序序号为3。若某一目标流水文件的文件名后缀的最后一位数字位4，则4与3(目标服务器分组内服务器节点总数)求模运算后，结果为1，则表明该目标流水文件需要排序序号为1的服务器节点(即服务器节点A)进行读取，而其它服务器节点(服务器节点B和C)不会读取该目标流水文件。又如，若某一目标流水文件的文件名后缀的最后一位数字位5，则5与3(目标服务器分组内服务器节点总数)求模运算后，结果为2，则表明该目标流水文件需要排序序号为2的服务器节点(即服务器节点B)进行读取，而其他服务器节点(服务器节点A和C)不会读取该目标流水文件。也即服务器节点A只读取求模运算结果为1的流水文件；服务器节点B只读取求模运算结果为2的流水文件；服务器节点C只读取求模运算结果为3的流水文件。由此实现了每服务器节点只读取特定的流水文件，进而保证各个服务器节点之间可以并行处理流水文件装载任务。
S203、各服务器节点将各自读取到的流水文件装载到目标数据库。
其中，目标数据库可选的为关系数据库，例如Oracle，SQLServer等。
S203、每间隔预设时间，执行分组轮换操作，以将流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行流水文件装载任务。
本申请实施例中，下一个服务器分组中的各服务器节点继续并行执行流水文件装载任务的过程，与目标服务器分组中的各服务器节点执行流水文件装载任务的过程相同，具体的可参将上述内容，在此不再赘述。
进一步的，针对目标服务器分组中某一个服务器节点故障的情况进行举例说明。示例性的，下一个服务器分组中包括排序后的服务器节点D、E、F，其中服务器节点D与目标服务器分组中服务器节点A处理文件名后缀最后一位数字相同的流水文件。相应的，服务器节点E与目标服务器分组中服务器节点B处理文件名后缀最后一位数字相同的流水文件；服务器节点F与目标服务器分组中服务器节点C处理文件名后缀的最后一位数字相同的流水文件。若目标服务器分组中服务器节点C故障，会导致需要该服务器节点C处理的流水文件被堆积，则在切换到下一个服务器分组后，则由服务器节点F继续处理被堆积的本该需要服务器节点C处理的流水文件，由此保证了流水文件装载任务不会停止。
本申请实施例中，将该流水文件的文件名后缀的最后一位数字与服务器分组内的服务器节点的数量的求模运算结果，与分组内服务器节点的排序序号，确定各个节点服务器特定处理的流水文件，由此实现了分组内各服务器节点的并行执行流水文件装载任务，提升了流水文件的装载效率。
进一步的，本申请实施例中，在将流水文件装载到目标数据库之后，方法还包括：
响应于用户导出操作，将目标数据库中的流水文件导出，以便根据导出的流水文件进行数据分析。
在此需要说明的是，流水文件导出的格式可以根据用户的实际需求选择，示例性的，可以报表的形式或其它格式导出。
图3是根据本申请第三实施例中的流水文件装载装置的结构示意图，该装置用于任何需要装载流水文件的情况，参见图3，装置包括：
确认模块301，用于确定执行流水文件装载任务的目标服务器分组；其中，目标服务器分组中包括服务器集群中的至少两个服务器节点；
装载任务执行模块302，用于将流水文件装载任务下发到目标服务器分组，以使得目标服务器分组中的各服务器节点并行执行流水文件装载任务；
切换执行模块303，用于每间隔预设时间，执行分组轮换操作，以将流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行流水文件装载任务。
本申请实施例中，在将服务器集群内的服务器节点进行分组后，通过分组轮换的方式，由不同分组内的服务器节点轮流执行流水文件装载任务，由此即使集群中部分节点的失效，也不会导致流水装载任务的停止，同时不需要人工进行干预，由此保证的流水文件装载的稳定性和可靠性；而且每个分组内有多个服务器节点并行执行装载任务，可提升流水文件装载效率。
在上述实施例的基础上，可选的，该装置还包括：
分组模块，用于基于预设分组规则，对服务器集群进行分组，得到至少两个服务器分组。
在上述实施例的基础上，可选的，预设分组规则为平均分组规则或负荷分组规则。
在上述实施例的基础上，可选的，各服务器节点上设置有文件装载模块，该模块包括：
数据读取单元，用于各服务器节点基于数据读取单元分别访问共享缓存装置，并读取各自对应的流水文件；其中，共享缓存装置用于缓存实时产生的流水文件；
装载单元，用于各服务器节点通过各自的装载单元将各自读取到的流水文件装载到目标数据库。
在上述实施例的基础上，可选的，共享缓存装置预先挂载到服务器集群的各个节点服务器上。
在上述实施例的基础上，可选的，各服务器节点上的数据读取单元具体用于：
针对任一服务器节点，该服务器节点依次遍历共享缓存装置中的各个流水文件，每遍历到一个流水文件，则根据该流水文件的文件名，确定是否读取该流水文件。
在上述实施例的基础上，可选的，流水文件以时间戳作为文件名后缀；
相应的，根据该流水文件的文件名，确定是否读取该流水文件，包括：
将该流水文件的文件名后缀的最后一位数字与服务器分组内的服务器节点的数量进行求模运算；
根据求模运算结果，确定是否读取该流水文件。
在上述实施例的基础上，可选的，根据求模运算结果，确定是否读取该流水文件，包括：
获取该服务器节点在服务器分组内的排序序号；
判断求模运算结果与排序序号是否相同，若是，则确定读取该流水文件。
在上述实施例的基础上，可选的，目标数据库为关系数据库。
在上述实施例的基础上，可选的，执行分组轮换操作的过程包括：
控制正在执行流水文件装载任务的服务器节点停止执行装载任务，并确定下一个继续执行流水文件装载任务的服务器分组。
在上述实施例的基础上，可选的，该装置还包括：
导出模块，用于在将流水文件装载到目标数据库之后，响应于用户导出操作，将目标数据库中的流水文件导出，以便根据导出的流水文件进行数据分析。
在上述实施例的基础上，可选的，流水文件至少包括如下任意一项：POS缴费流水文件、存取款交易流水文件和转账流水文件。
本申请实施例所提供的流水文件装载装置可执行本申请任意实施例所提供的流水文件装载方法，具备执行方法相应的功能模块和有益效果。
图4是本申请实施例中提供的一种服务器的结构示意图。如图4所示结构，本申请实施例中提供的服务器包括：一个或多个处理器402和存储器401；该服务器中的处理器402可以是一个或多个，图4中以一个处理器402为例；存储器401用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器402执行，使得所述一个或多个处理器402实现如本申请实施例中任一项所述的流水文件装载方法。
该服务器还可以包括：输入装置403和输出装置404。
该服务器中的处理器402、存储器401、输入装置403和输出装置404可以通过总线或其他方式连接，图4中以通过总线连接为例。
该服务器中的存储装置401作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本申请实施例中所提供的应用控制方法对应的程序指令/模块。处理器402通过运行存储在存储装置401中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中流水文件装载方法。
存储装置401可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器401可进一步包括相对于处理器402远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置403可用于接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
并且，当上述服务器所包括一个或者多个程序被所述一个或者多个处理器402执行时，程序进行如下操作：
确定执行流水文件装载任务的目标服务器分组；其中，目标服务器分组中包括服务器集群中的至少两个服务器节点；
将流水文件装载任务下发到目标服务器分组，以使得目标服务器分组中的各服务器节点并行执行流水文件装载任务；
每间隔预设时间，执行分组轮换操作，以将流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行流水文件装载任务。
当然，本领域技术人员可以理解，当上述服务器所包括一个或者多个程序被所述一个或者多个处理器402执行时，程序还可以进行本申请任意实施例中所提供的应用控制方法中的相关操作。
本申请的一个实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行流水文件装载方法，该方法包括：
确定执行流水文件装载任务的目标服务器分组；其中，目标服务器分组中包括服务器集群中的至少两个服务器节点；
将流水文件装载任务下发到目标服务器分组，以使得目标服务器分组中的各服务器节点并行执行流水文件装载任务；
每间隔预设时间，执行分组轮换操作，以将流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行流水文件装载任务。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言(诸如“C”语言或类似的程序设计语言)。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(例如包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (15)
1.一种流水文件装载方法，其特征在于，所述方法包括：
确定执行流水文件装载任务的目标服务器分组；其中，目标服务器分组中包括服务器集群中的至少两个服务器节点；
将所述流水文件装载任务下发到目标服务器分组，以使得目标服务器分组中的各服务器节点并行执行所述流水文件装载任务；
每间隔预设时间，执行分组轮换操作，以将所述流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行所述流水文件装载任务。
2.根据权利要求1所述的方法，其特征在于，确定执行流水文件装载任务的目标服务器分组之前，还包括：
基于预设分组规则，对所述服务器集群进行分组，得到至少两个服务器分组。
3.根据权利要求2所述的方法，其特征在于，所述预设分组规则为平均分组规则或负荷分组规则。
4.根据权利要求1所述的方法，其特征在于，各服务器节点并行执行所述流水文件装载任务的过程，包括：
各服务器节点分别访问共享缓存装置，并读取各自对应的流水文件；其中，所述共享缓存装置用于缓存实时产生的流水文件；
各服务器节点将各自读取到的流水文件装载到目标数据库。
5.根据权利要求4所述的方法，其特征在于，所述共享缓存装置预先挂载到服务器集群的各个节点服务器上。
6.根据权利要求4所述的方法，其特征在于，各服务器节点读取各自对应的流水文件的过程，包括：
针对任一服务器节点，该服务器节点依次遍历共享缓存装置中的各个流水文件，每遍历到一个流水文件，则根据该流水文件的文件名，确定是否读取该流水文件。
7.根据权利要求6所述的方法，其特征在于，所述流水文件以时间戳作为文件名后缀；
相应的，根据该流水文件的文件名，确定是否读取该流水文件，包括：
将该流水文件的文件名后缀的最后一位数字与服务器分组内的服务器节点的数量进行求模运算；
根据求模运算结果，确定是否读取该流水文件。
8.根据权利要求7所述的方法，其特征在于，根据求模运算结果，确定是否读取该流水文件，包括：
获取该服务器节点在服务器分组内的排序序号；
判断所述求模运算结果与所述排序序号是否相同，若是，则确定读取该流水文件。
9.根据权利要求4所述的方法，其特征在于，所述目标数据库为关系数据库。
10.根据权利要求1所述的方法，其特征在于，执行分组轮换操作的过程包括：
控制正在执行流水文件装载任务的服务器节点停止执行装载任务，并确定下一个继续执行流水文件装载任务的服务器分组。
11.根据权利要求4所述的方法，其特征在于，在将流水文件装载到目标数据库之后，所述方法还包括：
响应于用户导出操作，将目标数据库中的流水文件导出，以便根据导出的流水文件进行数据分析。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述流水文件至少包括如下任意一项：POS缴费流水文件、存取款交易流水文件和转账流水文件。
13.一种流水文件装载装置，其特征在于，所述装置包括：
确认模块，用于确定执行流水文件装载任务的目标服务器分组；其中，目标服务器分组中包括服务器集群中的至少两个服务器节点；
装载任务执行模块，用于将所述流水文件装载任务下发到目标服务器分组，以使得目标服务器分组中的各服务器节点并行执行所述流水文件装载任务；
切换执行模块，用于每间隔预设时间，执行分组轮换操作，以将所述流水文件装载任务切换到下一个服务器分组，使得下一个服务器分组中的各服务器节点继续并行执行所述流水文件装载任务。
14.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的流水文件装载方法。
15.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12中任一所述的流水文件装载方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011025765.2A CN112181917B (zh) | 2020-09-25 | 2020-09-25 | 一种流水文件装载方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011025765.2A CN112181917B (zh) | 2020-09-25 | 2020-09-25 | 一种流水文件装载方法、装置、服务器和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112181917A true CN112181917A (zh) | 2021-01-05 |
| CN112181917B CN112181917B (zh) | 2024-07-19 |
Family
ID=73943985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011025765.2A Active CN112181917B (zh) | 2020-09-25 | 2020-09-25 | 一种流水文件装载方法、装置、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112181917B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030009538A1 (en) * | 2000-11-06 | 2003-01-09 | Shah Lacky Vasant | Network caching system for streamed applications |
| US20070150492A1 (en) * | 2005-12-27 | 2007-06-28 | Hitachi, Ltd. | Method and system for allocating file in clustered file system |
| US20140095582A1 (en) * | 2012-09-28 | 2014-04-03 | International Business Machines Corporation | Coordinated access to a file system's shared storage using dynamic creation of file access layout |
| CN104603762A (zh) * | 2012-09-28 | 2015-05-06 | 国际商业机器公司 | 利用并行文件访问协议的自动校准以及元数据管理支持对文件系统的共享存储的协调访问 |
| CN107295080A (zh) * | 2017-06-19 | 2017-10-24 | 北京百度网讯科技有限公司 | 应用于分布式服务器集群的数据存储方法和服务器 |
| CN110806939A (zh) * | 2019-10-23 | 2020-02-18 | 上海艾融软件股份有限公司 | 一种定时任务处理方法、装置及系统 |
| CN110990405A (zh) * | 2019-11-28 | 2020-04-10 | 中国银行股份有限公司 | 一种数据装载方法、装置、服务器及存储介质 |
-
2020
- 2020-09-25 CN CN202011025765.2A patent/CN112181917B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030009538A1 (en) * | 2000-11-06 | 2003-01-09 | Shah Lacky Vasant | Network caching system for streamed applications |
| US20070150492A1 (en) * | 2005-12-27 | 2007-06-28 | Hitachi, Ltd. | Method and system for allocating file in clustered file system |
| US20140095582A1 (en) * | 2012-09-28 | 2014-04-03 | International Business Machines Corporation | Coordinated access to a file system's shared storage using dynamic creation of file access layout |
| CN104603762A (zh) * | 2012-09-28 | 2015-05-06 | 国际商业机器公司 | 利用并行文件访问协议的自动校准以及元数据管理支持对文件系统的共享存储的协调访问 |
| CN107295080A (zh) * | 2017-06-19 | 2017-10-24 | 北京百度网讯科技有限公司 | 应用于分布式服务器集群的数据存储方法和服务器 |
| CN110806939A (zh) * | 2019-10-23 | 2020-02-18 | 上海艾融软件股份有限公司 | 一种定时任务处理方法、装置及系统 |
| CN110990405A (zh) * | 2019-11-28 | 2020-04-10 | 中国银行股份有限公司 | 一种数据装载方法、装置、服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112181917B (zh) | 2024-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9773011B2 (en) | On-demand caching in a WAN separated distributed file system or clustered file system cache | |
| US20240184761A1 (en) | Indexing and relaying data to hot storage | |
| US11546380B2 (en) | System and method for creation and implementation of data processing workflows using a distributed computational graph | |
| CN105224445A (zh) | 分布式跟踪系统 | |
| US11036608B2 (en) | Identifying differences in resource usage across different versions of a software application | |
| CN109992454A (zh) | 故障定位的方法、装置和存储介质 | |
| CN111694638A (zh) | 规则包加载方法、规则包执行方法及终端设备 | |
| CN109542781B (zh) | 区块链共识算法测试方法、装置、计算装置和存储介质 | |
| CN109766206A (zh) | 一种日志采集方法及系统 | |
| CN104954450A (zh) | 一种文件处理方法和装置 | |
| US11061736B2 (en) | Multiple parallel reducer types in a single map-reduce job | |
| CN112181917A (zh) | 一种流水文件装载方法、装置、服务器和存储介质 | |
| CN109919768B (zh) | 区块生成方法、装置、介质和计算设备 | |
| GB2525613A (en) | Reduction of processing duplicates of queued requests | |
| US11588728B2 (en) | Tree structure-based smart inter-computing routing model | |
| CN115543668A (zh) | 服务链路追踪方法、设备、存储介质及程序产品 | |
| US9891926B2 (en) | Heterogeneous core microarchitecture | |
| CN114820132A (zh) | 订单派发方法、装置、电子设备及存储介质 | |
| CN111210349B (zh) | 虚拟资产的转托管方法、装置、电子设备和存储介质 | |
| US9172729B2 (en) | Managing message distribution in a networked environment | |
| US11150902B2 (en) | Processor pipeline management during cache misses using next-best ticket identifier for sleep and wakeup | |
| CN107133868A (zh) | 资金清分方法、装置、终端及存储介质 | |
| US9037815B2 (en) | Analyzing and reducing dump data | |
| US20150317137A1 (en) | Extending superword level parallelism | |
| US10102036B2 (en) | Providing additional thread context to assist memory locality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |