CN113220456A - 账单数据的处理方法及相关装置 - Google Patents
账单数据的处理方法及相关装置 Download PDFInfo
- Publication number
- CN113220456A CN113220456A CN202110559932.XA CN202110559932A CN113220456A CN 113220456 A CN113220456 A CN 113220456A CN 202110559932 A CN202110559932 A CN 202110559932A CN 113220456 A CN113220456 A CN 113220456A
- Authority
- CN
- China
- Prior art keywords
- bill
- data
- billing
- server
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims abstract description 78
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了数据处理领域中一种账单数据的处理方法及相关装置。本申请提供的技术方案中,多个账单服务器中每个账单服务器用于执行从数据库获取账单数据、基于该账单数据生成账单数据文件和对账单数据文件进行处理这三个流程中的一个或多个流程,其中,至少两个账单服务器执行的流程是并行的。本申请提供的技术方案可以提高账单数据的处理效率。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种账单数据的处理方法及相关装置。
背景技术
随着移动通信和互联网金融的发展,人们的支付方式逐渐从现金支付转变为移动支付,账单的数据量与日俱增。为了顺应时代的发展,针对海量账单数据的处理成为了一项重要课题。
现有技术中一种账单数据的处理方案为:将账单数据从数据库中下载至数据仓库;从数据仓库中取出数据,生成账单文件,并将此账单文件存储至账单文件存储区;接受外部终端发出的对账请求后,从此账单文件存储区中读出账单文件,进行对账工作。
但是,当账单数据的数据量较大时,将账单数据从数据库中下载至数据仓库的用时较长,降低了账单数据的处理效率;另外,由于账单数据的字段较多、逻辑结构庞杂,使得账单数据生成账单文件的过程比较复杂且用时较长,导致账单数据的处理效率较低。
因此,如何提高账单数据的处理效率成为了亟待解决的问题。
发明内容
本申请提供了一种账单数据的处理方法及相关装置,提高了账单数据的处理效率。
第一方面,本申请提供一种账单数据的处理方法,所述方法包括:第一账单服务器从存储设备中获取第一账单数据文件和所述第一账单数据文件对应的第一处理流程信息,所述第一账单服务器为多个账单服务器中的一个,所述第一账单数据文件为所述多个账单服务器存储于所述存储设备的多个账单数据文件中的一个,所述多个账单数据文件与多个处理流程信息一一对应,所述第一处理流程信息用于指示将所述第一账单数据文件处理为账单文件的一个或多个操作;所述第一账单服务器根据所述第一处理流程信息对所述第一账单数据文件进行处理,得到账单文件,所述第一账单服务器根据所述第一处理流程信息对所述第一账单数据进行处理与所述多个账单服务器中任意一个账单服务器从数据库中获取多个账单数据的流程、所述任意一个账单服务器将多个账单数据划分为账单数据文件或所述任意一个账单服务器根据处理流程信息对账单数据文件进行并行处理。
本方法中,使用多个账单服务器对多个账单数据进行并行处理,多个账单服务器并行从数据库中获取多个账单数据的流程、将多个账单数据划分为账单数据文件并根据处理流程信息对账单数据文件进行处理,得到账单文件。这与使用一台服务器对多个账单数据进行串行处理,得到账单文件相比,缩短了账单数据的处理时间,提高了账单数据的处理效率。
在一种可能的实现方式中,所述多个账单数据文件与多个文件锁一一对应,其中,在所述第一账单服务器从所述存储设备中获取所述第一账单数据文件之前,所述第一账单数据文件对应的文件锁没有被所述多个账单服务器中任意一个账单服务器占用,并且,在所述第一账单服务器从所述存储设备中获取所述第一账单数据文件之后,所述第一账单数据文件对应的文件锁被所述第一账单服务器占用。
该实现方式中,多个账单数据文件中每个账单数据文件对应一个文件锁,在第一账单服务器从存储设备中获取第一账单数据文件之前,第一账单数据文件对应的文件锁没有被多个账单服务器中任意一个账单服务器占用,并且,在第一账单服务器从存储设备中获取第一账单数据文件之后,第一账单数据文件对应的文件锁被第一账单服务器占用,此时多个账单服务器中除第一账单服务器外的其它任意一个账单服务器不能再占用第一账单数据文件对应的文件锁,提高了账单数据并行处理的安全性。
在一种可能的实现方式中,所述方法还包括:所述第一账单服务器从所述数据库服务器获取多个第一账单数据;所述第一账单服务器将所述多个第一账单数据划分为N1个账单数据文件,N1为正整数;所述第一账单服务器根据所述N1个账单数据文件确定N1个处理流程信息,所述N1个处理流程信息与所述N1个账单数据文件一一对应;所述第一账单服务器将所述N1个账单数据文件和所述N1个处理流程信息存储于存储设备中。
该实现方式中,第一账单服务器将从数据库服务器获取的多个第一账单数据划分为N1个账单数据文件,N1为正整数,根据N1个账单数据文件确定N1个处理流程信息,N1个处理流程信息与N1个账单数据文件一一对应,并将N1个账单数据文件和N1个处理流程信息存储于存储设备中,进一步提高了账单数据的处理效率。
在一种可能的实现方式中,所述多个账单服务器中不同账单服务器从所述数据库服务器获取的账单数据中的第一字段的值不同。
该实现方式中,多个账单服务器中每个账单服务器根据预设的不同的第一字段的值从数据库服务器中获取账单数据,将数据库服务器中的账单数据按照第一字段进行了分割,减少了每台账单服务器处理的账单数据的数量,同时避免了账单数据的重复获取,提高了账单数据的处理效率。
在一种可能的实现方式中,所述第一字段包括地域代码。
在一种可能的实现方式中,所述第一账单服务器将所述多个第一账单数据划分为N1个账单数据文件,包括:所述第一账单服务器根据预设的第一数据流阈值,将所述多个第一账单数据划分为所述N1个账单数据文件,所述N1个账单数据文件中每个账单数据文件的数据量小于或等于所述第一数据流阈值。
该实现方式中,第一账单服务器根据预设的第一数据流阈值,将多个第一账单数据划分为N1个账单数据文件,限制了每个账单数据文件的最大数据量,提高了账单数据文件的处理效率。
第二方面,本申请提供一种账单数据的处理装置,所述装置可以包括用于实现第一方面中的方法的各个模块,这些模块可以通过软件和/或硬件的方式实现。
第三方面,本申请提供一种账单数据的处理装置。该装置可以包括与存储器耦合的处理器。其中,该存储器用于存储程序代码,该处理器用于执行该存储器中的程序代码,以实现第一方面或其中任意一种实现方式中的方法。
可选地,该装置还可以包括该存储器。
第四方面,本申请提供一种芯片,包括至少一个处理器和通信接口,所述通信接口和所述至少一个处理器通过线路互联,所述至少一个处理器用于运行计算机程序或指令,以执行如第一方面或其中任意一种可能的实现方式所述的方法。
第五方面,本申请提供一种计算机可读介质,该计算机可读介质存储用于设备执行的程序代码,该程序代码包括用于执行如第一方面或其中任意一种可能的实现方式所述的方法。
第六方面,本申请提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行如第一方面或其中任意一种可能的实现方式所述的方法。
第七方面,本申请提供一种计算设备,包括至少一个处理器和通信接口,所述通信接口和所述至少一个处理器通过线路互联,所述通信接口与目标系统通信,所述至少一个处理器用于运行计算机程序或指令,以执行如第一方面或其中任意一种可能的实现方式所述的方法。
第八方面,本申请提供一种计算系统,包括至少一个处理器和通信接口,所述通信接口和所述至少一个处理器通过线路互联,所述通信接口与目标系统通信,所述至少一个处理器用于运行计算机程序或指令,以执行如第一方面或其中任意一种可能的实现方式所述的方法。
附图说明
图1为本申请的实施例的一种系统架构的示意图;
图2为本申请的实施例的一种账单数据的处理方法的流程示意图;
图3为本申请的一个实施例的一种账单数据的处理方法的流程示意图;
图4为本申请一个实施例的账单数据的处理装置的示意性结构图;
图5为本申请一个实施例提供的账单数据的处理装置的结构示意图。
具体实施方式
一种账单数据的处理方案如下:使用一台账单服务器从数据库服务器中读取账单数据以及对账单数据进行处理以得到账单文件,且账单服务器读取账单数据和对账单数据进行处理以获得账单文件的流程是串行的。
该方法中,在账单数据的数据量较大,账单数据对应的表结构逻辑复杂时,串行处理大大增加了处理时间,并且实际的数据读取效率远低于账单服务器对账单数据的处理效率,使得账单数据的处理过程中将浪费大量时间在账单数据的读取和写入上,导致账单服务器长时间处于等待状态,浪费资源。
针对上述问题,本申请提出了新的账单数据处理技术方案,以提高账单数据的处理效率。
为了便于理解,首先结合对本申请的技术方案所适用的系统架构进行介绍。
图1为本申请的实施例的一种系统架构的示意图。如图1所示,账单数据处理系统100包括多个账单服务器110、数据库服务器120和存储设备130。
本实施例的账单数据处理系统中的账单服务器的数量可以根据实际需要进行扩展。本实施例中的账单数据处理系统中的多个账单服务器可以进行并行计算。
账单服务器110可以为任意具有计算功能的计算设备。账单服务器110用于将账单数据加工为账单文件。
作为一种示例,账单服务器110向数据库服务器120请求账单数据,对请求的账单数据进行处理,得到账单数据文件,根据账单数据文件生成对应的处理流程信息,并将账单数据文件和对应的处理流程信息存储于存储设备130中。
作为另一种示例,账单服务器110从存储设备130中获取账单数据文件和对应的处理流程信息,并根据处理流程信息对对应的账单数据文件进行处理,得到账单文件。
数据库服务器120为数据库系统或者数据库管理系统中能够执行接收、存储和发送数据的服务器。数据库服务器120可以与账单服务器110通信。
作为一种示例,数据库服务器120可以存储账单数据,并根据账单服务器110的请求信息将账单数据发送给账单服务器110。
存储设备130可以为任意具有存储功能的设备。存储设备130可以与账单服务器110通信。
作为一种示例,存储设备130用于存储账单数据文件和对应的处理流程信息。
作为另一种示例,存储设备130用于存储账单服务器110根据处理流程信息对对应的账单数据文件进行处理得到的账单文件。
可以理解的是,图1所示的系统架构仅是本申请提供的账单数据处理系统的一种示例,在本申请另一些实施例中,账单数据处理系统100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。例如,本申请的系统架构中可以包括多个存储设备,这多个存储设备与多个账单服务器一一对应。
本申请提出的技术方案中,使用多个账单服务器对账单数据进行并行处理,得到账单文件,从而可以提高处理效率。
作为一种示例,多个账单服务器并行从存储设备中获取账单数据文件和与账单数据文件对应的处理流程信息,账单数据文件与处理流程信息一一对应;多个账单服务器根据处理流程信息对对应的账单数据文件进行并行处理,得到账单文件。
此外,为了提高多个账单服务器并行处理账单数据文件的安全性,本申请提出如下技术方案:多个账单数据文件中的每一个账单数据文件都设置有对应的文件锁,在第一账单服务器从存储设备中获取第一账单数据文件之前,第一账单数据文件对应的文件锁没有被多个账单服务器中任意一个账单服务器占用,并且,在第一账单服务器从存储设备中获取第一账单数据文件之后,第一账单数据文件对应的文件锁被第一账单服务器占用,此时第一账单数据文件对应的文件锁不能再被其它账单服务器占用。
进一步地,为了提高账单数据的处理效率,本申请提出如下技术方案:多个账单服务器中每个账单服务器从数据库服务器中获取的账单数据不同。
作为一种示例,多个账单服务器中每个账单服务器根据预设的第一字段从数据库服务器获取的账单数据,其中,每个账单服务器中预设的第一字段的值不同。
进一步地,为了提高账单数据的处理效率,本申请提出如下技术方案:多个账单服务器中的每个账单服务器根据预设的第一数据流阈值,将获取的账单数据划分为N1个账单数据文件,N1个账单数据文件中每个账单数据文件的数据量小于或等于第一数据流阈值。
图2为本申请的实施例的一种账单数据的处理方法的流程示意图。如图2所示,该方法至少包括S201至S202。
S201,第一账单服务器从存储设备中获取第一账单数据文件和第一账单数据文件对应的第一处理流程信息,第一账单服务器为多个账单服务器中的一个,第一账单数据文件为多个账单服务器存储于存储设备的多个账单数据文件中的一个,多个账单数据文件与多个处理流程信息一一对应,第一处理流程信息用于指示将第一账单数据文件处理为账单文件的一个或多个操作。
第一账单服务器的一种示例可以为多个账单服务器110中的任意一个。
存储设备的一种示例可以为存储设备130。
在一种可能的实现方式中,存储设备中存储有多个账单数据文件、与多个账单数据文件一一对应的多个处理流程信息和与多个账单数据文件一一对应的多个文件锁。
在第一账单服务器从存储设备中获取第一账单数据文件之前,第一账单数据文件对应的文件锁没有被多个账单服务器中任意一个账单服务器占用,并且,在第一账单服务器从存储设备中获取第一账单数据文件之后,第一账单数据文件对应的文件锁被第一账单服务器占用,此时,多个账单服务器中除第一账单服务器外的其它任意一个账单服务器不能再次获取第一账单数据文件对应的文件锁。
在第一账单服务器从存储设备中获取第一账单数据文件和第一账单数据文件对应的第一处理流程信息之前,还可以执行如下步骤:
步骤一,第一账单服务器从数据库服务器获取多个第一账单数据。
数据库服务器的一种示例为数据库服务器120。
在一种可能的实现方式中,在多个账单服务器中的每个账单服务器中预设第一字段,每个账单服务器中包括一个或多个第一字段,每个第一字段的值可以为一个或多个,并且每个账单服务器中的第一字段的值不同。第一账单服务器根据预设的第一字段的值从数据库服务器中获取多个第一账单数据。
其中,账单数据可以包括账单处理过程中涉及的所有数据,例如普通透支的账户信息、账单信息、账单交易明细、专项分期账户的账户信息、对应的账单信息,以及专项账单的交易明细等。
作为一种示例,第一字段可以为地域代码,地域代码用于指示某一个地区,每一个地区对应一个地域代码,例如,北京市的地域代码为110000,河北省的地域代码为130000。
示例性的,第一账单服务器中预设的第一字段的值为“110000”和“130000”,第一账单服务器根据预设的第一字段的值“110000”和“130000”从数据库服务器中获取北京市和河北省的账单数据。
步骤二,第一账单服务器将多个第一账单数据划分为N1个账单数据文件,N1为正整数。
在一种可能的实现方式中,在多个账单服务器的每个账单服务器中设置第一数据流阈值,每个账单服务器设置的第一数据流阈值可以相同,也可以不同,第一账单服务器根据预设的第一数据流阈值,将获取的多个第一账单数据划分为N1个账单数据文件,N1个账单数据文件中每个账单数据文件的数据量小于或等于第一数据流阈值,其中N1可以为1,也可以为大于1的整数。
作为一种示例,第一账单服务器从数据库服务器获取到50万个北京市的账单数据,第一账单服务器设置的第一数据流阈值为20万,则第一账单服务器根据第一数据流阈值将获取的北京市的账单数据分割为3个账单数据文件,其中,第一个账单数据文件和第二个账单数据文件中分别包括20万个账单数据,第三个账单数据文件中包括10万个账单数据。
作为另一种示例,第一账单服务器从数据库服务器获取到30万个北京市的账单数据,第一账单服务器设置的第一数据流阈值为50万,则第一账单服务器根据第一数据流阈值将获取的北京市的账单数据生成1个账单数据文件,该账单数据文件中包括30万个账单数据。
在第一账单服务器根据预设的多个不同的第一字段的值,获取到多个对应不同的第一字段的值的账单数据时,需要根据预设的第一数据流阈值对多个对应不同第一字段的值的账单数据进行分别分割。
示例性的,第一账单服务器根据预设的第一字段的值“110000”和“130000”从数据库服务器中获取到北京市的30万账单数据和河北省的50万账单数据,第一账单服务器预设的第一数据流阈值为20万,则第一账单服务器根据第一数据流阈值将北京市的30万账单数据分割为2个账单数据文件,第一个账单数据文件中包括20万个账单数据,第二个账单数据文件中包括10万个账单数据;将河北省的50万账单数据分割为3个账单数据文件,其中第一个账单数据文件和第二个账单数据文件中分别包括20万个账单数据,第三个账单文件中包括10万个账单数据。
步骤三,第一账单服务器根据N1个账单数据文件确定N1个处理流程信息,N1个处理流程信息与N1个账单数据文件一一对应。
处理流程信息用于指示将账单数据文件处理为账单文件的一个或多个操作。
示例性的,在第一账单服务器中预先设置第一字段的值对应的账单数据将要生成的账单文件的模板,第一账单服务器根据与第一字段的值对应的N1个账单数据文件和预设的账单文件的模板生成与N1个账单数据文件一一对应的N1个处理流程信息。其中,不同的第一字段的值对应的账单文件的模板可以相同,也可以不同,相应的,第一账单服务器根据与第一字段的值对应的N1个账单数据文件和预设的账单文件的模板生成的与N1个账单数据文件一一对应的N1个处理流程信息中每个处理流程信息可以相同,也可以不同。
步骤四,第一账单服务器将N1个账单数据文件和N1个处理流程信息存储于存储设备中。
在一种可能的实现方式中,第一账单服务器对N1个账单数据文件中的每一个账单数据文件设置文件锁,并将N1个账单数据文件、N1个处理流程信息和与N1个账单数据文件对应的N1个文件锁存储于存储设备中。
S202,第一账单服务器根据第一处理流程信息对第一账单数据文件进行处理,得到账单文件,第一账单服务器根据第一处理流程信息对第一账单数据进行处理与多个账单服务器中任意一个账单服务器从数据库中获取多个账单数据的流程、任意一个账单服务器将多个账单数据划分为账单数据文件或任意一个账单服务器根据处理流程信息对账单数据文件进行并行处理。
本申请提供的技术方案中,多个账单服务器并行从存储设备中获取第一账单数据和该第一账单数据对应的第一处理流程信息,并根据该第一处理流程信息对第一账单数据文件进行并行处理,得到多个账单文件,缩短了账单数据的处理时间,提高了账单数据的处理效率。
图3为本申请的一个实施例的一种账单数据的处理方法的流程示意图。如图3所示,该方法至少包括S301至S307。
S301,多个账单服务器中的任意一个账单服务器根据预设的第一字段的值从数据库服务器获取多个第一账单数据。
多个账单服务器的一种示例可以为多个账单服务器110。
数据库服务器的一种示例可以为数据库服务器120。
多个账单服务器并行从数据库服务器获取多个第一账单数据。
在一种可能的实现方式中,在多个账单服务器中的每个账单服务器中预设第一字段,每个账单服务器中可以包括一个或多个第一字段,每个第一字段的值可以为一个或多个,并且每个账单服务器中的第一字段的值不同。多个账单服务器中的任意一个账单服务器根据预设的第一字段的值从数据库服务器中获取多个第一账单数据。
作为一种示例,第一字段可以为地域代码,地域代码用于指示某一个地区,每一个地区对应一个地域代码,例如,北京市的地域代码为110000,河北省的地域代码为130000。
示例性的,多个账单服务器中的任意一个账单服务器中预设的第一字段的值为“110000”和“130000”,该账单服务器根据预设的第一字段的值“110000”和“130000”从数据库服务器中获取北京市和河北省的账单数据。
S302,多个账单服务器中的任意一个账单服务器根据预设的第一数据流阈值将多个第一账单数据划分为N1个账单数据文件,N1为正整数。
多个账单服务器并行将多个第一账单数据划分为N1个账单数据文件,N1为正整数。
在一种可能的实现方式中,在多个账单服务器的每个账单服务器中设置第一数据流阈值,每个账单服务器设置的第一数据流阈值可以相同,也可以不同,多个账单服务器中的任意一个账单服务器根据预设的第一数据流阈值,将获取的多个第一账单数据划分为N1个账单数据文件,N1个账单数据文件中每个账单数据文件的数据量小于或等于第一数据流阈值,其中N1可以为1,也可以为大于1的整数。
作为一种示例,多个账单服务器中的任意一个账单服务器从数据库服务器获取到50万个北京市的账单数据,该账单服务器设置的第一数据流阈值为20万,则该账单服务器根据第一数据流阈值将获取的北京市的账单数据分割为3个账单数据文件,其中,第一个账单数据文件和第二个账单数据文件中分别包括20万个账单数据,第三个账单数据文件中包括10万个账单数据。
作为另一种示例,多个账单服务器中的任意一个账单服务器从数据库服务器获取到30万个北京市的账单数据,该账单服务器设置的第一数据流阈值为50万,则该账单服务器根据第一数据流阈值将获取的北京市的账单数据生成1个账单数据文件,该账单数据文件中包括30万个账单数据。
在多个账单服务器中的任意一个账单服务器根据预设的不同的第一字段的值,获取到多个对应不同的第一字段的值的账单数据时,需要根据预设的第一数据流阈值对多个对应不同第一字段的值的账单数据进行分别分割。
示例性的,多个账单服务器中的任意一个账单服务器根据预设的第一字段的值“110000”和“130000”从数据库服务器中获取到北京市的30万账单数据和河北省的50万账单数据,该账单服务器预设的第一数据流阈值为20万,则该账单服务器根据第一数据流阈值将北京市的30万账单数据分割为2个账单数据文件,第一个账单数据文件中包括20万个账单数据,第二个账单数据文件中包括10万个账单数据;将河北省的50万账单数据分割为3个账单数据文件,其中第一个账单数据文件和第二个账单数据文件中分别包括20万个账单数据,第三个账单文件中包括10万个账单数据。
S303,多个账单服务器中的任意一个账单服务器根据N1个账单数据文件确定N1个处理流程信息,N1个处理流程信息与N1个账单数据文件一一对应。
多个账单服务器并行根据N1个账单数据文件确定N1个处理流程信息,N1个处理流程信息与N1个账单数据文件一一对应。
处理流程信息用于指示将账单数据文件处理为账单文件的一个或多个操作。
示例性的,在多个账单服务器中的任意一个账单服务器中预先设置第一字段的值对应的账单数据将要生成的账单文件的模板,该账单服务器根据与第一字段的值对应的N1个账单数据文件和预设的账单文件的模板生成与N1个账单数据文件一一对应的N1个处理流程信息。其中,不同的第一字段的值对应的账单文件的模板可以相同,也可以不同,相应的,该账单服务器根据与第一字段的值对应的N1个账单数据文件和预设的账单文件的模板生成的与N1个账单数据文件一一对应的N1个处理流程信息中每个处理流程信息可以相同,也可以不同。
S304,多个账单服务器中的任意一个账单服务器对N1个账单数据文件中的每一个账单数据文件设置文件锁。
多个账单服务器并行对N1个账单数据文件中的每一个账单数据文件设置文件锁,N1个文件锁与N1个账单数据文件一一对应。
S305,多个账单服务器中的任意一个账单服务器将N1个账单数据文件、N1个处理流程信息和与N1个账单数据文件对应的N1个文件锁存储于存储设备中。
存储设备的一种示例可以为存储设备130。
多个账单服务器并行将N1个账单数据文件、N1个处理流程信息和与N1个账单数据文件对应的N1个文件锁存储于存储设备中。
S306,多个账单服务器中的任意一个账单服务器从存储设备中获取第一账单数据文件和第一账单数据文件对应的第一处理流程信息,并占用第一账单数据文件对应的文件锁,第一账单数据文件为多个账单服务器存储于所述存储设备的多个账单数据文件中的一个。
多个账单服务器并行从存储设备中获取第一账单数据文件和第一账单数据文件对应的第一处理流程信息,并占用第一账单数据文件对应的文件锁。
在多个账单服务器中的任意一个账单服务器从存储设备中获取第一账单数据文件之前,要确保第一账单数据文件对应的文件锁没有被多个账单服务器中任意一个账单服务器占用,并且,在该账单服务器从存储设备中获取第一账单数据文件之后,第一账单数据文件对应的文件锁被该账单服务器占用,此时,多个账单服务器中除该账单服务器外的其它任意一个账单服务器不能再次获取第一账单数据文件对应的文件锁。
S307,多个账单服务器中的任意一个账单服务器根据第一处理流程信息对第一账单数据文件进行处理,得到账单文件,并将第一账单数据文件对应的文件锁标注为已处理状态。
多个账单服务器并行根据第一处理流程信息对第一账单数据文件进行处理,得到账单文件,并将第一账单数据文件对应的文件锁标注为已处理状态。
在多个账单服务器中的任意一个账单服务器完成对第一账单数据文件的处理,并将第一账单数据文件对应的文件锁标注为已处理状态后,该第一账单数据文件对应的文件锁不能再被任意一个账单服务器占用。
本申请提供的技术方案中,使用多个账单服务器并行从数据库服务器中获取多个账单数据,使用多个账单服务器并行将多个账单数据划分为账单数据文件,使用多个账单服务器根据处理流程信息对账单数据文件进行并行处理,提高了账单数据的处理效率,节省了账单数据的处理时间,减少了对数据库资源的占用;另外,账单服务器对每个账单数据文件设置了文件锁,保证了并行处理过程的安全性。
图4为本申请一个实施例的账单数据的处理装置的示意性结构图。如图4所示,装置400可以包括获取模块401和处理模块402。可选的,装置400还可以包括存储模块403。
本申请实施例中的获取模块、处理模块和存储模块中任意模块可以全部或部分通过软件和/硬件方式实现。其中,通过软件实现的部分可以在处理器上运行以实现相应的功能,通过硬件方式实现的部分可以是处理器的构成部分。
装置400可以用于实现图2或图3所示的方法。
图5为本申请一个实施例提供的账单数据的处理装置的结构示意图。图5所示的装置500可以用于执行前述任意一个实施例所述的方法。
如图5所示,本实施例的装置500包括:存储器501、处理器502、通信接口503以及总线504。其中,存储器501、处理器502、通信接口503通过总线504实现彼此之间的通信连接。
存储器501可以是只读存储器(read only memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(random access memory,RAM)。存储器501可以存储程序,当存储器501中存储的程序被处理器502执行时,处理器502可以用于执行图2或图3所示的方法的各个步骤。
处理器502可以采用通用的中央处理器(central processing unit,CPU),微处理器,应用专用集成电路(application specific integrated circuit,ASIC),或者一个或多个集成电路,用于执行相关程序,以实现本申请方法实施例的账单数据的处理方法。
处理器502还可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,本申请各个实施例的方法的各个步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器502还可以是通用处理器、数字信号处理器(digital signalprocessing,DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501,处理器502读取存储器501中的信息,结合其硬件完成本申请实施例中各个方法所需执行的功能,例如,可以执行图2或图3所示实施例的各个步骤/功能。
通信接口503可以使用但不限于收发器一类的收发装置,来实现装置500与其他设备或通信网络之间的通信。
总线504可以包括在装置500各个部件(例如,存储器501、处理器502、通信接口503)之间传送信息的通路。
应理解,本申请实施例所示的装置500可以是电子设备,或者,也可以是配置于电子设备中的芯片。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种账单数据的处理方法,其特征在于,所述方法包括:
第一账单服务器从存储设备中获取第一账单数据文件和所述第一账单数据文件对应的第一处理流程信息,所述第一账单服务器为多个账单服务器中的一个,所述第一账单数据文件为所述多个账单服务器存储于所述存储设备的多个账单数据文件中的一个,所述多个账单数据文件与多个处理流程信息一一对应,所述第一处理流程信息用于指示将所述第一账单数据文件处理为账单文件的一个或多个操作;
所述第一账单服务器根据所述第一处理流程信息对所述第一账单数据文件进行处理,得到账单文件,所述第一账单服务器根据所述第一处理流程信息对所述第一账单数据进行处理与所述多个账单服务器中任意一个账单服务器从数据库中获取多个账单数据的流程、所述任意一个账单服务器将多个账单数据划分为账单数据文件或所述任意一个账单服务器根据处理流程信息对账单数据文件进行并行处理。
2.根据权利要求1所述的方法,其特征在于,所述多个账单数据文件与多个文件锁一一对应,其中,在所述第一账单服务器从所述存储设备中获取所述第一账单数据文件之前,所述第一账单数据文件对应的文件锁没有被所述多个账单服务器中任意一个账单服务器占用,并且,在所述第一账单服务器从所述存储设备中获取所述第一账单数据文件之后,所述第一账单数据文件对应的文件锁被所述第一账单服务器占用。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一账单服务器从所述数据库服务器获取多个第一账单数据;
所述第一账单服务器将所述多个第一账单数据划分为N1个账单数据文件,N1为正整数;
所述第一账单服务器根据所述N1个账单数据文件确定N1个处理流程信息,所述N1个处理流程信息与所述N1个账单数据文件一一对应;
所述第一账单服务器将所述N1个账单数据文件和所述N1个处理流程信息存储于存储设备中。
4.根据权利要求3所述的方法,其特征在于,所述多个账单服务器中不同账单服务器从所述数据库服务器获取的账单数据中的第一字段的值不同。
5.根据权利要求4所述的方法,其特征在于,所述第一字段包括地域代码。
6.根据权利要求3所述的方法,其特征在于,所述第一账单服务器将所述多个第一账单数据划分为N1个账单数据文件,包括:
所述第一账单服务器根据预设的第一数据流阈值,将所述多个第一账单数据划分为所述N1个账单数据文件,所述N1个账单数据文件中每个账单数据文件的数据量小于或等于所述第一数据流阈值。
7.一种账单数据的处理装置,其特征在于,包括用于实现权利要求1至6中任一项所述的方法的各个功能模块。
8.一种账单数据的处理装置,其特征在于,包括:存储器和处理器;
所述存储器用于存储程序指令;
所述处理器用于调用所述存储器中的程序指令执行如权利要求1至6中任一项所述的方法。
9.一种计算机可读介质,其特征在于,所述计算机可读介质存储用于计算机执行的程序代码,该程序代码包括用于执行如权利要求1至6中任一项所述的方法的指令。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括指令,当所述指令被执行时,使得计算机执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110559932.XA CN113220456A (zh) | 2021-05-21 | 2021-05-21 | 账单数据的处理方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110559932.XA CN113220456A (zh) | 2021-05-21 | 2021-05-21 | 账单数据的处理方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113220456A true CN113220456A (zh) | 2021-08-06 |
Family
ID=77097832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110559932.XA Pending CN113220456A (zh) | 2021-05-21 | 2021-05-21 | 账单数据的处理方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113220456A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103888547A (zh) * | 2014-04-16 | 2014-06-25 | 中国银行股份有限公司 | 一种账单处理方法和服务器 |
CN105654375A (zh) * | 2015-12-29 | 2016-06-08 | 中国建设银行股份有限公司 | 数据处理方法及系统 |
CN107220897A (zh) * | 2017-05-24 | 2017-09-29 | 腾讯科技(深圳)有限公司 | 一种收益入账的处理方法和装置以及处理系统 |
CN107451301A (zh) * | 2017-09-12 | 2017-12-08 | 彩讯科技股份有限公司 | 实时投递账单邮件的处理方法、装置、设备和存储介质 |
CN107888672A (zh) * | 2017-11-02 | 2018-04-06 | 深圳市牛鼎丰科技有限公司 | 账单数据处理方法、装置、存储介质和计算机设备 |
CN110598007A (zh) * | 2019-09-09 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 账单文件处理方法、装置、介质及电子设备 |
CN110765179A (zh) * | 2019-10-18 | 2020-02-07 | 京东数字科技控股有限公司 | 分布式对账处理方法、装置、设备及存储介质 |
-
2021
- 2021-05-21 CN CN202110559932.XA patent/CN113220456A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103888547A (zh) * | 2014-04-16 | 2014-06-25 | 中国银行股份有限公司 | 一种账单处理方法和服务器 |
CN105654375A (zh) * | 2015-12-29 | 2016-06-08 | 中国建设银行股份有限公司 | 数据处理方法及系统 |
CN107220897A (zh) * | 2017-05-24 | 2017-09-29 | 腾讯科技(深圳)有限公司 | 一种收益入账的处理方法和装置以及处理系统 |
CN107451301A (zh) * | 2017-09-12 | 2017-12-08 | 彩讯科技股份有限公司 | 实时投递账单邮件的处理方法、装置、设备和存储介质 |
CN107888672A (zh) * | 2017-11-02 | 2018-04-06 | 深圳市牛鼎丰科技有限公司 | 账单数据处理方法、装置、存储介质和计算机设备 |
CN110598007A (zh) * | 2019-09-09 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 账单文件处理方法、装置、介质及电子设备 |
CN110765179A (zh) * | 2019-10-18 | 2020-02-07 | 京东数字科技控股有限公司 | 分布式对账处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11605087B2 (en) | Method and apparatus for identifying identity information | |
CN107832062B (zh) | 一种程序更新方法及终端设备 | |
CN111159329B (zh) | 敏感词检测方法、装置、终端设备和计算机可读存储介质 | |
CN109615372B (zh) | 基于智能合约的区块链数据屏蔽方法及装置 | |
CN111143446A (zh) | 数据对象的数据结构转换处理方法、装置及电子设备 | |
CN110765067A (zh) | 数据处理方法及装置 | |
CN113129150A (zh) | 交易数据的处理方法、装置、终端设备及可读存储介质 | |
WO2018205689A1 (zh) | 合并文件的方法、存储装置、存储设备和存储介质 | |
CN109241163B (zh) | 电子凭证的生成方法及终端设备 | |
WO2021129005A1 (zh) | 一种区块链状态变更交易追溯的方法及装置 | |
CN114374392A (zh) | 一种数据压缩存储方法、装置、终端设备及可读存储介质 | |
CN111324645B (zh) | 区块链的数据处理方法及装置 | |
CN109408035B (zh) | 一种业务系统的流程配置方法、存储介质和服务器 | |
CN111221690B (zh) | 针对集成电路设计的模型确定方法、装置及终端 | |
CN113220456A (zh) | 账单数据的处理方法及相关装置 | |
CN113722321A (zh) | 数据导出方法、装置和电子设备 | |
CN115729554A (zh) | 一种形式化验证约束求解的方法及相关设备 | |
CN114036180A (zh) | 报表生成方法、装置、设备及存储介质 | |
CN113760237A (zh) | 编译地址的更新方法、装置、终端设备及可读存储介质 | |
CN112416916A (zh) | 一种数据校验方法、装置、电子设备及可读存储介质 | |
CN110794994A (zh) | 真实触点的确定方法及装置 | |
CN110324236B (zh) | 事件记录的分享方法、装置和计算机设备 | |
CN112328960B (zh) | 数据运算的优化方法、装置、电子设备及存储介质 | |
CN114598559A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN114003200A (zh) | 扑克检测方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |