CN116737761A - 一种异步对账处理方法、装置、设备及存储介质 - Google Patents
一种异步对账处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116737761A CN116737761A CN202310676917.2A CN202310676917A CN116737761A CN 116737761 A CN116737761 A CN 116737761A CN 202310676917 A CN202310676917 A CN 202310676917A CN 116737761 A CN116737761 A CN 116737761A
- Authority
- CN
- China
- Prior art keywords
- data
- reconciliation
- file
- checked
- asynchronous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000004140 cleaning Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 25
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种异步对账处理方法、装置、设备及存储介质，方法包括获取第一待对账数据；对所述第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；基于规则引擎drools，配置预设对账规则；将所述第二对账数据与所述预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。本申请通过异步多线程模式，极大地提高对账速度，对获取的不同格式的待对账数据进行统一数据格式清洗，解决了当前对账平台存在的仅有数据库模式、对账规则复杂以及单线程对账效率低的技术问题。
Description
技术领域
本申请涉及金融科技技术领域，尤其涉及一种异步对账处理方法、装置、设备及存储介质。
背景技术
随着计算机服务的发展，各个系统之间相互协作日益密切，系统与系统之间的数据一致性需求也越来越多，特别是金融行业的数据量大和数据杂特点，对对账的要求和规则更为繁杂，因此需要更为合理的对账处理系统进行支撑。
在常见的对账平台中，存在如下问题：
1、数据类型过多，不同系统间产生的数据格式不一，需要进行处理才能进入对账流程，很多对账平台仅有数据库模式。
2、数据量大，且持续产生，需要有持续可拉取的api接口或者配置。
3、对账规则复杂，数据对账规则需要复杂的自由的规则模式。
4、对账处理模块缓慢，很多对账平台仅仅单线程对账，耗时较长。
5、报表展示不完善，很多对账平台无法支持报表自定义。
发明内容
本申请提供了一种异步对账处理方法、装置、设备及存储介质，解决了当前对账平台存在的仅有数据库模式、对账规则复杂以及单线程对账效率低的技术问题。
有鉴于此，本申请第一方面提供了一种异步对账处理方法，所述方法包括：
S1、获取第一待对账数据；
S2、对所述第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；
S3、基于规则引擎drools，配置预设对账规则；
S4、将所述第二对账数据与所述预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。
可选地，所述步骤S1具体包括：
基于excel、txt、sql的方式从本地目录中获取对账数据文件及所述对账数据文件包含的第一对账数据，并基于api从远程系统或外部系统获取第一对账数据。
可选地，所述步骤S1还包括：
将所述第一对账数据以文件形式存储至指定目录中，并通过mysql数据库存储文件信息，所述文件信息包括文件名、文件路径、文件类型、文件上传时间以及文件处理状态。
可选地，所述步骤S2具体包括：
解析所述第一待对账数据，将所述第一待对账数据解析为JAVA对象，并统一数据格式，得到第二待对账数据，所述第二待对账数据的统一数据格式包括文件名、文件类型、文件处理时间、字段名以及字段值。
可选地，所述步骤S2还包括：
创建数据表对象，按照预设需求重新组合所述第一待对账数据，得到统一数据格式的第二待对账数据，所述第二待对账数据的统一数据格式包括文件名、文件类型、文件处理时间、字段名以及字段值，所述数据表对象之间通过字段名进行映射关联。
可选地，所述步骤S4具体包括：
聚合由多个线程数据处理执行器处理的所述第二对账数据，生成聚合数据队列；
通过分发处理器按照预设对账任务将所述聚合数据队列中包含的所述第二对账数据分发至多个业务规则处理器，形成多个对账子任务，由所述业务规则处理器通过获取所述预设对账规则对所述第二对账数据进行规则匹配，得到对账结果。
可选地，所述步骤S4之后还包括：
S5、基于所述对账结果调用预设报表模板，基于vue-ui动态生成报表展示页面。
本申请第二方面提供一种异步对账处理装置，所述装置包括：
获取单元，用于获取第一待对账数据；
数据处理单元，用于对所述第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；
规则配置单元，用于基于规则引擎drools，配置预设对账规则；
对账处理单元，用于将所述第二对账数据与所述预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。
本申请第三方面提供一种异步对账处理设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的异步对账处理的方法的步骤。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的异步对账处理方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，提供了一种异步对账处理方法、装置、设备及存储介质，方法包括获取第一待对账数据；对所述第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；基于规则引擎drools，配置预设对账规则；将所述第二对账数据与所述预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。本申请通过异步多线程模式，极大地提高对账速度，对获取的不同格式的待对账数据进行统一数据格式清洗，解决了当前对账平台存在的仅有数据库模式、对账规则复杂以及单线程对账效率低的技术问题。
附图说明
图1为本申请实施例中异步对账处理方法的方法流程图；
图2为本申请实施例中异步对账处理装置的结构示意图；
图3为本申请实施例中异步对账处理设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请设计了一种异步对账处理方法、装置、设备及存储介质，解决了当前对账平台存在的仅有数据库模式、对账规则复杂以及单线程对账效率低的技术问题。
为了便于理解，请参阅图1，图1为本申请实施例中异步对账处理方法的方法流程图，如图1所示，具体为：
S1、获取第一待对账数据；
进一步地，步骤S1具体包括：
基于excel、txt、sql的方式从本地目录中获取对账数据文件及对账数据文件包含的第一对账数据，并基于api从远程系统或外部系统获取第一对账数据。
需要说明的是，支持多种文件格式获取方式，如excel、txt、sql等，支持从多个文件夹子目录获取文件，同时提供api数据获取方式，对远程系统或外部系统，更具兼容性。
除此之外，支持用户自定义设置获取时间、频率等。
进一步地，步骤S1还包括：
将第一对账数据以文件形式存储至指定目录中，并通过mysql数据库存储文件信息，文件信息包括文件名、文件路径、文件类型、文件上传时间以及文件处理状态。
需要说明的是，获取到的数据信息会通过mysql数据库进行存储。其中数据以文件形式存放在指定的目录中，mysql数据库将存储文件信息，包括文件名，文件路径，文件类型，文件上传时间，文件处理状态。
S2、对第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；
进一步地，步骤S2具体包括：
解析第一待对账数据，将第一待对账数据解析为JAVA对象，并统一数据格式，得到第二待对账数据，第二待对账数据的统一数据格式包括文件名、文件类型、文件处理时间、字段名以及字段值。
需要说明的是，将上述获取的需要对账的数据进行清洗，得到用户需要对账的数据，通过解析excel、txt、sql等数据，处理成统一的数据排版和格式，并存储在mysql数据库中。
其中解析方式为：根据文件类型选择不同的策略解析方法进行解析。具体地：
excel类型文件通过apache poi工具包进行解析；
txt类型文件通过java的IO流读取操作；
sql类型文件通过SQLParser进行解析，将sql语句解析成java对象。
解析后的数据格式为包含：文件名，文件类型，处理时间，字段名，字段值。一个文件可以有多条该格式的数据。
进一步地，步骤S2还包括：
创建数据表对象，按照预设需求重新组合第一待对账数据，得到统一数据格式的第二待对账数据，第二待对账数据的统一数据格式包括文件名、文件类型、文件处理时间、字段名以及字段值，数据表对象之间通过字段名进行映射关联。
需要说明的是，此外，用户也可新建数据表对象，对不同数据进行重新组合，新建表对象通过字段名进行映射关联，对前面处理的数据新建mysql视图组合成新的表，从而输出用户需要的数据。
S3、基于规则引擎drools，配置预设对账规则；
需要说明的是，通过上述清洗后的数据，引入规则引擎drools，让用户更为方便的配置对账规则，用户可以通过正则表达式方式，字段映射方式等方式配置对账规则，多种规则可一起使用。
S4、将第二对账数据与预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。
进一步地，步骤S4具体包括：
聚合由多个线程数据处理执行器处理的第二对账数据，生成聚合数据队列；
通过分发处理器按照预设对账任务将聚合数据队列中包含的第二对账数据分发至多个业务规则处理器，形成多个对账子任务，由业务规则处理器通过获取预设对账规则对第二对账数据进行规则匹配，得到对账结果。
需要说明的是，通过线程数据处理执行器，将匹配规则的数据聚合起来，存为聚合数据队列。每一组执行器处理一对数据，多个执行器同时启动，最高可达计算机cpu的2倍。
数据通过线程数据处理执行器聚合后，会进入聚合数据队列中，聚合数据队列存储了大量的需要对账的预处理数据。
聚合数据队列通过分发处理器进行分发，将需要对账的信息分发出去，形成多个对账子处理任务。
分发处理器分发后进入业务规则处理器，业务规则处理器会动态获取对账规则，进行规则比对，此处都是异步进行，最后落入mysql数据库，业务处理器可以配置出多个，以便快速对账。
进一步地，步骤S4之后还包括：
S5、基于对账结果调用预设报表模板，基于vue-ui动态生成报表展示页面。
需要说明的是，利用预设报表模板对对账结果进行展示，用户也可以自定义报表样式，并基于vue-ui动态生成页面，同时提供下载功能。
请参阅图2，图2为本申请实施例中异步对账处理装置的结构示意图，如图2所示，具体为：
获取单元201，用于获取第一待对账数据；
获取单元201具体用于基于excel、txt、sql的方式从本地目录中获取对账数据文件及对账数据文件包含的第一对账数据，并基于api从远程系统或外部系统获取第一对账数据。
需要说明的是，支持多种文件格式获取方式，如excel、txt、sql等，支持从多个文件夹子目录获取文件，同时提供api数据获取方式，对远程系统或外部系统，更具兼容性。
获取单元201还用于将第一对账数据以文件形式存储至指定目录中，并通过mysql数据库存储文件信息，文件信息包括文件名、文件路径、文件类型、文件上传时间以及文件处理状态。
需要说明的是，获取到的数据信息会通过mysql数据库进行存储。其中数据以文件形式存放在指定的目录中，mysql数据库将存储文件信息，包括文件名，文件路径，文件类型，文件上传时间，文件处理状态。
数据处理单元202，用于对第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；
数据处理单元202具体用于解析第一待对账数据，将第一待对账数据解析为JAVA对象，并统一数据格式，得到第二待对账数据，第二待对账数据的统一数据格式包括文件名、文件类型、文件处理时间、字段名以及字段值。
需要说明的是，将上述获取的需要对账的数据进行清洗，得到用户需要对账的数据，通过解析excel、txt、sql等数据，处理成统一的数据排版和格式，并存储在mysql数据库中。
其中解析方式为：根据文件类型选择不同的策略解析方法进行解析。具体地：
excel类型文件通过apache poi工具包进行解析；
txt类型文件通过java的IO流读取操作；
sql类型文件通过SQLParser进行解析，将sql语句解析成java对象。
解析后的数据格式为包含：文件名，文件类型，处理时间，字段名，字段值。一个文件可以有多条该格式的数据。
数据处理单元202还用于创建数据表对象，按照预设需求重新组合第一待对账数据，得到统一数据格式的第二待对账数据，第二待对账数据的统一数据格式包括文件名、文件类型、文件处理时间、字段名以及字段值，数据表对象之间通过字段名进行映射关联。
需要说明的是，此外，用户也可新建数据表对象，对不同数据进行重新组合，新建表对象通过字段名进行映射关联，对前面处理的数据新建mysql视图组合成新的表，从而输出用户需要的数据。
规则配置单元203，用于基于规则引擎drools，配置预设对账规则；
需要说明的是，通过上述清洗后的数据，引入规则引擎drools，让用户更为方便的配置对账规则，用户可以通过正则表达式方式，字段映射方式等方式配置对账规则，多种规则可一起使用。
对账处理单元204，用于将第二对账数据与预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。
对账处理单元具体用于聚合由多个线程数据处理执行器处理的第二对账数据，生成聚合数据队列；
通过分发处理器按照预设对账任务将聚合数据队列中包含的第二对账数据分发至多个业务规则处理器，形成多个对账子任务，由业务规则处理器通过获取预设对账规则对第二对账数据进行规则匹配，得到对账结果。
需要说明的是，通过线程数据处理执行器，将匹配规则的数据聚合起来，存为聚合数据队列。每一组执行器处理一对数据，多个执行器同时启动，最高可达计算机cpu的2倍。
数据通过线程数据处理执行器聚合后，会进入聚合数据队列中，聚合数据队列存储了大量的需要对账的预处理数据。
聚合数据队列通过分发处理器进行分发，将需要对账的信息分发出去，形成多个对账子处理任务。
分发处理器分发后进入业务规则处理器，业务规则处理器会动态获取对账规则，进行规则比对，此处都是异步进行，最后落入mysql数据库，业务处理器可以配置出多个，以便快速对账。
进一步地，还包括：
报表单元，用于基于对账结果调用预设报表模板，基于vue-ui动态生成报表展示页面。
需要说明的是，利用预设报表模板对对账结果进行展示，用户也可以自定义报表样式，并基于vue-ui动态生成页面，同时提供下载功能。
本申请实施例还提供了另一种异步对账处理设备，如图3所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：PersonalDigitalAssistant，英文缩写：PDA)、销售终端(英文全称：Point ofSales，英文缩写：POS)、车载电脑等任意终端设备，以终端为手机为例：
图3示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图3，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图3中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图3对手机的各个构成部件进行具体的介绍：
RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoiseAmplifier，英文缩写：LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System ofMobile communication，英文缩写：GSM)、通用分组无线服务(英文全称：GeneralPacket Radio Service，GPRS)、码分多址(英文全称：CodeDivision Multiple Access，英文缩写：CDMA)、宽带码分多址(英文全称：Wideband CodeDivisionMultipleAccess,英文缩写：WCDMA)、长期演进(英文全称：Long TermEvolution，英文缩写：LTE)、电子邮件、短消息服务(英文全称：ShortMessaging Service，SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文缩写：LCD)、有机发光二极管(英文全称：Organic Light-Emitting Diode，英文缩写：OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图3中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图3示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端所包括的处理器1080还具有以下功能：
S1、获取第一待对账数据；
S2、对第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；
S3、基于规则引擎drools，配置预设对账规则；
S4、将第二对账数据与预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种异步对账处理方法中的任意一种实施方式。
本申请实施例中，提供了一种异步对账处理方法、装置、设备及存储介质，方法包括获取第一待对账数据；对所述第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；基于规则引擎drools，配置预设对账规则；将所述第二对账数据与所述预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。本申请通过异步多线程模式，极大地提高对账速度，对获取的不同格式的待对账数据进行统一数据格式清洗，解决了当前对账平台存在的仅有数据库模式、对账规则复杂以及单线程对账效率低的技术问题。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种异步对账处理方法，其特征在于，包括：
S1、获取第一待对账数据；
S2、对所述第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；
S3、基于规则引擎drools，配置预设对账规则；
S4、将所述第二对账数据与所述预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。
2.根据权利要求1所述的异步对账处理方法，其特征在于，所述步骤S1具体包括：
基于excel、txt、sql的方式从本地目录中获取对账数据文件及所述对账数据文件包含的第一对账数据，并基于api从远程系统或外部系统获取第一对账数据。
3.根据权利要求2所述的异步对账处理方法，其特征在于，所述步骤S1还包括：
将所述第一对账数据以文件形式存储至指定目录中，并通过mysql数据库存储文件信息，所述文件信息包括文件名、文件路径、文件类型、文件上传时间以及文件处理状态。
4.根据权利要求1所述的异步对账处理方法，其特征在于，所述步骤S2具体包括：
解析所述第一待对账数据，将所述第一待对账数据解析为JAVA对象，并统一数据格式，得到第二待对账数据，所述第二待对账数据的统一数据格式包括文件名、文件类型、文件处理时间、字段名以及字段值。
5.根据权利要求4所述的异步对账处理方法，其特征在于，所述步骤S2还包括：
创建数据表对象，按照预设需求重新组合所述第一待对账数据，得到统一数据格式的第二待对账数据，所述第二待对账数据的统一数据格式包括文件名、文件类型、文件处理时间、字段名以及字段值，所述数据表对象之间通过字段名进行映射关联。
6.根据权利要求1所述的异步对账处理方法，其特征在于，所述步骤S4具体包括：
聚合由多个线程数据处理执行器处理的所述第二对账数据，生成聚合数据队列；
通过分发处理器按照预设对账任务将所述聚合数据队列中包含的所述第二对账数据分发至多个业务规则处理器，形成多个对账子任务，由所述业务规则处理器通过获取所述预设对账规则对所述第二对账数据进行规则匹配，得到对账结果。
7.根据权利要求1所述的异步对账处理方法，其特征在于，所述步骤S4之后还包括：
S5、基于所述对账结果调用预设报表模板，基于vue-ui动态生成报表展示页面。
8.一种异步对账处理装置，其特征在于，包括：
获取单元，用于获取第一待对账数据；
数据处理单元，用于对所述第一待对账数据进行数据清洗，得到统一数据格式的第二待对账数据并存储至数据库中；
规则配置单元，用于基于规则引擎drools，配置预设对账规则；
对账处理单元，用于将所述第二对账数据与所述预设对账规则进行匹配，按照预设对账任务多线程进行异步对账处理，得到对账结果。
9.一种异步对账处理设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的异步对账处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的异步对账处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310676917.2A CN116737761A (zh) | 2023-06-08 | 2023-06-08 | 一种异步对账处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310676917.2A CN116737761A (zh) | 2023-06-08 | 2023-06-08 | 一种异步对账处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116737761A true CN116737761A (zh) | 2023-09-12 |
Family
ID=87903815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310676917.2A Pending CN116737761A (zh) | 2023-06-08 | 2023-06-08 | 一种异步对账处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116737761A (zh) |
-
2023
- 2023-06-08 CN CN202310676917.2A patent/CN116737761A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111078556B (zh) | 应用测试方法及装置 | |
| CN110597793A (zh) | 数据管理方法及装置、电子设备和计算机可读存储介质 | |
| CN112540996B (zh) | 一种业务数据的校验方法、装置、电子设备及存储介质 | |
| JP6915074B2 (ja) | メッセージ通知方法及び端末 | |
| CN116976898B (zh) | 一种数据获取方法、数据可视化方法、装置及相关产品 | |
| CN116303085A (zh) | 一种测试原因分析方法、装置、设备及存储介质 | |
| CN115617899A (zh) | 一种数据可视化处理方法、装置、设备及存储介质 | |
| CN115904950A (zh) | 一种测试用例生成方法、装置、设备及存储介质 | |
| CN114817419A (zh) | 基于Kafka的媒资数据存储方法、装置、电子设备及存储介质 | |
| CN116737761A (zh) | 一种异步对账处理方法、装置、设备及存储介质 | |
| CN112667868B (zh) | 一种数据检测方法以及装置 | |
| CN109240986B (zh) | 一种日志处理方法、装置及存储介质 | |
| CN109471708B (zh) | 一种任务处理方法、装置及系统 | |
| CN114490307A (zh) | 一种单元测试方法、装置及存储介质 | |
| CN106657278B (zh) | 一种数据传输方法、装置及计算机设备 | |
| CN116881143A (zh) | 一种数据对象复制异常排查方法、装置、设备及存储介质 | |
| CN111382335B (zh) | 一种数据拉取方法、装置及存储介质 | |
| CN116501413A (zh) | 一种自动生成接口调用方法、装置、设备及存储介质 | |
| CN108572858B (zh) | 加载通知栏的方法及装置 | |
| CN116069269A (zh) | 一种自定义小票打印方法、装置、设备及存储介质 | |
| CN116680292A (zh) | 一种数据查询方法、装置、设备及计算机可读存储介质 | |
| CN116303086A (zh) | 端到端测试方法、配置方法、装置、设备及存储介质 | |
| CN115905008A (zh) | 一种测试案例自动生成方法、装置、设备及存储介质 | |
| CN116862473A (zh) | 银行生产应用调用关系分析方法、装置、设备及存储介质 | |
| CN116303646A (zh) | 一种跨数据库的数据比对方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |