CN113486059A - 基于多线程的对账方法及系统 - Google Patents
基于多线程的对账方法及系统 Download PDFInfo
- Publication number
- CN113486059A CN113486059A CN202110839271.6A CN202110839271A CN113486059A CN 113486059 A CN113486059 A CN 113486059A CN 202110839271 A CN202110839271 A CN 202110839271A CN 113486059 A CN113486059 A CN 113486059A
- Authority
- CN
- China
- Prior art keywords
- transaction
- thread
- account checking
- checking
- reconciliation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000012634 fragment Substances 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明涉及数字数据处理的技术领域，具体为一种基于多线程的对账方法及系统，该方法包括以下内容：下载并解析对账文件获得交易记录；根据交易记录配置并行处理的对账线程，对交易记录进行自动切片获得交易分片，创建并分发对账任务至配置的对账线程；对账线程接收对账任务后，根据预设的线程配置读取交易分片，根据预设的对账有向图执行预设的核对逻辑，生成核对结果。采用本方案能够解决现有技术中企业交易记录对账时间长的技术问题。
Description
技术领域
本发明涉及数字数据处理的技术领域，具体为一种基于多线程的对账方法及系统。
背景技术
对于企业而言，账目的管理尤其重要，而对账是账目管理中最重要的环节，通过对账确保企业账目的准确性，从而给企业的运营决策者提供更好、更正确的运营策略。在传统的对账方式中，存在多个待对账的业务系统，就是将每个待对账系统的数据与总账数据进行单独的数据对账，对账时需逐条对账核对。
然而，随着互联网技术的发展，企业业务量的增加，导致对账的数据量增大，逐条对账核对的方式使得对账时间长，难以实现每日对账，因此缩短对账时间成为当前企业对账环节中的难题。
发明内容
本发明的目的之一在于提供一种基于多线程的对账方法，以解决现有技术中企业交易记录对账时间长的技术问题。
本发明提供的基础方案一：基于多线程的对账方法，包括以下内容：
下载并解析对账文件获得交易记录；
根据交易记录配置并行处理的对账线程，对交易记录进行自动切片获得交易分片，创建并分发对账任务至配置的对账线程；
对账线程接收对账任务后，根据预设的线程配置读取交易分片，根据预设的对账有向图执行预设的核对逻辑，生成核对结果。
基础方案一的有益效果：通过下载、解析获得所需的交易记录，交易记录是指对账所需的所有记录。通过交易记录配置对账线程，使得对账线程与当前对账情况更为匹配，同时，通过自动切片对交易记录进行切分，从而创建多个对账任务供对账线程执行。通过多个对账线程并行处理，缩短处理所需的时间，针对大批量数据对账时，能够有效缩短对账时间。
对账线程处理时，根据预设的线程配置、对账有向图和核对逻辑对交易分片进行处理，对账有向图和核对逻辑为对账过程中的对账流程，以及所需交易记录之间的映射关系等，由于企业对账流程或交易记录之间的映射关系在短时间内通常不会发生改变，因此采用预设的方式，无需每次对账时进行对账有向图和核对逻辑的编辑，提高对账核对效率，从而缩短对账时间。
进一步，核对结果包括数据差异，还包括以下内容：当核对结果为数据差异时，记录对应的交易记录。
有益效果：由于交易记录需要下载解析，可能出现解析有误导致交易记录出现错误，同时，也可能出现交易记录本身记载有误的情况，因此在对账核对时，核对结果包括数据差异，此时记录对应的交易记录，便于后续对相应交易记录进行查看和处理，及时解决数据差异问题，确保对账的准确性。
进一步，还包括以下内容：对账线程接收对账任务后，根据预设的线程配置读取交易分片时，记录读取的交易分片，以及交易分片的位置信息。
有益效果：对账线程对交易记录进行对账时，通过记录读取的交易分配和位置信息，记录当前对账进度，便于把控当前对账环节，了解当前对账情况。
进一步，还包括以下内容：执行预设的核对逻辑时进行监测，判断是否异常退出，若是，则根据记录的交易分片和位置信息进行恢复。
有益效果：对对账环节进行监测，判断是否异常退出，在异常退出时，结合记录的对账进度及时对对账线程进行恢复，从而保证对账环节的正常对账进度。
进一步，还包括以下内容，解析获得交易记录后，按时间顺序将交易记录写入预设的对账表中。
有益效果：按时间顺序写入交易记录，一是能够按序处理交易记录，二是能够通过时间能够表征交易记录所在位置，以及交易记录的数据量，便于对交易记录进行管理和调用。
进一步，根据交易记录配置并行处理的对账线程，对交易记录进行自动切片获得交易分片，具体包括以下内容：统计交易记录获得记录总量，根据记录总量和预设的任务配置计算线程量，根据线程量配置对应数量的对账线程；根据任务配置和时间顺序对对账表进行自动切片获得交易分片。
有益效果：对账线程所处理的数据量有限，通过记录总量和任务配置计算线程量，从而获得当前交易记录所需数量的对账线程，同时，通过任务配置对对账表进行自动切片，使得切片获得的交易分片与对账线程匹配，从而达到快速对账的目的。
进一步，线程配置包括单次读取量，对账线程读取交易分片时，根据单次读取量从分发的交易分片中读取相应交易记录。
有益效果：对账线程对账时，根据单次读取量读取交易记录，避免一次读取较多交易记录，占用对账线程处理资源，从而提高对账线程的处理效率，保证对账处理的正常运行。
进一步，下载对账文件，具体包括以下内容：获取账期范围，根据账期范围从数据库中抽取对账文件。
有益效果：根据账期范围抽取对账文件，即一次性抽取多项交易记录，共同解析处理，从而减少数据库的读写次数，针对大批量业务时能够有效缩短对账时间。
本发明的目的之二在于提供一种基于多线程的对账系统。
本发明提供基础方案二：基于多线程的对账系统，使用上述基于多线程的对账方法。
基础方案二的有益效果：针对大批量数据对账时，一次性抽取多项交易记录，共同解析处理，从而减少数据库的读写次数，同时通过多个对账线程并行处理，缩短处理所需的时间，从而有效缩短对账时间。
附图说明
图1为本发明基于多线程的对账方法及系统实施例的流程图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例
基于多线程的对账方法，如附图1所示，包括以下内容：
下载并解析对账文件获得交易记录，具体包括：获取账期范围，根据账期范围从数据库中抽取对账文件进行下载，对账文件时通过SFTP数据接口进行下载；对对账文件进行解析获得账期范围内的所有交易记录。解析获得交易记录后，按时间顺序逐批次将交易记录写入预设的对账表中，以写入时间建立索引。通过时间可以表征交易记录的数据量，例如每1毫秒存储有N条数据，交易记录有X毫秒，则对应数据量为XN条数据。
根据交易记录配置并行处理的对账线程，对交易记录进行自动切片获得交易分片，创建并分发对账任务至配置的对账线程。具体包括以下内容：
统计交易记录获得记录总量，根据记录总量和预设的任务配置计算线程量，根据线程量配置对应数量的对账线程，预设的任务配置为每一对账线程所核对的交易记录量。
根据任务配置和时间顺序对对账表进行自动切片获得交易分片，即根据每一对账线程所核对的交易记录量对对账表进行自动切片，自动切片时根据时间顺序逐批次切片。
创建对账任务，将对账任务分发至配置的对账线程，一对账线程分配一对账任务。
对账线程接收对账任务后，根据预设的线程配置读取交易分片，记录读取的交易分片，以及交易分片的位置信息。具体包括以下内容：
线程配置包括单次读取量，对账线程读取交易分片时，根据单次读取量从分发的交易分片中读取相应交易记录。对账线程单次处理数据有限，例如交易分片中的交易记录有100万条，单次读取量为500条，则对账线程每次读取500条交易记录进行对账，直到将分发给该对账线程的100万条交易记录读取完，该对账线程完成对账任务。
记录当前读取的交易分片，以及交易分片的位置信息，记录到任务运行表中，记录时记录交易分片的写入时间表征位置信息。
在本实施例中，交易记录包括我方流水号、对方状态和对方收到的金额，根据预设的对账有向图执行预设的核对逻辑，生成核对结果。具体包括以下内容：
对账时需要支付明细、支付、交易明细和交易等数据进行对账，支付明细、支付、交易明细和交易以表的形式进行存储，表中具有流水号，根据我方流水号和预设的对账有向图依次读取支付明细、支付、交易明细和交易。
执行核对逻辑，根据读取的支付明细、支付、交易明细和交易进行对账，生成核对结果，核对结果包括数据差异和数据一致。
当核对结果为数据一致时，结束对账。当核对结果为数据差异时，记录对应的交易记录。导致数据差异的原因很多，为解决差异，在其他实施例中，还包括重新解析获得对应交易记录，判断重新解析的交易记录与记录的交易记录是否一致，若一致，则生成人工介入信号，申请人工介入进行重新对账或补账，若不一致，则根据重新解析后的交易记录重新对账。
执行预设的核对逻辑时进行监测，判断是否异常退出，若是，则根据记录的交易分片和位置信息进行恢复。在本实施例中，采用心跳机制进行监测，具体为：执行一次核对逻辑的运行时间在固定范围内，因此设定该时间范围为心跳时间，在心跳时间范围内未监测到心跳则判断为异常退出，此时根据任务运行表中的记录恢复运行对账。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (9)
1.基于多线程的对账方法，其特征在于，包括以下内容：
下载并解析对账文件获得交易记录；
根据交易记录配置并行处理的对账线程，对交易记录进行自动切片获得交易分片，创建并分发对账任务至配置的对账线程；
对账线程接收对账任务后，根据预设的线程配置读取交易分片，根据预设的对账有向图执行预设的核对逻辑，生成核对结果。
2.根据权利要求1所述的基于多线程的对账方法，其特征在于：核对结果包括数据差异，还包括以下内容：
当核对结果为数据差异时，记录对应的交易记录。
3.根据权利要求1所述的基于多线程的对账方法，其特征在于：还包括以下内容：
对账线程接收对账任务后，根据预设的线程配置读取交易分片时，记录读取的交易分片，以及交易分片的位置信息。
4.根据权利要求3所述的基于多线程的对账方法，其特征在于：还包括以下内容：
执行预设的核对逻辑时进行监测，判断是否异常退出，若是，则根据记录的交易分片和位置信息进行恢复。
5.根据权利要求1所述的基于多线程的对账方法，其特征在于：还包括以下内容，解析获得交易记录后，按时间顺序将交易记录写入预设的对账表中。
6.根据权利要求5所述的基于多线程的对账方法，其特征在于：根据交易记录配置并行处理的对账线程，对交易记录进行自动切片获得交易分片，具体包括以下内容：
统计交易记录获得记录总量，根据记录总量和预设的任务配置计算线程量，根据线程量配置对应数量的对账线程；
根据任务配置和时间顺序对对账表进行自动切片获得交易分片。
7.根据权利要求1所述的基于多线程的对账方法，其特征在于：线程配置包括单次读取量，对账线程读取交易分片时，根据单次读取量从分发的交易分片中读取相应交易记录。
8.根据权利要求1所述的基于多线程的对账方法，其特征在于：下载对账文件，具体包括以下内容：
获取账期范围，根据账期范围从数据库中抽取对账文件。
9.基于多线程的对账系统，其特征在于：使用权利要求1-8任一项的基于多线程的对账方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110839271.6A CN113486059A (zh) | 2021-07-23 | 2021-07-23 | 基于多线程的对账方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110839271.6A CN113486059A (zh) | 2021-07-23 | 2021-07-23 | 基于多线程的对账方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113486059A true CN113486059A (zh) | 2021-10-08 |
Family
ID=77942303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110839271.6A Pending CN113486059A (zh) | 2021-07-23 | 2021-07-23 | 基于多线程的对账方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486059A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114218173A (zh) * | 2021-12-30 | 2022-03-22 | 北京宇信科技集团股份有限公司 | 传帐类交易文件的批处理系统、处理方法、介质和设备 |
| CN116308850A (zh) * | 2023-05-19 | 2023-06-23 | 深圳市四格互联信息技术有限公司 | 对账方法、对账系统、对账服务器及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175165A (zh) * | 2019-04-16 | 2019-08-27 | 平安普惠企业管理有限公司 | 交易对账方法、装置、计算机设备及存储介质 |
| CN110765179A (zh) * | 2019-10-18 | 2020-02-07 | 京东数字科技控股有限公司 | 分布式对账处理方法、装置、设备及存储介质 |
| CN111784318A (zh) * | 2020-06-29 | 2020-10-16 | 京东数字科技控股有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112801792A (zh) * | 2021-01-29 | 2021-05-14 | 上海微盟企业发展有限公司 | 一种基于SaaS平台的信息核对方法、装置、设备及存储介质 |
| CN112991048A (zh) * | 2021-04-06 | 2021-06-18 | 北京融威众邦电子技术有限公司 | 对账系统及对账方法 |
-
2021
- 2021-07-23 CN CN202110839271.6A patent/CN113486059A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175165A (zh) * | 2019-04-16 | 2019-08-27 | 平安普惠企业管理有限公司 | 交易对账方法、装置、计算机设备及存储介质 |
| CN110765179A (zh) * | 2019-10-18 | 2020-02-07 | 京东数字科技控股有限公司 | 分布式对账处理方法、装置、设备及存储介质 |
| CN111784318A (zh) * | 2020-06-29 | 2020-10-16 | 京东数字科技控股有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN112801792A (zh) * | 2021-01-29 | 2021-05-14 | 上海微盟企业发展有限公司 | 一种基于SaaS平台的信息核对方法、装置、设备及存储介质 |
| CN112991048A (zh) * | 2021-04-06 | 2021-06-18 | 北京融威众邦电子技术有限公司 | 对账系统及对账方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114218173A (zh) * | 2021-12-30 | 2022-03-22 | 北京宇信科技集团股份有限公司 | 传帐类交易文件的批处理系统、处理方法、介质和设备 |
| CN114218173B (zh) * | 2021-12-30 | 2022-10-28 | 北京宇信科技集团股份有限公司 | 传帐类交易文件的批处理系统、处理方法、介质和设备 |
| CN116308850A (zh) * | 2023-05-19 | 2023-06-23 | 深圳市四格互联信息技术有限公司 | 对账方法、对账系统、对账服务器及存储介质 |
| CN116308850B (zh) * | 2023-05-19 | 2023-09-05 | 深圳市四格互联信息技术有限公司 | 对账方法、对账系统、对账服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11037168B1 (en) | Transaction exchange platform with watchdog microservice | |
| US11023528B1 (en) | Transaction exchange platform having configurable microservices | |
| US11080120B2 (en) | Transaction exchange platform with watchdog microservice | |
| CN113486059A (zh) | 基于多线程的对账方法及系统 | |
| CN108319543A (zh) | 一种计算机日志数据的异步处理方法及其介质、系统 | |
| US6269457B1 (en) | Technology regression and verification acceptance method | |
| US10789600B1 (en) | Transaction exchange platform with snapshot microservice | |
| CN111580939B (zh) | 一种分级异步处理事务的方法及装置 | |
| US11961077B2 (en) | Transaction exchange platform having streaming transaction data and microservices | |
| US20230153825A1 (en) | Transaction exchange platform with a validation microservice for validating transactions before being processed | |
| US20230153826A1 (en) | Detecting and preventing duplicate transactions on a transaction exchange platform | |
| CN109544014A (zh) | 基于历史数据回放的反欺诈方法及装置 | |
| CN111143434A (zh) | 数据智能核对方法、装置、设备及存储介质 | |
| CN114385465A (zh) | 一种故障预测方法、设备及存储介质 | |
| JP2011158966A (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| US20230237498A1 (en) | Removing duplicate transactions from a transaction exchange platform | |
| CN111382028A (zh) | 批量处理系统日期切换错误的处理方法、装置和服务器 | |
| EP4220519A1 (en) | Transaction exchange platform having streaming transaction data and microservices | |
| CN114511314A (zh) | 一种支付账户管理的方法、装置、计算机设备和存储介质 | |
| CN114090673A (zh) | 一种多数据源的数据处理方法、设备及存储介质 | |
| CN114186874A (zh) | 基于流量回放的风控策略配置方法、装置、设备及介质 | |
| CN112559641A (zh) | 拉链表的处理方法及装置、可读存储介质及电子设备 | |
| CN109255702B (zh) | 变更账户开户机构的方法及装置 | |
| US20230109607A1 (en) | Transaction exchange platform with a messenger microservice to update transactions | |
| US20230107687A1 (en) | Transaction exchange platform defining conditions for the processing of transaction objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211008 |
|
| RJ01 | Rejection of invention patent application after publication |