CN112069260A - 数据存储及对账方法和系统 - Google Patents

数据存储及对账方法和系统 Download PDF

Info

Publication number
CN112069260A
CN112069260A CN202010940203.4A CN202010940203A CN112069260A CN 112069260 A CN112069260 A CN 112069260A CN 202010940203 A CN202010940203 A CN 202010940203A CN 112069260 A CN112069260 A CN 112069260A
Authority
CN
China
Prior art keywords
transaction
data
reconciliation
storage
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010940203.4A
Other languages
English (en)
Other versions
CN112069260B (zh
Inventor
那勇
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Clearing Center People's Bank Of China
Original Assignee
National Clearing Center People's Bank Of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Clearing Center People's Bank Of China filed Critical National Clearing Center People's Bank Of China
Priority to CN202010940203.4A priority Critical patent/CN112069260B/zh
Publication of CN112069260A publication Critical patent/CN112069260A/zh
Priority to PCT/CN2021/116864 priority patent/WO2022052901A1/zh
Priority to EP21865955.5A priority patent/EP4213037A4/en
Application granted granted Critical
Publication of CN112069260B publication Critical patent/CN112069260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2322—Optimistic concurrency control using timestamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Technology Law (AREA)
  • Computer Security & Cryptography (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了数据存储及对账方法和系统，所述方法包含：根据预设时间N于远端数据库中采集交易数据，根据采集所述交易数据的采集时间构建存储目录；通过所述存储目录将所述交易数据的数据明细存入预定分布式存储系统；根据所述存储目录生成RowKey，通过所述RowKey将目标数据的交易笔数和交易金额存储至预定开源数据库；根据预定开源数据库和分布式存储系统对预设时间M内多个预设时间N采集的交易数据进行对账处理，获得对账结果。

Description

数据存储及对账方法和系统
技术领域
本发明涉及数据处理领域，尤指一种数据存储及对账方法和系统。
背景技术
CAP(Consistency：一致性、Availability：可用性、Partition tolerance：分区容忍性)理论描述的对象是一个分布式系统，其中C表示从客户端来的读请求访问任何一个分布式系统节点，一定能读到最近的一次写请求的结果；A表示访问任何一个还存活的分布式系统节点，一定能够在一个时间范围内返回一个肯定的结果(成功或者失败，不能是超时或者错误)；P表示网络中允不允许节点间消息传递丢失。HDFS是一个分布式存储系统，对于任何一个分布式系统，最多只能满足CAP三点中的两点，不可能同时满足全部。比如HDFS的最小写副本数为N，如果N为1,则无法保证P，因为HDFS在同步单副本的Block到其他节点时，如何DataNode服务异常，则单副本的Block数据将永久丢失，相当于无法保证P。如果1<N<＝X,比如X等于3，则在这种情况下会有3个DataNode建立连接，且须同时写成功3个副本，如果3个副本其中任一个副本没有确认写成功前，写入的数据则无法被外部使用，这相当于牺牲了A；当HDFS采用多副本策略时，对于每一个DataNode，其正在被写入的Block会记录一个当前已确认写入数据的ackOffset，它决定了当有Client在本DataNode读取数据时，可以返回给Client能够读取的数据边界。当最后一个副本所在DataNode将数据写入后会更新当前自己的ackOffset，之后发送一个ack给它上游的DataNode，上游DataNode收到这个ack后也更新自己的ackOffset，然后同样发送ack给自己上游的DataNode，这个过程理论上会出现当ack在多个DataNode中传递时，不同的Client会读取到不同的DataNode，导致读取的数据不一致，这相当于牺牲了C。
由此可看出，现有的HDFS不能同时满足CAP的要求，因此业内亟需一种对于数据一致性、可用性、分区容忍性的保障机制，间接满足CAP理论的要求。
发明内容
本发明目的在于提供一种数据存储及对账方法和系统，以使得分布式存储系统可间接满足CAP，保证分布式存储的一致性、可用性、分区容忍性的要求。
为达上述目的，本发明所提供的数据存储及对账方法，具体包含：根据第一预设时间于源端数据库中采集交易数据，根据采集所述交易数据的采集时间构建存储目录；通过所述存储目录将所述交易数据的数据明细存入预定的分布式存储系统；根据所述存储目录生成RowKey，通过所述RowKey将所述目标数据的交易笔数和交易金额存储至预定的开源数据库；根据开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果；N为大于等于1的整数。
在上述数据存储及对账方法，优选的，根据采集所述交易数据的采集时间构建存储目录包含：根据采集所述交易数据的起始时间戳和结束时间戳构建存储目录。
在上述数据存储及对账方法，优选的，所述第一预设时间为10分钟，所述第二预设时间为24小时。
在上述数据存储及对账方法，优选的，根据预定开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果包含：统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；根据所述存储目录将统计的交易笔数和交易金额分别与开源数据库中对应存储的交易笔数和交易金额比较，获得对账结果。
在上述数据存储及对账方法，优选的，根据所述存储目录将统计的交易笔数和交易金额分别与开源数据库中对应存储的交易笔数和交易金额比较还包含：当比较结果不一致时，根据所述存储目录于源端数据库中采集对应时间段的交易数据，并根据重新采集的交易数据更新覆盖开源数据库和分布式存储系统中对应存储的数据。
在上述数据存储及对账方法，优选的，根据预定开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果还包含：统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；根据N个第一预设时间所对应的时间段获取源端数据库中交易数据的交易笔数和交易金额；将源端数据库中的交易笔数和交易金额分别与分布式存储系统中的交易笔数和交易金额比较，获得对账结果。
本发明还提供一种数据存储及对账系统，所述系统包含：源端数据库、采集装置、分布式存储系统、开源数据库和对账装置；所述采集装置用于根据第一预设时间于源端数据库中采集交易数据，根据采集所述交易数据的采集时间构建存储目录；通过所述存储目录将所述交易数据的数据明细存入预定的分布式存储系统；以及，根据所述存储目录生成RowKey，通过所述RowKey将所述目标数据的交易笔数和交易金额存储至预定的开源数据库；所述对账装置用于根据开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果；N为大于等于1的整数。
在上述数据存储及对账系统中，优选的，所述对账装置包含技术对账模块，所述技术对账模块用于统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；根据所述存储目录将统计的交易笔数和交易金额分别与开源数据库中对应存储的交易笔数和交易金额比较，获得对账结果。
在上述数据存储及对账系统中，优选的，技术对账模块还包含核对单元，所述核对单元用于当比较结果不一致时，根据所述存储目录于源端数据库中采集对应时间段的交易数据，并根据重新采集的交易数据更新覆盖开源数据库和分布式存储系统中对应存储的数据。
在上述数据存储及对账系统中，优选的，所述对账装置包含还包含业务对账模块，所述业务对账模块用于统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；根据N个第一预设时间所对应的时间段获取源端数据库中交易数据的交易笔数和交易金额；将源端数据库中的交易笔数和交易金额分别与分布式存储系统中的交易笔数和交易金额比较，获得对账结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明的有益技术效果在于：通过引入小批存储与日终对账方式，间接保证了数据在HDFS分布式存储的一致性、可用性、分区容忍性的要求，达到了预期效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例所提供的数据存储及对账方法的流程示意图；
图2为本发明一实施例所提供的对账流程示意图；
图3为本发明一实施例所提供的对账流程示意图；
图4为本发明一实施例所提供的数据存储及对账系统的结构示意图；
图5为本发明一实施例所提供的数据存储及对账系统的应用原理流程示意图；
图6为本发明一实施例所提供的电子设备的结构示意图；
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
请参考图1所示，本发明所提供的数据存储及对账方法，具体包含：
S101根据第一预设时间于源端数据库中采集交易数据，根据采集所述交易数据的采集时间构建存储目录；
S102通过所述存储目录将所述交易数据的数据明细存入预定的分布式存储系统；
S103根据所述存储目录生成RowKey，通过所述RowKey将所述目标数据的交易笔数和交易金额存储至预定的开源数据库；
S104根据开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果；N为大于等于1的整数。
在上述实施例中，根据采集所述交易数据的采集时间构建存储目录包含：根据采集所述交易数据的起始时间戳和结束时间戳构建存储目录；具体的，所述第一预设时间可为10分钟，所述第二预设时间可为24小时。由此，在实际工作中，可以10分钟为一个周期进行交易数据采集，后续当零点10分时为一个大周期进行对账处理，实现日终对账的要求；在该过程中因引入开源数据库HBase以技术对账的方式，间接保证了数据在HDFS分布式存储的一致性、可用性、分区容忍性的要求。
请参考图2所示，在本发明一实施例中，根据预定开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果包含：
S201统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；
S202根据所述存储目录将统计的交易笔数和交易金额分别与开源数据库中对应存储的交易笔数和交易金额比较，获得对账结果。
在上述实施例中，根据所述存储目录将统计的交易笔数和交易金额分别与开源数据库中对应存储的交易笔数和交易金额比较还包含：当比较结果不一致时，根据所述存储目录于源端数据库中采集对应时间段的交易数据，并根据重新采集的交易数据更新覆盖开源数据库和分布式存储系统中对应存储的数据。由此，防止数据不一致的情况发生，保证数据一致。
请参考图3所示，在本发明另一实施例中，根据预定开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果还包含：
S301统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；
S302根据N个第一预设时间所对应的时间段获取源端数据库中交易数据的交易笔数和交易金额；
S303将源端数据库中的交易笔数和交易金额分别与分布式存储系统中的交易笔数和交易金额比较，获得对账结果。
在该实施例中如比较结果不一致时，也可采用前述实施例的方式，即利用存储目录将源端数据库中的对应的交易数据更新至所述分布存储系统中来保证数据的一致性。
请参考图4所示，本发明还提供一种数据存储及对账系统，所述系统包含：源端数据库、采集装置、分布式存储系统、开源数据库和对账装置；所述采集装置用于根据第一预设时间于源端数据库中采集交易数据，根据采集所述交易数据的采集时间构建存储目录；通过所述存储目录将所述交易数据的数据明细存入预定的分布式存储系统；以及，根据所述存储目录生成RowKey，通过所述RowKey将所述目标数据的交易笔数和交易金额存储至预定的开源数据库；所述对账装置用于根据开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果；N为大于等于1的整数。
在上述实施例中，所述对账装置包含技术对账模块，所述技术对账模块用于统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；根据所述存储目录将统计的交易笔数和交易金额分别与开源数据库中对应存储的交易笔数和交易金额比较，获得对账结果；进一步的，技术对账模块还包含核对单元，所述核对单元用于当比较结果不一致时，根据所述存储目录于源端数据库中采集对应时间段的交易数据，并根据重新采集的交易数据更新覆盖开源数据库和分布式存储系统中对应存储的数据。
在本发明另一实施例中，所述对账装置包含还包含业务对账模块，所述业务对账模块用于统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；根据N个第一预设时间所对应的时间段获取源端数据库中交易数据的交易笔数和交易金额；将源端数据库中的交易笔数和交易金额分别与分布式存储系统中的交易笔数和交易金额比较，获得对账结果。
综上，本发明所提供的数据存储及对账方法和系统在实际过程中主要包含两个环节，即数据采集及保存环节和对账环节，以下以实际工作结合图5为例，对上述实施例做整体说明，本领域相关技术人员当可知，该实例仅为便于理解本发明所提供的上述实施例，并不对其做任何技术限定。
一、数据采集及保存环节；
为保证数据一致性、可用性、分区容忍性的要求，数据采集的方式采用日间小批(每10分钟一批数据)的方式采集，每批数据包含的信息包括10分钟内数据明细和明细汇总笔数、金额，其中数据明细保存至HDFS存储，且使用10分钟的开始、结束时间戳作为该批明细数据所在HDFS目录名称，同时以目录名称作为RowKey将该批汇总笔数、金额信息保存至HBase存储。
二、对账环节；
每日0点10分，由定时任务启动前一日日终对账过程，首先执行技术对账，即对每一小批数据对账明细笔数和金额，该阶段对账主体为计算HDFS小批目录中明细数据的笔数和加总金额，以及HBase中已保存的该批的笔数、金额信息。对账方法采用比对对账主体的笔数、金额是否一致，一致则表示该批数据在HDFS保存正确，即满足CAP要求。如果数据不一致，则需要重新到源端采集该批数据重新保存。其次执行业务对账，即在保证每批数据核对无误的情况下，计算前一日所有小批明细数据的笔数、金额，并计算源端数据的笔数、金额，进行一致性核对，保证前一日的数据采集不丢失且可用。
本发明的有益技术效果在于：通过引入小批存储与日终对账方式，间接保证了数据在HDFS分布式存储的一致性、可用性、分区容忍性的要求，达到了预期效果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图6所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图6中所示的所有部件；此外，电子设备600还可以包括图6中没有示出的部件，可以参考现有技术。
如图6所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种数据存储及对账方法，其特征在于，所述方法包含：
根据第一预设时间于源端数据库中采集交易数据，根据采集所述交易数据的采集时间构建存储目录；
通过所述存储目录将所述交易数据的数据明细存入预定的分布式存储系统；
根据所述存储目录生成RowKey，通过所述RowKey将目标数据的交易笔数和交易金额存储至预定的开源数据库；
根据开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果；N为大于等于1的整数。
2.根据权利要求1所述的数据存储及对账方法，其特征在于，根据采集所述交易数据的采集时间构建存储目录包含：根据采集所述交易数据的起始时间戳和结束时间戳构建存储目录。
3.根据权利要求1所述的数据存储及对账方法，其特征在于，所述第一预设时间为10分钟，所述第二预设时间为24小时。
4.根据权利要求1所述的数据存储及对账方法，其特征在于，根据预定开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果包含：
统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；
根据所述存储目录将统计的交易笔数和交易金额分别与开源数据库中对应存储的交易笔数和交易金额比较，获得对账结果。
5.根据权利要求4所述的数据存储及对账方法，其特征在于，根据所述存储目录将统计的交易笔数和交易金额分别与开源数据库中对应存储的交易笔数和交易金额比较还包含：
当比较结果不一致时，根据所述存储目录于源端数据库中采集对应时间段的交易数据，并根据重新采集的交易数据更新覆盖开源数据库和分布式存储系统中对应存储的数据。
6.根据权利要求1所述的数据存储及对账方法，其特征在于，根据预定开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果还包含：
统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；
根据N个第一预设时间所对应的时间段获取源端数据库中交易数据的交易笔数和交易金额；
将源端数据库中的交易笔数和交易金额分别与分布式存储系统中的交易笔数和交易金额比较，获得对账结果。
7.一种数据存储及对账系统，其特征在于，所述系统包含：源端数据库、采集装置、分布式存储系统、开源数据库和对账装置；
所述采集装置用于根据第一预设时间于源端数据库中采集交易数据，根据采集所述交易数据的采集时间构建存储目录；通过所述存储目录将所述交易数据的数据明细存入预定的分布式存储系统；以及，根据所述存储目录生成RowKey，通过所述RowKey将目标数据的交易笔数和交易金额存储至预定的开源数据库；
所述对账装置用于根据开源数据库和分布式存储系统对第二预设时间内N个第一预设时间采集的交易数据进行对账处理获得对账结果；N为大于等于1的整数。
8.根据权利要求7所述的数据存储及对账系统，其特征在于，所述对账装置包含技术对账模块，所述技术对账模块用于统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；根据所述存储目录将统计的交易笔数和交易金额分别与开源数据库中对应存储的交易笔数和交易金额比较，获得对账结果。
9.根据权利要求8所述的数据存储及对账系统，其特征在于，技术对账模块还包含核对单元，所述核对单元用于当比较结果不一致时，根据所述存储目录于源端数据库中采集对应时间段的交易数据，并根据重新采集的交易数据更新覆盖开源数据库和分布式存储系统中对应存储的数据。
10.根据权利要求7所述的数据存储及对账系统，其特征在于，所述对账装置包含还包含业务对账模块，所述业务对账模块用于统计分布存储系统中N个第一预设时间采集的交易数据所对应的交易笔数和交易金额；根据N个第一预设时间所对应的时间段获取源端数据库中交易数据的交易笔数和交易金额；将源端数据库中的交易笔数和交易金额分别与分布式存储系统中的交易笔数和交易金额比较，获得对账结果。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一所述方法的计算机程序。
CN202010940203.4A 2020-09-09 2020-09-09 数据存储及对账方法和系统 Active CN112069260B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010940203.4A CN112069260B (zh) 2020-09-09 2020-09-09 数据存储及对账方法和系统
PCT/CN2021/116864 WO2022052901A1 (zh) 2020-09-09 2021-09-07 数据存储及对账方法和系统
EP21865955.5A EP4213037A4 (en) 2020-09-09 2021-09-07 DATA STORAGE AND RECONCILIATION PROCEDURES AND SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010940203.4A CN112069260B (zh) 2020-09-09 2020-09-09 数据存储及对账方法和系统

Publications (2)

Publication Number Publication Date
CN112069260A true CN112069260A (zh) 2020-12-11
CN112069260B CN112069260B (zh) 2024-07-30

Family

ID=73663135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010940203.4A Active CN112069260B (zh) 2020-09-09 2020-09-09 数据存储及对账方法和系统

Country Status (3)

Country Link
EP (1) EP4213037A4 (zh)
CN (1) CN112069260B (zh)
WO (1) WO2022052901A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157787A (zh) * 2021-04-06 2021-07-23 中信百信银行股份有限公司 账务处理方法、装置、电子设备及可读存储介质
WO2022052901A1 (zh) * 2020-09-09 2022-03-17 中国人民银行清算总中心 数据存储及对账方法和系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205614B (zh) * 2023-05-04 2023-07-21 无锡锡商银行股份有限公司 一种用于分布式场景下的业务对账管理系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198376A1 (en) * 2006-02-23 2007-08-23 Oracle International Corporation Methods and systems for managing reconciliation and write-off in an accrual accounting environment
CN107729553A (zh) * 2017-11-07 2018-02-23 北京京东金融科技控股有限公司 系统数据对账方法及装置、存储介质、电子设备
CN108052358A (zh) * 2017-12-12 2018-05-18 上海天旦网络科技发展有限公司 一种分布式部署的系统和方法
CN109739934A (zh) * 2019-01-08 2019-05-10 厦门投融汇网络有限公司 差集对账方法、介质、计算机设备及系统
CN110264328A (zh) * 2019-06-14 2019-09-20 深圳前海微众银行股份有限公司 对账方法、装置、设备、系统及计算机可读存储介质
CN110738477A (zh) * 2019-08-22 2020-01-31 威富通科技有限公司 一种对账方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816481A (zh) * 2019-01-04 2019-05-28 平安科技（深圳）有限公司 账单处理方法、装置及计算机可读存储介质
CN110070440A (zh) * 2019-04-30 2019-07-30 苏州工业园区服务外包职业学院 一种业务数据处理方法、装置、设备和存储介质
CN112069260B (zh) * 2020-09-09 2024-07-30 中国人民银行清算总中心 数据存储及对账方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198376A1 (en) * 2006-02-23 2007-08-23 Oracle International Corporation Methods and systems for managing reconciliation and write-off in an accrual accounting environment
CN107729553A (zh) * 2017-11-07 2018-02-23 北京京东金融科技控股有限公司 系统数据对账方法及装置、存储介质、电子设备
CN108052358A (zh) * 2017-12-12 2018-05-18 上海天旦网络科技发展有限公司 一种分布式部署的系统和方法
CN109739934A (zh) * 2019-01-08 2019-05-10 厦门投融汇网络有限公司 差集对账方法、介质、计算机设备及系统
CN110264328A (zh) * 2019-06-14 2019-09-20 深圳前海微众银行股份有限公司 对账方法、装置、设备、系统及计算机可读存储介质
CN110738477A (zh) * 2019-08-22 2020-01-31 威富通科技有限公司 一种对账方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052901A1 (zh) * 2020-09-09 2022-03-17 中国人民银行清算总中心 数据存储及对账方法和系统
CN113157787A (zh) * 2021-04-06 2021-07-23 中信百信银行股份有限公司 账务处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
EP4213037A4 (en) 2024-10-09
WO2022052901A1 (zh) 2022-03-17
EP4213037A1 (en) 2023-07-19
CN112069260B (zh) 2024-07-30

Similar Documents

Publication Publication Date Title
CN112069260B (zh) 数据存储及对账方法和系统
CN108268501B (zh) 一种在线数据迁移过程中的业务处理方法及装置
CN111708841B (zh) 数据库数据同步方法及装置
CN111047430A (zh) 会计核算信息处理方法及装置
CN112612851B (zh) 多中心数据同步方法及装置
CN114979158B (zh) 一种资源监控方法、系统、设备及计算机可读存储介质
CN103856516A (zh) 数据存储、读取方法及数据存储、读取装置
CN112231106B (zh) Redis集群的访问数据处理方法及装置
CN114185489A (zh) 一种数据同步方法、装置、电子设备及存储介质
CN111930843B (zh) 基于数据库的数据系统及处理方法
CN115080515A (zh) 基于区块链的系统文件共享方法及系统
CN110442601A (zh) 一种Openstack镜像数据并行加速的方法和装置
CN114153856A (zh) 主机数据双写方法及装置
CN111930624B (zh) 测试链路报文数据处理方法及装置
CN110597467B (zh) 高可用数据零丢失存储系统及方法
CN115421976A (zh) 异地备灾数据处理方法及装置
CN115495436A (zh) 数据库升级方法及装置
CN111625606B (zh) 一种联盟链数据处理方法、装置以及电子设备
CN111859041A (zh) 数据报送方法及装置
CN113935841A (zh) 交易数据处理方法及银企互联系统
CN112035162A (zh) 配置文件批量修改方法及装置
CN115021938B (zh) 安全数字证书应用方法及装置
CN114726921B (zh) 单元化架构下的数据处理方法及装置
CN113760683B (zh) 日志采集方法及装置
CN114726921A (zh) 单元化架构下的数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant