CN107862095A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN107862095A
CN107862095A CN201711284982.1A CN201711284982A CN107862095A CN 107862095 A CN107862095 A CN 107862095A CN 201711284982 A CN201711284982 A CN 201711284982A CN 107862095 A CN107862095 A CN 107862095A
Authority
CN
China
Prior art keywords
file
data
commit
storage file
written
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711284982.1A
Other languages
English (en)
Other versions
CN107862095B (zh
Inventor
全龙军
帅红波
黄国军
陈芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201711284982.1A priority Critical patent/CN107862095B/zh
Publication of CN107862095A publication Critical patent/CN107862095A/zh
Application granted granted Critical
Publication of CN107862095B publication Critical patent/CN107862095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种数据处理方法及装置，通过在满足数据处理条件的情况下，确定记录文件、数据库和存储文件，记录文件用于依次对每一次多笔COMMIT过程进行记录；创建一个内容为空的目标文件；按照数据存入存储文件中的顺序，逐条将存储文件中的数据写入到目标文件，直至将最后一个记录至记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到目标文件，停止将存储文件中的数据写入到目标文件；删除存储文件，将写入存储文件中的数据后的目标文件确定为新的存储文件，并删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程的方式，保证了多笔COMMIT时，数据库和存储文件中数据的一致性。

Description

一种数据处理方法及装置
技术领域
本发明涉及计算机领域，特别是涉及一种数据处理方法及装置。
背景技术
批量处理程序运行过程中，每当处理完成预设笔数的数据请求后，便会统一将这预设笔数的数据请求中各数据请求的数据请求结果依次写入数据库和存储文件。即，统一将处理得到多笔数据(数据请求结果)依次写入数据库和存储文件，具体的，是将一笔数据写入数据库和存储文件后，再将下一笔数据写入数据库和存储文件，此过程也可称为多笔COMMIT。
然而，因数据库具有ROLLBACK机制，而文件没有ROLLBACK机制，所以在统一将多笔数据写入数据库和存储文件的过程中(即，在多笔COMMIT过程中)，通常会存在因批量处理程序报错，使得数据库从当前写入数据状态回滚到上一次统一写入成功的状态，而存储文件却停留在当前写入数据状态，进而导致数据库和存储文件中数据不一致的问题。
有鉴于此，提供一种数据处理方法及装置，以保证多笔COMMIT时，数据库和存储文件中数据的一致性，是亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种数据处理方法及装置，以保证多笔COMMIT时，数据库和存储文件中数据的一致性，具体实施方案如下：
一种数据处理方法，包括：
在满足数据处理条件的情况下，确定记录文件和用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件，所述记录文件用于依次对每一次多笔COMMIT过程进行记录；
创建一个内容为空的目标文件；
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件；
删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程。
可选的，所述启动执行多笔COMMIT过程，包括：
启动执行多笔COMMIT过程，并将被删除的所述存储文件中的下一待写入所述目标文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
可选的，所述记录文件用于依次对每一次多笔COMMIT过程中的第一个存入所述数据库和存储文件中的数据进行存储；
所述按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件，包括：
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至下一待写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述所述目标文件。
可选的，所述记录文件用于依次对每一次成功完成的多笔COMMIT过程中的最后一个存入所述数据库和存储文件中的数据进行存储；
所述按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件，包括：
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至当前写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述目标文件。
可选的，所述启动执行多笔COMMIT过程，并将被删除的所述存储文件中的下一待写入所述目标文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程，包括：
启动执行多笔COMMIT过程，并将最后一个存入所述记录文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
可选的，所述数据处理条件，包括：启动执行多笔COMMIT过程。
一种数据处理装置，包括：
确定单元，用于在满足数据处理条件的情况下，确定记录文件和用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件，所述记录文件用于依次对每一次多笔COMMIT过程进行记录；
创建单元，用于创建一个内容为空的目标文件；
写入单元，用于按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件；
处理单元，用于删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程。
可选的，所述处理单元用于启动执行多笔COMMIT过程，具体包括：
启动执行多笔COMMIT过程，并将被删除的所述存储文件中的下一待写入所述目标文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
可选的，所述记录文件用于依次对每一次多笔COMMIT过程中的第一个存入所述数据库和存储文件中的数据进行存储；
所述写入单元，具体用于：
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至下一待写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述所述目标文件。
可选的，所述记录文件用于依次对每一次成功完成的多笔COMMIT过程中的最后一个存入所述数据库和存储文件中的数据进行存储；
所述写入单元，具体用于：
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至当前写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述目标文件。
本申请实施例提供一种数据处理方法及装置，通过在满足数据处理条件的情况下，确定记录文件、数据库和存储文件，记录文件用于依次对每一次多笔COMMIT过程进行记录；创建一个内容为空的目标文件；按照数据存入存储文件中的顺序，逐条将存储文件中的数据写入到目标文件，直至将最后一个记录至记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到目标文件，停止将存储文件中的数据写入到目标文件；删除存储文件，将写入存储文件中的数据后的目标文件确定为新的存储文件，并删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程的方式，保证了多笔COMMIT时，数据库和存储文件中数据的一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法流程图；
图2为本申请实施例提供的另一种数据处理方法流程图；
图3为本申请实施例提供的又一种数据处理方法流程图；
图4为本申请实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
图1为本申请实施例提供的一种数据处理方法流程图。
如图1所示，该方法包括：
S101、在满足数据处理条件的情况下，确定记录文件和用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件，所述记录文件用于依次对每一次多笔COMMIT过程进行记录；
在本申请实施例中，优选的，在批量处理程序运行过程中，若批量处理程序报错，则会停止执行多笔COMMIT过程，此时，通常会存在因数据库具有ROLLBACK机制，而文件没有ROLLBACK机制，导致用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件中的数据不一致的问题。
相应的，在启动执行多笔COMMIT过程时，则确定满足数据处理条件，执行本申请实施例提供的一种数据处理方法，以使得用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件中的数据的一致性。
在本申请实施例中，优选的，若批量处理程序报错，则批量处理程序停止执行，进而多笔COMMIT过程停止执行；若批量处理程序启动执行，则相应的多笔COMMIT过程启动执行。
在本申请实施例中，优选的，所述确定记录文件和用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件之后，判断所述数据库中的数据和所述存储文件中的数据是否一致；若一致，则启动执行多笔COMMIT过程。可选的，此处的启动执行多笔COMMIT过程是：启动执行多笔COMMIT过程，并将与最后一个存入数据库的数据相邻的下一个被处理得到的数据所属的多笔COMMIT过程，确定为启动执行多笔COMMIT过程后第一个执行的多笔COMMIT过程。
在本申请实施例中，优选的，所述记录文件为数据库文件，如数据表。以上仅仅是本申请实施例提供的记录文件的优选方式，发明人可根据自己的需求任意设置记录文件的具体表现形式，在此不做限定。
S102、创建一个内容为空的目标文件；
S103、按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件；
S104、删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程。
可选的，步骤S104中的启动执行多笔COMMIT过程，包括：启动执行多笔COMMIT过程，并将被删除的所述存储文件中的下一待写入所述目标文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
图2为本申请实施例提供的另一种数据处理方法流程图。
如图2所示，该方法包括：
S201、在满足数据处理条件的情况下，确定记录文件和用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件，所述记录文件用于依次对每一次多笔COMMIT过程中的第一个存入所述数据库和存储文件中的数据进行存储；
可选的，所述数据处理条件与上述实施例提供的数据处理条件相同，再此不做赘述。
S202、创建一个内容为空的目标文件；
S203、按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至下一待写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述所述目标文件；
S204、删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程。
在本申请实施例中，优选的，步骤S204中的启动执行多笔COMMIT过程，包括：启动执行多笔COMMIT过程，并将最后一个存入所述记录文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
图3为本申请实施例提供的又一种数据处理方法流程图。
如图3所示，该方法包括：
S301、在满足数据处理条件的情况下，确定记录文件和用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件，所述记录文件用于依次对每一次成功完成的多笔COMMIT过程中的最后一个存入所述数据库和存储文件中的数据进行存储；
可选的，所述数据处理条件与上述实施例提供的数据处理条件相同，再此不做赘述。
S302、创建一个内容为空的目标文件；
S303、按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至当前写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述目标文件；
S304、删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程。
在本申请实施例中，优选的，步骤S304中的启动执行多笔COMMIT过程，包括：启动执行多笔COMMIT过程，并将被删除的所述存储文件中的下一待写入所述目标文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
为了便于对本申请实施例提供的一种数据处理方法的理解，现通过举例的方式进行详细说明。
比如，本申请实施例提供的一种数据处理方法对应的批量处理程序应用于银行系统中的批量扣除各银行卡的年费的过程；若每处理100笔则执行一次多笔COMMIT过程，例如，若批量处理程序已处理至第230笔，前100笔对应的多笔COMMIT过程已成功完成；在执行第100-200笔对应的多笔COMMIT过程时，在将第150笔写入数据库和存储文件时，如果批量处理程序报错，则停止执行多笔COMMIT过程，此时，数据库基于ROLLBACK机制，记录到第100笔，而存储文件没有ROLLBACK机制，(若在批量处理程序报错之前，已将第150笔写入存储文件，则存储文件记录到第150笔；在批量处理程序报错之前，未将第150笔写入存储文件，则存储文件记录到第149笔)；现以存储文件记录到第149笔进行说明：
若启动执行多笔COMMIT过程时，创建一个内容为空的目标文件；将所述存储文件中的前100笔复制到所述目标文件，并删除所述存储文件，将存储有所述前100笔的所述目标文件作为新的存储文件，并启动执行多笔COMMIT过程【此处，将第101笔所属的多笔COMMIT过程(第101-200笔对应的多笔COMMIT过程)确定为启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程】。
以上仅仅是本申请实施例为了便于理解，提供的优选实施方式，再此不做限定。
本申请实施例提供一种数据处理方法，通过在满足数据处理条件的情况下，确定记录文件、数据库和存储文件，记录文件用于依次对每一次多笔COMMIT过程进行记录；创建一个内容为空的目标文件；按照数据存入存储文件中的顺序，逐条将存储文件中的数据写入到目标文件，直至将最后一个记录至记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到目标文件，停止将存储文件中的数据写入到目标文件；删除存储文件，将写入存储文件中的数据后的目标文件确定为新的存储文件，并删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程的方式，保证了多笔COMMIT时，数据库和存储文件中数据的一致性。
图4为本申请实施例提供的一种数据处理装置的结构示意图。
如图4所示，该装置包括：
确定单元41，用于在满足数据处理条件的情况下，确定记录文件和用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件，所述记录文件用于依次对每一次多笔COMMIT过程进行记录；
创建单元42，用于创建一个内容为空的目标文件；
写入单元43，用于按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件；
处理单元44，用于删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程。
可选的，所述处理单元用于启动执行多笔COMMIT过程，具体包括：启动执行多笔COMMIT过程，并将被删除的所述存储文件中的下一待写入所述目标文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
可选的，所述记录文件用于依次对每一次多笔COMMIT过程中的第一个存入所述数据库和存储文件中的数据进行存储；所述写入单元，具体用于：按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至下一待写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述所述目标文件。
可选的，所述记录文件用于依次对每一次成功完成的多笔COMMIT过程中的最后一个存入所述数据库和存储文件中的数据进行存储；所述写入单元，具体用于：按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至当前写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述目标文件。
本申请实施例提供一种数据处理装置，通过在满足数据处理条件的情况下，确定记录文件、数据库和存储文件，记录文件用于依次对每一次多笔COMMIT过程进行记录；创建一个内容为空的目标文件；按照数据存入存储文件中的顺序，逐条将存储文件中的数据写入到目标文件，直至将最后一个记录至记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到目标文件，停止将存储文件中的数据写入到目标文件；删除存储文件，将写入存储文件中的数据后的目标文件确定为新的存储文件，并删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程的方式，保证了多笔COMMIT时，数据库和存储文件中数据的一致性。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
在满足数据处理条件的情况下，确定记录文件和用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件，所述记录文件用于依次对每一次多笔COMMIT过程进行记录；
创建一个内容为空的目标文件；
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件；
删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程。
2.根据权利要求1所述的方法，其特征在于，所述启动执行多笔COMMIT过程，包括：
启动执行多笔COMMIT过程，并将被删除的所述存储文件中的下一待写入所述目标文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
3.根据权利要求2所述的方法，其特征在于，所述记录文件用于依次对每一次多笔COMMIT过程中的第一个存入所述数据库和存储文件中的数据进行存储；
所述按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件，包括：
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至下一待写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述所述目标文件。
4.根据权利要求2所述的方法，其特征在于，所述记录文件用于依次对每一次成功完成的多笔COMMIT过程中的最后一个存入所述数据库和存储文件中的数据进行存储；
所述按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件，包括：
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至当前写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述目标文件。
5.根据权利要3所述的方法，其特征在于，所述启动执行多笔COMMIT过程，并将被删除的所述存储文件中的下一待写入所述目标文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程，包括：
启动执行多笔COMMIT过程，并将最后一个存入所述记录文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
6.根据权利要求1-5任意一项所述的方法，其特征在于，所述数据处理条件，包括：启动执行多笔COMMIT过程。
7.一种数据处理装置，其特征在于，包括：
确定单元，用于在满足数据处理条件的情况下，确定记录文件和用于对多笔COMMIT过程中的数据进行存储的数据库和存储文件，所述记录文件用于依次对每一次多笔COMMIT过程进行记录；
创建单元，用于创建一个内容为空的目标文件；
写入单元，用于按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至将最后一个记录至所述记录文件中的成功完成的多笔COMMIT过程中的数据全部写入到所述目标文件，停止将所述存储文件中的数据写入到所述目标文件；
处理单元，用于删除所述存储文件，将写入所述存储文件中的数据后的所述目标文件确定为新的存储文件，以及启动执行多笔COMMIT过程。
8.根据权利要求7所述的装置，其特征在于，所述处理单元用于启动执行多笔COMMIT过程，具体包括：
启动执行多笔COMMIT过程，并将被删除的所述存储文件中的下一待写入所述目标文件中的数据所属的多笔COMMIT过程，确定为所述启动执行多笔COMMIT过程后，第一个执行的多笔COMMIT过程。
9.根据权利要求8所述的装置，其特征在于，所述记录文件用于依次对每一次多笔COMMIT过程中的第一个存入所述数据库和存储文件中的数据进行存储；
所述写入单元，具体用于：
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至下一待写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述所述目标文件。
10.根据权利要求8所述的装置，其特征在于，所述记录文件用于依次对每一次成功完成的多笔COMMIT过程中的最后一个存入所述数据库和存储文件中的数据进行存储；
所述写入单元，具体用于：
按照数据存入所述存储文件中的顺序，逐条将所述存储文件中的数据写入到所述目标文件，直至当前写入所述目标文件中的数据为最后一个存入所述记录文件中的数据时，停止将所述存储文件中的数据写入到所述目标文件。
CN201711284982.1A 2017-12-07 2017-12-07 一种数据处理方法及装置 Active CN107862095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711284982.1A CN107862095B (zh) 2017-12-07 2017-12-07 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711284982.1A CN107862095B (zh) 2017-12-07 2017-12-07 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN107862095A true CN107862095A (zh) 2018-03-30
CN107862095B CN107862095B (zh) 2021-06-01

Family

ID=61705437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711284982.1A Active CN107862095B (zh) 2017-12-07 2017-12-07 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN107862095B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750322A (zh) * 2012-05-22 2012-10-24 中国科学院计算技术研究所 一种机群文件系统分布式元数据一致性保证方法和系统
CN103294769A (zh) * 2013-04-28 2013-09-11 中国工商银行股份有限公司 一种大型服务器写文件的系统及方法
CN104376082A (zh) * 2014-11-18 2015-02-25 中国建设银行股份有限公司 一种把数据源文件中的数据导入到数据库中的方法
CN105302488A (zh) * 2015-10-27 2016-02-03 浪潮(北京)电子信息产业有限公司 一种存储系统的数据写入方法及系统
CN106502825A (zh) * 2016-10-13 2017-03-15 中国联合网络通信集团有限公司 数据处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750322A (zh) * 2012-05-22 2012-10-24 中国科学院计算技术研究所 一种机群文件系统分布式元数据一致性保证方法和系统
CN103294769A (zh) * 2013-04-28 2013-09-11 中国工商银行股份有限公司 一种大型服务器写文件的系统及方法
CN104376082A (zh) * 2014-11-18 2015-02-25 中国建设银行股份有限公司 一种把数据源文件中的数据导入到数据库中的方法
CN105302488A (zh) * 2015-10-27 2016-02-03 浪潮(北京)电子信息产业有限公司 一种存储系统的数据写入方法及系统
CN106502825A (zh) * 2016-10-13 2017-03-15 中国联合网络通信集团有限公司 数据处理方法及装置

Also Published As

Publication number Publication date
CN107862095B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN103198090B (zh) 用于优化虚拟桌面环境中的存储分配的方法和系统
CN103544153B (zh) 一种基于数据库的数据更新方法和系统
CN104699423B (zh) Linux系统中绑定盘符的方法和装置
CN104461685B (zh) 虚拟机处理方法和虚拟计算机系统
CN103198122B (zh) 重启内存数据库的方法和装置
CN102750317A (zh) 数据持久化处理方法、装置及数据库系统
CN103577329A (zh) 一种快照管理方法和装置
CN105446990B (zh) 一种业务数据处理方法及设备
CN109522332A (zh) 客户信息数据合并方法、装置、设备及可读存储介质
CN103605657A (zh) 一种在线重建索引的方法和装置
CN104166605A (zh) 基于增量数据文件的数据备份方法及系统
CN102279855A (zh) 一种数据库处理事务的装置及方法
WO2015062113A1 (zh) 一种事务处理方法与装置
CN106557307A (zh) 业务数据的处理方法及处理系统
CN107111534A (zh) 一种数据处理的方法和装置
CN105094811A (zh) 一种事件处理的方法和装置
CN104268097B (zh) 一种元数据处理方法及系统
CN109684271A (zh) 快照数据管理方法、装置、电子设备及机器可读存储介质
CN106844312B (zh) 一种数据表转换方法、装置、可读介质及存储控制器
CN108897525A (zh) 测试数据生成方法、装置、计算机设备及存储介质
CN107506200A (zh) 一种屏幕内容切换方法、终端及计算机可读存储介质
CN111007987A (zh) 一种用于raid io的内存管理方法、系统、终端及存储介质
CN109857806A (zh) 数据库表的同步验证方法及装置
CN102708416A (zh) 一种用户订购业务的方法、设备和系统
CN104133970A (zh) 一种数据空间管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant