CN109960613B - 一种数据批处理的方法及装置 - Google Patents
一种数据批处理的方法及装置 Download PDFInfo
- Publication number
- CN109960613B CN109960613B CN201910179349.9A CN201910179349A CN109960613B CN 109960613 B CN109960613 B CN 109960613B CN 201910179349 A CN201910179349 A CN 201910179349A CN 109960613 B CN109960613 B CN 109960613B
- Authority
- CN
- China
- Prior art keywords
- data
- disaster recovery
- production system
- production
- source data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hardware Redundancy (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据批处理的方法及装置，该方法包括：灾备容灾服务器获取灾备系统的源数据，根据灾备系统的源数据确定灾备系统的源数据的特征值，获取生产容灾服务器发送的生产系统的源数据的特征值，根据灾备系统的源数据的特征值、生产系统的源数据特的征值进行源数据校验，若灾备系统的源数据的特征值、生产系统的源数据的特征值一致，则确定通过源数据校验，否则，确定未通过源数据校验，并根据源数据校验的结果生成异常信息，以使运维人员进行相关操作。该技术方案，解决生产系统逻辑异常或存储硬件异常情况下，灾备系统无法获取数据或获取错误数据，导致灾备系统不可用的问题。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种数据批处理的方法及装置。
背景技术
批处理系统用于数据批处理，现有的批处理系统广泛使用基于存储级复制的冷备架构，业务数据库采用存储级复制技术同步，当一个批处理周期数据齐备以后，进行一次快照同步，将业务数据从生产系统同步至灾备系统，之后灾备系统按照生产系统的业务处理时序执行批处理场次，生成批处理结果，全天批处理流程结束后，对结果进行比较，以验证灾备系统可用性。存储级复制依赖数据库所在存储的底层复制，当生产系统逻辑异常或存储硬件异常情况下，灾备系统无法获取数据或获取错误数据，导致灾备系统不可用。
发明内容
本发明实施例提供一种数据批处理的方法及装置，用以解决生产系统逻辑异常或存储硬件异常情况下，灾备系统无法获取数据或获取错误数据，导致灾备系统不可用的问题。
本发明实施例提供的一种数据批处理的方法，包括：
灾备容灾服务器获取灾备系统的源数据，根据所述灾备系统的源数据确定所述灾备系统的源数据的特征值；
获取生产容灾服务器发送的生产系统的源数据的特征值；所述生产系统的源数据的特征值是所述生产容灾服务器获取所述生产系统的源数据后，根据所述生产系统的源数据确定的；
根据所述灾备系统的源数据的特征值、所述生产系统的源数据特的征值进行源数据校验；
若所述灾备系统的源数据的特征值、所述生产系统的源数据的特征值一致，则确定通过所述源数据校验；否则，确定未通过所述源数据校验，并根据所述源数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据。
上述技术方案中，灾备系统接收上游系统发送的源数据，灾备容灾服务器获取灾备系统的源数据，并确定灾备系统的源数据的特征值；生产系统接收上游系统发送的源数据，生产容灾服务器获取生产系统的源数据，并确定生产系统的源数据的特征值；灾备容灾服务器接收生产容灾服务器发送的生产系统的源数据的特征值，并根据灾备系统的源数据的特征值、生产系统的源数据的特征值进行源数据校验，判断两个系统的源数据的特征值是否一致，即在确保上游系统分别向灾备系统、生产系统发送相同的数据之后，判断灾备系统、生产系统接收到的数据是否一致，判断上游系统分别与灾备系统、生产系统进行数据传输过程中，是否出现数据异常，且该方案避免出现生产系统逻辑异常或存储硬件异常情况下，灾备系统无法获取源数据或获取错误源数据，导致灾备系统不可用的问题。
可选的，所述源数据包括以下数据中的任一个或组合：
流式写入类数据、批量抽取类数据、批量装载类数据。
上述技术方案中，源数据可以包括流式写入类数据、批量抽取类数据、批量装载类数据中的任意一个或组合。当源数据是流式写入类数据时，上游系统分别向生产中心、灾备中心执行写入任务；当源数据是批量抽取类数据时，上游系统执行到生产系统的抽取任务后，再执行到灾备系统的抽取任务；当源数据是批量装载类数据时，上游系统分别向生产中心、灾备中心执行装载任务。
可选的，在所述灾备容灾服务器进行源数据校验之后，还包括：
所述灾备容灾服务器获取所述灾备系统的日间数据，根据所述灾备系统的日间数据确定所述灾备系统的日间数据的特征值；
获取所述生产容灾服务器发送的所述生产系统的日间数据的特征值；所述生产系统的日间数据的特征值是所述生产容灾服务器获取所述生产系统的日间数据后，根据所述生产系统的日间数据确定的；
根据所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值进行日间数据校验；
若所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值一致，则确定通过所述日间数据校验；否则，确定未通过所述日间数据校验，并根据所述日间数据校验的结果生成异常信息，以使所述运维人员进行相关操作；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
上述技术方案中，灾备系统在预设处理时段内获取上游系统发送的源数据，并对该预设处理时段的源数据进行处理后生成灾备系统的日间数据，灾备容灾服务器获取灾备系统的日间数据，并确定灾备系统的日间数据的特征值；生产系统在预设处理时段内获取上游系统发送的源数据，并对该预设处理时段的源数据进行处理后生成生产系统的日间数据，生产容灾服务器获取生产系统的日间数据，并确定生产系统的日间数据的特征值。灾备容灾服务器接收生产容灾服务器发送的生产系统的日间数据的特征值，并根据灾备系统的日间数据的特征值、生产系统的日间数据的特征值进行日间数据校验，判断两个系统的日间数据的特征值是否一致，即判断两个系统在相同的批处理过程中，生成的日间数据是否一致，在批处理过程中，一旦某个预设处理时段内生成的日间数据不一致时，则生成日间数据校验的结果相关的异常信息，并将该异常信息告知运维人员，以使运维人员进行相关操作。
可选的，在所述灾备容灾服务器进行日间数据校验之后，还包括：
所述灾备容灾服务器获取所述灾备系统的日终数据，根据所述灾备系统的日终数据确定所述灾备系统的日终数据的特征值；
获取所述生产容灾服务器发送的所述生产系统的日终数据的特征值；其中，所述生产系统的日终数据的特征值是所述生产容灾服务器获取所述生产系统的日终数据后，根据所述生产系统的日终数据确定的；
根据所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值进行日终数据校验；
若所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值一致，则确定通过所述日终数据校验；否则，确定未通过所述日终数据校验，并根据所述日终数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
上述技术方案中，灾备系统在预设处理周期内获取上游系统发送的源数据，并对该预设处理周期的源数据进行处理后生成灾备系统的日终数据，灾备容灾服务器获取灾备系统的日终数据，并确定灾备系统的日终数据的特征值；生产系统在预设处理周期内获取上游系统发送的源数据，并对该预设处理周期的源数据进行处理后生成生产系统的日终数据，生产容灾服务器获取生产系统的日终数据，并确定生产系统的日终数据的特征值。灾备容灾服务器接收生产容灾服务器发送的生产系统的日终数据的特征值，并根据灾备系统的日终数据的特征值、生产系统的日终数据的特征值进行日终数据校验，判断两个系统的日终数据的特征值是否一致，即判断两个系统在相同的批处理过程中，生成的日终数据是否一致，预设处理周期即为批处理过程的批处理周期，在整个预设处理周期对日终数据进行数据校验。
可选的，在所述灾备容灾服务器进行源数据校验之前，还包括：
所述灾备容灾服务器获取所述灾备系统的装载参数、所述生产容灾服务器发送的所述生产系统的装载参数；所述生产系统的装载参数是所述生产容灾服务器获取的；
根据所述灾备系统的装载参数、所述生产系统的装载参数进行装载参数校验；
若所述灾备系统的装载参数、所述生产系统的装载参数一致，则确定通过所述装载参数校验；否则，确定未通过所述装载参数校验，并根据所述装载参数校验的结果生成异常信息，以使所述运维人员进行相关操作。
上述技术方案中，灾备容灾服务器在进行源数据校验之前，获取灾备系统的装载参数和生产系统的装载参数，并根据两个系统的装载参数进行装载参数校验，判断两个系统的装载参数是否一致，若不一致，则生成装载参数校验的结果相关的异常信息，并将该异常信息告知运维人员，以使运维人员进行相关操作。
相应的，本发明实施例还提供了一种数据批处理的方法，包括：
生产容灾服务器获取所述生产系统的源数据，根据所述生产系统的源数据确定所述生产系统的源数据的特征值；
将所述生产系统的源数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的源数据的特征值、灾备系统的源数据的特征值进行源数据校验；所述灾备系统的源数据的特征值是所述灾备容灾服务器获取所述灾备系统的源数据后，根据所述灾备系统的源数据确定的；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据。
上述技术方案中，生产系统接收上游系统发送的源数据，生产容灾服务器获取生产系统的源数据，并确定生产系统的源数据的特征值；将生产系统的源数据的特征值发送至灾备容灾服务器，灾备容灾服务器根据灾备系统的源数据的特征值、生产系统的源数据的特征值进行源数据校验，判断两个系统的源数据的特征值是否一致，即在确保上游系统分别向灾备系统、生产系统发送相同的数据之后，判断灾备系统、生产系统接收到的数据是否一致，判断上游系统分别与灾备系统、生产系统进行数据传输过程中，是否出现数据异常，且该方案避免出现生产系统逻辑异常或存储硬件异常情况下，灾备系统无法获取源数据或获取错误源数据，导致灾备系统不可用的问题。
可选的，所述源数据包括以下数据中的任一个或组合：
流式写入类数据、批量抽取类数据、批量装载类数据。
上述技术方案中，源数据可以包括流式写入类数据、批量抽取类数据、批量装载类数据中的任意一个或组合。当源数据是流式写入类数据时，上游系统分别向生产中心、灾备中心执行写入任务；当源数据是批量抽取类数据时，上游系统执行到生产系统的抽取任务后，再执行到灾备系统的抽取任务；当源数据是批量装载类数据时，上游系统分别向生产中心、灾备中心执行装载任务。
可选的，在所述生产容灾服务器将所述生产系统的源数据的特征值发送至所述灾备容灾服务器之后，还包括：
所述生产容灾服务器获取所述生产系统的日间数据，根据所述生产系统的日间数据确定所述生产系统的日间数据的特征值；
将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日间数据的特征值、灾备系统的日间数据的特征值进行日间数据校验；所述灾备系统的日间数据的特征值是所述灾备容灾服务器获取所述灾备系统的日间数据后，根据所述灾备系统的日间数据确定的；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
上述技术方案中，生产系统在预设处理时段内获取上游系统发送的源数据，并对该预设处理时段的源数据进行处理后生成生产系统的日间数据，生产容灾服务器获取生产系统的日间数据，并确定生产系统的日间数据的特征值。生产容灾服务器将生产系统的日间数据的特征值发送至灾备容灾服务器，根据灾备系统的日间数据的特征值、生产系统的日间数据的特征值进行日间数据校验，判断两个系统的日间数据的特征值是否一致，即判断两个系统在相同的批处理过程中，生成的日间数据是否一致，在批处理过程中，一旦某个预设处理时段内生成的日间数据不一致时，则生成日间数据校验的结果相关的异常信息，并将该异常信息告知运维人员，以使运维人员进行相关操作。
可选的，在所述生产容灾服务器将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器之后，还包括：
所述生产容灾服务器获取所述生产系统的日终数据，根据所述生产系统的日终数据确定所述生产系统的日终数据的特征值；
将所述生产系统的日终数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日终数据的特征值、灾备系统的日终数据的特征值进行日终数据校验；所述灾备系统的日终数据的特征值是所述灾备容灾服务器获取所述灾备系统的日终数据后，根据所述灾备系统的日终数据确定的；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
上述技术方案中，生产系统在预设处理周期内获取上游系统发送的源数据，并对该预设处理周期的源数据进行处理后生成生产系统的日终数据，生产容灾服务器获取生产系统的日终数据，并确定生产系统的日终数据的特征值。生产容灾服务器将生产系统的日终数据的特征值发送至灾备容灾服务，灾备容灾服务根据灾备系统的日终数据的特征值、生产系统的日终数据的特征值进行日终数据校验，判断两个系统的日终数据的特征值是否一致，即判断两个系统在相同的批处理过程中，生成的日终数据是否一致，预设处理周期即为批处理过程的批处理周期，在整个预设处理周期对日终数据进行数据校验。
可选的，在所述生产容灾服务器获取所述生产系统的源数据之前，还包括：
所述生产容灾服务器获取所述生产系统的装载参数；
将所述生产系统的装载参数发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的装载参数、灾备系统的装载参数进行装载参数校验；所述灾备系统的装载参数是所述灾备容灾服务器获取的。
上述技术方案中，生产容灾服务器在获取生产系统的源数据之前，获取生产系统的装载参数，并将生产系统的装载参数发送至灾备容灾服务器，灾备容灾服务器获取灾备系统的装载参数和生产系统的装载参数，并根据两个系统的装载参数进行装载参数校验，判断两个系统的装载参数是否一致，若不一致，则生成装载参数校验的结果相关的异常信息，并将该异常信息告知运维人员，以使运维人员进行相关操作。
相应的，本发明实施例还提供了一种数据批处理的装置，包括：
收发单元，用于获取灾备系统的源数据，根据所述灾备系统的源数据确定所述灾备系统的源数据的特征值；获取生产容灾服务器发送的生产系统的源数据的特征值；所述生产系统的源数据的特征值是所述生产容灾服务器获取所述生产系统的源数据后，根据所述生产系统的源数据确定的；
处理单元，用于根据所述灾备系统的源数据的特征值、所述生产系统的源数据特的征值进行源数据校验；若所述灾备系统的源数据的特征值、所述生产系统的源数据的特征值一致，则确定通过所述源数据校验；否则，确定未通过所述源数据校验，并根据所述源数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据。
可选的，所述源数据包括以下数据中的任一个或组合：
流式写入类数据、批量抽取类数据、批量装载类数据。
可选的，所述处理单元还用于：
在所述进行源数据校验之后，控制所述收发单元获取所述灾备系统的日间数据，根据所述灾备系统的日间数据确定所述灾备系统的日间数据的特征值；获取所述生产容灾服务器发送的所述生产系统的日间数据的特征值；所述生产系统的日间数据的特征值是所述生产容灾服务器获取所述生产系统的日间数据后，根据所述生产系统的日间数据确定的；
根据所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值进行日间数据校验；若所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值一致，则确定通过所述日间数据校验；否则，确定未通过所述日间数据校验，并根据所述日间数据校验的结果生成异常信息，以使所述运维人员进行相关操作；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
可选的，所述处理单元还用于：
在所述进行日间数据校验之后，控制所述收发单元获取所述灾备系统的日终数据，根据所述灾备系统的日终数据确定所述灾备系统的日终数据的特征值；获取所述生产容灾服务器发送的所述生产系统的日终数据的特征值；其中，所述生产系统的日终数据的特征值是所述生产容灾服务器获取所述生产系统的日终数据后，根据所述生产系统的日终数据确定的；
根据所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值进行日终数据校验；若所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值一致，则确定通过所述日终数据校验；否则，确定未通过所述日终数据校验，并根据所述日终数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
可选的，所述处理单元还用于：
在所述进行源数据校验之前，控制所述收发单元获取所述灾备系统的装载参数、所述生产容灾服务器发送的所述生产系统的装载参数；所述生产系统的装载参数是所述生产容灾服务器获取的；
根据所述灾备系统的装载参数、所述生产系统的装载参数进行装载参数校验；若所述灾备系统的装载参数、所述生产系统的装载参数一致，则确定通过所述装载参数校验；否则，确定未通过所述装载参数校验，并根据所述装载参数校验的结果生成异常信息，以使所述运维人员进行相关操作。
相应的，本发明实施例还提供了一种数据批处理的装置，包括：
收发单元，用于获取所述生产系统的源数据；
处理单元，用于根据所述生产系统的源数据确定所述生产系统的源数据的特征值；
所述收发单元，还用于将所述生产系统的源数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的源数据的特征值、灾备系统的源数据的特征值进行源数据校验；所述灾备系统的源数据的特征值是所述灾备容灾服务器获取所述灾备系统的源数据后，根据所述灾备系统的源数据确定的；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据。
可选的，所述源数据包括以下数据中的任一个或组合：
流式写入类数据、批量抽取类数据、批量装载类数据。
可选的，所述处理单元还用于：
在所述将所述生产系统的源数据的特征值发送至所述灾备容灾服务器之后，控制所述收发单元获取所述生产系统的日间数据，根据所述生产系统的日间数据确定所述生产系统的日间数据的特征值；
控制所述收发单元将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日间数据的特征值、灾备系统的日间数据的特征值进行日间数据校验；所述灾备系统的日间数据的特征值是所述灾备容灾服务器获取所述灾备系统的日间数据后，根据所述灾备系统的日间数据确定的；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
可选的，所述处理单元还用于：
在所述将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器之后，控制所述收发单元获取所述生产系统的日终数据，根据所述生产系统的日终数据确定所述生产系统的日终数据的特征值；
控制所述收发单元将所述生产系统的日终数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日终数据的特征值、灾备系统的日终数据的特征值进行日终数据校验；所述灾备系统的日终数据的特征值是所述灾备容灾服务器获取所述灾备系统的日终数据后，根据所述灾备系统的日终数据确定的；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
可选的，所述处理单元还用于：
在所述获取所述生产系统的源数据之前，控制所述收发单元获取所述生产系统的装载参数；
控制所述收发单元将所述生产系统的装载参数发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的装载参数、灾备系统的装载参数进行装载参数校验；所述灾备系统的装载参数是所述灾备容灾服务器获取的。
相应的，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述数据批处理的方法。
相应的，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述数据批处理的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图；
图2为本发明实施例提供的一种数据批处理的方法的流程示意图；
图3为本发明实施例提供的另一种数据批处理的方法的流程示意图；
图4为本发明实施例提供的另一种数据批处理的方法的流程示意图；
图5为本发明实施例提供的实际应用场景下的数据批处理的方法的流程；
图6为本发明实施例提供的一种数据批处理的装置的结构示意图；
图7为本发明实施例提供的另一种数据批处理的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示例性的示出了本发明实施例提供数据批处理的方法所适用的系统架构，该系统架构可以为批处理系统，该批处理系统包括上游系统100、生产系统200、灾备系统300、生产系统NFS(Network File System，网络文件系统)400、灾备系统NFS 500、生产容灾服务器600、灾备容灾服务器700。
上游系统100、生产系统200、生产系统NFS 400、生产容灾服务器600依次连接，上游系统100将数据发送至生产系统200，生产系统200对数据进行处理，生成的文件存储在生产系统NFS 400上，生产容灾服务器600可以获取生产系统NFS 400上的数据。
上游系统100、灾备系统300、灾备系统NFS 500、灾备容灾服务器700依次连接，上游系统100将数据发送至灾备系统300，灾备系统300对数据进行处理，生成的文件存储在灾备系统NFS 500上，灾备容灾服务器700可以获取灾备系统NFS 500上的数据。
灾备系统300和生产系统200分别与上游系统100连接，分别接收上游系统100发送的相同数据，源数据(灾备系统300的源数据或生产系统200的源数据)可包括以下数据中的任一个或组合：流式写入类数据、批量抽取类数据、批量装载类数据。针对每类数据，做一下说明：
(1)流式写入类数据
生产系统200设置有生产流式写入端，用于接收上游系统100写入的数据；灾备系统300设置灾备流式写入端，用于接收上游系统100写入的数据。流式写入类数据的数据转移对时效性要求较高，通常是分钟级或秒级的，为避免生产系统200或灾备系统300在一方发生故障时影响另一方，灾备流式写入端与生产流式写入端逻辑上分离，使用两个数据转移服务，使用两套时间片控制。在批处理周期切分时间点，通常要切换数据库表套数，数据接收端做表套数判断时，基于上游系统100透传过来的时间戳字段，保证同一笔记录在生产系统200和灾备系统300中进入相同表套数。对于无法透传时间戳的源数据，在生产系统200和灾备系统300中预设落库规则，确保数据记录落库一致性。
(2)批量抽取类数据
上游系统100执行到生产系统200的抽取任务后，再执行到灾备系统300的抽取任务，即采用串行方式执行批量抽取任务。当生产系统200异常时，调整抽取场次顺序实现向灾备系统300抽取，上游系统100执行到灾备系统300的抽取任务后，再执行到生产系统200的抽取任务。批量抽取类数据对生产系统200与上游系统100之间、灾备系统300与上游系统100之间的网络带宽有较高要求。
(3)批量装载类数据
上游系统100中设置有独立的文件处理系统，文件处理系统将数据以文件形式分别传递至生产系统200和灾备系统300。批量装载过程有两个环节，文件获取环节和文件装载环节，其中，文件获取环节要保证生产系统200获取的文件与灾备系统300获取的文件相同。单个系统接收哪些类型文件通过配置索引实现，为避免技术上或运维层面的遗漏导致生产系统200和灾备系统300接收文件类型出现差异，通过配置文件抄送关系，来确保生产系统200和灾备系统300接收文件的一致性。文件装载逻辑要确保生产系统200和灾备系统300把同一个文件装载到同一个批处理周期内，否则就会给批处理结果比较引入差异，甚至带来业务影响。生产系统200和灾备系统300接收到同一文件，也就是文件落地时间，一定存在时间差，文件越大，生产系统200和灾备系统300分别与文件处理系统的网络带宽条件的差距越大，时间差就越大。如果在文件装载逻辑中依赖文件落地时间就会产生装载差异，因此，在上述文件处理系统中为文件打上唯一标记，批处理系统把文件装载至哪个批处理周期，与此标记唯一相关，从而确保装载结果一致。
基于上述描述，图2示例性的示出了本发明实施例提供的一种数据批处理的方法的流程，该流程可以由数据批处理的装置执行，该装置可以位于上述批处理系统中。如图2所示，该流程具体包括：
步骤201，灾备容灾服务器获取灾备系统的源数据，根据所述灾备系统的源数据确定所述灾备系统的源数据的特征值。
其中，灾备系统的源数据是上游系统发送给灾备系统的数据，理解为，上游系统向灾备系统发送数据，在发送过程中数据可以发生转移或形变，灾备系统接收到的数据即为灾备系统的源数据。
可选的，灾备容灾服务器在获取灾备系统的源数据的特征值时，可以向灾备系统发送读取源数据命令，并在灾备系统本地读取该灾备系统的源数据，并根据该灾备系统的源数据计算灾备系统的源数据的特征值；也可以向灾备系统发送读取源数据命令，并接收灾备系统反馈的该灾备系统的源数据，并根据该灾备系统的源数据计算灾备系统的源数据的特征值。灾备系统的源数据的特征值包括灾备系统的源数据的条数和各条源数据的MD5(Message Digest Algorithm MD5，消息摘要算法)值。
步骤202，生产容灾服务器获取所述生产系统的源数据，根据所述生产系统的源数据确定所述生产系统的源数据的特征值。
其中，生产系统的源数据是上游系统发送给生产系统的数据，理解为，上游系统向生产系统发送数据，在发送过程中数据可以发生转移或形变，生产系统接收到的数据即为生产系统的源数据。
可选的，生产容灾服务器在获取生产系统的源数据的特征值时，可以向生产系统发送读取源数据命令，并在生产系统本地读取该生产系统的源数据，并根据该生产系统的源数据计算生产系统的源数据的特征值；也可以向生产系统发送读取源数据命令，并接收生产系统反馈的该生产系统的源数据，并根据该生产系统的源数据计算生产系统的源数据的特征值。生产系统的源数据的特征值包括生产系统的源数据的条数和各条源数据的MD5值。
步骤203，生产容灾服务器将所述生产系统的源数据的特征值发送至所述灾备容灾服务器。
此处，生产容灾服务器可以主动将生产系统的源数据的特征值发送至灾备容灾服务器，也可以在接收到灾备容灾服务器发送的发送指令之后，将生产系统的源数据的特征值进行发送。相应的，灾备容灾服务器就可以获取到生产容灾服务器发送的生产系统的源数据的特征值。
步骤204，灾备容灾服务器根据所述灾备系统的源数据的特征值、所述生产系统的源数据特的征值进行源数据校验。
灾备容灾服务器获取到灾备系统的源数据的特征值和生产系统的源数据的特征值，根据灾备系统的源数据的特征值和生产系统的源数据的特征值进行源数据校验。
步骤205，若灾备容灾服务器确定所述灾备系统的源数据的特征值、所述生产系统的源数据的特征值一致，则确定通过所述源数据校验；否则，确定未通过所述源数据校验，并根据所述源数据校验的结果生成异常信息，以使运维人员进行相关操作。
灾备容灾服务器可以先比较灾备系统的源数据的条数和生产系统的源数据的条数是否一致，在确定二者源数据的条数一致后，可以继续判断灾备系统的各条源数据的MD5值与生产系统的各条源数据的MD5值是否一致，若是，则确定通过源数据校验；否则，确定未通过源数据校验，并生成与MD5值校验不一致相关的异常信息，以使运维人员进行相关操作。当然，在确定灾备系统的源数据的条数和生产系统的源数据的条数不一致之后，也可以确定未通过源数据校验，并生成与源数据条数不一致相关的异常信息，以使运维人员进行相关操作。
上述实施例中，生产系统和灾备系统分别与上游系统连接，并接收上游系统发送的相同数据，但由于数据在传输过程中会发生转移或形变，灾备系统接收到的数据和生产系统接收到的数据可能不一致，为了确保批处理系统中后续数据处理的准确性，所以要先对生产系统和灾备系统的源数据进行校验。本发明实施例中，在源数据接收环节，确保源数据进入生产系统和灾备系统中的同一批处理周期，此处的批处理周期，可以为一个月、一天、一小时等，以一天为例，确定生产系统和灾备系统分别在某一天时长内流式写入类数据的条数、批量抽取类数据的条数、批量装载类数据的条数，并分别确定生产系统和灾备系统在该一天时长内流式写入类数据的条数是否相同、批量抽取类数据的条数是否相同、批量装载类数据的条数是否相同，以及生产系统和灾备系统中各条源数据的MD5值是否一致。具体的，源数据比较采用容灾服务器的数据比较程序实现，比较源数据条数时，可以直接连接数据库用SQL(Structured Query Language，结构化查询语言)实现，比较源数据内容时，通过对每行源数据计算MD5值，之后再比较MD5值实现。批处理周期又可以划分为多个批处理时段，假设批处理周期为一天，则可以将批处理周期划分为8个批处理时段，平均每个批处理时段为3个小时，容灾服务器在每个批处理时段结束后，都会根据生产系统和灾备系统的源数据的条数以及每条的MD5值确定二者的源数据在该批处理时段中是否一致。当然，批处理周期的时长以及划分批处理时段，可以根据经验或具体需求进行设定，在此不做限制。
此外，灾备容灾服务器在对生产系统和灾备系统进行源数据校验之前，还可以对生产系统和灾备系统进行装载参数校验。具体的，灾备容灾服务器获取灾备系统的装载参数、生产容灾服务器获取生产系统的装载参数，生产容灾服务器将生产系统的装载参数发送至灾备容灾服务器，灾备容灾服务器根据灾备系统的装载参数、生产系统的装载参数进行装载参数校验，若灾备系统的装载参数、生产系统的装载参数一致，则确定通过装载参数校验；否则，确定未通过装载参数校验，并根据装载参数校验的结果生成异常信息，以使运维人员进行相关操作。
当然，灾备容灾服务器在判断生产系统和灾备系统的装载参数是否一致时，不仅可以对二者的装载参数进行校验，还可以对二者的源数据经装载参数处理后的参数作业结果进行校验，示例性的，生产系统和灾备系统同时获取某条源数据，生产系统根据生产系统的装载参数处理该条源数据，灾备系统根据灾备系统的装载参数处理该条源数据，灾备容灾服务器可以对比二者的参数作业结果进行校验，用于判断生产系统和灾备系统的装载参数是否一致。
灾备容灾服务器在对生产系统和灾备系统进行源数据校验之后，还可以对生产系统和灾备系统进行日间数据校验，如图3所示，该流程具体包括：
步骤301，灾备容灾服务器获取灾备系统的日间数据，根据灾备系统的日间数据确定灾备系统的日间数据的特征值。
其中，灾备系统的日间数据是灾备系统对在预设处理时段内获取的灾备系统的源数据进行处理后生成的数据，理解为，将批处理周期划分为多个预设处理时段，每个预设处理时段中，灾备系统都会获取当前预设处理时段的源数据，并对当前预设处理时段的源数据进行处理并生成中间数据，灾备容灾服务器获取该预设处理时段的灾备系统的日间数据以及日间数据的特征值。
可选的，灾备容灾服务器在获取灾备系统的日间数据的特征值时，可以向灾备系统发送读取日间数据命令，并在灾备系统本地读取该灾备系统的日间数据，并根据该灾备系统的日间数据计算灾备系统的日间数据的特征值；也可以向灾备系统发送读取日间数据命令，并接收灾备系统反馈的该灾备系统的日间数据，并根据该灾备系统的日间数据计算灾备系统的日间数据的特征值。灾备系统的日间数据的特征值包括灾备系统的日间数据的汇总值。
步骤302，生产容灾服务器获取生产系统的日间数据，根据生产系统的日间数据确定生产系统的日间数据的特征值。
其中，生产系统的日间数据是生产系统对在预设处理时段内获取的生产系统的源数据进行处理后生成的数据，理解为，将批处理周期划分为多个预设处理时段，每个预设处理时段中，生产系统都会获取当前预设处理时段的源数据，并对当前预设处理时段的源数据进行处理并生成中间数据，生产容灾服务器获取该预设处理时段的生产系统的日间数据以及日间数据的特征值。
可选的，生产容灾服务器在获取生产系统的日间数据的特征值时，可以向生产系统发送读取日间数据命令，并在生产系统本地读取该生产系统的日间数据，并根据该生产系统的日间数据计算生产系统的日间数据的特征值；也可以向生产系统发送读取日间数据命令，并接收生产系统反馈的该生产系统的日间数据，并根据该生产系统的日间数据计算生产系统的日间数据的特征值。生产系统的日间数据的特征值包括生产系统的日间数据的汇总值。
步骤303，生产容灾服务器将生产系统的日间数据的特征值发送至灾备容灾服务器。
此处，生产容灾服务器可以主动将生产系统的日间数据的特征值发送至灾备容灾服务器，也可以在接收到灾备容灾服务器发送的发送指令之后，将生产系统的日间数据的特征值进行发送。相应的，灾备容灾服务器就可以获取到生产容灾服务器发送的生产系统的日间数据的特征值。
步骤304，灾备容灾服务器根据灾备系统的日间数据的特征值、生产系统的日间数据的特征值进行日间数据校验。
灾备容灾服务器获取到灾备系统的日间数据的特征值和生产系统的日间数据的特征值，根据灾备系统的日间数据的特征值和生产系统的日间数据的特征值进行日间数据校验。
步骤305，若灾备容灾服务器确定灾备系统的日间数据的特征值、生产系统的日间数据的特征值一致，则确定通过日间数据校验；否则，确定未通过日间数据校验，并根据日间数据校验的结果生成异常信息，以使运维人员进行相关操作。
灾备容灾服务器可以比较灾备系统的日间数据的汇总值和生产系统的日间数据的汇总值是否一致，若是，则确定通过日间数据校验；否则，确定未通过日间数据校验，并生成与日间数据的汇总值校验不一致相关的异常信息，以使运维人员进行相关操作。
上述实施例中，一个批处理周期中可以包括多个预设处理时段，各预设处理时段对应日间数据和日间数据的特征值，针对每一个预设处理时段，灾备容灾服务器都可以获取到该预设处理时段对应的生产系统的日间数据和日间数据的特征值、灾备系统的日间数据和日间数据的特征值，并进行日间数据校验，即一个批处理周期内，多次对比灾备系统和生产系统的处理数据，及时发现数据异常。在具体实施过程中，随着批处理系统业务处理量逐渐增大，批处理数据过程中，把一个批处理周期划分为多个预设处理时段，缓解批处理周期结束后的处理压力，整个批处理周期结束后再对分段处理结果做汇总和修正。本发明实施例中，示例性的，一个批处理周期为一天(24小时)，把整个批处理周期划分成4个时段，前3个时段为预设处理时段，预设处理时段覆盖23小时(0:00～23:00)，数据量占整个批处理周期数据量的90％以上。日间数据校验能够及时发现批处理过程中的问题，避免日终数据校验时发现问题而没有足够时间解决，日间交易量和覆盖面很广，所以日间数据校验的校验通过对整个批处理周期结果正确很有说服力。日间数据校验要求时间短，可以直接比较批处理业务数据库日间数据的汇总值，通过灾备容灾服务器直接连接数据库用SQL实现。
灾备容灾服务器在对生产系统和灾备系统进行日间数据校验之后，还可以对生产系统和灾备系统进行日终数据校验，如图4所示，该流程具体包括：
步骤401，灾备容灾服务器获取灾备系统的日终数据，根据灾备系统的日终数据确定灾备系统的日终数据的特征值。
其中，灾备系统的日终数据是灾备系统对在预设处理周期内获取的灾备系统的源数据进行处理后生成的数据，理解为，预设处理周期即批处理周期，灾备系统获取当前预设处理周期的源数据，并对当前预设处理周期的源数据进行处理并生成日终数据，灾备容灾服务器获取该预设处理周期的灾备系统的日终数据以及日终数据的特征值。
可选的，灾备容灾服务器在获取灾备系统的日终数据的特征值时，可以向灾备系统发送读取日终数据命令，并在灾备系统本地读取该灾备系统的日终数据，并根据该灾备系统的日终数据计算灾备系统的日终数据的特征值；也可以向灾备系统发送读取日终数据命令，并接收灾备系统反馈的该灾备系统的日终数据，并根据该灾备系统的日终数据计算灾备系统的源数据的特征值。灾备系统的日终数据的特征值包括灾备系统的日终数据的MD5值。
步骤402，生产容灾服务器获取生产系统的日终数据，根据生产系统的日终数据确定生产系统的日终数据的特征值。
其中，生产系统的日终数据是生产系统对在预设处理周期内获取的生产系统的源数据进行处理后生成的数据，理解为，预设处理周期即批处理周期，生产系统获取当前预设处理周期的源数据，并对当前预设处理周期的源数据进行处理并生成日终数据，生产容灾服务器获取该预设处理周期的生产系统的日终数据以及日终数据的特征值。
可选的，生产容灾服务器在获取生产系统的日终数据的特征值时，可以向生产系统发送读取日终数据命令，并在生产系统本地读取该生产系统的日终数据，并根据该生产系统的日终数据计算生产系统的日终数据的特征值；也可以向生产系统发送读取日终数据命令，并接收生产系统反馈的该生产系统的日终数据，并根据该生产系统的日终数据计算生产系统的源数据的特征值。生产系统的日终数据的特征值包括生产系统的日终数据的MD5值。
步骤403，生产容灾服务器将生产系统的日终数据的特征值发送至灾备容灾服务器。
此处，生产容灾服务器可以主动将生产系统的日终数据的特征值发送至灾备容灾服务器，也可以在接收到灾备容灾服务器发送的发送指令之后，将生产系统的日终数据的特征值进行发送。相应的，灾备容灾服务器就可以获取到生产容灾服务器发送的生产系统的日终数据的特征值。
步骤404，灾备容灾服务器根据灾备系统的日终数据的特征值、生产系统的日终数据的特征值进行日终数据校验。
灾备容灾服务器获取到灾备系统的日终数据的特征值和生产系统的日终数据的特征值，根据灾备系统的日终数据的特征值和生产系统的日终数据的特征值进行日终数据校验。
步骤405，若灾备容灾服务器确定灾备系统的日终数据的特征值、生产系统的日终数据的特征值一致，则确定通过日终数据校验；否则，确定未通过日终数据校验，并根据日终数据校验的结果生成异常信息，以使运维人员进行相关操作。
灾备容灾服务器可以比较灾备系统的日终数据的MD5值和生产系统的日终数据的MD5值是否一致，若是，则确定通过日终数据校验；否则，确定未通过日终数据校验，并生成与日终数据的MD5值校验不一致相关的异常信息，以使运维人员进行相关操作。
上述技术方案中，灾备容灾服务器判断生产系统和灾备系统的日终数据的特征值是否一致，即判断两个系统在相同的批处理过程中，生成的日终数据是否一致，预设处理周期即为批处理过程的批处理周期，在整个预设处理周期对日终数据进行数据校验。具体实施过程中，生产系统和灾备系统在整个批处理周期完成后，分别生成最终的结果文件，结果文件完全一致才能在发生灾备切换时对外部系统和客户做到无感知，因此要对每个批处理周期完成后的结果文件进行日终数据校验，进而验证灾备系统可用性。
进一步的，大部分生产系统和灾备系统在批处理周期完成后生成的结果文件和报表是可以直接比较的，少部分明细类文件由于生成时的随机性，内容相同但顺序打乱，需要排序比较。本发明实施例中，灾备容灾服务对灾备系统中的文件做拷贝，对拷贝后的文件做排序，并计算MD5值，生产容灾服务对生产系统中的文件做拷贝，对拷贝后的文件做排序，并计算MD5值，然后灾备容灾服务从生产容灾服务中获取各文件的MD5值，进行比较。
为了更好的解释本发明实施例，下面将在具体的实施场景下描述该数据批处理的流程，如图5所示，具体如下：
将批处理周期设定为24小时，将批处理周期划分为4个时段，23:00～13:00、13:00～18:00、18:00～22:00、22:00～23:00，其中，23:00～13:00、13:00～18:00、18:00～22:00为预设处理时段，即分别在13:00、18:00、22:00进行日间数据校验。具体如下：
在23:00～13:00时段时，生产系统获取该时段源数据后进行处理，生产容灾服务器在13:00时刻获取生产系统在该时段的日间数据1以及日间数据1的汇总值；灾备系统获取该时段源数据后进行处理，灾备容灾服务器在13:00时刻获取灾备系统在该时段的日间数据1以及日间数据1的汇总值；灾备容灾服务器从生产容灾服务器中获取生产系统在该时段的日间数据1的汇总值，并根据生产系统在该时段的日间数据1的汇总值、灾备系统在该时段的日间数据1的汇总值进行低强度结果比较1。
在13:00～18:00时段时，生产系统获取该时段源数据后进行处理，生产容灾服务器在18:00时刻获取生产系统在该时段的日间数据2以及日间数据2的汇总值；灾备系统获取该时段源数据后进行处理，灾备容灾服务器在18:00时刻获取灾备系统在该时段的日间数据2以及日间数据2的汇总值；灾备容灾服务器从生产容灾服务器中获取生产系统在该时段的日间数据2的汇总值，并根据生产系统在该时段的日间数据2的汇总值、灾备系统在该时段的日间数据2的汇总值进行低强度结果比较2。
在18:00～22:00时段时，生产系统获取该时段源数据后进行处理，生产容灾服务器在22:00时刻获取生产系统在该时段的日间数据3以及日间数据3的汇总值；灾备系统获取该时段源数据后进行处理，灾备容灾服务器在22:00时刻获取灾备系统在该时段的日间数据3以及日间数据3的汇总值；灾备容灾服务器从生产容灾服务器中获取生产系统在该时段的日间数据3的汇总值，并根据生产系统在该时段的日间数据3的汇总值、灾备系统在该时段的日间数据3的汇总值进行低强度结果比较3。
22:00～23:00为最后一个时段，在该时段，生产系统获取该时段源数据后进行处理，灾备系统获取该时段源数据后进行处理，生产容灾服务器在23:00时刻获取生产系统在该批处理周期(24小时)的日终数据以及日终数据的MD5值，灾备容灾服务器在23:00时刻获取灾备系统在该批处理周期(24小时)的日终数据以及日终数据的MD5值，灾备容灾服务器从生产容灾服务器中获取生产系统在该批处理周期(24小时)的日终数据的MD5值，并根据生产系统的日终数据的MD5值、灾备系统的日终数据的MD5值进行高强度结果比较。
作为本发明的补充实施例，生产系统和灾备系统在批处理过程中解耦，分别从上游系统中获取源数据，当整个批处理系统中有新版本投产时，新版本可以涉及应用升级或数据库升级，可以通过灾备系统先投产来验证新版本改动点是否符合预期，达到新版本验证目的。当然，在生产系统实施重大升级或切换时，也可通过灾备系统晚投产达到版本保障目的。
上述技术方案中，灾备系统接收上游系统发送的源数据，灾备容灾服务器获取灾备系统的源数据，并确定灾备系统的源数据的特征值；生产系统接收上游系统发送的源数据，生产容灾服务器获取生产系统的源数据，并确定生产系统的源数据的特征值；灾备容灾服务器接收生产容灾服务器发送的生产系统的源数据的特征值，并根据灾备系统的源数据的特征值、生产系统的源数据的特征值进行源数据校验，判断两个系统的源数据的特征值是否一致，即在确保上游系统分别向灾备系统、生产系统发送相同的数据之后，判断灾备系统、生产系统接收到的数据是否一致，判断上游系统分别与灾备系统、生产系统进行数据传输过程中，是否出现数据异常，且该方案避免出现生产系统逻辑异常或存储硬件异常情况下，灾备系统无法获取源数据或获取错误源数据，导致灾备系统不可用的问题。并本发明实施例具有有益效果如下：
1、对上游系统中流式写入类系统进行改造，在灾备系统中增加灾备流式写入端，生产系统的生产流式写入端与灾备系统的灾备流式写入端解耦，互不影响；对上游系统中批量抽取类系统进行改造，增加灾备系统为批量抽取任务目标端；对上游系统中批量装载类系统进行改造，增加灾备系统为批量装载类数据接收端，灾备系统采用和生产系统相同的装载策略。通过对上游系统改造，解耦了生产系统与灾备系统，这使得灾备系统能够应对包括生产系统应用逻辑异常、硬件故障在内的几乎全部灾难场景。
2、对于流式写入类数据、批量抽取类数据、批量装载类数据三类源数据，在一个批处理周期内安排多个比对点，通过时间戳、清算日期等信息做数据分批，使生产系统和灾备系统中的数据有可比性；对整个批处理系统本身逻辑做优化，消除随机性，降低批处理系统中间结果、最终结果比较难度；在一个批处理周期中安排多批次、低强度的批处理结果比较，用最短时间实现故障检测；整个批处理周期结束后，设置高强度的批处理结果比较，确保灾备系统的绝对可靠。
3、通过差异化生产系统、灾备系统的版本投产顺序，达到利用灾备系统进行版本验证或版本保障的目的，实现灾备系统价值拓展。
基于同一发明构思，图6示例性的示出了本发明实施例提供的一种数据批处理的装置的结构，该装置可以执行数据批处理的方法的流程。
收发单元601，用于获取灾备系统的源数据，根据所述灾备系统的源数据确定所述灾备系统的源数据的特征值；获取生产容灾服务器发送的生产系统的源数据的特征值；所述生产系统的源数据的特征值是所述生产容灾服务器获取所述生产系统的源数据后，根据所述生产系统的源数据确定的；
处理单元602，用于根据所述灾备系统的源数据的特征值、所述生产系统的源数据特的征值进行源数据校验；若所述灾备系统的源数据的特征值、所述生产系统的源数据的特征值一致，则确定通过所述源数据校验；否则，确定未通过所述源数据校验，并根据所述源数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据。
可选的，所述源数据包括以下数据中的任一个或组合：
流式写入类数据、批量抽取类数据、批量装载类数据。
可选的，所述处理单元602还用于：
在所述进行源数据校验之后，控制所述收发单元601获取所述灾备系统的日间数据，根据所述灾备系统的日间数据确定所述灾备系统的日间数据的特征值；获取所述生产容灾服务器发送的所述生产系统的日间数据的特征值；所述生产系统的日间数据的特征值是所述生产容灾服务器获取所述生产系统的日间数据后，根据所述生产系统的日间数据确定的；
根据所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值进行日间数据校验；若所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值一致，则确定通过所述日间数据校验；否则，确定未通过所述日间数据校验，并根据所述日间数据校验的结果生成异常信息，以使所述运维人员进行相关操作；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
可选的，所述处理单元602还用于：
在所述进行日间数据校验之后，控制所述收发单元601获取所述灾备系统的日终数据，根据所述灾备系统的日终数据确定所述灾备系统的日终数据的特征值；获取所述生产容灾服务器发送的所述生产系统的日终数据的特征值；其中，所述生产系统的日终数据的特征值是所述生产容灾服务器获取所述生产系统的日终数据后，根据所述生产系统的日终数据确定的；
根据所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值进行日终数据校验；若所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值一致，则确定通过所述日终数据校验；否则，确定未通过所述日终数据校验，并根据所述日终数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
可选的，所述处理单元602还用于：
在所述进行源数据校验之前，控制所述收发单元601获取所述灾备系统的装载参数、所述生产容灾服务器发送的所述生产系统的装载参数；所述生产系统的装载参数是所述生产容灾服务器获取的；
根据所述灾备系统的装载参数、所述生产系统的装载参数进行装载参数校验；若所述灾备系统的装载参数、所述生产系统的装载参数一致，则确定通过所述装载参数校验；否则，确定未通过所述装载参数校验，并根据所述装载参数校验的结果生成异常信息，以使所述运维人员进行相关操作。
基于同一发明构思，图7示例性的示出了本发明实施例提供的另一种数据批处理的装置的结构，该装置可以执行数据批处理的方法的流程。
收发单元701，用于获取所述生产系统的源数据；
处理单元702，用于根据所述生产系统的源数据确定所述生产系统的源数据的特征值；
所述收发单元701，还用于将所述生产系统的源数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的源数据的特征值、灾备系统的源数据的特征值进行源数据校验；所述灾备系统的源数据的特征值是所述灾备容灾服务器获取所述灾备系统的源数据后，根据所述灾备系统的源数据确定的；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据。
可选的，所述源数据包括以下数据中的任一个或组合：
流式写入类数据、批量抽取类数据、批量装载类数据。
可选的，所述处理单元702还用于：
在所述将所述生产系统的源数据的特征值发送至所述灾备容灾服务器之后，控制所述收发单元701获取所述生产系统的日间数据，根据所述生产系统的日间数据确定所述生产系统的日间数据的特征值；
控制所述收发单元701将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日间数据的特征值、灾备系统的日间数据的特征值进行日间数据校验；所述灾备系统的日间数据的特征值是所述灾备容灾服务器获取所述灾备系统的日间数据后，根据所述灾备系统的日间数据确定的；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
可选的，所述处理单元702还用于：
在所述将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器之后，控制所述收发单元701获取所述生产系统的日终数据，根据所述生产系统的日终数据确定所述生产系统的日终数据的特征值；
控制所述收发单元701将所述生产系统的日终数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日终数据的特征值、灾备系统的日终数据的特征值进行日终数据校验；所述灾备系统的日终数据的特征值是所述灾备容灾服务器获取所述灾备系统的日终数据后，根据所述灾备系统的日终数据确定的；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
可选的，所述处理单元702还用于：
在所述获取所述生产系统的源数据之前，控制所述收发单元701获取所述生产系统的装载参数；
控制所述收发单元701将所述生产系统的装载参数发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的装载参数、灾备系统的装载参数进行装载参数校验；所述灾备系统的装载参数是所述灾备容灾服务器获取的。
基于同一发明构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述数据批处理的方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述数据批处理的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (18)
1.一种数据批处理的方法，其特征在于，包括：
灾备容灾服务器获取批处理周期中灾备系统的源数据，根据所述灾备系统的源数据确定所述灾备系统的源数据的特征值；
获取生产容灾服务器发送的生产系统的源数据的特征值；所述生产系统的源数据的特征值是所述生产容灾服务器获取所述批处理周期中的所述生产系统的源数据后，根据所述生产系统的源数据确定的；
根据所述灾备系统的源数据的特征值、所述生产系统的源数据特的征值进行源数据校验；
若所述灾备系统的源数据的特征值、所述生产系统的源数据的特征值一致，则确定通过所述源数据校验；否则，确定未通过所述源数据校验，并根据所述源数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据；
当所述源数据是流式写入类数据时，所述生产系统中设置有生产流式写入端，所述灾备系统中设置灾备流式写入端，所述灾备流式写入端与所述生产流式写入端逻辑上分离，使用两个数据转移服务，使用两套时间片控制；在批处理周期的切分时间点切换数据库的表套数，在做所述表套数的判断时，基于所述上游系统透传过来的时间戳，保证同一笔记录在所述生产系统和所述灾备系统中进入相同表套数；对于无法透传时间戳的所述源数据，在所述生产系统和所述灾备系统中预设落库规则，以确保数据记录落库的一致性；
当所述源数据是批量装载类数据时，所述上游系统为所述源数据打上唯一标记，所述标记用于指示所述灾备系统和所述生产系统将所述源数据装载至相同的批处理周期中。
2.如权利要求1所述的方法，其特征在于，在所述灾备容灾服务器进行源数据校验之后，还包括：
所述灾备容灾服务器获取所述灾备系统的日间数据，根据所述灾备系统的日间数据确定所述灾备系统的日间数据的特征值；
获取所述生产容灾服务器发送的所述生产系统的日间数据的特征值；所述生产系统的日间数据的特征值是所述生产容灾服务器获取所述生产系统的日间数据后，根据所述生产系统的日间数据确定的；
根据所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值进行日间数据校验；
若所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值一致，则确定通过所述日间数据校验；否则，确定未通过所述日间数据校验，并根据所述日间数据校验的结果生成异常信息，以使所述运维人员进行相关操作；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
3.如权利要求2所述的方法，其特征在于，在所述灾备容灾服务器进行日间数据校验之后，还包括：
所述灾备容灾服务器获取所述灾备系统的日终数据，根据所述灾备系统的日终数据确定所述灾备系统的日终数据的特征值；
获取所述生产容灾服务器发送的所述生产系统的日终数据的特征值；其中，所述生产系统的日终数据的特征值是所述生产容灾服务器获取所述生产系统的日终数据后，根据所述生产系统的日终数据确定的；
根据所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值进行日终数据校验；
若所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值一致，则确定通过所述日终数据校验；否则，确定未通过所述日终数据校验，并根据所述日终数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
4.如权利要求1至3任一项所述的方法，其特征在于，在所述灾备容灾服务器进行源数据校验之前，还包括：
所述灾备容灾服务器获取所述灾备系统的装载参数、所述生产容灾服务器发送的所述生产系统的装载参数；所述生产系统的装载参数是所述生产容灾服务器获取的；
根据所述灾备系统的装载参数、所述生产系统的装载参数进行装载参数校验；
若所述灾备系统的装载参数、所述生产系统的装载参数一致，则确定通过所述装载参数校验；否则，确定未通过所述装载参数校验，并根据所述装载参数校验的结果生成异常信息，以使所述运维人员进行相关操作。
5.一种数据批处理的方法，其特征在于，包括：
生产容灾服务器获取批处理周期中所述生产系统的源数据，根据所述生产系统的源数据确定所述生产系统的源数据的特征值；
将所述生产系统的源数据的特征值发送至灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的源数据的特征值、灾备系统的源数据的特征值进行源数据校验；所述灾备系统的源数据的特征值是所述灾备容灾服务器获取所述批处理周期中的所述灾备系统的源数据后，根据所述灾备系统的源数据确定的；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据；
当所述源数据是流式写入类数据时，所述生产系统中设置有生产流式写入端，所述灾备系统中设置灾备流式写入端，所述灾备流式写入端与所述生产流式写入端逻辑上分离，使用两个数据转移服务，使用两套时间片控制；在批处理周期的切分时间点切换数据库的表套数，在做所述表套数的判断时，基于所述上游系统透传过来的时间戳，保证同一笔记录在所述生产系统和所述灾备系统中进入相同表套数；对于无法透传时间戳的所述源数据，在所述生产系统和所述灾备系统中预设落库规则，以确保数据记录落库的一致性；
当所述源数据是批量装载类数据时，所述上游系统为所述源数据打上唯一标记，所述标记用于指示所述灾备系统和所述生产系统将所述源数据装载至相同的批处理周期中。
6.如权利要求5所述的方法，其特征在于，在所述生产容灾服务器将所述生产系统的源数据的特征值发送至所述灾备容灾服务器之后，还包括：
所述生产容灾服务器获取所述生产系统的日间数据，根据所述生产系统的日间数据确定所述生产系统的日间数据的特征值；
将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日间数据的特征值、灾备系统的日间数据的特征值进行日间数据校验；所述灾备系统的日间数据的特征值是所述灾备容灾服务器获取所述灾备系统的日间数据后，根据所述灾备系统的日间数据确定的；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
7.如权利要求6所述的方法，其特征在于，在所述生产容灾服务器将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器之后，还包括：
所述生产容灾服务器获取所述生产系统的日终数据，根据所述生产系统的日终数据确定所述生产系统的日终数据的特征值；
将所述生产系统的日终数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日终数据的特征值、灾备系统的日终数据的特征值进行日终数据校验；所述灾备系统的日终数据的特征值是所述灾备容灾服务器获取所述灾备系统的日终数据后，根据所述灾备系统的日终数据确定的；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
8.如权利要求5至7任一项所述的方法，其特征在于，在所述生产容灾服务器获取所述生产系统的源数据之前，还包括：
所述生产容灾服务器获取所述生产系统的装载参数；
将所述生产系统的装载参数发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的装载参数、灾备系统的装载参数进行装载参数校验；所述灾备系统的装载参数是所述灾备容灾服务器获取的。
9.一种数据批处理的装置，其特征在于，包括：
收发单元，用于获取批处理周期中灾备系统的源数据，根据所述灾备系统的源数据确定所述灾备系统的源数据的特征值；获取生产容灾服务器发送的生产系统的源数据的特征值；所述生产系统的源数据的特征值是所述生产容灾服务器获取所述批处理周期中的所述生产系统的源数据后，根据所述生产系统的源数据确定的；
处理单元，用于根据所述灾备系统的源数据的特征值、所述生产系统的源数据特的征值进行源数据校验；若所述灾备系统的源数据的特征值、所述生产系统的源数据的特征值一致，则确定通过所述源数据校验；否则，确定未通过所述源数据校验，并根据所述源数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据；
当所述源数据是流式写入类数据时，所述生产系统中设置有生产流式写入端，所述灾备系统中设置灾备流式写入端，所述灾备流式写入端与所述生产流式写入端逻辑上分离，使用两个数据转移服务，使用两套时间片控制；在批处理周期的切分时间点切换数据库的表套数，在做所述表套数的判断时，基于所述上游系统透传过来的时间戳，保证同一笔记录在所述生产系统和所述灾备系统中进入相同表套数；对于无法透传时间戳的所述源数据，在所述生产系统和所述灾备系统中预设落库规则，以确保数据记录落库的一致性；
当所述源数据是批量装载类数据时，所述上游系统为所述源数据打上唯一标记，所述标记用于指示所述灾备系统和所述生产系统将所述源数据装载至相同的批处理周期中。
10.如权利要求9所述的装置，其特征在于，所述处理单元还用于：
在所述进行源数据校验之后，控制所述收发单元获取所述灾备系统的日间数据，根据所述灾备系统的日间数据确定所述灾备系统的日间数据的特征值；获取所述生产容灾服务器发送的所述生产系统的日间数据的特征值；所述生产系统的日间数据的特征值是所述生产容灾服务器获取所述生产系统的日间数据后，根据所述生产系统的日间数据确定的；
根据所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值进行日间数据校验；若所述灾备系统的日间数据的特征值、所述生产系统的日间数据的特征值一致，则确定通过所述日间数据校验；否则，确定未通过所述日间数据校验，并根据所述日间数据校验的结果生成异常信息，以使所述运维人员进行相关操作；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
11.如权利要求9所述的装置，其特征在于，所述处理单元还用于：
在所述进行日间数据校验之后，控制所述收发单元获取所述灾备系统的日终数据，根据所述灾备系统的日终数据确定所述灾备系统的日终数据的特征值；获取所述生产容灾服务器发送的所述生产系统的日终数据的特征值；其中，所述生产系统的日终数据的特征值是所述生产容灾服务器获取所述生产系统的日终数据后，根据所述生产系统的日终数据确定的；
根据所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值进行日终数据校验；若所述灾备系统的日终数据的特征值、所述生产系统的日终数据的特征值一致，则确定通过所述日终数据校验；否则，确定未通过所述日终数据校验，并根据所述日终数据校验的结果生成异常信息，以使运维人员进行相关操作；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
12.如权利要求9至11任一项所述的装置，其特征在于，所述处理单元还用于：
在所述进行源数据校验之前，控制所述收发单元获取所述灾备系统的装载参数、所述生产容灾服务器发送的所述生产系统的装载参数；所述生产系统的装载参数是所述生产容灾服务器获取的；
根据所述灾备系统的装载参数、所述生产系统的装载参数进行装载参数校验；若所述灾备系统的装载参数、所述生产系统的装载参数一致，则确定通过所述装载参数校验；否则，确定未通过所述装载参数校验，并根据所述装载参数校验的结果生成异常信息，以使所述运维人员进行相关操作。
13.一种数据批处理的装置，其特征在于，包括：
收发单元，用于获取批处理周期中生产系统的源数据；
处理单元，用于根据所述生产系统的源数据确定所述生产系统的源数据的特征值；
所述收发单元，还用于将所述生产系统的源数据的特征值发送至灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的源数据的特征值、灾备系统的源数据的特征值进行源数据校验；所述灾备系统的源数据的特征值是所述灾备容灾服务器获取所述批处理周期中的所述灾备系统的源数据后，根据所述灾备系统的源数据确定的；
其中，所述灾备系统的源数据是上游系统发送给所述灾备系统的数据；所述生产系统的源数据是所述上游系统发送给所述生产系统的数据；
当所述源数据是流式写入类数据时，所述生产系统中设置有生产流式写入端，所述灾备系统中设置灾备流式写入端，所述灾备流式写入端与所述生产流式写入端逻辑上分离，使用两个数据转移服务，使用两套时间片控制；在批处理周期的切分时间点切换数据库的表套数，在做所述表套数的判断时，基于所述上游系统透传过来的时间戳，保证同一笔记录在所述生产系统和所述灾备系统中进入相同表套数；对于无法透传时间戳的所述源数据，在所述生产系统和所述灾备系统中预设落库规则，以确保数据记录落库的一致性；
当所述源数据是批量装载类数据时，所述上游系统为所述源数据打上唯一标记，所述标记用于指示所述灾备系统和所述生产系统将所述源数据装载至相同的批处理周期中。
14.如权利要求13所述的装置，其特征在于，所述处理单元还用于：
在所述将所述生产系统的源数据的特征值发送至所述灾备容灾服务器之后，控制所述收发单元获取所述生产系统的日间数据，根据所述生产系统的日间数据确定所述生产系统的日间数据的特征值；
控制所述收发单元将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日间数据的特征值、灾备系统的日间数据的特征值进行日间数据校验；所述灾备系统的日间数据的特征值是所述灾备容灾服务器获取所述灾备系统的日间数据后，根据所述灾备系统的日间数据确定的；
其中，所述灾备系统的日间数据是所述灾备系统对在预设处理时段内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日间数据是所述生产系统对在预设处理时段内获取的所述生产系统的源数据进行处理后生成的数据。
15.如权利要求13所述的装置，其特征在于，所述处理单元还用于：
在所述将所述生产系统的日间数据的特征值发送至所述灾备容灾服务器之后，控制所述收发单元获取所述生产系统的日终数据，根据所述生产系统的日终数据确定所述生产系统的日终数据的特征值；
控制所述收发单元将所述生产系统的日终数据的特征值发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的日终数据的特征值、灾备系统的日终数据的特征值进行日终数据校验；所述灾备系统的日终数据的特征值是所述灾备容灾服务器获取所述灾备系统的日终数据后，根据所述灾备系统的日终数据确定的；
其中，所述灾备系统的日终数据是所述灾备系统对在预设处理周期内获取的所述灾备系统的源数据进行处理后生成的数据；所述生产系统的日终数据是所述生产系统对在预设处理周期内获取的所述生产系统的源数据进行处理后生成的数据，所述预设处理周期包括多个所述预设处理时段。
16.如权利要求13至15任一项所述的装置，其特征在于，所述处理单元还用于：
在所述获取所述生产系统的源数据之前，控制所述收发单元获取所述生产系统的装载参数；
控制所述收发单元将所述生产系统的装载参数发送至所述灾备容灾服务器，以使所述灾备容灾服务器根据所述生产系统的装载参数、灾备系统的装载参数进行装载参数校验；所述灾备系统的装载参数是所述灾备容灾服务器获取的。
17.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至8任一项所述的方法。
18.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910179349.9A CN109960613B (zh) | 2019-03-11 | 2019-03-11 | 一种数据批处理的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910179349.9A CN109960613B (zh) | 2019-03-11 | 2019-03-11 | 一种数据批处理的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109960613A CN109960613A (zh) | 2019-07-02 |
| CN109960613B true CN109960613B (zh) | 2023-05-12 |
Family
ID=67024214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910179349.9A Active CN109960613B (zh) | 2019-03-11 | 2019-03-11 | 一种数据批处理的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109960613B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111770389A (zh) * | 2020-03-20 | 2020-10-13 | 深圳宇翊技术股份有限公司 | 一种基于组播和单播混合策略的pis补帧算法 |
| CN112037017B (zh) * | 2020-09-01 | 2024-06-21 | 中国银行股份有限公司 | 一种确定批处理作业评价结果的方法、装置、设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838646A (zh) * | 2014-02-13 | 2014-06-04 | 中国科学院国家天文台 | 一种用于地面应用大数据异地容灾备份的系统和方法 |
| CN107132992A (zh) * | 2016-02-26 | 2017-09-05 | 阿里巴巴集团控股有限公司 | 一种海量数据的处理方法及其装置 |
| WO2018076633A1 (zh) * | 2016-10-28 | 2018-05-03 | 华为技术有限公司 | 一种远程数据复制方法、存储设备及存储系统 |
| CN109446267A (zh) * | 2018-09-25 | 2019-03-08 | 国家电网有限公司客户服务中心 | 一种基于95598异地双活灾备模型的跨库数据集成系统及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104468548B (zh) * | 2014-11-28 | 2018-03-16 | 华为技术有限公司 | 一种数据验证的方法、灾备存储器和生产存储器 |
| CN105989044A (zh) * | 2015-02-04 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 一种数据库校验方法及系统 |
| CN104965771A (zh) * | 2015-07-29 | 2015-10-07 | 浪潮(北京)电子信息产业有限公司 | 一种验证异地容灾数据一致性的方法和系统 |
| CN105391739B (zh) * | 2015-12-16 | 2019-01-18 | 浪潮(北京)电子信息产业有限公司 | 一种云灾备数据完整性校验方法 |
| CN107070645B (zh) * | 2016-12-30 | 2020-06-16 | 华为技术有限公司 | 比较数据表的数据的方法和系统 |
-
2019
- 2019-03-11 CN CN201910179349.9A patent/CN109960613B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838646A (zh) * | 2014-02-13 | 2014-06-04 | 中国科学院国家天文台 | 一种用于地面应用大数据异地容灾备份的系统和方法 |
| CN107132992A (zh) * | 2016-02-26 | 2017-09-05 | 阿里巴巴集团控股有限公司 | 一种海量数据的处理方法及其装置 |
| WO2018076633A1 (zh) * | 2016-10-28 | 2018-05-03 | 华为技术有限公司 | 一种远程数据复制方法、存储设备及存储系统 |
| CN109446267A (zh) * | 2018-09-25 | 2019-03-08 | 国家电网有限公司客户服务中心 | 一种基于95598异地双活灾备模型的跨库数据集成系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109960613A (zh) | 2019-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108536752B (zh) | 一种数据同步方法、装置和设备 | |
| US8719232B2 (en) | Systems and methods for data integrity checking | |
| CN109960613B (zh) | 一种数据批处理的方法及装置 | |
| CN107958010B (zh) | 用于在线数据迁移的方法及系统 | |
| EP3928208A1 (en) | System and method for self-healing in decentralized model building for machine learning using blockchain | |
| US20210334239A1 (en) | System and Method for Re-Synchronizing a Portion of or an Entire Source Database and a Target Database | |
| CN113138880B (zh) | 区块链系统灰度发布方法、装置、设备及存储介质 | |
| WO2021135131A1 (zh) | 区块链的交易方法、装置、计算机设备及存储介质 | |
| CN113626218A (zh) | 数据处理方法、装置、存储介质及计算机设备 | |
| CN110147354B (zh) | 批量数据编辑方法、装置、计算机设备及存储介质 | |
| CN113190616B (zh) | 区块链对账系统以及方法、计算机设备、可读存储介质 | |
| CN111400399B (zh) | 区块链系统的账本同步方法、装置及硬件设备 | |
| CN111198920B (zh) | 一种基于数据库同步确定对比表快照的方法及装置 | |
| CN110765148B (zh) | 一种业务数据处理方法及装置 | |
| CN110119989B (zh) | 异常对账列表处理方法、装置、计算机设备及存储介质 | |
| CN116466894A (zh) | 数据迁移方法、装置、存储介质及电子设备 | |
| CN111047322A (zh) | 基于区块链的智能合约部署方法、装置及硬件设备 | |
| CN110765193B (zh) | 一种区块链数据导出的方法及装置 | |
| CN115248751A (zh) | Redis缓存容灾切换方法、装置、平台、设备和存储介质 | |
| CN112069067B (zh) | 基于区块链的数据测试方法、装置及计算机可读存储介质 | |
| CN112860492B (zh) | 一种适用于核心系统的自动化回归测试方法及系统 | |
| CN112511493B (zh) | 业务数据报文处理方法、装置、计算机设备和存储介质 | |
| US11184455B1 (en) | Streaming conversion | |
| CN112600874B (zh) | 节点加入方法、装置、电子设备及可读存储介质 | |
| CN118568169A (zh) | 工程变更同步系统、方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |