CN113391956A - 一种双园区的数据校验方法及装置 - Google Patents

一种双园区的数据校验方法及装置 Download PDF

Info

Publication number
CN113391956A
CN113391956A CN202110698904.6A CN202110698904A CN113391956A CN 113391956 A CN113391956 A CN 113391956A CN 202110698904 A CN202110698904 A CN 202110698904A CN 113391956 A CN113391956 A CN 113391956A
Authority
CN
China
Prior art keywords
data
data table
verification
park
check
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110698904.6A
Other languages
English (en)
Other versions
CN113391956B (zh
Inventor
杨嘉欣
张世瑛
赵吉昆
梁晔华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110698904.6A priority Critical patent/CN113391956B/zh
Publication of CN113391956A publication Critical patent/CN113391956A/zh
Application granted granted Critical
Publication of CN113391956B publication Critical patent/CN113391956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种双园区的数据校验方法及装置，涉及大数据技术领域。所述方法包括：周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；基于优先校验规则对所述待校验数据表合集中的每张数据表进行数据校验并更新每张数据表的状态信息；其中，所述优先校验规则是预设的。所述装置用于执行上述方法。本发明实施例提供的双园区的数据校验方法及装置，实现了主园区和备份园区的数据校验，提高了数据的可靠性。

Description

一种双园区的数据校验方法及装置
技术领域
本发明涉及大数据技术领域，具体涉及一种双园区的数据校验方法及装置。
背景技术
由于信息时代的到来，数据量急速增长，为了保障数据的安全性，需要对原始数据进行备份。
目前，企业级的大数据可以采用双园区的模式进行存储，双园区中一个是主园区，一个是备份园区，通过消息中间件实现双园区的数据复制，可以通过消息中间件将主园区的数据备份到备份园区。在实际的应用过程中，存在由于消息过期等原因导致的双园区的数据不一致的情况。因此，如何对双园区的数据进行一致性校验是目前业界亟待解决的需要课题。
发明内容
针对现有技术中的问题，本发明实施例提供一种双园区的数据校验方法及装置，能够至少部分地解决现有技术中存在的问题。
一方面，本发明提出一种双园区的数据校验方法，包括：
周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；
根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；
基于优先校验规则对所述待校验数据表合集中的每个数据表进行数据校验并更新每张数据表的状态信息；其中，所述优先校验规则是预设的。
另一方面，本发明提供一种双园区的数据校验装置，包括：
第一获取模块，用于周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；
第二获取模块，用于根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；
校验模块，用于基于优先校验规则对所述待校验数据表合集中的每张数据表进行数据校验并更新每张数据表的状态信息；其中，所述优先校验规则是预设的。
再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述双园区的数据校验方法的步骤。
又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述双园区的数据校验方法的步骤。
本发明实施例提供的双园区的数据校验方法及装置，能够周期性获取数据校验表，数据校验表包括主园区和备份园区的各个数据表的状态信息，根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集，基于优先校验规则对待校验数据表合集中的每张数据表进行数据校验并更新每张数据表的状态信息，实现了主园区和备份园区的数据校验，提高了数据的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例提供的双园区的数据校验方法的流程示意图。
图2是本发明一实施例提供的双园区的数据校验装置的结构示意图。
图3是本发明另一实施例提供的双园区的数据校验装置的结构示意图。
图4是本发明又一实施例提供的双园区的数据校验装置的结构示意图。
图5是本发明再一实施例提供的双园区的数据校验装置的结构示意图。
图6是本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
为了便于理解本申请提供的技术方案，下面先对下面先对本申请技术方案的相关内容进行说明。
在本发明实施例中，双园区包括主园区和备份园区，是两个独立的服务器集群，能够满足企业级大数据的存储。主园区和备份园区利用数据库存储数据，主园区的数据可以通过消息中间件备份到备份园区。为了对主园区和备份园区的数据一致性进行校验，本发明实施例提出一种双园区的数据校验方法，对主园区和备份园区的数据进行一致性检查，实现了大数据平台联机读写场景的高可用性，进一步提升了联机交易服务稳定性与服务供给能力。其中，上述数据库可以为HBase数据库。
图1是本发明一实施例提供的双园区的数据校验方法的流程示意图，如图1所示，本发明实施例提供的双园区的数据校验方法，包括：
S101、周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；
具体地，服务器可以周期性获取数据校验表，所述数据表包括主园区和备份园区的各个数据表的状态信息。其中，所述状态信息包括上一次的校验时间、校验状态、校验次数、校验结果、校验进度、所属园区等信息，根据实际需要进行设置，本发明实施例不做限定。所述数据校验表的获取周期根据实际需要进行设置，比如每天获取一次、每三天获取一次或者每周获取一次，本发明实施例不做限定。所述服务器可以为所述主园区中的一台服务器。本发明实施例提供的双园区的数据校验方法的执行主体包括但不限于服务器。
其中，校验时间为完成数据表校验的时间。校验状态可以包括校验成功、校验中和未校验，如果数据表校验完成，那么可以更新数据表的校验状态为校验成功；如果数据表校验未完成，那么可以更新数据表的校验状态为校验中；如果数据表没有进行过数据校验，那么数据表的校验状态为未校验。校验结果可以包括数据一致和数据不一致。校验进度是指上一次校验的位置，可以通过行键来表示，如果上一次校验成功或者未进行过数据校验，那么校验进度为空，如果上一次未完成校验，那么会存储上一次的校验位置。所属园区即数据表属于主园区和/或备份园区。
S102、根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；
具体地，所述服务器在获取所述数据校验表之后，从所述数据校验表获取每个数据表的上一次的校验时间和校验状态，根据每个数据表的上一次的校验时间和校验状态以及数据表筛选规则，筛选出符合数据表筛选规则的数据表，构成待校验数据表合集。其中，所述数据表筛选规则是预设的。
S103、基于优先校验规则对所述待校验数据表合集中的每张数据表进行数据校验并更新每个数据表的状态信息；其中，所述优先校验规则是预设的。
具体地，所述服务器在获得所述校验数据表合集之后，根据优先校验规则对所述待校验数据表合集中的每张数据表进行数据校验，并更新每张数据表的状态信息，对于完成数据校验的数据表，可以更新校验时间为完成数据表校验的时间，更新校验状态为校验成功。可理解的是，在待校验数据表合集中的数据表校验完成之后，可以继续对其他数据表进行校验。其中，所述优先校验规则是预设的，用于确定所述待校验数据表合集中的数据表的校验优先顺序，如果数据表之间没有校验的优先顺序，可以随机选择数据表进行校验，或者按照数据表的上一次的校验时间的先后顺序进行校验。
其中，在进行数据表的校验时，会根据数据表的名称分别从主园区和备份园区获取数据表，然后进行数据比对，如果所有的数据都相同，说明该数据表主园区和备份园区的数据一致，可以输出数据表数据一致的提示信息；如果存在不相同的数据，说明该数据表主园区和备份园区的数据不一致，可以输出不一致的数据。对于数据不一致的数据表，可以比较该数据表在主园区的更新时间戳和在备份园区的更新时间戳，如果该数据表在主园区的更新时间戳比该数据表在备份园区的更新时间戳新，那么将该数据表在主园区的数据同步到备份园区；如果该数据表在备份区的更新时间戳比该数据表在主园区的更新时间戳新，则进行异常报警。其中，在进行数据表的数据校验时，每次从数据表获取的数据条数小于数量阈值，以防止内存溢出。所述数量阈值根据实际经验进行设置，比如设置为3000，本发明实施例不做限定。
本发明实施例提供的双园区的数据校验方法，能够周期性获取数据校验表，数据校验表包括主园区和备份园区的各个数据表的状态信息，根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集，基于优先校验规则对待校验数据表合集中的每张数据表进行数据校验并更新每张数据表的状态信息，实现了主园区和备份园区的数据校验，提高了数据的可靠性。
在上述各实施例的基础上，进一步地，所述数据表筛选规则包括：
对各个数据表的上一次的校验时间进行排序，获取距离当前时间最久的预设数量个数据表归入所述待校验数据表合集；
获取校验状态为校验中的数据表归入所述待校验数据表合集。
具体地，所述服务器可以从数据校验表中获取各个数据表的上一次的校验时间，然后对各个数据表的上一次的校验时间按照校验时间的先后进行排序，从排序结果中获取距离当前时间最久的预设数量个数据表，将上述预设数量个数据表归入所述待校验数据表合集。其中，所述预设数量根据实际需要进行设置，比如设置为10，本发明实施例不做限定。
所述服务器从数据校验表中获取校验状态为校验中的数据表，将校验状态为校验中的数据表归入所述待校验数据表合集。
在上述各实施例的基础上，进一步地，所述优先校验规则包括：
先校验第一类数据表，再校验第二类数据表；其中，所述第一类数据表为距离当前时间最久的预设数量个数据表；所述第二类数据表为校验状态为校验中的数据表。
具体地，距离当前时间最久的预设数量个数据表可以作为第一类数据表，校验状态为校验中的数据表可以作为第二类数据表。所述服务器会先校验第一类数据表，再校验第二类数据表。其中，在对第一类数据表进行校验时，可以按照距离当前时间由远到近的顺序依次进行校验。在对第二类数据表进行校验时，也可以先对第二类数据表按照上一次的校验时间的先后进行排序，按照上一次的校验时间的先后顺序依次进行校验。
在上述各实施例的基础上，进一步地，所述数据表筛选规则还包括：
计算当前时间与每个数据表的上一次的校验时间的时间差，获取时间差大于第一设定时间的数据表归入所述待校验数据表合集。
具体地，所述服务器可以获取当前时间，然后计算当前时间与每个数据表的上一次的校验时间的时间差，然后将当前时间与每个数据表的上一次的校验时间的时间差与第一设定时间进行比较，如果当前时间与所述数据表的上一次的校验时间的时间差大于第一设定时间，说明该数据表长时间没有校验，需要及时进行数据校验，那么将该数据表归入所述待校验数据表合集。其中，第一设定时间根据实际需要进行设置，本发明实施例不做限定。可理解的是，如果所述待校验数据表合集存在表名称相同的数据表，那么对相同的表名称进行合并。
例如，双园区数据的校验周期为3天，可以设置第一设定时间为7天，对于超过7天没有进行校验的数据表，都需要归入所述待校验数据表合集。
在上述各实施例的基础上，进一步地，在根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集之前，还包括：
根据免校验规则从所述数据校验表获取免校验数据表合集；其中，所述免校验规则包括：计算当前时间与所述数据表的上一次的校验时间的时间差，若所述时间差小于第二设定时间，则将所述数据表作为免校验数据表。
具体地，由于在数据校验时，并没有禁止对主园区的访问，在进行双园区的数据校验时，主园区的数据表可能在更新，这种情况下不进行数据校验。所述服务器可以根据免校验规则从所述数据校验表获取免校验数据表合集，所述免校验数据表合集中的数据表在本次数据校验时，不需要进行数据校验。所述服务器可以计算当前时间与所述数据表的上一次的校验时间的时间差，如果当前时间与所述数据表的上一次的校验时间的时间差小于第二设定时间，说明数据表内的数据还没有固化，将所述数据表作为免校验数据表，免校验数据表会归入到免校验数据表合集中，本次不进行数据校验。其中，所述第二设定时间根据实际需要进行设置，比如设置为48小时，本发明实施例不做限定。
在上述各实施例的基础上，进一步地，本发明实施例提供的双园区的数据校验方法还包括：
若判断获知所述数据表的校验结果为数据不一致且所述数据表在所述主园区的更新时间戳晚于所述数据表在所述备份园区的更新时间戳，则基于所述数据表在所述主园区的数据更新所述数据表在所述备份园区的数据。
具体地，所述服务器在对所述数据表进行校验之后，获得所述数据表的校验结果为数据不一致，并且比较所述数据表在所述主园区的更新时间戳与所述数据表在所述备份园区的更新时间戳，判断出所述数据表在所述主园区的更新时间戳晚于所述数据表在所述备份园区的更新时间戳，那么可以基于所述数据表在所述主园区的数据更新所述数据表在所述备份园区的数据。其中，在进行数据更新时，可以用所述数据表在所述主园区的数据覆盖所述数据表在所述备份园区的数据，也可以针对不一致的数据进行局部数据更新。
例如，在进行数据表的更新时，可以将数据表在主园区的需要更新的数据写入Kafka，写入Kafka后通过消息中间件将需要更新的数据消费到备份园区的数据库，以完成数据更新操作。
例如，对于出现的两园区数据不一致的数据表，会记录到日志文件中，将数据表在两个园区不一致的数据进行标记，日志记录格式可以为：[D,T:A]，[D,T:B]，[D],[T:A]，用于进行数据同步时使用。其中：D表示数据，T表示时间戳，A和B表示园区，[D,T:A]表示数据表在A园区的数据，[D,T:B]表示数据表在B园区的数据，[D]表示不一致的数据，[T:A]表示A园区的数据比较新。
在上述各实施例的基础上，进一步地，本发明实施例提供的双园区的数据校验方法还包括：
若获知所述主园区出现新的数据表，则将所述新的数据表添加到所述数据校验表中。
具体地，所述服务器如果获知所述主园区出现新的数据表，那么将所述新的数据表添加到所述数据校验表中。其中，在将新的数据表添加到所述数据校验表中时，可以设置上一次的校验时间为空，并设置校验状态为未校验。
例如，可以设置表检查线程，每24-48小时随机触发表检查线程，从主园区中检查是否有新的数据表，如果有新的数据表，将新的数据表添加到数据校验表中。
图2是本发明一实施例提供的双园区的数据校验装置的结构示意图，如图2所示，本发明实施例提供的双园区的数据校验装置包括第一获取模块201、第二获取模块202和校验模块203，其中：
第一获取模块201用于周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；第二获取模块202用于根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；校验模块203用于基于优先校验规则对所述待校验数据表合集中的每张数据表进行数据校验并更新每张数据表的状态信息；其中，所述优先校验规则是预设的。
具体地，第一获取模块201可以周期性获取数据校验表，所述数据表包括主园区和备份园区的各个数据表的状态信息。其中，所述状态信息包括上一次的校验时间、校验状态、校验次数、校验结果、校验进度、所属园区等信息，根据实际需要进行设置，本发明实施例不做限定。所述数据校验表的获取周期根据实际需要进行设置，比如每天获取一次、每三天获取一次或者每周获取一次，本发明实施例不做限定。
在获取所述数据校验表之后，第二获取模块202从所述数据校验表获取每个数据表的上一次的校验时间和校验状态，根据每个数据表的上一次的校验时间和校验状态以及数据表筛选规则，筛选出符合数据表筛选规则的数据表，构成待校验数据表合集。其中，所述数据表筛选规则是预设的。
在获得所述校验数据表合集之后，校验模块203根据优先校验规则对所述待校验数据表合集中的每张数据表进行数据校验，并更新每张数据表的状态信息，对于完成数据校验的数据表，可以更新校验时间为完成数据表校验的时间，更新校验状态为校验成功。可理解的是，在待校验数据表合集中的数据表校验完成之后，可以继续对其他数据表进行校验。其中，所述优先校验规则是预设的，用于确定所述待校验数据表合集中的数据表的校验优先顺序，如果数据表之间没有校验的优先顺序，可以随机选择数据表进行校验，或者按照数据表的上一次的校验时间的先后顺序进行校验。
本发明实施例提供的双园区的数据校验装置，能够周期性获取数据校验表，数据校验表包括主园区和备份园区的各个数据表的状态信息，根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集，基于优先校验规则对待校验数据表合集中的每张数据表进行数据校验并更新每张数据表的状态信息，实现了主园区和备份园区的数据校验，提高了数据的可靠性。
在上述各实施例的基础上，进一步地，所述数据表筛选规则包括：
对各个数据表的上一次的校验时间进行排序，获取距离当前时间最久的预设数量个数据表归入所述待校验数据表合集；
获取校验状态为校验中的数据表归入所述待校验数据表合集。
在上述各实施例的基础上，进一步地，所述优先校验规则包括：
先校验第一类数据表，再校验第二类数据表；其中，所述第一类数据表为距离当前时间最久的预设数量个数据表；所述第二类数据表为校验状态为校验中的数据表。
在上述各实施例的基础上，进一步地，所述数据表筛选规则还包括：
计算当前时间与每个数据表的上一次的校验时间的时间差，获取时间差大于第一设定时间的数据表归入所述待校验数据表合集。
图3是本发明另一实施例提供的双园区的数据校验装置的结构示意图，如图3所示，在上述各实施例的基础上，进一步地，本发明实施例提供的双园区的数据校验装置还包括第三获取模块204，其中：
第三获取模块204用于根据免校验规则从所述数据校验表获取免校验数据表合集；其中，所述免校验规则包括：计算当前时间与所述数据表的上一次的校验时间的时间差，若所述时间差小于第二设定时间，则将所述数据表作为免校验数据表。
图4是本发明又一实施例提供的双园区的数据校验装置的结构示意图，如图4所示，在上述各实施例的基础上，进一步地，本发明实施例提供的双园区的数据校验装置还包括更新模块205，其中：
更新模块205用于在判断获知所述数据表的校验结果为数据不一致且所述数据表在所述主园区的更新时间戳晚于所述数据表在所述备份园区的更新时间戳之后，基于所述数据表在所述主园区的数据更新所述数据表在所述备份园区的数据。
图5是本发明再一实施例提供的双园区的数据校验装置的结构示意图，如图5所示，在上述各实施例的基础上，进一步地，本发明实施例提供的双园区的数据校验装置还包括添加模块206，其中：
添加模块206用于在获知所述主园区出现新的数据表之后，将所述新的数据表添加到所述数据校验表中。
本发明实施例提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
需要说明的是，本发明实施例提供的双园区的数据校验方法及装置可用于金融领域，也可用于除金融领域之外的任意技术领域，本发明实施例对双园区的数据校验方法及装置的应用领域不做限定。
图6是本发明一实施例提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行如下方法：周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；基于优先校验规则对所述待校验数据表合集中的每个数据表进行数据校验并更新每张数据表的状态信息；其中，所述优先校验规则是预设的。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；基于优先校验规则对所述待校验数据表合集中的每个数据表进行数据校验并更新每张数据表的状态信息；其中，所述优先校验规则是预设的。
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；基于优先校验规则对所述待校验数据表合集中的每个数据表进行数据校验并更新每张数据表的状态信息；其中，所述优先校验规则是预设的。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种双园区的数据校验方法，其特征在于，包括：
周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；
根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；
基于优先校验规则对所述待校验数据表合集中的每个数据表进行数据校验并更新每张数据表的状态信息；其中，所述优先校验规则是预设的。
2.根据权利要求1所述的方法，其特征在于，所述数据表筛选规则包括：
对各个数据表的上一次的校验时间进行排序，获取距离当前时间最久的预设数量个数据表归入所述待校验数据表合集；
获取校验状态为校验中的数据表归入所述待校验数据表合集。
3.根据权利要求2所述的方法，其特征在于，所述优先校验规则包括：
先校验第一类数据表，再校验第二类数据表；其中，所述第一类数据表为距离当前时间最久的预设数量个数据表；所述第二类数据表为校验状态为校验中的数据表。
4.根据权利要求2所述的方法，其特征在于，所述数据表筛选规则还包括：
计算当前时间与每个数据表的上一次的校验时间的时间差，获取时间差大于第一设定时间的数据表归入所述待校验数据表合集。
5.根据权利要求1所述的方法，其特征在于，在根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集之前，还包括：
根据免校验规则从所述数据校验表获取免校验数据表合集；其中，所述免校验规则包括：计算当前时间与所述数据表的上一次的校验时间的时间差，若所述时间差小于第二设定时间，则将所述数据表作为免校验数据表。
6.根据权利要求1所述的方法，其特征在于，还包括：
若判断获知所述数据表的校验结果为数据不一致且所述数据表在所述主园区的更新时间戳晚于所述数据表在所述备份园区的更新时间戳，则基于所述数据表在所述主园区的数据更新所述数据表在所述备份园区的数据。
7.根据权利要求1至6任一项所述的方法，其特征在于，还包括：
若获知所述主园区出现新的数据表，则将所述新的数据表添加到所述数据校验表中。
8.一种双园区的数据校验装置，其特征在于，包括：
第一获取模块，用于周期性获取数据校验表，所述数据校验表包括主园区和备份园区的各个数据表的状态信息；其中，所述状态信息包括上一次的校验时间和校验状态；
第二获取模块，用于根据各个数据表的上一次的校验时间和校验状态以及数据表筛选规则，获取待校验数据表合集；其中，所述数据表筛选规则是预设的；
校验模块，用于基于优先校验规则对所述待校验数据表合集中的每张数据表进行数据校验并更新每张数据表的状态信息；其中，所述优先校验规则是预设的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202110698904.6A 2021-06-23 2021-06-23 一种双园区的数据校验方法及装置 Active CN113391956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698904.6A CN113391956B (zh) 2021-06-23 2021-06-23 一种双园区的数据校验方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698904.6A CN113391956B (zh) 2021-06-23 2021-06-23 一种双园区的数据校验方法及装置

Publications (2)

Publication Number Publication Date
CN113391956A true CN113391956A (zh) 2021-09-14
CN113391956B CN113391956B (zh) 2024-02-27

Family

ID=77623538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698904.6A Active CN113391956B (zh) 2021-06-23 2021-06-23 一种双园区的数据校验方法及装置

Country Status (1)

Country Link
CN (1) CN113391956B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033127A (zh) * 2018-05-31 2018-12-18 阿里巴巴集团控股有限公司 一种同步数据校验方法、装置以及设备
CN109739831A (zh) * 2018-11-23 2019-05-10 网联清算有限公司 数据库之间数据校验方法及装置
CN110209521A (zh) * 2019-02-22 2019-09-06 腾讯科技（深圳）有限公司 数据校验方法、装置、计算机可读存储介质和计算机设备
CN112579591A (zh) * 2019-09-30 2021-03-30 重庆小雨点小额贷款有限公司 数据校验方法、装置、电子设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033127A (zh) * 2018-05-31 2018-12-18 阿里巴巴集团控股有限公司 一种同步数据校验方法、装置以及设备
CN109739831A (zh) * 2018-11-23 2019-05-10 网联清算有限公司 数据库之间数据校验方法及装置
CN110209521A (zh) * 2019-02-22 2019-09-06 腾讯科技（深圳）有限公司 数据校验方法、装置、计算机可读存储介质和计算机设备
CN112579591A (zh) * 2019-09-30 2021-03-30 重庆小雨点小额贷款有限公司 数据校验方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113391956B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111209346B (zh) 一种区块链数据归档方法、装置和计算机可读存储介质
CN112669155B (zh) 基于区块链的交易分发执行方法、装置服务器及存储介质
US8965840B2 (en) Automatic synchronization conflict resolution
CN106610854A (zh) 一种模型更新方法及装置
CN111464349A (zh) 区块链Raft+PBFT的混合共识网络算法及系统
CN112202834B (zh) 一种数据处理方法、数据处理装置及节点服务器
CN108762982B (zh) 一种数据库恢复方法、装置及系统
CN113163011A (zh) 区块链中修改数据的方法、系统、设备及存储介质
CN115988001A (zh) 区块链系统的共识投票处理方法、装置、设备以及介质
CN107274284B (zh) 双向撮合方法、装置以及交易系统
CN111143463B (zh) 一种基于主题模型的银行数据仓库的构建方法及装置
CN113391956B (zh) 一种双园区的数据校验方法及装置
CN108241671B (zh) 业务处理方法和系统及存储介质
CN113656507B (zh) 区块链系统中执行交易的方法及装置
CN111190768B (zh) 数据库执行错误恢复方法、数据库访问方法及装置
CN108984343B (zh) 一种基于内容分析的虚拟机备份及存储管理方法
CN111625505A (zh) 一种文件拆分方法及装置
CN112433950A (zh) 自动搭建测试环境的方法、电子设备及存储介质
CN111966650A (zh) 一种运维大数据共享数据表的处理方法、装置及存储介质
CN106681785B (zh) 一种软件生成方法和装置
CN113157494B (zh) 区块链系统中数据备份的方法及装置
CN116578247B (zh) 一种基于元数据的数据存取方法及系统
CN114185896A (zh) 数据处理方法、装置、电子设备及存储介质
CN110147355B (zh) 数据同步方法、装置及服务器
CN113724080A (zh) 一种电力系统交易平台结构化数据确权方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant