CN112306999A - 数据稽核方法、装置、电子设备及计算机可读存储介质 - Google Patents
数据稽核方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112306999A CN112306999A CN202011121714.XA CN202011121714A CN112306999A CN 112306999 A CN112306999 A CN 112306999A CN 202011121714 A CN202011121714 A CN 202011121714A CN 112306999 A CN112306999 A CN 112306999A
- Authority
- CN
- China
- Prior art keywords
- data
- audited
- updated
- keys
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 125000004122 cyclic group Chemical group 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 13
- 230000001360 synchronised effect Effects 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000012550 audit Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Input From Keyboards Or The Like (AREA)
Abstract
本申请提供了一种数据稽核方法、装置、电子设备及计算机可读存储介质,涉及计算机技术领域。该方法包括:获取待稽核的标识字段的取值范围,并确定位于取值范围内的标识字段的多个第一数值;确定与多个第一数值分别对应的主键,获取与各主键分别对应的数据;检测到任一数据发生更新时,基于主键以及与主键分别对应的第一数值,确定数据中的至少一个未更新数据,基于至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到第一待稽核数据;将取值范围发送给第二数据中心,以便于第二数据中心基于取值范围,确定第二待稽核数据;第二待稽核数据用于结合第一待稽核数据进行数据稽核。
Description
技术领域
本申请涉及计算机技术领域,具体而言,本申请涉及一种数据稽核方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网行业的发展,异地多活架构的应用越来越普遍,在异地多活下,常常需要进行数据稽核以检测各数据中心间的数据是否一致,但是在进行数据稽核时,稽核的数据可能会发生变化,这样会导致数据稽核无法正常进行,因此,我们需要采用一种特殊的方式进行数据稽核。
目前,一种数据稽核方式是停止各数据中心的业务,分别从各数据中心获取待稽核的数据进行数据稽核,显然这种方式会导致数据中心的业务无法正常运行;另一种方式是在每个数据中心均复制一份待稽核的数据,利用复制的数据进行数据稽核,但是这种方式会给造成设备的存储压力,浪费了存储资源。
发明内容
本申请第一方面提供了一种数据稽核方法,包括:
获取待稽核的标识字段的取值范围,并确定位于取值范围内的标识字段的多个第一数值;
确定与多个第一数值分别对应的主键,获取与各主键分别对应的数据;
检测到任一数据发生更新时,基于主键以及与主键分别对应的第一数值,确定数据中的至少一个未更新数据,基于至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到第一待稽核数据;
将取值范围发送给第二数据中心,以便于第二数据中心基于取值范围,确定第二待稽核数据;
第二待稽核数据用于结合第一待稽核数据进行数据稽核,第二待稽核数据包括位于取值范围内的标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据。
可选的,检测到任一数据发生更新时,基于主键以及与主键分别对应的第一数值,确定数据中的至少一个未更新数据,包括:
检测到任一数据发生更新时,通过触发器调整该任一数据对应的标识字段的第一数值;
若调整后的第一数值位于取值范围外,则确定第一数值中的至少一个未更新第一数值;
确定至少一个未更新第一数值分别对应的目标主键,基于目标主键确定至少一个未更新数据。
可选的,获取待稽核的标识字段的取值范围之前,方法还包括:
创建时间字段,并将时间字段作为标识字段;
获取数据操作指令;
基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的标识字段的第一数值。
可选的,若数据操作指令包括数据更新指令,则基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的标识字段的第一数值,包括:
创建多个主键、多个主键分别对应的初始数据以及分别对应、针对时间字段的初始时间值;
基于数据更新指令,将多个主键分别对应的初始数据进行数据更新,得到多个主键分别对应的数据;
基于各主键对应的初始数据的更新时间调整主键对应的初始时间值,得到多个主键分别对应的第一数值。
可选的,若数据操作指令包括数据创建指令,则基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的标识字段的第一数值,包括:
基于数据创建指令,创建多个主键以及多个主键分别对应的数据;
将各主键对应的数据的创建时间分别作为主键对应的第一数值。
可选的,若数据操作指令包括数据删除指令,则基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的标识字段的第一数值,包括:
创建多个初始主键、多个初始主键分别对应的数据以及分别对应的、针对时间字段的初始时间值;
基于数据删除指令,删除数据中的部分数据以及部分数据对应的主键和初始时间值,得到多个主键、多个主键分别对应的数据以及对应的第一数值。
本申请第二方面提供了一种数据稽核方法,包括:
接收第一数据中心发送的待稽核的取值范围;
基于取值范围,确定第二待稽核数据;第二待稽核数据包括位于取值范围内的标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据;
其中,第二待稽核数据用于结合第一待稽核数据进行数据稽核;
第一待稽核数据是由第一数据中心确定位于取值范围内的标识字段的多个第一数值以及各第一数值分别对应的主键,获取与各主键分别对应的数据后,检测到任一数据发生更新时,基于主键以及与主键分别对应的第一数值,确定至少一个未更新数据,基于至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到的。
可选的,基于取值范围,确定第二待稽核数据之后,方法还包括:
接收第一数据中心发送的第一待稽核数据;
确定第一待稽核数据的第一循环冗余校验码以及第二待稽核数据的第二循环冗余校验码;
若第一循环冗余校验码和第二循环冗余校验码相同,则确定第一待稽核数据与第二待稽核数据是同步的;
若第一循环冗余校验码和第二循环冗余校验码不同,则确定第一待稽核数据与第二待稽核数据之间的差异数据。
本申请第三方面提供一种数据稽核装置,包括:
第一获取模块,用于获取待稽核的标识字段的取值范围,并确定位于取值范围内的标识字段的多个第一数值;
第一确定模块,用于确定与多个第一数值分别对应的主键,获取与各主键分别对应的数据;
第二确定模块,用于检测到任一数据发生更新时,基于主键以及与主键分别对应的第一数值,确定数据中的至少一个未更新数据,基于至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到第一待稽核数据;
第一发送模块,用于将取值范围发送给第二数据中心,以便于第二数据中心基于取值范围,确定第二待稽核数据;
第二待稽核数据用于结合第一待稽核数据进行数据稽核,第二待稽核数据包括位于取值范围内的标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据。
可选的,第二确定模块,具体用于:
检测到任一数据发生更新时,通过触发器调整该任一数据对应的标识字段的第一数值;
若调整后的第一数值位于取值范围外,则确定第一数值中的至少一个未更新第一数值;
确定至少一个未更新第一数值分别对应的目标主键,基于目标主键确定至少一个未更新数据。
可选的,该装置还包括创建模块、第二获取模块以及生成模块;在第一获取模块获取待稽核的标识字段的取值范围之前;
创建模块,用于创建时间字段,并将时间字段作为标识字段;
第二获取模块,用于获取数据操作指令;
生成模块,用于基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的标识字段的第一数值。
可选的,若数据操作指令包括数据更新指令,则生成模块,具体用于:
创建多个主键、多个主键分别对应的初始数据以及分别对应、针对时间字段的初始时间值;
基于数据更新指令,将多个主键分别对应的初始数据进行数据更新,得到多个主键分别对应的数据;
基于各主键对应的初始数据的更新时间调整主键对应的初始时间值,得到多个主键分别对应的第一数值。
可选的,若数据操作指令包括数据创建指令,则生成模块,具体用于:
基于数据创建指令,创建多个主键以及多个主键分别对应的数据;
将各主键对应的数据的创建时间分别作为主键对应的第一数值。
可选的,若数据操作指令包括数据删除指令,则生成模块,具体用于:
创建多个初始主键、多个初始主键分别对应的数据以及分别对应的、针对时间字段的初始时间值;
基于数据删除指令,删除数据中的部分数据以及部分数据对应的主键和初始时间值,得到多个主键、多个主键分别对应的数据以及对应的第一数值。
本申请第四方面提供了一种数据稽核装置,该装置包括:
第一接收模块,用于接收第一数据中心发送的待稽核的取值范围;
第三确定模块,用于基于取值范围,确定第二待稽核数据;第二待稽核数据包括位于取值范围内的标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据;
其中,第二待稽核数据用于结合第一待稽核数据进行数据稽核;
第一待稽核数据是由第一数据中心确定位于取值范围内的标识字段的多个第一数值以及各第一数值分别对应的主键,获取与各主键分别对应的数据后,检测到任一数据发生更新时,基于主键以及与主键分别对应的第一数值,确定至少一个未更新数据,基于至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到的。
可选的,该装置还包括第二接收模块以及第四确定模块、第五确定模块以及第六确定模块;
在第三确定模块基于取值范围,确定第二待稽核数据之后,第二接收模块,用于接收第一数据中心发送的第一待稽核数据;
第四确定模块,用于确定第一待稽核数据的第一循环冗余校验码以及第二待稽核数据的第二循环冗余校验码;
第五确定模块,用于若第一循环冗余校验码和第二循环冗余校验码相同,则确定第一待稽核数据与第二待稽核数据是同步的;
第六确定模块,用于若第一循环冗余校验码和第二循环冗余校验码不同,则确定第一待稽核数据与第二待稽核数据之间的差异数据。
本申请实施例的第五方面,提供了一种电子设备,该电子设备包括存储器和处理器;存储器中存储有计算机程序;处理器用于在运行计算机程序时执行第一方面及其可选的实施方式以及第二方面及其可选的实施方式中任一项的方法。
本申请实施例的第六方面,提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现第一方面及其可选的实施方式以及第二方面及其可选的实施方式中任一项的方法。
本申请提供的技术方案带来的有益效果是:
在本申请中,获取待稽核的标识字段的取值范围,并确定位于取值范围内的标识字段的多个第一数值后,可以确定与各第一数值分别对应的主键,并获取与各主键分别对应的数据,该数据即为用于稽核的数据,可见,本申请中的数据与主键和第一数值均具有对应关系,由于该用于稽核的数据是变化的,数据变化后主键标识的数据显然并不是本身用于稽核的数据,则本申请在数据发生变化时该数据对应的标识字段的第一数值也会发生相应的变化,从而本申请可以用主键和标识字段的第一数值来共同标识数据以确定未更新数据,从而可以基于至少一个未更新数据对应的目标主键、至少一个未更新数据以及各主键对应的第一数值得到第一待稽核数据,这样将取值范围发送给第二数据中心后,第二数据中心可以基于该取值范围,确定第二待稽核数据,并基于第一待稽核数据以及第二待稽核数据进行数据稽核,可见,本申请在待稽核的数据变化时,可以用主键和第一数值来确定未更新数据,这样无论待稽核的数据如何变化,均可以确定出未更新的数据,即最初用于稽核的数据,这样可以将待稽核的数据由动态数据转化为相对静态数据,相对于现有方案,不需要停止数据中心的业务也可以进行数据稽核,且不会造成设备的存储压力,节省了存储资源。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请数据稽核方法的一个实施例示意图;
图2为本申请数据稽核方法的一个场景示意图;
图3为本申请数据稽核方法的另一个场景示意图;
图4为本申请数据稽核方法的另一个实施例示意图;
图5为本申请数据稽核方法的另一个实施例示意图;
图6为本申请数据稽核装置的一种结构示意图;
图7为本申请数据稽核装置的另一种结构示意图;
图8为本申请电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请涉及的几个名词进行介绍和解释:
异地多活是指在不同城市建立独立的数据中心,异地多活架构下,需要保证各数据中心管理的数据是同步的,即一个数据中心的数据发生更新后,另一个数据中心的数据也需要同步更新,为检测两数据中心间数据是否是同步的,常常需要进行数据稽核;
而现有的数据稽核方式中,用于稽核的数据是变化的,需要停止业务或者复制该数据才能正常进行数据稽核,这样会影响业务的正常运行,也会增加设备的存储压力,浪费设备资源。
为解决现有技术存在的问题,本申请提出了一种数据稽核方法,该方法具体由第一数据中心执行,首先,需要说明的是,第一数据中心与第二数据中心为异地多活架构下不同的数据中心,第一数据中心或第二数据中心可以是电子设备,电子设备具体可以是终端设备或服务器。
本申请的数据列表中包括多个主键、多个主键分别对应的数据以及多个主键分别对应的标识字段的数值,每一主键对应的数据的个数是多个,每个主键对应的多个数据在数据列表中呈现为一行的数据。同时,数据列表中的数据以及标识字段的数值是可以调整的,第一数据中心和第二数据中心均管理着该数据列表,均可以对该数据列表中的数据或标识字段的数值进行调整。
基于此,本申请的方法具体包括:
步骤S101、获取待稽核的标识字段的取值范围,并确定位于取值范围内的标识字段的多个第一数值;
第一数据中心获取待稽核的标识字段的取值范围,该取值范围可以是预先设置好的,从而第一数据中心可以确定其所管理的数据列表中位于该取值范围内的标识字段的多个第一数值。
在本实施中,多个第一数值具体为两个或两个以上的第一数值。
步骤S102、确定与多个第一数值分别对应的主键,获取与各主键分别对应的数据;
第一数据中心可以确定多个第一数值分别对应的主键,每个第一数值可以一一对应一个主键,也可以是某一第一数值对应两个或两个以上主键;
主键可以唯一标识一条数据,则第一数据中心可以获取与各主键分别对应的数据。
步骤S103、检测到任一数据发生更新时,基于主键以及与主键分别对应的第一数值,确定数据中的至少一个未更新数据,基于至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到第一待稽核数据;
在本实施例中,第一数据中心检测到数据列表中任一数据发生更新时,该数据对应的主键并不会改变,但是该数据对应的标识字段的第一数值会同步发生变化,可见,在数据更新时,主键并不能再唯一标识一行的数据,例如本实施中,若基于主键获取数据,则获取的数据是更新后的数据,并不是初始准备稽核的数据;
本申请将主键与标识字段的第一数值结合来唯一标识一条数据,则第一数据中心可以基于主键以及与主键分别对应的第一数值,确定出数据中的至少一个未更新数据,具体确定未更新数据的方式将在后面的实施例中介绍。
第一数据中心可以将至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值共同作为第一待稽核数据。
步骤S104、将取值范围发送给第二数据中心,以便于第二数据中心基于取值范围,确定第二待稽核数据;
第二待稽核数据用于结合第一待稽核数据进行数据稽核,第二待稽核数据包括位于取值范围内的标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据。
如上述第二数据中心也管理着该数据列表,即第二数据中心中存储有该数据列表,则第二数据中心也需要确定自身所存储的第二待稽核数据,具体的:
第一数据中心可以将该取值范围发送给第二数据中心,则第二数据中心可以基于该取值范围确定位于该取值范围内的标识字段的多个第二数值,第二数据中心基于该多个第二数值确定与各第二数值对应的主键,并基于各主键确定各主键对应的数据,多个第二数值、各第二数值对应的主键以及对应的数据共同形成该第二待稽核数据。
在本实施例中,第二待稽核数据可以与第一待稽核数据共同进行数据稽核,以检测第一待稽核数据与第二待稽核数据是否一致,从而确定两数据中心间的数据是否同步。
可见,在本实施例中,获取待稽核的标识字段的取值范围,并确定位于取值范围内的标识字段的多个第一数值后,可以确定与各第一数值分别对应的主键,并获取与各主键分别对应的数据,该数据即为用于稽核的数据,可见,本申请中的数据与主键和第一数值均具有对应关系,由于该用于稽核的数据是变化的,数据变化后主键标识的数据显然并不是本身用于稽核的数据,则本申请在数据发生变化时该数据对应的标识字段的第一数值也会发生相应的变化,从而本申请可以用主键和标识字段的第一数值来共同标识数据以确定未更新数据,从而可以基于至少一个未更新数据对应的目标主键、至少一个未更新数据以及各主键对应的第一数值得到第一待稽核数据,这样将取值范围发送给第二数据中心后,第二数据中心可以基于该取值范围,确定第二待稽核数据,并基于第一待稽核数据以及第二待稽核数据进行数据稽核,可见,本申请在待稽核的数据变化时,可以用主键和第一数值来确定未更新数据,这样无论待稽核的数据如何变化,均可以确定出未更新的数据,即最初用于稽核的数据,这样可以将待稽核的数据由动态数据转化为相对静态数据,相对于现有方案,不需要停止数据中心的业务也可以进行数据稽核,且不会造成设备的存储压力,节省了存储资源。
进一步的,本申请实施例中数据稽核的方式可以是:基于第一待稽核数据计算得到第一循环冗余校验码(Cyclic Redundancy Check,CRC32),基于第二待稽核数据计算得到第二循环冗余校验码,比较两循环冗余校验码进行数据稽核。
对于任一待稽核数据,计算循环冗余校验码的方式是:将该待稽核数据看成一个块(chunk),该块中每个主键对应一条数据,可以对该块中每条数据的每个字段合并后计算出该块的循环冗余校验码。
在本实例中,数据稽核可以由不同的执行主体执行,具体存在三种可能的情况,具体的:
情况A:由第一数据中心发送第一待稽核数据给第二数据中心后,第二数据中心进行数据稽核。
第一数据中心将第一待稽核数据发送给第二数据中心后,第二数据中心基于第一待稽核数据和第二待稽核数据进行数据稽核,这种情况一般适用于将第一数据中心作为主数据中心,第二数据中心作为辅数据中心,辅数据中心指的是当主数据中心崩溃时作为备选的数据中心;
情况B:由第一数据中心发送第一循环冗余校验码给第二数据中心后,第二数据中心进行数据稽核。
本申请也可以是第一数据中心基于第一待稽核数据计算得到第一循环冗余校验码后,第一数据中心将第一循环冗余校验码发送给第二数据中心,第二数据中心计算得到第二待稽核数据的第二循环冗余校验码后,基于该第一循环冗余校验码以及第二循环冗余校验码进行数据稽核,可见,这种情况相较于情况A和情况C,可以减少数据的传输量,避免了网络资源的浪费。
情况C:由第三方设备进行数据稽核。
第一数据中心将第一待稽核数据发送给第三方设备,以及第二数据中心将第二待稽核数据发送给第三方设备,由第三方设备基于两待稽核数据进行数据稽核;
或第一数据中心与第二数据中心中某一数据中心将计算得到的待稽核数据对应的循环冗余校验码发送给第三方设备,另一数据中心将待稽核数据发送给第三方设备,由第三方设备进行数据稽核。
本实施例中第三方设备指除第一数据中心以及第二数据中心以外的设备,可以是电子设备,例如终端设备或服务器等。
进一步的,步骤S103检测到任一数据发生更新时,基于主键以及与主键分别对应的第一数值,确定数据中的至少一个未更新数据,具体可以包括:
检测到任一数据发生更新时,通过触发器调整该任一数据对应的标识字段的第一数值;
若调整后的第一数值位于取值范围外,则确定第一数值中的至少一个未更新第一数值;
确定至少一个未更新第一数值分别对应的目标主键,基于目标主键确定至少一个未更新数据。
在本实施例中,上述基于主键以及与主键分别对应的第一数值,确定数据中的至少一个未更新数据的方式具体是:
第一数据中心可以在检测到任一数据发生更新时,通过触发器调整该任一数据对应的标识字段的第一数值,这样可以将标识字段的第一数值调整到上述取值范围之外。本实施例的一种可能的情况是:标识字段为时间字段,则标识字段的取值范围为时间范围,第一数值为时间值,当任一数据发生更新时,可以将当前时间即数据的更新时刻作为时间字段的时间值,数据列表中已有数据的时间值一般为该数据的生成时刻,则时间范围是已过去的时间中截取的时间范围,显然当前时间位于该时间范围之外。
可见,未更新第一数值依然位于该取值范围内,则第一数据中心可以从多个第一数值中确定未更新第一数值,从而第一数据中心确定每一未更新第一数值分别的对应的目标主键,基于各目标主键确定对应的未更新数据,从而得到至少一个未更新数据,这样确定得到的未更新数据即为静态的、没有更新的数据,可见,本申请在任一数据发生更新后,可以将用于稽核的数据由动态数据转化为相对静态数据。
参照图2,本申请的一种可能的场景是:第一数据中心确定数据稽核时间字段的取值范围为T1至T3,则T1至T3分别对应的主键(PK)为1、2、3以及4,则第一数据中心获取主键分别为1、2、3以及4时的数据以及时间字段(MT)的时间值,PK=1时,包括数据10以及A,同时时间值为T1,PK=2时,包括数据15以及C,同时时间值为T2,PK=3时,包括数据20以及A,同时时间值为T2,PK=4时,包括数据15以及C,同时时间值为T3。当PK=2的数据中C1字段的值由15变成10,可以用设备的当前时刻即数据更新的时刻T4作为MT的时间值,将MT的时间值由T2变成T4;
T1至T3等时刻一般为对应数据的生成时刻,则T1至T3等时刻为当前时刻之前的时刻,T4位于取值范围T1至T3之外,则数据更新后第一数据中心稽核PK为1、3以及4的数据,而PK为2的数据可以在下一周期进行数据稽核,可见,本申请用于稽核的数据变化时,可以只稽核未变化的数据,这样就可以将动态的待稽核的数据转化为相对静态的数据。
如果两数据中心T1至T3这段时间内的数据同步,则表示T2至T3这段时间内的增量变化数据是相等的。
进一步的,在本实施例中,步骤S101获取待稽核的标识字段的取值范围之前,该方法还可以包括:
创建时间字段,并将时间字段作为标识字段;
获取数据操作指令;
基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的标识字段的第一数值。
本申请可以创建时间字段,时间字段的字段类型可以是毫秒级的时间戳,同时第一数据中心将该时间字段作为上述标识字段。
第一数据中心还可以获取数据操作指令,基于获取到的数据操作指令第一数据中心可以进行相应的操作,以生成上述取值范围内的多个第一数值、多个第一数值分别对应的主键、以及多个主键分别对应的数据;
在本实施例中,同样的,标识字段的第一数值即为时间字段的时间值数据操作指令可以是数据创建指令、数据更新指令以及数据删除指令中至少一项,具体而言:
一种可能的情况是,若数据操作指令包括数据更新指令,则基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的标识字段的第一数值,可以包括:
创建多个主键、多个主键分别对应的初始数据以及分别对应、针对时间字段的初始时间值;
基于数据更新指令,将多个主键分别对应的初始数据进行数据更新,得到多个主键分别对应的数据;
基于各主键对应的初始数据的更新时间调整主键对应的初始时间值,得到多个主键分别对应的第一数值。
在本实施例中,第一数据中心可以创建多个主键、每一主键分别对应的初始数据,并将每一主键对应的初始数据的创建时间作为该主键对应的时间字段的初始时间值;
第一数据中心可以基于该数据更新指令,将多个主键分别对应的初始数据中全部或部分主键对应的初始数据进行数据更新,从而得到多个主键分别对应的数据。
同时,某一主键对应的第一数值即为时间值,当某一主键对应的初始数据更新时,可以基于该主键对应的初始数据的更新时刻调整该主键对应的初始时间值,以得到该主键对应的时间值,具体而言可以将该主键对应的初始数据的更新时刻作为该主键对应的时间值。
需要说明的是,如果一个主键对应的一条数据中存在两个或两个以上数据在不同时刻分别进行数据更新,则该主键对应的时间值为最新更新的数据的更新时刻。
参照图3,本实施例的一种可能的场景是:
主键为1至n的n条数据中(n为大于3的整数),初始数据和初始时刻情况为:PK=1时,包括数据10以及A,同时时间字段的时间值为T0;PK=2时,包括数据15以及C,同时时间字段的时间值为T1;PK=3时,包括数据20以及A,同时时间字段的时间值为T2;直至PK=n时,包括数据20以及A,同时时间字段的时间值为Tn;
通过数据更新,将PK为2时,C1字段的值由初始数据15变成10,且C2字段的值由初始数据C变成A,则MT由初始时刻T1修改为当前时刻Tn+1,同时PK为3时,C1字段的值由15变成10,且C2字段的值由C变成A,则MT由T2修改为当前时刻Tn+1。后续的,第一数据中心可以基于更新后的数据列表设置时间字段的取值范围后进行数据稽核。
另一种可能的情况是,若数据操作指令包括数据创建指令,则基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的标识字段的第一数值,包括:
基于数据创建指令,创建多个主键以及多个主键分别对应的数据;
将各主键对应的数据的创建时间分别作为主键对应的第一数值。
在本实施例中,第一数据中心可以创建多个主键,以及创建多个主键分别对应的数据,并将各主键对应的数据的创建时间作为该主键对应的第一数值,从而得到上述取值范围内的多个第一数值、多个第一数值分别对应的主键、以及多个主键分别对应的数据。
另一种可能的情况是,若数据操作指令包括数据删除指令,则基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的标识字段的第一数值,包括:
创建多个初始主键、多个初始主键分别对应的数据以及分别对应的、针对时间字段的初始时间值;
基于数据删除指令,删除数据中的部分数据以及部分数据对应的主键和初始时间值,得到多个主键、多个主键分别对应的数据以及对应的第一数值。
在本实施例中,第一数据中心可以创建多个主键、每一主键分别对应的初始数据,并将每一主键对应的初始数据的创建时间作为该主键对应的时间字段的初始时间值;
第一数据中心可以基于数据删除指令,从数据列表中删除部分主键对应的初始数据以及该部分主键、该部分主键对应的第一数值,将数据列表中剩余的部分作为上述取值范围内的多个第一数值、多个第一数值分别对应的主键、以及多个主键分别对应的数据。
参照图4,数据列表中的初始数据和初始时刻情况与图3一致,不再赘述;
第一数据中心通过执行数据删除指令,可以删除PK为2的一条数据以及对应的MT字段的值,数据列表中剩余的部分即:PK=1时,数据10以及A,同时时间字段的时间值为T0;PK=3时,数据20以及A,同时时间字段的时间值为T2;直至PK=n时,包括数据20以及A,同时时间字段的时间值为Tn;数据列表中剩余的部分即为删除后的数据列表,第一数据中心可以基于删除后的数据列表设置时间字段的取值范围后进行数据稽核。
上面从第一数据中心的角度对本申请的方案进行了介绍,下面,请参照图5,从第二数据中心的角度对本申请的方案进行详细说明。
本申请还提供了一种数据稽核方法,该方法可以由第二数据中心执行,该方法包括:
步骤S501、接收第一数据中心发送的待稽核的取值范围;
步骤S502、基于取值范围,确定第二待稽核数据;第二待稽核数据包括位于取值范围内的标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据;
其中,第二待稽核数据用于结合第一待稽核数据进行数据稽核;
第一待稽核数据是由第一数据中心确定位于取值范围内的标识字段的多个第一数值以及各第一数值分别对应的主键,获取与各主键分别对应的数据后,检测到任一数据发生更新时,基于主键以及与主键分别对应的第一数值,确定至少一个未更新数据,基于至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到的。
本实施例的方案与图1所示实施例方案实际上是相同的方案,只是从不同的角度对本申请数据稽核方法进行说明,其具体实施方式以及所产生的有益效果可以参照图1所示实施例的相关论述,具体此处不再赘述。
进一步的,在步骤S502基于取值范围,确定第二待稽核数据之后,该方法还可以包括:
接收第一数据中心发送的第一待稽核数据;
确定第一待稽核数据的第一循环冗余校验码以及第二待稽核数据的第二循环冗余校验码;
若第一循环冗余校验码和第二循环冗余校验码相同,则确定第一待稽核数据与第二待稽核数据是同步的;
若第一循环冗余校验码和第二循环冗余校验码不同,则确定第一待稽核数据与第二待稽核数据之间的差异数据。
在本实施例中,如上述可以由第二数据中心进行数据稽核,具体实现方式可以参照上述实施例的相关论述,此处不再赘述。
需要补充的是,第二数据中心可以对比两循环冗余校验码进,如果两循环冗余校验码相同,则表示第一待稽核数据与第二待稽核数据是同步的,即所设置的时间字段的取值范围内所稽核的数据是同步的,如果两循环冗余校验码不同,则将两数据中心间相同主键对应的一条数据进行对比,找出两数据中心间的差异数据。
综上,可见本申请的数据稽核方法是由第一数据中心和第二数据中心交互进行的,下面从两数据中心交互的角度对本申请进行说明。
S1、第一数据中心在数据列表中创建标识字段,同时,第一数据中心针对标识字段设置一个触发器。
S2、第一数据中心获取待稽核的标识字段的取值范围,并确定位于取值范围内的标识字段的多个第一数值;
S3、第一数据中心确定与多个第一数值分别对应的主键,获取与主键分别对应的数据;
例如图2中,数据稽核的取值范围为T1到T3,则第一数据中心获取PK为1至4时分别对应的数据,T1为PK为1的数据的生成时刻,T2以及T3也是对应数据的生成时刻。
此时,获取的数据即为初始用于数据稽核的数据。
S4、第一数据中心检测到任一数据发生更新时,通过触发器,基于当前时间调整该任一数据对应的时间字段的时间值,调整后的时间值位于该取值范围之外;
例如图2中,PK为2的主键对应的MT字段的值由T2变为当前时间T4,T4位于取值范围为T1到T3之外。
S5、第一数据中心确定至少一个未更新第一数值,确定至少一个未更新第一数值分别对应的目标主键,基于目标主键确定至少一个未更新数据;
例如图2中,第一数据中心确定的目标主键为1、3、以及4,同时确定主键为1、3以及4时分别对应的数据以及MT字段的值。
S6、第一数据中心基于至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到第一待稽核数据;
S7、第一数据中心将第一待稽核数据以及该取值范围发送给第二数据中心;
S8、第二数据中心基于取值范围,确定所管理的数据列表中的第二待稽核数据;第二待稽核数据包括位于取值范围内的标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据;
S9、第二数据中心基于第一待稽核数据以及第二待稽核数据进行数据稽核。
请参照图6,本申请还提供了一种数据稽核装置,包括:
第一获取模块601,用于获取待稽核的标识字段的取值范围,并确定位于所述取值范围内的标识字段的多个第一数值;
第一确定模块602,用于确定与多个第一数值分别对应的主键,获取与各主键分别对应的数据;
第二确定模块603,用于检测到任一数据发生更新时,基于所述主键以及与所述主键分别对应的第一数值,确定所述数据中的至少一个未更新数据,基于所述至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到第一待稽核数据;
第一发送模块604,用于将所述取值范围发送给第二数据中心,以便于所述第二数据中心基于所述取值范围,确定第二待稽核数据;
所述第二待稽核数据用于结合所述第一待稽核数据进行数据稽核,所述第二待稽核数据包括位于所述取值范围内的所述标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据。
可选的,第二确定模块603,具体用于:
检测到任一数据发生更新时,通过触发器调整该任一数据对应的标识字段的第一数值;
若调整后的第一数值位于所述取值范围外,则确定所述第一数值中的至少一个未更新第一数值;
确定所述至少一个未更新第一数值分别对应的目标主键,基于所述目标主键确定所述至少一个未更新数据。
可选的,该装置还包括创建模块、第二获取模块以及生成模块;在第一获取模块601获取待稽核的标识字段的取值范围之前;
创建模块,用于创建时间字段,并将所述时间字段作为所述标识字段;
第二获取模块,用于获取数据操作指令;
生成模块,用于基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的所述标识字段的第一数值。
可选的,若所述数据操作指令包括数据更新指令,则所述生成模块,具体用于:
创建所述多个主键、所述多个主键分别对应的初始数据以及分别对应、针对时间字段的初始时间值;
基于所述数据更新指令,将所述多个主键分别对应的初始数据进行数据更新,得到所述多个主键分别对应的数据;
基于各主键对应的初始数据的更新时间调整所述主键对应的初始时间值,得到所述多个主键分别对应的第一数值。
可选的,若所述数据操作指令包括数据创建指令,则生成模块,具体用于:
基于所述数据创建指令,创建所述多个主键以及所述多个主键分别对应的数据;
将各主键对应的数据的创建时间分别作为所述主键对应的第一数值。
可选的,若所述数据操作指令包括数据删除指令,则生成模块,具体用于:
创建多个初始主键、所述多个初始主键分别对应的数据以及分别对应的、针对时间字段的初始时间值;
基于所述数据删除指令,删除所述数据中的部分数据以及所述部分数据对应的主键和初始时间值,得到所述多个主键、所述多个主键分别对应的数据以及对应的第一数值。
请参照图7,本申请还申请一种数据稽核装置,该装置包括:
第一接收模块701,用于接收第一数据中心发送的待稽核的取值范围;
第三确定模块702,用于基于所述取值范围,确定第二待稽核数据;所述第二待稽核数据包括位于所述取值范围内的所述标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据;
其中,所述第二待稽核数据用于结合第一待稽核数据进行数据稽核;
所述第一待稽核数据是由第一数据中心确定位于所述取值范围内的标识字段的多个第一数值以及各第一数值分别对应的主键,获取与各主键分别对应的数据后,检测到任一数据发生更新时,基于所述主键以及与所述主键分别对应的第一数值,确定至少一个未更新数据,基于所述至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到的。
可选的,该装置还包括第二接收模块以及第四确定模块、第五确定模块以及第六确定模块;
在第三确定模块702所述基于所述取值范围,确定第二待稽核数据之后,第二接收模块,用于接收第一数据中心发送的所述第一待稽核数据;
第四确定模块,用于确定所述第一待稽核数据的第一循环冗余校验码以及所述第二待稽核数据的第二循环冗余校验码;
第五确定模块,用于若所述第一循环冗余校验码和所述第二循环冗余校验码相同,则确定所述第一待稽核数据与所述第二待稽核数据是同步的;
第六确定模块,用于若所述第一循环冗余校验码和所述第二循环冗余校验码不同,则确定所述第一待稽核数据与所述第二待稽核数据之间的差异数据。
由于本发明实施例所提供的装置为可以执行本发明实施例中相应的方法的装置,故而基于本发明实施例中所提供的方法,本领域所属技术人员能够了解本发明实施例的装置的具体实施方式以及其各种变化形式,所以在此对于该装置如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中的方法所采用的装置,都属于本申请所欲保护的范围。
基于与图1中所示的方法相同的原理,本申请实施例还提供了一种电子设备,该电子设备包括存储器和处理器;存储器中存储有计算机程序;处理器用于在运行计算机程序时执行本申请任一可选实施例中所提供的方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时可以实现本申请任一可选实施例中所提供的方法。
作为一示例,图8中示出了本申请可以应用于的一种电子设备4000的结构示意图,该电子设备包括存储器4003和处理器4001,存储器4003中存储有计算机程序,处理器4001,用于在运行计算机程序时执行上述任一方法。
具体的,该电子设备可以是终端、服务器或其他可能的设备,图8只是示出了电子设备的一种可选的示意性结构。图8中所示的该电子设备4000的结构并不构成对本申请实施例的限定。
其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004。需要说明的是,实际应用中收发器4004不限于一个,收发器4004可以具体用于该电子设备4000与其他设备的通信。
处理器4001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请申请内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码,并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码,以实现上面任一方法实施例所示的内容。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种数据稽核方法,其特征在于,包括:
获取待稽核的标识字段的取值范围,并确定位于所述取值范围内的标识字段的多个第一数值;
确定与多个第一数值分别对应的主键,获取与各主键分别对应的数据;
检测到任一数据发生更新时,基于所述主键以及与所述主键分别对应的第一数值,确定所述数据中的至少一个未更新数据,基于所述至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到第一待稽核数据;
将所述取值范围发送给第二数据中心,以便于所述第二数据中心基于所述取值范围,确定第二待稽核数据;
所述第二待稽核数据用于结合所述第一待稽核数据进行数据稽核,所述第二待稽核数据包括位于所述取值范围内的所述标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据。
2.根据权利要求1所述的方法,其特征在于,所述检测到任一数据发生更新时,基于所述主键以及与所述主键分别对应的第一数值,确定所述数据中的至少一个未更新数据,包括:
检测到任一数据发生更新时,通过触发器调整该任一数据对应的标识字段的第一数值;
若调整后的第一数值位于所述取值范围外,则确定所述第一数值中的至少一个未更新第一数值;
确定所述至少一个未更新第一数值分别对应的目标主键,基于所述目标主键确定所述至少一个未更新数据。
3.根据权利要求1所述的方法,其特征在于,所述获取待稽核的标识字段的取值范围之前,所述方法还包括:
创建时间字段,并将所述时间字段作为所述标识字段;
获取数据操作指令;
基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的所述标识字段的第一数值。
4.根据权利要求3所述的方法,其特征在于,若所述数据操作指令包括数据更新指令,则所述基于获取到的数据操作指令,得到多个主键、多个主键分别对应的数据以及分别对应的所述标识字段的第一数值,包括:
创建所述多个主键、所述多个主键分别对应的初始数据以及分别对应、针对时间字段的初始时间值;
基于所述数据更新指令,将所述多个主键分别对应的初始数据进行数据更新,得到所述多个主键分别对应的数据;
基于各主键对应的初始数据的更新时间调整所述主键对应的初始时间值,得到所述多个主键分别对应的第一数值。
5.根据权利要求3所述的方法,其特征在于,若所述数据操作指令包括数据创建指令,则所述基于获取到的数据操作指令,得到所述多个主键、多个主键分别对应的数据以及分别对应的所述标识字段的第一数值,包括:
基于所述数据创建指令,创建所述多个主键以及所述多个主键分别对应的数据;
将各主键对应的数据的创建时间分别作为所述主键对应的第一数值。
6.根据权利要求3所述的方法,其特征在于,若所述数据操作指令包括数据删除指令,则所述基于获取到的数据操作指令,得到所述多个主键、多个主键分别对应的数据以及分别对应的所述标识字段的第一数值,包括:
创建多个初始主键、所述多个初始主键分别对应的数据以及分别对应的、针对时间字段的初始时间值;
基于所述数据删除指令,删除所述数据中的部分数据以及所述部分数据对应的主键和初始时间值,得到所述多个主键、所述多个主键分别对应的数据以及对应的第一数值。
7.一种数据稽核方法,其特征在于,包括:
接收第一数据中心发送的待稽核的取值范围;
基于所述取值范围,确定第二待稽核数据;所述第二待稽核数据包括位于所述取值范围内的所述标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据;
其中,所述第二待稽核数据用于结合第一待稽核数据进行数据稽核;
所述第一待稽核数据是由第一数据中心确定位于所述取值范围内的标识字段的多个第一数值以及各第一数值分别对应的主键,获取与各主键分别对应的数据后,检测到任一数据发生更新时,基于所述主键以及与所述主键分别对应的第一数值,确定至少一个未更新数据,基于所述至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到的。
8.根据权利要求7所述的方法,其特征在于,所述基于所述取值范围,确定第二待稽核数据之后,所述方法还包括:
接收第一数据中心发送的所述第一待稽核数据;
确定所述第一待稽核数据的第一循环冗余校验码以及所述第二待稽核数据的第二循环冗余校验码;
若所述第一循环冗余校验码和所述第二循环冗余校验码相同,则确定所述第一待稽核数据与所述第二待稽核数据是同步的;
若所述第一循环冗余校验码和所述第二循环冗余校验码不同,则确定所述第一待稽核数据与所述第二待稽核数据之间的差异数据。
9.一种数据稽核装置,其特征在于,包括:
第一获取模块,用于获取待稽核的标识字段的取值范围,并确定位于所述取值范围内的标识字段的多个第一数值;
第一确定模块,用于确定与多个第一数值分别对应的主键,获取与各主键分别对应的数据;
第二确定模块,用于检测到任一数据发生更新时,基于所述主键以及与所述主键分别对应的第一数值,确定所述数据中的至少一个未更新数据,基于所述至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到第一待稽核数据;
第一发送模块,用于将所述取值范围发送给第二数据中心,以便于所述第二数据中心基于所述取值范围,确定第二待稽核数据;
所述第二待稽核数据用于结合所述第一待稽核数据进行数据稽核,所述第二待稽核数据包括位于所述取值范围内的所述标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据。
10.一种数据稽核装置,其特征在于,包括:
第一接收模块,用于接收第一数据中心发送的待稽核的取值范围;
第三确定模块,用于基于所述取值范围,确定第二待稽核数据;所述第二待稽核数据包括位于所述取值范围内的所述标识字段的多个第二数值、与各第二数值对应的主键以及对应的数据;
其中,所述第二待稽核数据用于结合第一待稽核数据进行数据稽核;
所述第一待稽核数据是由第一数据中心确定位于所述取值范围内的标识字段的多个第一数值以及各第一数值分别对应的主键,获取与各主键分别对应的数据后,检测到任一数据发生更新时,基于所述主键以及与所述主键分别对应的第一数值,确定至少一个未更新数据,基于所述至少一个未更新数据、各未更新数据对应的目标主键以及各目标主键对应的第一数值得到的。
11.一种电子设备,其特征在于,所述电子设备包括存储器和处理器;
所述存储器中存储有计算机程序;
所述处理器,用于在运行所述计算机程序时执行权利要求1-8中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述程序被处理器执行时实现权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011121714.XA CN112306999B (zh) | 2020-10-19 | 2020-10-19 | 数据稽核方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011121714.XA CN112306999B (zh) | 2020-10-19 | 2020-10-19 | 数据稽核方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112306999A true CN112306999A (zh) | 2021-02-02 |
CN112306999B CN112306999B (zh) | 2024-08-23 |
Family
ID=74328410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011121714.XA Active CN112306999B (zh) | 2020-10-19 | 2020-10-19 | 数据稽核方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112306999B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9576025B1 (en) * | 2015-11-20 | 2017-02-21 | International Business Machines Corporation | Abstracting denormalized data datasets in relational database management systems |
US20170344527A1 (en) * | 2016-05-27 | 2017-11-30 | Microsoft Technology Licensing, Llc | Providing checklist telemetry |
CN109271380A (zh) * | 2018-08-14 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 一种数据表海量数据校验方法及终端设备 |
CN109376148A (zh) * | 2018-08-22 | 2019-02-22 | 中国平安人寿保险股份有限公司 | 缓慢变化维表的数据处理方法、装置、电子设备 |
CN111737230A (zh) * | 2020-06-23 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 数据校验方法、装置、电子设备以及可读存储介质 |
-
2020
- 2020-10-19 CN CN202011121714.XA patent/CN112306999B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9576025B1 (en) * | 2015-11-20 | 2017-02-21 | International Business Machines Corporation | Abstracting denormalized data datasets in relational database management systems |
US20170344527A1 (en) * | 2016-05-27 | 2017-11-30 | Microsoft Technology Licensing, Llc | Providing checklist telemetry |
CN109271380A (zh) * | 2018-08-14 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 一种数据表海量数据校验方法及终端设备 |
CN109376148A (zh) * | 2018-08-22 | 2019-02-22 | 中国平安人寿保险股份有限公司 | 缓慢变化维表的数据处理方法、装置、电子设备 |
CN111737230A (zh) * | 2020-06-23 | 2020-10-02 | 北京奇艺世纪科技有限公司 | 数据校验方法、装置、电子设备以及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112306999B (zh) | 2024-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108228814B (zh) | 数据同步方法及装置 | |
CN108900353B (zh) | 故障告警方法及终端设备 | |
KR20190096391A (ko) | 데이터베이스 상태 결정 방법 및 디바이스, 및 일관성 검증 방법 및 디바이스 | |
KR20170133866A (ko) | 데이터 이관 장치 및 방법 | |
CN112214519B (zh) | 一种数据查询方法、装置、设备及可读介质 | |
CN109918229B (zh) | 非日志模式的数据库集群副本构建方法及装置 | |
CN108647317B (zh) | 增量文件的生成方法、装置和存储介质以及电子设备 | |
US20190227710A1 (en) | Incremental data restoration method and apparatus | |
CN110602165B (zh) | 政务数据同步方法、装置、系统、计算机设备和存储介质 | |
US10664349B2 (en) | Method and device for file storage | |
US20210160243A1 (en) | Systems and methods for performing data protection operations with a proxy register | |
CN111309506A (zh) | 一种编译错误的定位方法、设备、服务器及可读存储介质 | |
CN112579591B (zh) | 数据校验方法、装置、电子设备及计算机可读存储介质 | |
US20200117367A1 (en) | Method, apparatus, and computer program product for managing application system | |
CN111338869B (zh) | 配置参数管理方法、装置、设备及存储介质 | |
CN109002253B (zh) | 一种损坏条带的处理方法及装置 | |
US11227051B2 (en) | Method for detecting computer virus, computing device, and storage medium | |
CN106713032A (zh) | 一种实现网管业务管理的方法及装置 | |
WO2021129005A1 (zh) | 一种区块链状态变更交易追溯的方法及装置 | |
EP3624462A1 (en) | Data management system | |
CN112596959A (zh) | 分布式存储集群数据备份方法及装置 | |
CN112306999A (zh) | 数据稽核方法、装置、电子设备及计算机可读存储介质 | |
CN115390939B (zh) | 业务处理方法和系统 | |
CN110489208B (zh) | 虚拟机配置参数核查方法、系统、计算机设备和存储介质 | |
US7593941B2 (en) | Systems and methods of accessing and updating recorded data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |