CN113177056B - 多数据库的业务数据一致性的检验方法、设备和存储介质 - Google Patents
多数据库的业务数据一致性的检验方法、设备和存储介质 Download PDFInfo
- Publication number
- CN113177056B CN113177056B CN202110722582.4A CN202110722582A CN113177056B CN 113177056 B CN113177056 B CN 113177056B CN 202110722582 A CN202110722582 A CN 202110722582A CN 113177056 B CN113177056 B CN 113177056B
- Authority
- CN
- China
- Prior art keywords
- information
- storage space
- service
- record
- service dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005192 partition Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 230000009897 systematic effect Effects 0.000 abstract description 10
- 238000007689 inspection Methods 0.000 abstract description 5
- 230000009471 action Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5018—Thread allocation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明揭示了一种多数据库的业务数据一致性的检验方法、设备及存储介质，所述方法包括：使用第一独立线程，在第一数据库中依次查找各公司某业务维度的业务维度信息符合预设条件的记录信息，将所述记录信息写入第一存储空间中；使用第二独立线程，按照预设频率获取所述第一存储空间中最新的记录信息，并从第二数据库中获取与所述最新的记录信息中具有相同公司和相同业务维度的记录信息，写入第二存储空间；使用第三独立线程，得到结果记录，将所述结果记录写入第三存储空间。与现有技术相比，本发明的检验方法，能够对数据一致性的检验结果进行量化，并对数据一致性的波动进行实时监控、统一管理，为发现系统性问题提供依据。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种多数据库的业务数据一致性的检验方法、设备和存储介质。
背景技术
数据库是“按照数据结构来组织、存储和管理数据的仓库”。在日常工作中，常常需要把某些相关的数据放进这样的“仓库”，并根据管理的需要进行相应的处理。例如，企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中，这张表就可以看成是一个数据库。有了这个“数据仓库”就可以根据需要随时查询某职工的基本情况，也可以查询工资在某个范围内的职工人数等等。
关于数据库的一个比较完整的定义为：数据库是存储在一起的相关数据的集合，这些数据是结构化的，用于为多种应用服务；数据的存储独立于使用它的程序；对数据库插入新数据、修改和检索原有数据均能按一种公用的和可控制的方式进行。当某个系统中存在结构上完全分开的若干个数据库时，则该系统包含一个“数据库集合”，即由多个数据库组成。
在实际中，当数据处理涉及一个系统中的多个数据库，或者，多个系统的多个数据库时，存在同一个数据在不同的数据库中不一样的情况，即数据库之间的数据不一致。例如，对于两个存储有多个公司商标数量的数据库A和B，数据库A中存储的C公司的商标数量与数据库B中存储的C公司的商标数量不同。这种数据的不一致可能是由于系统性问题引起的，所述系统性问题包括网络堵塞、设备故障或者写入数据库的程序本身有问题等。
但是，现有的不一致检验工具检验到的不一致信息无法量化，因此，这些不一致信息并不能用来发现系统性问题。因此，如何对不一致信息进行量化从而能够发现系统性问题，是目前亟待解决的问题。
发明内容
本发明的目的在于提供一种多数据库的业务数据一致性的检验方法、设备和存储介质。
为实现上述发明目的之一，本发明一实施方式提供一种多数据库的业务数据一致性的检验方法，所述方法包括：
使用第一独立线程，在第一数据库中依次查找各公司某业务维度的业务维度信息符合预设条件的记录信息，将所述记录信息写入第一存储空间中，所述记录信息包括公司ID、业务维度和业务维度信息；
使用第二独立线程，按照预设频率获取所述第一存储空间中最新的记录信息，并从第二数据库中获取与所述最新的记录信息中具有相同公司和相同业务维度的记录信息，写入第二存储空间；
使用第三独立线程，在所述第二存储空间写入最新记录信息后，将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较，得到结果记录，将所述结果记录写入第三存储空间，其中，所述结果记录包括结果、对应的公司ID和业务维度；
按照预设策略，将所述第三存储空间的未写入统计数据库的结果记录写入所述统计数据库，根据所述统计数据库，对所述业务维度的结果为不一致的结果记录进行统计；
其中，所述“按照预设策略，将所述第三存储空间的未写入统计数据库的结果记录写入所述统计数据库”包括：
每隔预设时间段获取在所述预设时间段内写入所述第三存储空间的结果记录，将所述结果记录写入统计数据库；
或者在所述第三存储空间的未写入统计数据库的结果记录的数量超过预设数量阈值时，将所有未写入所述统计数据库的结果记录写入所述统计数据库。
作为本发明一实施方式的进一步改进，所述记录信息还包括记录时间，所述“在所述第二存储空间写入最新记录信息后，将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较”具体包括：
在所述第二存储空间写入最新记录信息后，将所述最新记录信息的记录时间与所述第一存储空间对应的记录信息的记录时间进行比较，若两个记录时间的时间差小于时间差阈值，则将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较。
作为本发明一实施方式的进一步改进，所述结果记录还包括有对比时间，所述对比时间为得到所述结果记录的时间。
作为本发明一实施方式的进一步改进，所述“对所述业务维度的结果为不一致的结果记录进行统计”包括：
根据所述统计数据库的结果记录的对比时间，统计所述业务维度在某时间段内出现结果为不一致的结果记录的数量，得到不一致数量。
作为本发明一实施方式的进一步改进，所述方法还包括：
统计所述业务维度在不同时间段的不一致数量，得到统计图表，根据所述统计图表，对所述业务维度的前端处理的异常进行反馈，并在所述异常修正后对所述修正进行验证。
作为本发明一实施方式的进一步改进，所述“对所述业务维度的结果为不一致的结果记录进行统计”还包括：
根据所述统计数据库的结果记录的对比时间，统计所述业务维度在某时间段内出现业务维度信息不一致的比例，并在所述比例超过预设比例、或者在所述比例超过前期平均比例时，进行报警处理。
为实现上述发明目的之一，本发明一实施方式提供一种多数据库的业务数据一致性的检验方法，所述方法包括：
为每一业务维度分配一个第一独立线程，多个所述第一独立线程并行获取对应业务维度的业务维度信息符合预设条件的记录信息，将所述记录信息写入第一存储空间对应业务维度的分区中；
为每个业务维度分配一个第二独立线程，按照预设频率，多个所述第二独立线程并行获取所述第一存储空间对应业务维度分区中最新的记录信息，并从第二数据库中获取与所述最新的记录信息中具有相同公司和相同业务维度的记录信息，写入第二存储空间对应业务维度的分区中；
为每个业务维度分配一个第三独立线程，多个所述第三独立线程并行执行以下操作：
在所述第二存储空间对应业务维度的分区写入最新记录信息后，将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较，得到结果记录，将所述结果记录写入第三存储空间对应业务维度的分区中；
按照预设策略，将所述第三存储空间每个业务维度的分区中的未写入统计数据库的结果记录写入对应业务维度的统计数据库，根据所述统计数据库，对每个业务维度的结果为不一致的结果记录进行统计；
其中，所述“按照预设策略，将所述第三存储空间的未写入统计数据库的结果记录写入所述统计数据库”包括：
每隔预设时间段获取在所述预设时间段内写入所述第三存储空间的结果记录，将所述结果记录写入统计数据库；
或者在所述第三存储空间的未写入统计数据库的结果记录的数量超过预设数量阈值时，将所有未写入所述统计数据库的结果记录写入所述统计数据库。
为实现上述发明目的之一，本发明一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多数据库的业务数据一致性的检验方法中的步骤。
为实现上述发明目的之一，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述多数据库的业务数据一致性的检验方法中的步骤。
与现有技术相比，本发明的多数据库的业务数据一致性的检验方法，能够对数据一致性的检验结果进行量化，并对数据一致性的波动进行实时监控、统一管理，对于一些突发性、间歇性、随机性的一致性问题保持敏感；还可以通过聚合图表技术将所有的不一致信息进行汇总，为研发人员进一步排查问题乃至彻底解决问题提供对照依据。
附图说明
图1是本发明的多数据库的业务数据一致性的检验方法的流程示意图。
图2是本发明对一业务维度的数据一致性的检验结果的统计图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
以左右两个数据库中都存储有各公司的专利数量为例，现有的不一致检验工具的检验过程包括：
第一步：查找左边数据库中专利数量不为0的记录；
第二步：根据第一步的记录获取右边数据库相应记录的专利数量；
第三步：将第一步获取的记录的专利数量与第二步获取的相应记录的专利数量进行比较，得到比较结果。
根据上述检验过程可以看出，最终得到比较结果的总时间是这三步的时间之和，而这三步中比较耗时且时长不可控的是第一步，例如在两条专利数量不为0的记录中间存在少量专利数量为0的记录，那么第一步会相对耗时较短，但是若存在大量专利数量为0的记录，那么第一步会相对耗时较长。由此可知，每得到一个比较结果的耗时总长是不固定的，即在相同时间段内得到的比较结果的总数不同，而由于不一致结果的无规律性，比较结果总数不同的相同时间段内出现比较结果为不一致的数量也无法确定，从而无法从这些不一致信息中得到与系统性问题相关联的依据，或者说现有的不一致检验工具检验到的不一致信息无法量化。
有鉴于此，本发明提供一种多数据库的业务数据一致性的检验方法，所述方法将取左边数据库中的记录（记为动作一）、取右边数据库中的记录（记为动作二）和对左右数据库中的记录进行比较（记为动作三）这三个动作并行执行，并且动作二按照预设频率执行，在动作二的带动下动作三亦按照预设频率执行，即在相同时间段内得到的比较结果的总数是大致相同的，从而通过所述方法得到的不一致信息在相同的时间段内具有可对比性，即所述不一致信息能够被量化用以发现系统性问题。
如图1所示，所述方法包括步骤S100~步骤S400。
步骤S100：使用第一独立线程，在第一数据库中依次查找各公司某业务维度的业务维度信息符合预设条件的记录信息，将所述记录信息写入第一存储空间中，所述记录信息包括公司ID、业务维度和业务维度信息。
系统将基础数据写入数据库的过程为：将基础数据写入第一数据库，然后再将基础数据写入第二数据库。其中，所述第一数据库和第二数据库为包含有相同信息但是作用不同的数据库。因此，为了保持数据的一致性，需要对第一数据库和第二数据库中的相同信息进行一致性检验。
需要说明的是，本发明的记录信息包括：公司ID、业务维度和业务维度信息。业务维度用于表示不同的业务，包括但不限于：专利、商标、软件著作权、招聘、招投标、控股公司、投资产品、裁判文书等。业务维度信息一般是指某个业务维度的数量，比如专利数量、商标数量等，当然也可以是具体的信息或者其它的形式。所述符合预设条件的记录信息是指对应的业务维度是存在数据的，具体的，若某记录信息上表明某公司的专利数量为0，则表明此公司在专利的业务维度是不存在数据的；反之，若不为0，则表明存在数据。因此，在所述业务维度信息是数量的情况下，所述符合预设条件的记录信息一般是指业务维度信息不为零的记录信息。
为了方便计算并且减少计算误差，优选所述记录信息还包括有记录时间，所述记录时间为所述记录信息写入存储空间的时间。
另外，由于使用的是独立线程，因此本步骤和其它步骤是并行执行的。本步骤在第一数据库中找到符合预设条件的记录信息后，会将所述记录信息写入第一存储空间中。
步骤S200：使用第二独立线程，按照预设频率获取所述第一存储空间中最新的记录信息，并从第二数据库中获取与所述最新的记录信息中具有相同公司和相同业务维度的记录信息，写入第二存储空间。
不论第一存储空间的最新记录信息有没有改变，本步骤都按照预设频率获取第一存储空间的最新记录信息，然后根据所述最新记录信息，获取第二数据库中对应的记录信息。另外，由于本步骤使用的是独立线程，因此，本步骤和其它步骤是并行执行的。
由于上述的做法，本步骤在执行时频率是稳定的（按照预设频率执行），即在相同的时间段内，动作“获取所述第一存储空间中最新的记录信息，并从第二数据库中获取与所述最新的记录信息中具有相同公司和相同业务维度的记录信息”的执行次数是大致相同的。
需要说明的是，所述预设频率可以是每分钟一次，或者每10秒一次等等。
步骤S300：使用第三独立线程，在所述第二存储空间写入最新记录信息后，将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较，得到结果记录，将所述结果记录写入第三存储空间，其中，所述结果记录包括结果、对应的公司ID和业务维度。
在第二存储空间的最新记录信息更新后，本步骤随即将步骤S100和步骤S200获取到的最新记录信息进行比较得到结果记录，并且，本步骤亦使用的是独立线程，也就是说，本步骤得到结果记录的频率与步骤S200的预设频率相同，即在相同的时间段内得到的结果的总数是大致相同的，从而在相同的时间段内得到的不一致信息数量具有可对比性。
所述结果记录中的结果包括一致和不一致两种结果。
需要说明的是，由于数据库中的数据会随时间发生改变, 为减少数据本身波动导致的误差, 需要在一致性对比时对两边数据库获取到数据的时间差进行约束。若第一存储空间中的最新记录信息的更新时间过长，大于或等于时间差阈值（例如10分钟），则放弃对第一存储空间与第二存储空间的最新记录信息进行比较。在一优选的实施方式中，所述记录信息还包括记录时间，所述“在所述第二存储空间写入最新记录信息后，将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较”具体包括：
在所述第二存储空间写入最新记录信息后，将所述最新记录信息的记录时间与所述第一存储空间对应的记录信息的记录时间进行比较，若两个记录时间的时间差小于时间差阈值，则将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较。
步骤S400：按照预设策略，将所述第三存储空间的未写入统计数据库的结果记录写入所述统计数据库，根据所述统计数据库，对所述业务维度的结果为不一致的结果记录进行统计。
本步骤用于对业务维度的结果为不一致的结果记录进行统计，从而为发现系统性问题提供依据。
所述按照预设策略，可以是时间上的策略，也可以是数量上的策略。在一优选的实施方式中，所述“按照预设策略，将所述第三存储空间的结果记录写入统计数据库”包括：
每隔预设时间段获取在所述预设时间段内写入所述第三存储空间的结果记录，将所述结果记录写入统计数据库；
或者在所述第三存储空间的未写入统计数据库的结果记录的数量超过预设数量阈值时，将所有未写入所述统计数据库的结果记录写入所述统计数据库。
所述预设时间段可以是5分钟，也可以是其它的时长；所述预设数量阈值可以是100，也可以是其它的数值。
由于数据库的写入效率相对于内存的写入效率低，为了提高效率，优选所述第一存储空间、第二存储空间和第三存储空间是指内存空间。同时，为了节省内存空间，在将所述第三存储空间的未写入统计数据库的结果记录写入所述统计数据库后，将所述第一存储空间、第二存储空间和第三存储空间相关的记录清空。
为了方便后续的计算，优选所述结果记录还包括有对比时间，所述对比时间为得到所述结果记录的时间。在一优选的实施方式中，所述“对所述业务维度的结果为不一致的结果记录进行统计”包括：
根据所述统计数据库的结果记录的对比时间，统计所述业务维度在某时间段内出现结果为不一致的结果记录的数量，得到不一致数量。
进一步的，所述方法还包括：
统计所述业务维度在不同时间段的不一致数量，得到统计图表，如图2所示。根据所述统计图表，可以对所述业务维度的前端处理的异常进行反馈，例如发现网络阻塞、机器故障或者写入第一数据库或第二数据库时的程序出现异常等系统性问题。还可以在所述异常（系统性问题）修正后对所述修正进行验证。
在另一个优选的实施方式中，所述“对所述业务维度的结果为不一致的结果记录进行统计”还包括：
根据所述统计数据库的结果记录的对比时间，统计所述业务维度在某时间段内出现业务维度信息不一致的比例，并在所述比例超过预设比例、或者在所述比例超过前期平均比例时，进行报警处理。
例如统计某业务维度每天出现不一致信息的比例，若某天所述比例超过预设比例，则进行报警处理；或者若某天所述比例超过前N天的平均比例，则报警处理。
本发明的多数据库的业务数据一致性的检验方法，能够对数据一致性的检验结果进行量化，可以对数据一致性波动进行实时监控、统一管理，对于一些突发性、间歇性、随机性的一致性问题保持敏感；还可以通过聚合图表技术将所有的不一致信息进行汇总，为研发人员进一步排查问题乃至彻底解决问题提供对照依据。另外，由于这些步骤都是并行执行的，执行效率高。
上述方法适合于对单业务维度的数据一致性进行检验，对于存在多个业务维度数据的情况，当然也可以使用上述方法依次对这些业务维度进行一致性检验，也可以通过并行的方式，对这些业务维度进行一致性检验，用以提高执行效率。因此，本发明还提供一种多数据库的业务数据一致性的检验方法，所述方法还包括步骤S500~步骤S800。
步骤S500：为每一业务维度分配一个第一独立线程，多个所述第一独立线程并行获取对应业务维度的业务维度信息符合预设条件的记录信息，将所述记录信息写入第一存储空间对应业务维度的分区中。
假设存在N个业务维度（N为大于1的正整数），为每个业务维度分配一个独立线程，即N个业务维度对应N个独立线程。在程序运行时，N个独立线程中的多个或者全部独立线程并行执行步骤S100的操作。
需要说明的是，所述第一存储空间为每个业务维度分配了存储空间，在某独立线程获取到记录信息后，将所述记录信息写入到这个独立线程对应的业务维度在所述第一存储空间的分区中。
步骤S600：为每个业务维度分配一个第二独立线程，按照预设频率，多个所述第二独立线程并行获取所述第一存储空间对应业务维度分区中最新的记录信息，并从第二数据库中获取与所述最新的记录信息中具有相同公司和相同业务维度的记录信息，写入第二存储空间对应业务维度的分区中。
与步骤S500类似，若存在N个业务维度，则分配N个独立线程。在程序运行时，N个独立线程中的多个或者全部独立线程并行执行步骤S200的操作。
需要说明的是，所述第二存储空间亦为每个业务维度分配了存储空间，在某独立线程获取到记录信息后，将所述记录信息写入到这个独立线程对应的业务维度在所述第二存储空间的分区中。
步骤S700：为每个业务维度分配一个第三独立线程，多个所述第三独立线程并行执行以下操作：
在所述第二存储空间对应业务维度的分区写入最新记录信息后，将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较，得到结果记录，将所述结果记录写入第三存储空间对应业务维度的分区中。
与步骤S500类似，若存在N个业务维度，则分配N个独立线程。在程序运行时，N个独立线程中的多个或者全部独立线程并行执行步骤S300的操作。
需要说明的是，所述第三存储空间亦为每个业务维度分配了存储空间，在某独立线程获取到结果记录后，将所述结果记录写入到这个独立线程对应的业务维度在所述第三存储空间的分区中。
步骤S800：按照预设策略，将所述第三存储空间每个业务维度的分区中的未写入统计数据库的结果记录写入对应业务维度的统计数据库，根据所述统计数据库，对每个业务维度的结果为不一致的结果记录进行统计。
可以为每个业务维度分配一个统计数据库，也可以在一个统计数据库中为每个业务维度分配一段存储空间。所述“按照预设策略”可以参考步骤S400中对于预设策略的描述。
在获取了多个业务维度的统计信息后，可以将这些统计信息通过聚合图表技术进行汇总，以便更加直观的发现各个业务维度可能出现的系统性问题。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多数据库的业务数据一致性的检验方法中的任意一个步骤，也就是说，实现上述多数据库的业务数据一致性的检验方法中任意一个技术方案中的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述多数据库的业务数据一致性的检验方法中的任意一个步骤，也就是说，实现上述多数据库的业务数据一致性的检验方法中的任意一个技术方案中的步骤。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (9)
1.一种多数据库的业务数据一致性的检验方法，其特征在于，所述方法包括：
使用第一独立线程，在第一数据库中依次查找各公司某业务维度的业务维度信息符合预设条件的记录信息，将所述记录信息写入第一存储空间中，所述记录信息包括公司ID、业务维度和业务维度信息；
使用第二独立线程，按照预设频率获取所述第一存储空间中最新的记录信息，并从第二数据库中获取与所述最新的记录信息中具有相同公司和相同业务维度的记录信息，写入第二存储空间；
使用第三独立线程，在所述第二存储空间写入最新记录信息后，将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较，得到结果记录，将所述结果记录写入第三存储空间，其中，所述结果记录包括结果、对应的公司ID和业务维度；
按照预设策略，将所述第三存储空间的未写入统计数据库的结果记录写入所述统计数据库，根据所述统计数据库，对所述业务维度的结果为不一致的结果记录进行统计；
其中，所述“按照预设策略，将所述第三存储空间的未写入统计数据库的结果记录写入所述统计数据库”包括：
每隔预设时间段获取在所述预设时间段内写入所述第三存储空间的结果记录，将所述结果记录写入统计数据库；
或者在所述第三存储空间的未写入统计数据库的结果记录的数量超过预设数量阈值时，将所有未写入所述统计数据库的结果记录写入所述统计数据库。
2.根据权利要求1所述多数据库的业务数据一致性的检验方法，其特征在于，所述记录信息还包括记录时间，所述“在所述第二存储空间写入最新记录信息后，将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较”具体包括：
在所述第二存储空间写入最新记录信息后，将所述最新记录信息的记录时间与所述第一存储空间对应的记录信息的记录时间进行比较，若两个记录时间的时间差小于时间差阈值，则将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较。
3.根据权利要求1所述多数据库的业务数据一致性的检验方法，其特征在于：
所述结果记录还包括有对比时间，所述对比时间为得到所述结果记录的时间。
4.根据权利要求3所述多数据库的业务数据一致性的检验方法，其特征在于，所述“对所述业务维度的结果为不一致的结果记录进行统计”包括：
根据所述统计数据库的结果记录的对比时间，统计所述业务维度在某时间段内出现结果为不一致的结果记录的数量，得到不一致数量。
5.根据权利要求4所述多数据库的业务数据一致性的检验方法，其特征在于，所述方法还包括：
统计所述业务维度在不同时间段的不一致数量，得到统计图表，根据所述统计图表，对所述业务维度的前端处理的异常进行反馈，并在所述异常修正后对所述修正进行验证。
6.根据权利要求3所述多数据库的业务数据一致性的检验方法，其特征在于，所述“对所述业务维度的结果为不一致的结果记录进行统计”还包括：
根据所述统计数据库的结果记录的对比时间，统计所述业务维度在某时间段内出现业务维度信息不一致的比例，并在所述比例超过预设比例、或者在所述比例超过前期平均比例时，进行报警处理。
7.一种多数据库的业务数据一致性的检验方法，其特征在于，所述方法包括：
为每一业务维度分配一个第一独立线程，多个所述第一独立线程并行获取对应业务维度的业务维度信息符合预设条件的记录信息，将所述记录信息写入第一存储空间对应业务维度的分区中；
为每个业务维度分配一个第二独立线程，按照预设频率，多个所述第二独立线程并行获取所述第一存储空间对应业务维度分区中最新的记录信息，并从第二数据库中获取与所述最新的记录信息中具有相同公司和相同业务维度的记录信息，写入第二存储空间对应业务维度的分区中；
为每个业务维度分配一个第三独立线程，多个所述第三独立线程并行执行以下操作：
在所述第二存储空间对应业务维度的分区写入最新记录信息后，将所述最新记录信息的业务维度信息与所述第一存储空间对应的记录信息的业务维度信息进行比较，得到结果记录，将所述结果记录写入第三存储空间对应业务维度的分区中；
按照预设策略，将所述第三存储空间每个业务维度的分区中的未写入统计数据库的结果记录写入对应业务维度的统计数据库，根据所述统计数据库，对每个业务维度的结果为不一致的结果记录进行统计；
其中，所述“按照预设策略，将所述第三存储空间的未写入统计数据库的结果记录写入所述统计数据库”包括：
每隔预设时间段获取在所述预设时间段内写入所述第三存储空间的结果记录，将所述结果记录写入统计数据库；
或者在所述第三存储空间的未写入统计数据库的结果记录的数量超过预设数量阈值时，将所有未写入所述统计数据库的结果记录写入所述统计数据库。
8.一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任意一项所述多数据库的业务数据一致性的检验方法中的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述多数据库的业务数据一致性的检验方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110722582.4A CN113177056B (zh) | 2021-06-29 | 2021-06-29 | 多数据库的业务数据一致性的检验方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110722582.4A CN113177056B (zh) | 2021-06-29 | 2021-06-29 | 多数据库的业务数据一致性的检验方法、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113177056A CN113177056A (zh) | 2021-07-27 |
| CN113177056B true CN113177056B (zh) | 2021-09-21 |
Family
ID=76927875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110722582.4A Active CN113177056B (zh) | 2021-06-29 | 2021-06-29 | 多数据库的业务数据一致性的检验方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177056B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114077829A (zh) * | 2021-11-22 | 2022-02-22 | 北京金堤科技有限公司 | 数据检验方法、装置、终端及存储介质 |
| CN113986932B (zh) * | 2021-12-28 | 2022-04-12 | 恒生电子股份有限公司 | 数据处理方法、装置、计算机设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101185076A (zh) * | 2005-03-31 | 2008-05-21 | 瑞士银行股份有限公司 | 用于使第二数据库与第一数据库同步的计算机网络系统及相应过程 |
| CN104252481A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 主从数据库一致性的动态校验方法和装置 |
| CN105700937A (zh) * | 2016-01-04 | 2016-06-22 | 北京百度网讯科技有限公司 | 多线程任务处理方法和装置 |
| CN109739831A (zh) * | 2018-11-23 | 2019-05-10 | 网联清算有限公司 | 数据库之间数据校验方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593236B (zh) * | 2013-11-14 | 2017-02-22 | 华为技术有限公司 | 一种业务流程调度的计算机设备、方法和装置 |
-
2021
- 2021-06-29 CN CN202110722582.4A patent/CN113177056B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101185076A (zh) * | 2005-03-31 | 2008-05-21 | 瑞士银行股份有限公司 | 用于使第二数据库与第一数据库同步的计算机网络系统及相应过程 |
| CN104252481A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 主从数据库一致性的动态校验方法和装置 |
| CN105700937A (zh) * | 2016-01-04 | 2016-06-22 | 北京百度网讯科技有限公司 | 多线程任务处理方法和装置 |
| CN109739831A (zh) * | 2018-11-23 | 2019-05-10 | 网联清算有限公司 | 数据库之间数据校验方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113177056A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11308092B2 (en) | Stream processing diagnostics | |
| EP3308297B1 (en) | Data quality analysis | |
| US7401321B2 (en) | Method and apparatus for processing information on software defects during computer software development | |
| US7099897B2 (en) | System and method for discriminatory replaying of log files during tablespace recovery in a database management system | |
| US7194451B2 (en) | Database monitoring system | |
| CN113177056B (zh) | 多数据库的业务数据一致性的检验方法、设备和存储介质 | |
| US7526508B2 (en) | Self-managing database architecture | |
| CN106126403B (zh) | Oracle数据库故障分析方法和装置 | |
| US20040199517A1 (en) | Method and system for operating a data warehouse for event management | |
| US20180225330A1 (en) | Query modification in a database management system | |
| WO2007081666A2 (en) | Relationship data management | |
| CN108415990B (zh) | 数据质量监控方法、装置、计算机设备和存储介质 | |
| CN107515864A (zh) | 监控工作流的方法及设备 | |
| CN112965793B (zh) | 一种面向标识解析数据的数据仓库任务调度方法和系统 | |
| Alapati et al. | Oracle Database 12c Performance Tuning Recipes: A Problem-Solution Approach | |
| US20030084071A1 (en) | Method and system for managing computer performance | |
| US10324758B1 (en) | Read load task throttling | |
| US8606668B2 (en) | Parallel availability control checks in financial management system | |
| JP7507602B2 (ja) | データ品質分析 | |
| CN116383177A (zh) | 一种数据的版本变化记录方法及装置 | |
| CN114239516A (zh) | 表单成员替换方法、装置、设备及存储介质 | |
| CN116561148A (zh) | 配置数据库的更新处理方法，存储介质及电子设备 | |
| CN114782152A (zh) | 一种基于人工智能互联网财务报告管理系统 | |
| Schumacher | Oracle Performance Troubleshooting: With Dictionary Internals SQL & Tuning Scripts | |
| CN115495535A (zh) | 跨调度数据作业溯源方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 8 Huizhi Street, Suzhou Industrial Park, Suzhou Area, China (Jiangsu) Pilot Free Trade Zone, Suzhou City, Jiangsu Province, 215000 Patentee after: Qichacha Technology Co.,Ltd. Address before: Room 503, 5th floor, C1 Building, 88 Dongchang Road, Suzhou Industrial Park, Jiangsu Province, 215000 Patentee before: Qicha Technology Co.,Ltd. |