CN109522315B - 一种数据库处理方法及系统 - Google Patents
一种数据库处理方法及系统 Download PDFInfo
- Publication number
- CN109522315B CN109522315B CN201811257981.2A CN201811257981A CN109522315B CN 109522315 B CN109522315 B CN 109522315B CN 201811257981 A CN201811257981 A CN 201811257981A CN 109522315 B CN109522315 B CN 109522315B
- Authority
- CN
- China
- Prior art keywords
- database
- service data
- data
- new service
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000004140 cleaning Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 150000003839 salts Chemical class 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 4
- 238000001914 filtration Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 206010033799 Paralysis Diseases 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009938 salting Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库处理方法及系统，所述方法包括以下步骤：S1、清洗加工下发的新业务数据，并将所述新业务数据进行分号段处理；S2、选择一个或多个号段下的新业务数据，对比缓存数据库中的业务数据与所选的新业务数据，根据主要变动字段下的数据是否一致来判断所选的新业务数据中是否存在与所述缓存数据库中的业务数据不一致的数据；S3、若存在与所述不一致的数据，则标记所述不一致的数据，并将其存入缓存数据库和数据库中。本发明对业务系统整体的架构和设计做了调整，在对数据库进行更新操作时，先通过与缓存数据库中对比，实现预先过滤业务数据，缓解了海量数据直接入库的压力。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种数据库处理方法及系统。
背景技术
随着计算机通讯技术的发展，业务系统的数据量越来越庞大，针对业务系统的海量数据备份问题也越来越突出，尤其是将数据备份到生产环境上的数据库操作，更是一个比较棘手的问题。现有技术中数据库的备份操作分为三种：全量备份、增量备份以及差异备份。所谓全量备份就是指对某一个时间点上的所有数据或应用进行的一个完全拷贝，全量备份利于数据的快速恢复，但由于全量备份会在数据库中存入大量的数据，这其中可能带有重复的数据，因此备份时间较长。增量备份是指在一次全备份或上一次增量备份后，以后每次的备份只需备份与前一次相比增加或者被修改的文件，增量备份相对于全量备份需要存入的数据量较小，但是不利于数据的恢复。差异备份是指在一次全备份后到进行差异备份的这段时间内，只对那些增加或者修改文件备份，在进行恢复时，只需对第一次全量备份和最后一次差异备份进行恢复，差异备份结合了全量备份易恢复和备份数据量小的优点。但是无论是上述哪种做法均是是将业务数据采集后直接存入传统关系型数据库，对于海量数据来说耗费的入库时间很长，而且对于数据库的IO以及CPU来说压力都很大，并且存在锁表的风险。尤其在生产环境，将海量数量直接更新到数据库的方法容易造成数据库瘫痪，从而影响系统中其它应用的运行。
发明内容
为了解决现有技术的问题，本发明提供了一种数据库处理方法及系统。所述技术方案如下：
一方面本发明提供一种数据库处理方法，包括以下步骤：
S1、清洗加工下发的新业务数据，并将所述新业务数据进行分号段处理；
S2、选择一个或多个号段下的新业务数据，对比缓存数据库中的业务数据与所选的新业务数据，根据主要变动字段下的数据是否一致来判断所选的新业务数据中是否存在与所述缓存数据库中的业务数据不一致的数据；
S3、若存在与所述不一致的数据，则标记所述不一致的数据，并将其存入缓存数据库和数据库中。
进一步地，在所述步骤S1后还包括：
判断是否初始化数据库；
若是，则将所述新业务数据的号段与需要初始化业务数据的号段进行匹配，
若匹配成功，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库，
若匹配不成功，则丢弃所选的新业务数据；
若否，则执行所述步骤S2。
进一步地，所述判断是否初始化数据库为判断缓存数据库中是否存在与新业务数据的号段一致的号段。
进一步地，在判断是否初始化数据库的结果为否后还包括：
判断是否校准数据库；
若是，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库；
若否，则执行所述步骤S2。
进一步地，所述判断是否校准数据库为判断当前时间是否到达预设校准数据库的时间。
进一步地，所述清洗加工业务数据包括：设计所述新业务数据的主键；利用哈希、加盐以及反转中的任意一种或多种方式均匀分布所述新业务数据；删除重复的新业务数据、补充或删除缺失的新业务数据、删除无效的新业务数据。
进一步地，所述将新业务数据进行分号段处理为按照所述主键对所述下发的业务数据进行编号。
另一方面本发明基于一种数据库处理方法提供一种数据库处理系统，包括：
业务系统，用于提供新业务数据；
数据消息系统Kafka，用于下发所述新业务数据；
分布式实时计算工具STORM，用于执行所述步骤S1和S2；
缓存数据库HBASE，用于缓存新业务数据以及所述不一致的数据；
数据库DB2，用于存储新业务数据以及所述不一致的数据。
进一步地，所述分布式实时计算工具STORM还包括初始化判断模块，用于判断是否初始化数据库，以及将所述新业务数据的号段与需要初始化业务数据的号段进行匹配。
进一步地，所述分布式实时计算工具STORM还包括校准数据库判断模块，用于判断是否校准数据库。
本发明实施例提供的技术方案带来的有益效果是：
1、本发明对业务系统整体的架构和设计做了调整，在对数据库进行更新操作时，先通过与缓存数据库中对比，实现预先过滤业务数据，缓解了海量数据直接入库的压力；
2、本发明在进行初始化数据库时，采用按照号段提取缓存至缓存数据库的新业务数据，将其分批次的更新至数据库，缓解了初始化数据库时由于数据量巨大而对数据库造成的压力；
3、本发明在清洗加工新业务数据时，采用哈希、加盐以及反转的方式均匀分布业务数据，避免热点问题，提高了查询效率；
4、当下发的新业务数据与缓存数据库中的数据一致时，本发明还设有是否校准业务数据库的步骤，将新业务数据按照号段直接存入数据库中，覆盖原有该号段的业务数据，避免系统在更新时发生数据丢失；
5、无论是数据库的初始化还是更新，本发明均能有效减轻数据库的压力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据库处理方法流程图；
图2是本发明实施例提供的一种初始化和更新数据库的系统应用架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前业务系统每天需要接收存储数以亿计的海量业务数据，上述数据的存储和更新给业务系统带来了巨大的压力，严重的情况下会导致数据库锁表造成整个业务系统的瘫痪。为此本发明提出一种数据库处理方法，该方法通过在数据库和业务系统之间增设缓存数据库，对业务数据进行过滤，从而实现在更新数据库时不需要将业务数据直接存入数据库中，在初始化数据库时，可以分批次将业务数据更新进入数据库中，缓解数据库的压力。
如图1所示，一种数据库处理方法，具体包括以下步骤：
S1、清洗加工下发的业务数据，并将所述业务数据进行分号段处理；
S2、选择一个或多个号段下的新业务数据，对比缓存数据库中的业务数据与所选的新业务数据，根据主要变动字段下的数据是否一致来判断所选的新业务数据中是否存在与所述缓存数据库中的业务数据不一致的数据；
S3、若存在与所述不一致的数据，则标记所述不一致的数据，并将其存入缓存数据库和数据库中。
若需要初始化数据库，则在步骤S1后进行初始化数据库，所述初始化数据库包括以下步骤：
判断是否初始化数据库；
若是，则将所述新业务数据的号段与需要初始化业务数据的号段进行匹配，
若匹配成功，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库，
若匹配不成功，则丢弃所选的新业务数据；
若否，则执行所述步骤S2。
此处先做的是否需要初始化数据库的判断主要是判断缓存数据库中是否已经存在与下发的新业务数据相同的号段，若没有，则证明缓存数据库中从来没有存入过相关数据，则进行初始化数据库，因此初始化数据库时对缓存数据库和数据库的铺底，是更新数据库和校准数据库的前提。但是系统不是每次运行都需要进行是否需要初始化数据库的判断，如果技术人员能够判断出下发的新业务数据的号段是数据库中已存在的号段时，即可直接进行后一步操作，因此是否需要初始化数据的判断过程不是必要过程。
这里，判断下发的新业务数据的号段是否符合需要初始化业务数据的号段，主要针对技术人员手动选择或预先设定当时需要初始化数据的号段的情况来说的。由于下发的业务数据量包含多个号段，在这些号段中可能存在不需要进行初始化的号段，因此需要初始化数据库之前做号段匹配处理，过滤掉不需要初始化的号段。
在匹配成功时，通过先将新业务数据存至缓存数据库然后分批将缓存数据库中的新业务数据存入数据库的方法，缓解初始化数据库的压力。此时，缓存数据库对数据库起到了保护的作用。
上述判断是否初始化数据库为判断缓存数据库中是否存在与新业务数据的号段一致的号段。
若判断初始化数据库时的结果为否，还能进行校准数据库的操作，校准数据库主要包括以下步骤：
判断是否校准数据库；
若是，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库；
若否，则执行所述步骤S2。
此处进行的是校准数据库的操作，所述判断是否需要校准是数据库是由技术人员自行设定的，比如在凌晨系统空闲阶段进行校准数据库，因此在技术人员设定好校准时间的前提下，判断是否需要校准数据库的过程不是必要的。校准数据库是在缓存数据中存在下发的业务数据的号段的情况下进行的。校准数据库不需要对比，直接分批存入缓存数据库再分批存入数据库，其目的在于，定期对数据库进行校准，避免在更新数据库的过程中发生数据丢失。
需要注意的是，上述步骤中清洗加工下发的业务数据包括：
设计所述业务数据的主键；利用哈希、加盐以及反转中的任意一种或多种方式均匀分布所述新业务数据；删除重复的新业务数据、补充或删除缺失的新业务数据、删除无效的新业务数据。
所述主键为数据库的唯一行标识，因此在设计新业务数据的主键时需要考虑一下原则：
1、ROWKEY(主键)散列原则：保证数据均匀分布，避免热点问题，降低查询效率。
2、ROWKEY(主键)唯一原则：必须在设计上保证ROWKEY的唯一性；例如在进行物流仓储数据处理时，采用业务主键商品编码+城市编码作为唯一行标识，作为ROWKEY。
主键选定后进行数据分布，可能会出现数据分布不均匀，因此可以采用反转、哈希、加盐中的任意一种或多种方法尽可能地将数据均匀分布。
将所述业务数据进行分号段处理包括：新业务数据进行分号段处理为按照所述主键对所述业务数据进行编号。
传统初始化数据库的方法是直接将业务下发的业务数据存入数据库中，由于业务系统数据量庞大，将海量数据直接存入数据库需要很长时间，并且给数据库造成很大的压力，严重的可能导致锁表系统瘫痪。而通过本实施例中增设缓存数据库，能够有效缓冲数据库的压力，在将业务数据存入数据库时，根据业务数据的号段分批抽取数据，使得技术人员可以在系统相对空闲的时间存入数据，增加了初始化数据库的灵活性。
需要注意的是，在判断下发的新业务数据中是否存在与缓存数据库中不一致的数据的过程中，首先要结合业务场景，将所述业务数据中主要的变动字段保存到缓存数据库中，例如在进行物流仓储数据处理时，通过结合业务产品实际并与业务人员充分沟通，选取数据状态、货仓、辐射模式、供应商、价格等几个重要字段保存到缓存数据库中，所有数据均根据这几个字段是否有变化，作为数据是否有变化的依据。在选取主要的变动字段时需要秉承适度原则：
1、字段保存过多或者全部保存，会导致部分对业务无影响的非重要字段的变动也会更新到数据库，使得缓存数据库过滤效果失效；同时字段保存过多或全部保存会导致大部分数据均会被判断为有变化，造成数据库的频繁操作，无法减轻数据库的压力。
2、字段保存过少，会导致部分重要字段的变动无法通过缓存数据库过滤，无法保存到数据库；数据库长期无变动数据存入，将会导致与真实业务数据不一致出现使数据无法使用。
传统的数据库数据更新是直接基于数据库进行的，使得数据库的工作量巨大。本实施例提供的数据库处理方法，先将下发的新业务数据与缓存数据库中的业务数据进行对比，然后标记不一致的数据，最后将标记的数据更新到数据库中，大大减少了数据库需要存入的数据量，减小了数据库的更新压力。
需要注意的是，在带有标记的不一致的数据存入数据库的过程中，若数据量十分庞大也可以在缓存数据库中选择一个或多个号段下的数据分批存入数据库。
此外如图2所示，本实施例还提供一种数据库处理系统，包括：
业务系统，用于提供业务数据；
数据消息系统Kafka，用于下发所述业务数据；
分布式实时计算工具STORM，用于执行所述步骤S1和S2以及S3中的标记所述不一致的数据；
缓存数据库HBASE，用于缓存新业务数据以及所述不一致的数据；
数据库DB2，用于存储新业务数据以及所述不一致的数据。
所述分布式实时计算工具STORM还包括初始化判断模块，用于判断是否初始化数据库，以及将所述新业务数据的号段与需要初始化业务数据的号段进行匹配。
所述分布式实时计算工具STORM还包括校准数据库判断模块，用于判断是否校准数据库。
在数据库存入数据后，系统应用可以从数据库中直接提取所需数据，例如在商品分析应用中，数据库位于数据资源层中，位于数据资源层上层的其它层可以调用数据库中的数据对商品的销售情况、价格情况进行分析。
本实施例提供的一种数据库处理系统的运行过程如下：
第一种情况的：
Kafka批量下发新业务数据；
STORM加工和清洗所述新业务数据，并将所述新业务数据进行分号段处理，例如分出的号段有：1号、2号、3号、4号。STORM选择一个或多个号段下的新业务数据，判断所选的新业务数据中是否存在与所述缓存数据库中的业务数据不一致的数据，若存在与所述不一致的数据，则标记所述不一致的数据。
缓存数据库HBASE，存入带有标记的不一致的数据。
数据库DB2，存入带有标记的不一致的数据。
在带有标记的不一致的数据存入数据库的过程中，若数据量十分庞大也可以在缓存数据库中选择一个或多个号段下的数据分批存入数据库。
第二种情况的：
Kafka批量下发新业务数据；
STORM加工和清洗所述新业务数据，并将所述新业务数据进行分号段处理，例如分出的号段有：1号、2号、3号、4号。STORM判断出上述号段是否已经存在缓存数据库中，若已经存在则进行判断是否需要校准数据库，若没存在则进行所述新业务数据的号段与需要初始化业务数据的号段的匹配。
在进行匹配前，技术人员根据业务系统的负载情况预先选择出所需要备份的号段，例如：1号和2号。STORM抽取1号和2号的数据并与技术人员预先选择的号段匹配，若匹配成功，则将所述新业务数据也就是1号和2号下的数据缓存至所述缓存数据库中，分2批将所选的新业务数据存入数据库。
在判断是否需要校准数据库时，则判断当前时间是否到达预设校准数据库的时间。若到达预设校准数据库时间，则将1号、2号、3号、4号下的数据存入缓存数据库中，然后再分批将所选的新业务数据存入数据库。
若未到达预设校准数据库时间则选择1号、2号、3号、4号下的新业务数据，对比缓存数据库中的业务数据与所选的新业务数据，根据主要变动字段下的数据是否一致来判断所选的新业务数据中是否存在与所述缓存数据库中的业务数据不一致的数据。若存在与所述不一致的数据，则标记所述不一致的数据，并将其存入缓存数据库和数据库中。
本发明实施例提供的技术方案带来的有益效果是：
1、本发明对业务系统整体的架构和设计做了调整，在对数据库进行更新操作时，先通过与缓存数据库中对比，实现预先过滤业务数据，缓解了海量数据直接入库的压力；
2、本发明在进行初始化数据库时，采用按照号段提取业务数据分批次的更新至缓存数据库和数据库，实现了分批次更新数据库，缓解了初始化数据库时由于数据量巨大而对数据库造成的压力；
3、本发明在清洗加工业务数据时，采用哈希、加盐以及反转的方式均匀分布业务数据，避免热点问题，提高了查询效率；
4、当下发的业务数据与缓存数据库中的数据一致时，本发明还设有是否校准业务数据库的步骤，将下发业务数据按照号段直接存入缓存数据库和数据库中，覆盖原有该号段的业务数据，避免系统在更新时发生数据丢失；
5、无论是数据库的初始化还是更新，本发明均能有效减轻数据库的压力。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种数据库处理方法，其特征在于，包括以下步骤：
S1、清洗加工下发的新业务数据，并将所述新业务数据进行分号段处理；
判断是否初始化数据库，若无需初始化数据库，则判断是否校准数据库，若无需校准数据库，则执行所述步骤S2；
S2、选择一个或多个号段下的新业务数据，对比缓存数据库中的业务数据与所选的新业务数据，根据主要变动字段下的数据是否一致来判断所选的新业务数据中是否存在与所述缓存数据库中的业务数据不一致的数据；
S3、若存在与所述不一致的数据，则标记所述不一致的数据，并将其存入缓存数据库中，从所述缓存数据库中选择一个或多个号段下的数据分批存入数据库中。
2.如权利要求1所述的一种数据库处理方法，其特征在于，在所述步骤S1后还包括：
若需要初始化数据库，则将所述新业务数据的号段与需要初始化业务数据的号段进行匹配，
若匹配成功，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库，
若匹配不成功，则丢弃所选的新业务数据；
若否，则执行所述步骤S2。
3.如权利要求2所述的一种数据库处理方法，其特征在于，所述判断是否初始化数据库为判断缓存数据库中是否存在与新业务数据的号段一致的号段。
4.如权利要求2或3所述的一种数据库处理方法，其特征在于，在判断是否初始化数据库的结果为否后还包括：
若需要校准数据库，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库；
若否，则执行所述步骤S2。
5.如权利要求4所述的一种数据库处理方法，其特征在于，所述判断是否校准数据库为判断当前时间是否到达预设校准数据库的时间。
6.如权利要求1所述的一种数据库处理方法，其特征在于，所述清洗加工业务数据包括：设计所述新业务数据的主键；利用哈希、加盐以及反转中的任意一种或多种方式均匀分布所述新业务数据；删除重复的新业务数据、补充或删除缺失的新业务数据、删除无效的新业务数据。
7.如权利要求6所述的一种数据库处理方法，其特征在于，所述将新业务数据进行分号段处理为按照所述主键对所述下发的业务数据进行编号。
8.基于权利要求1～7任意一项所述的一种数据库处理方法的一种数据库处理系统，其特征在于，包括：
业务系统，用于提供新业务数据；
数据消息系统Kafka，用于下发所述新业务数据；
分布式实时计算工具STORM，用于执行所述步骤S1和S2以及S3中的标记所述不一致的数据，包括：初始化判断模块和校准数据库判断模块，所述初始化判断模块用于判断是否初始化数据库，所述校准数据库判断模块，用于判断是否校准数据库；
缓存数据库HBASE，用于缓存新业务数据以及所述不一致的数据；
数据库DB2，用于存储新业务数据以及所述不一致的数据。
9.如权利要求8所述的一种数据库处理系统，其特征在于，所述初始化判断模块，还用于将所述新业务数据的号段与需要初始化业务数据的号段进行匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811257981.2A CN109522315B (zh) | 2018-10-26 | 2018-10-26 | 一种数据库处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811257981.2A CN109522315B (zh) | 2018-10-26 | 2018-10-26 | 一种数据库处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109522315A CN109522315A (zh) | 2019-03-26 |
| CN109522315B true CN109522315B (zh) | 2021-10-22 |
Family
ID=65773158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811257981.2A Active CN109522315B (zh) | 2018-10-26 | 2018-10-26 | 一种数据库处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109522315B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209874B (zh) * | 2019-04-24 | 2021-08-20 | 北京奇艺世纪科技有限公司 | 信息处理方法、装置、电子设备及存储介质 |
| CN110263079A (zh) * | 2019-05-31 | 2019-09-20 | 帷幄匠心科技（杭州）有限公司 | 数据分发入库处理方法及系统 |
| CN110287198A (zh) * | 2019-07-01 | 2019-09-27 | 四川新网银行股份有限公司 | 基于HBase数据库的金融数据索引方法 |
| CN110515927B (zh) * | 2019-08-28 | 2022-08-30 | 中国工商银行股份有限公司 | 数据处理方法及其系统、电子设备和介质 |
| CN114697267B (zh) * | 2022-03-06 | 2024-02-02 | 道莅智远科技(青岛)有限公司 | 一种工业控制plc实时数据通讯中断续传优化方法 |
| CN115630400B (zh) * | 2022-12-21 | 2023-05-26 | 中电科网络安全科技股份有限公司 | 一种去标识化数据的查询方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101046821A (zh) * | 2006-03-31 | 2007-10-03 | Sap股份公司 | 通用数据库操纵器 |
| CN102982121A (zh) * | 2012-11-12 | 2013-03-20 | 北京奇虎科技有限公司 | 一种文件扫描方法、文件扫描装置及文件检测系统 |
| CN107015991A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 数据一致性的自检方法、装置、系统和业务装置 |
| CN107133295A (zh) * | 2017-04-26 | 2017-09-05 | 航天科技控股集团股份有限公司 | 一种基于记录仪管理平台的加速逆地址解析方法及装置 |
| CN107871083A (zh) * | 2017-11-07 | 2018-04-03 | 平安科技（深圳）有限公司 | 脱敏规则配置方法、应用服务器及计算机可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6947956B2 (en) * | 2002-06-06 | 2005-09-20 | International Business Machines Corporation | Method and apparatus for selective caching of transactions in a computer system |
| US7055008B2 (en) * | 2003-01-22 | 2006-05-30 | Falconstor Software, Inc. | System and method for backing up data |
| CN103858125B (zh) * | 2013-12-17 | 2015-12-30 | 华为技术有限公司 | 重复数据处理方法、装置及存储控制器和存储节点 |
| CN104462462B (zh) * | 2014-12-16 | 2017-11-07 | 用友软件股份有限公司 | 基于业务变化频度的数据仓库建模方法和建模装置 |
| CN106326398A (zh) * | 2016-08-19 | 2017-01-11 | 东软集团股份有限公司 | 数据一致性对比的方法及装置 |
| US10282127B2 (en) * | 2017-04-20 | 2019-05-07 | Western Digital Technologies, Inc. | Managing data in a storage system |
-
2018
- 2018-10-26 CN CN201811257981.2A patent/CN109522315B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101046821A (zh) * | 2006-03-31 | 2007-10-03 | Sap股份公司 | 通用数据库操纵器 |
| CN102982121A (zh) * | 2012-11-12 | 2013-03-20 | 北京奇虎科技有限公司 | 一种文件扫描方法、文件扫描装置及文件检测系统 |
| CN107015991A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 数据一致性的自检方法、装置、系统和业务装置 |
| CN107133295A (zh) * | 2017-04-26 | 2017-09-05 | 航天科技控股集团股份有限公司 | 一种基于记录仪管理平台的加速逆地址解析方法及装置 |
| CN107871083A (zh) * | 2017-11-07 | 2018-04-03 | 平安科技（深圳）有限公司 | 脱敏规则配置方法、应用服务器及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109522315A (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522315B (zh) | 一种数据库处理方法及系统 | |
| US20180260435A1 (en) | Redis-based database data aggregation and synchronization method | |
| JP6711884B2 (ja) | ソースデータベースの負荷を最小化したデータ整合性検証方法およびシステム | |
| CN108647357B (zh) | 数据查询的方法及装置 | |
| CN111538779A (zh) | 一种增量数据同步的方法、装置、计算机设备及存储介质 | |
| CN112115152B (zh) | 数据增量更新及查询方法、装置、电子设备及存储介质 | |
| CN106502871A (zh) | 监管系统的告警阈值动态配置系统及方法 | |
| CN112699142A (zh) | 冷热数据处理方法、装置、电子设备及存储介质 | |
| US20220229821A1 (en) | Data restoration using dynamic data structure altering | |
| US9092472B1 (en) | Data merge based on logical segregation | |
| WO2014000825A1 (en) | A method for maintaining one or more table values for a number of tables in a database system | |
| CN114860690A (zh) | 数据迁移方法、装置、设备及存储介质 | |
| CN114860806A (zh) | 区块链的数据查询方法、装置、计算机设备和存储介质 | |
| CN114781961A (zh) | 基于聚合模型的数据监控方法、装置、设备和存储介质 | |
| US9727621B2 (en) | Systems and methods for servicing database events | |
| CN110516184B (zh) | 一种统计uv数量的模拟运算方法 | |
| CN114064674A (zh) | 数据同步方法、装置、计算机设备、存储介质和产品 | |
| CN113590703A (zh) | Es数据导入方法、装置、电子设备及可读存储介质 | |
| CN112527785A (zh) | 数据补录方法、装置、电子设备及存储介质 | |
| CN111353751A (zh) | 批量补卡的还原方法和装置 | |
| CN113934712B (zh) | 一种工业质检数据的领域模型的处理方法、装置及设备 | |
| CN114237977A (zh) | 交易回滚方法、装置、计算机设备和存储介质 | |
| CN114579179A (zh) | 版本同步方法、装置、计算机设备和存储介质 | |
| WO2021102888A1 (zh) | 数据处理设备和方法、计算机可读存储介质 | |
| CN114841129A (zh) | 数据导入方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |