CN116701543B - 数据管理方法、装置、计算机设备及存储介质 - Google Patents
数据管理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN116701543B CN116701543B CN202310970296.9A CN202310970296A CN116701543B CN 116701543 B CN116701543 B CN 116701543B CN 202310970296 A CN202310970296 A CN 202310970296A CN 116701543 B CN116701543 B CN 116701543B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- metadata
- task
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013523 data management Methods 0.000 title claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 69
- 230000001360 synchronised effect Effects 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 55
- 238000012544 monitoring process Methods 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 5
- 230000002618 waking effect Effects 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013144 data compression Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开一种数据管理方法、装置、计算机设备及存储介质，包括：获取元数据表以及与所述元数据表关联的目标数据表，其中，所述元数据表通过任务数据库得到，所述目标数据表通过存储数据库得到；通过设置的数据比对策略，比对所述元数据表和目标数据表的表特征；根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表。表特征的提取减少了数据比对的任务量，提高了数据比对的效率。而表特征的比对，能够对出现错误的元数据再次进行数据同步，保证同步数据的正确性，进而达成数据同步的目的。
Description
技术领域
本发明涉及大数据领域，尤其涉及一种数据管理方法、装置、电子设备及存储介质。
背景技术
数据同步是在源数据存储和目标数据存储之间建立一致性的过程，并随着时间的推移不断协调数据。它是各种应用的基础，包括文件同步和移动设备同步。
现有技术中服务器端的数据同步，由于包含较大的数据量，一般均通过数据库进行数据同步。通过数据库进行数据同步采用异步数据传输的方式，将元数据存储到目标数据库后，即完成了数据同步。本发明创造的发明人在研究中发现，现有技术中，数据同步过程中，数据压缩、传输或者解压等过程中，均有可能出现数据丢失或者错误。导致同步的元数据和目标数据之间出现不一致，同步数据无法达成同步的目的。
发明内容
本发明的目的在于提供一种数据管理方法及计算机设备、计算机存储介质，以对同步的数据进行比对校正，提高同步数据的一致性。
第一方面，本发明实施例提供一种数据管理方法，包括：
获取元数据表以及与所述元数据表关联的目标数据表，其中，所述元数据表通过任务数据库得到，所述目标数据表通过存储数据库得到；
通过设置的数据比对策略，比对所述元数据表和目标数据表的表特征；
根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表。
可选地，所述获取元数据表以及与所述元数据表关联的目标数据表包括：
获取监听任务采集得到的监听数据；
提取所述监听数据的键数据，并根据设置的哈希计算式计算所述键数据的哈希键值，其中，所述监听数据的数据类型和所述哈希计算式具有映射关系；
基于设置的调用接口和所述哈希键值，分别向所述任务数据库和所述存储数据库调用所述元数据表和所述目标数据表，其中，任务数据库和存储数据库均通过该哈希键值确定对应的元数据和目标数据。
可选地，所述提取所述监听数据的键数据，并根据设置的哈希计算式计算所述键数据的哈希键值包括：
对所述监听数据的数据类型进行划分，生成所述监听数据对应的数据类型；
在设置的哈希计算列表中提取与所述数据类型对应的哈希计算式组合，其中，所述哈希计算式组合包括至少一个哈希计算式；
根据所述哈希计算式组合计算所述键数据的哈希键值。
可选地，所述表特征包括：表结构和表数据量；所述通过设置的数据比对策略，比对所述元数据表和目标数据表的表特征包括：
提取所述元数据表元表结构和元表数据量，以及所述目标数据表的目标表结构和目标表数据量；
分别比对所述元表结构和目标表结构，以及所述元表数据量和目标表数据量；
所述根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表包括：
当所述元表结构和目标表结构和/或所述元表数据量和目标表数据量不一致，重启所述同步任务，更新所述目标数据表生成所述校正数据。
可选地，所述根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表之后，包括：
获取目标终端处于使用状态的目标应用；
读取所述目标应用用于信息提示的通信接口；
根据所述同步任务生成提示信息，并通过所述通信接口发送所述提示信息至所述目标应用对应的提示服务器端，以使所述提示服务器端将所述提示信息发送至目标应用。
可选地，所述根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表之后，包括：
获取所述目标数据表对应的链表树，其中，所述链表树包括多层存储区间，各层存储区间包括至少一个数据块，每个存储区间按其中数据块的数量进行升序排列；
将所述校正数据表写入到所述链表树的目标存储区间，其中，所述目标存储区间位于多个存储区间最上层，所述目标存储区间数据块数量最少，且具有所述链表树中最优的读取/写入优先级；
读取所述目标存储区间中数据块的数量，并将所述目标存储区间中数据块的数量与预设的目标阈值进行比对；
当所述目标存储区间中数据块的数量大于所述目标阈值，将所述目标存储区间中的至少一个数据块转存至所述目标存储区间下层存储区间，其中，所述下层存储区间的数据块数量大于所述目标存储区间的数据块数量，所述目标存储区间的读取/写入优先级大于下层存储区间的读取/写入优先级。
可选地，所述将所述目标存储区间中的至少一个数据块转存至所述目标存储区间下层存储区间之后，包括：
比对所述目标存储区间与所述下层存储区间中重复数据块；
将所述重复数据块从所述目标存储区间中删除，以释放所述目标存储区间的存储空间。
可选地，所述根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表之后，包括：
比对所述元数据表和校正数据表的表特征；
当所述表特征比对不一致时，根据所述元数据表、目标数据表和校正数据表确定引起所述表特征不一致的根因数据；
唤醒所述根因数据对应的元容器，并获取所述元容器中的任务数据，以及任务数据对应的任务数据表；
根据任务数据表对所述校正数据表进行更新，并将更新后的校正数据与所述元数据表进行表特征比对；
根据所述表特征比对的结果，释放所述根因数据对应的元容器或者更换所述任务数据库和存储数据库之间的网络链路。
第二方面，本发明实施例提供一种数据管理装置，包括：
获取模块，用于获取元数据表以及与所述元数据表关联的目标数据表，其中，所述元数据表通过任务数据库得到，所述目标数据表通过存储数据库得到；
处理模块，用于通过设置的数据比对策略，比对所述元数据表和目标数据表的表特征；
执行模块，用于根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表。
可选地，所述获取模块还用于：
获取监听任务采集得到的监听数据；
提取所述监听数据的键数据，并根据设置的哈希计算式计算所述键数据的哈希键值，其中，所述监听数据的数据类型和所述哈希计算式具有映射关系；
基于设置的调用接口和所述哈希键值，分别向所述任务数据库和所述存储数据库调用所述元数据表和所述目标数据表。
可选地，所述获取模块还用于：
对所述监听数据的数据类型进行划分，生成所述监听数据对应的数据类型；
在设置的哈希计算列表中提取与所述数据类型对应的哈希计算式组合，其中，所述哈希计算式组合包括至少一个哈希计算式；
根据所述哈希计算式组合计算所述键数据的哈希键值。
可选地，所述表特征包括：表结构和表数据量；所述处理模块还用于：
提取所述元数据表元表结构和元表数据量，以及所述目标数据表的目标表结构和目标表数据量；
分别比对所述元表结构和目标表结构，以及所述元表数据量和目标表数据量；
所述执行模块还包括：
当所述元表结构和目标表结构和/或所述元表数据量和目标表数据量不一致，重启所述同步任务，更新所述目标数据表生成所述校正数据。
可选地，所述执行模块还用于：
获取目标终端处于使用状态的目标应用；
读取所述目标应用用于信息提示的通信接口；
根据所述同步任务生成提示信息，并通过所述通信接口发送所述提示信息至所述目标应用对应的提示服务器端，以使所述提示服务器端将所述提示信息发送至目标应用。
可选地，所述执行模块还用于：
获取所述目标数据表对应的链表树，其中，所述链表树包括多层存储区间，各层存储区间包括至少一个数据块；
将所述校正数据表写入到所述链表树的目标存储区间；
读取所述目标存储区间中数据块的数量，并将所述目标存储区间中数据块的数量与预设的目标阈值进行比对；
当所述目标存储区间中数据块的数量大于所述目标阈值，将所述目标存储区间中的至少一个数据块转存至所述目标存储区间下层存储区间，其中，所述下层存储区间的数据块数量大于所述目标存储区间的数据块数量。
可选地，所述执行模块还用于：
比对所述目标存储区间与所述下层存储区间中重复数据块；
将所述重复数据块从所述目标存储区间中删除，以释放所述目标存储区间的存储空间。
第三方面，本发明实施例提供一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的数据管理方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时实现上述所述的数据管理方法。
本申请实施例的有益效果是：任务数据库将生成的元数据存储在存储数据库中，提取得到元数据在任务数据库中的元数据表，以及元数据的同步数据在存储数据库中的目标数据表。提取元数据表和目标数据表中的表特征，然后，根据数据比对策略，比对元数据表和目标数据表中的表特征。当比对结果不一致时，则重启元数据表对应的同步任务，完成元数据的再次同步，并生成对应的校正数据表。表特征的提取减少了数据比对的任务量，提高了数据比对的效率。而表特征的比对，能够对出现错误的元数据再次进行数据同步，保证同步数据的正确性，进而达成数据同步的目的。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个具体实施例的数据管理方法的基本流程示意图；
图2为本申请一个具体实施例的数据管理装置基本结构示意图；
图3为本申请一个具体实施例的计算机设备的基本结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS（Personal Communications Service，个人通信系统），其可以组合语音、数据处理、传真和/或数据通信能力；PDA（Personal Digital Assistant，个人数字助理），其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS（Global Positioning System，全球定位系统）接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”可以是便携式、可运输、安装在交通工具（航空、海运和/或陆地）中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID（Mobile Internet Device，移动互联网设备）和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器（包括运算器和控制器）、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
请参阅图1，图1为本实施例数据管理方法的基本流程示意图。
如图1所示，一种数据管理方法，包括：
S1100、获取元数据表以及与所述元数据表关联的目标数据表，其中，所述元数据表通过任务数据库得到，所述目标数据表通过存储数据库得到；
任务服务器在接收任务和处理任务的过程中，采集任务数据生成元数据。因此，元数据能够包括：服务器端的任意数据类型，包括：文字数据、图像数据、音影数据等。
元数据采集生成后，需要对元数据进行数据同步，数据同步的目标为：存储数据库。存储数据库是用来存储或者缓存数据的数据库。
进行数据同步时，任务数据库将目标数据发送至存储数据库，同步数据库接收元数据生成目标数据。
同步完成后，任务数据库提取元数据的数据内容生成元数据表，存储数据库则提取目标数据的数据表，生成目标数据表。
S1200、通过设置的数据比对策略，比对所述元数据表和目标数据表的表特征；
对元数据表和目标数据表的表特征进行提取，表特征至少包括：元数据表和目标数据表中的数据格式和数据量两个特征。
进行比对时，首先，比对数据量这个表特征，当元数据表和目标数据表的数量不一致时，则说明数据同步出现错误。当元数据表和目标数据表的数据量一致时，则说明数据同步中没有出现数据丢失的问题，至于数据有没有出现错误，则进一步的需要对数据格式进行比对，当元数据表和目标数据表不一致时，则说明数据同步中，虽然没有数据丢失，但是，还是出现了数据错误。只有在数据量和数据格式均正确的情况下，才能说明数据同步没有出现数据问题。
S1300、根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表。
当数据比对完成后，如果元数据表和目标数据表中表特征不一致，则说明数据同步出现了问题，需要再次进行数据同步。而元数据表和目标数据表中表特征一致，则说明数据同步过程中，数据未出现任务问题，无需对数据进行再次同步。
为保证再次同步的数据的正确性，在再次完成数据同步后，需要对目标数据表进行更新。更新完成的目标数据表则继续步骤S1200的过程，直至表特征一致后结束。
上述实施方式，任务数据库将生成的元数据存储在存储数据库中，提取得到元数据在任务数据库中的元数据表，以及元数据的同步数据在存储数据库中的目标数据表。提取元数据表和目标数据表中的表特征，然后，根据数据比对策略，比对元数据表和目标数据表中的表特征。当比对结果不一致时，则重启元数据表对应的同步任务，完成元数据的再次同步，并生成对应的校正数据表。表特征的提取减少了数据比对的任务量，提高了数据比对的效率。而表特征的比对，能够对出现错误的元数据再次进行数据同步，保证同步数据的正确性，进而达成数据同步的目的。
在一些实施方式中，数据同步完成后，通过监听程序启动对元数据表和目标数据表的调用。S1100包括：
S1110、获取监听任务采集得到的监听数据；
在进行任务数据同步的过程中，通过监听程序对传输路径上的同步数据进行数据监听，并得到对应的监听数据。通过监听进行同步任务数据的获取，无需修改原有任务数据库和存储数据库的运行规则，就能够通过监听程序实现同步数据的校正。在提高数据同步准确性的同时，不增加系统成本。
S1120、提取所述监听数据的键数据，并根据设置的哈希计算式计算所述键数据的哈希键值，其中，所述监听数据的数据类型和所述哈希计算式具有映射关系；
在监听得到元数据在传输线路中的监听数据后，将监听数据转换为键值数据格式，其中，键数据设置监听数据本身，值数据则需要经过哈希计算得到。
监听数据具有对应的数据类型，每一种数据类型对应一种特定的哈希计算式。这种方法能够有效避免数据量较大时，不同数据同一哈希键值的问题。
S1130、基于设置的调用接口和所述哈希键值，分别向所述任务数据库和所述存储数据库调用所述元数据表和所述目标数据表。
计算得到监听数据的哈希键值后，根据预先设定的任务数据库和存储数据库的调用接口，将哈希键值发送至任务数据库和存储数据库。由于，任务数据库在元数据生成后，会根据元数据的数据类型，以及数据类型对应的哈希计算式，生成元数据的哈希键值。在数据同步时，任务数据库生成元数据后，根据元数据的数据类型，确定元数据对应的哈希计算式，计算得到元数据的哈希键值。该哈希键值会随同数据同步发送到存储数据库中。因此，任务数据库和存储数据库中均存储有哈希键值。通过监听程序发送哈希键值后，任务数据库和存储数据库均通过该哈希键值确定对应的元数据和目标数据，如果在任务数据库和存储数据库没有查找到对应的哈希值，则说明同步数据出错，可以重启同步任务。如果任务数据库和存储数据库中具有对应的哈希键值，则提取该哈希键值对应的元数据以及目标数据的元数据表和所述目标数据表。通过哈希键值能够快速的对任务数据库和存储数据库的数据同步结果做判断，排查出明显存在显性错误。轻量化的哈希键值也能够节约网络资源。
在一些实施方式中，哈希键值是由至少一个哈希计算式计算得到的。具体地，S1120包括：
S1121、对所述监听数据的数据类型进行划分，生成所述监听数据对应的数据类型；
在监听得到元数据在传输线路中的监听数据后，将监听数据转换为键值数据格式，其中，键数据设置监听数据本身，值数据则需要经过哈希计算得到。
监听数据具有对应的数据类型，每一种数据类型对应一种特定的哈希计算式。这种方法能够有效避免数据量较大时，不同数据同一哈希键值的问题。
监听数据的数据格式是通过对监听到的元数据的网络传输数据进行解密后得到的。
S1122、在设置的哈希计算列表中提取与所述数据类型对应的哈希计算式组合，其中，所述哈希计算式组合包括至少一个哈希计算式；
设置哈希计算列表，哈希计算列表中具有多种哈希计算式组合，每种哈希计算式组合都至少有一种哈希计算式组成。在哈希计算列表中每一组哈希计算式组合对应一个固定的数据格式。
S1123、根据所述哈希计算式组合计算所述键数据的哈希键值。
将监听得到的监听数据输入至哈希计算式组合，由哈希计算式组合中的哈希计算式分别对键数据进行哈希计算，然后，根据哈希计算式组合中哈希计算式的排列次序对哈希值进行计算，得到键数据的哈希键值。
在一些实施方式中，表特征包括：表结构和表数据量，进行表特征比对时，需要比对表结构和表数据量。S1200包括：
S1211、提取所述元数据表元表结构和元表数据量，以及所述目标数据表的目标表结构和目标表数据量；
元数据表和目标数据表，均包括：表结构和数据量。其中，表结构包括：表名、表中的字段和表的记录三个部分组成的。
提取元数据表元表结构和元表数据量，以及目标数据表的目标表结构和目标表数据量。
S1212、分别比对所述元表结构和目标表结构，以及所述元表数据量和目标表数据量；
分别比对元表结构和目标表结构，以及元表数据量和目标表数据量。其中，元表结构和目标表结构的比对，就是比对两个表结构中的表名、表中的字段和表的记录三部分。元表数据量和目标表数据量的比对则直接比对二者的数值。
S1213、当所述元表结构和目标表结构和/或所述元表数据量和目标表数据量不一致，重启所述同步任务，更新所述目标数据表生成所述校正数据。
当元表结构和目标表结构，以及元表数据量和目标表数据量，任意一个比对结果或者两个比对结果均不一致时，表明同步数据出现错误需要对同步任务进行重启，更新目标数据表生成校正数据。
表结构和数据量的比对，大大降低了元数据和目标数据比对的计算量，提高比对效率和错误识别效率。
在一些实施方式中，当同步任务出现错误并进行任务重启后，为了更好的将任务错误提示发送至管理人员，需要对提示信息发送至管理员的终端上。S1300之后包括：
S1411、获取目标终端处于使用状态的目标应用；
获取管理人员设定的目标终端中正处于使用状态的目标应用，即获取目标终端打开并使用的应用程序。例如，手机中“X信”APP正处于打开状态，则该“X信”APP为目标应用。
S1412、读取所述目标应用用于信息提示的通信接口；
每个应用程序均具有通信接口，通过机载每个应用程序对应的通信接口生成通信列表。通过查找通信列表的方式，就能够确定目标应用的通信接口。
需要指出的是，该通信接口是目标应用进行信息提示的提示接口。
S1413、根据所述同步任务生成提示信息，并通过所述通信接口发送所述提示信息至所述目标应用对应的提示服务器端，以使所述提示服务器端将所述提示信息发送至目标应用。
同步任务开始后，根据同步任务的内容生成提示信息。提示信息中记载同步任务启动的时间，启动的原因等。
提示信息生成后，将该提示信息通过通信接口进行发送。目标应用对应的提示服务器端接收到该提示信息，并将该提示信息推送至目标终端，目标终端接收到提示信息后，将该提示信息发送至目标应用，由目标应用对提示信息进行显示。由于，目标应用正在被使用，能够提升该提示信息被查看的几率。采用该方法，能够通过目标终端的任意一款APP，对提示信息进行显示。
在一些实施方式中，存储数据库需要对每一次同步的同步数据进行记录，即使同步任务出错后，也需要对目标数据进行存储。S1300之后包括：
S1421、获取所述目标数据表对应的链表树，其中，所述链表树包括多层存储区间，各层存储区间包括至少一个数据块；
存储数据库中针对每一次的同步数据，均建立与其对应的存储链表树，因此，每个目标数据表均对应一个链表树。链表树包括多层存储区间，每个存储区间包括至少一个数据块，每个数据块的存储空间大小一致。所述链表树包括多级存储区间，所述多级存储区间呈阶形堆叠，且所述多级存储区间中位于下阶的存储区间的数据块的数量大于位于上阶的存储区间的数据块的数量。
在一些实施方式中，链表树中包括：3层存储区间。分别为1层存储区间、2层存储区间、3层存储区间。1层存储区间、2层存储区间、3层存储区间中存储块的数量梯次递增。链表树中存储区间的数量不局限于此，根据具体应用场景的不同，链表树的存储区间（不限于）：2层、4层、5层或者更多层。
S1422、将所述校正数据表写入到所述链表树的目标存储区间；
链表树中包括多个存储区间，其中，每个存储区间按其中数据块的数量进行升序排列，其中，位于第一层的存储区间位于最上层为目标存储区间。目标存储区间位于链表树的最上层，在数据读取时，能够最优先的被提取和使用，因此，具有链表树中最高级的优先权。
重启同步任务，并生成校正数据表后，将校正数据表输入至链表树的目标存储区间，并将校正数据表存储在目标存储区间的数据块中。
S1423、读取所述目标存储区间中数据块的数量，并将所述目标存储区间中数据块的数量与预设的目标阈值进行比对；
当校正数据表存储在目标存储区间中并生成数据块后，对目标存储区间中的数据块的数量进行统计。由于，每个存储区间中的数据块数量是固定的，当存储区间内的数据块达到对应的数量阈值后，需要将目标存储区间中最后一个数据块下移至下层的存储区间内。将目标存储区间中数据块的数量与预设的目标阈值进行比对。
S1424、当所述目标存储区间中数据块的数量大于所述目标阈值，将所述目标存储区间中的至少一个数据块转存至所述目标存储区间下层存储区间，其中，所述下层存储区间的数据块数量大于所述目标存储区间的数据块数量。
当目标存储区间中数据块的数量大于目标阈值后，将目标存储区间中的至少一个数据块转存至目标存储区间下层存储区间，下层存储区间的数据块数量大于目标存储区间的数据块数量。目标存储区间数据块数量的限定，能够保目标存储区间具有最优的读取/写入效率，而多层存储区间的设置又能保证数据存储的量的要求。提高了信息量较高数据的使用效率。
在一些实施方式中，为保证链表树的轻量化，需要对目标存储区间和下层存储区间中重复数据块进行优化。S1424之后，包括：
S1431、比对所述目标存储区间与所述下层存储区间中重复数据块；
比对目标存储区间与其下层存储区间中的数据块进行比对，确定目标存储区间与其下层存储区间中重复数据块。
S1432、将所述重复数据块从所述目标存储区间中删除，以释放所述目标存储区间的存储空间。
确定目标存储区间与其下层存储区间中重复的数据块后，将重复数据块从目标存储区间中删除，以释放目标存储区间的存储空间。删除目标存储区间的重复数据块，能够保证目标存储区间存储空间处于最优状态，又能够从链表树层面上保证了数据的完整性。提高数据的存储效率。
在一些实施方式中，当校正数据表生成后，需要对校正数据表和元数据表进行表特征比对。当表特征比对不一致时，就说明在进行数据压缩、数据传输或者数据解压时，导致了校正数据表对应的数据发生了错误。需要对该错误进行根因判断，以避免后续数据同步出现同样的问题，提高数据同步的效率。
S1300之后包括：
S1511、比对所述元数据表和校正数据表的表特征；
对元数据表和校正数据表的表特征进行提取，表特征至少包括：元数据表和校正数据表中的数据格式和数据量两个特征。
进行比对时，首先，比对数据量这个表特征，当元数据表和校正数据表的数量不一致时，则说明数据同步出现错误。当元数据表和校正数据表的数据量一致时，则说明数据同步中没有出现数据丢失的问题，至于数据有没有出现错误，则进一步的需要对数据格式进行比对，当元数据表和校正数据表不一致时，则说明数据同步中，虽然没有数据丢失，但是，还是出现了数据错误。只有在数据量和数据格式均正确的情况下，才能说明数据同步没有出现数据问题。
S1512、当所述表特征比对不一致时，根据所述元数据表、目标数据表和校正数据表确定引起所述表特征不一致的根因数据；
当元数据表和校正数据表的表特征比对不一致时，需要对元数据表、目标数据表和校正数据表进行数据对比，通过数据比对确定目标数据表和校正数据表中与元数据表中不一致的任务数据，该任务数据对应的数据则为根因数据。
S1513、唤醒所述根因数据对应的元容器，并获取所述元容器中的任务数据，以及任务数据对应的任务数据表；
本实施方式中，任务数据库在接收到任务数据后，除了对该任务数据进行存储和处理外，还通过异步处理的方式为每个任务数据构件一个用于备灾的元容器，每个任务数据均对应一个完全独立的元容器，元容器中存储对应任务数据的镜像文件。
由于，元容器和任务数据之间具有一一对应的关系，确定出根因数据后，根据根因数据对应的任务数据就能够确认对应的元容器。
确定根因数据对应的元容器后，由存储服务器对该元容器进行唤醒元容器被唤醒后，会根据唤醒信息发出方的IP地址，对存储服务器进行寻址并建立链接。链接建立后，元容器会将根因数据对应的任务数据以及任务数据对应的任务数据表发送至存储服务器中。
由存储数据库对元容器进行唤醒和数据获取，有效的节约了任务数据库的算力资源，避免由任务数据库的算力被数据同步任务占用，提高了任务数据库执行任务的效率。
S1514、根据任务数据表对所述校正数据表进行更新，并将更新后的校正数据与所述元数据表进行表特征比对；
根据任务数据表对校正数据表中根因数据的数据表进行替换，完成对校正数据表的数据更新。将更新后的校正数据与所述元数据表进行表特征比对，以便于确定更新后的校正数据表是否与元数据表一致。
S1515、根据所述表特征比对的结果，释放所述根因数据对应的元容器或者更换所述任务数据库和存储数据库之间的网络链路。
更新后的校正数据表是否与元数据表一致。由于，元容器的数据压缩方法以及吹出服务器的解压方法均与之前的处理方式一致，发生变化的只有传输链路。因此，当更新后的校正数据表是否与元数据表的表特征一致时，就说明任务数据库和存储数据库之间的网络链路导致数据传输错误，需要对传输链路进行变换。
当更新后的校正数据表是否与元数据表的表特征不一致时，说明数据错误发生在数据压缩、数据解压等环节。此时，元容器内部的数据或者压缩方式同样出现错误，元容器可以进行释放，避免资源浪费。
通过元容器的设计，能够自动的对数据同步过程中的问题进行初步归因和快速解决问题，提高了数据同步的效率。
具体请参阅图2，图2为本实施例数据管理装置基本结构示意图。
如图2所示，一种数据管理装置，包括：
获取模块1100，用于获取元数据表以及与所述元数据表关联的目标数据表，其中，所述元数据表通过任务数据库得到，所述目标数据表通过存储数据库得到；
处理模块1200，用于通过设置的数据比对策略，比对所述元数据表和目标数据表的表特征；
执行模块1300，用于根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表。
任务数据库将生成的元数据存储在存储数据库中，提取得到元数据在任务数据库中的元数据表，以及元数据的同步数据在存储数据库中的目标数据表。提取元数据表和目标数据表中的表特征，然后，根据数据比对策略，比对元数据表和目标数据表中的表特征。当比对结果不一致时，则重启元数据表对应的同步任务，完成元数据的再次同步，并生成对应的校正数据表。表特征的提取减少了数据比对的任务量，提高了数据比对的效率。而表特征的比对，能够对出现错误的元数据再次进行数据同步，保证同步数据的正确性，进而达成数据同步的目的。
可选地，所述获取模块还用于：
获取监听任务采集得到的监听数据；
提取所述监听数据的键数据，并根据设置的哈希计算式计算所述键数据的哈希键值，其中，所述监听数据的数据类型和所述哈希计算式具有映射关系；
基于设置的调用接口和所述哈希键值，分别向所述任务数据库和所述存储数据库调用所述元数据表和所述目标数据表。
可选地，所述获取模块还用于：
对所述监听数据的数据类型进行划分，生成所述监听数据对应的数据类型；
在设置的哈希计算列表中提取与所述数据类型对应的哈希计算式组合，其中，所述哈希计算式组合包括至少一个哈希计算式；
根据所述哈希计算式组合计算所述键数据的哈希键值。
可选地，所述表特征包括：表结构和表数据量；所述处理模块还用于：
提取所述元数据表元表结构和元表数据量，以及所述目标数据表的目标表结构和目标表数据量；
分别比对所述元表结构和目标表结构，以及所述元表数据量和目标表数据量；
所述执行模块还包括：
当所述元表结构和目标表结构和/或所述元表数据量和目标表数据量不一致，重启所述同步任务，更新所述目标数据表生成所述校正数据。
可选地，所述执行模块还用于：
获取目标终端处于使用状态的目标应用；
读取所述目标应用用于信息提示的通信接口；
根据所述同步任务生成提示信息，并通过所述通信接口发送所述提示信息至所述目标应用对应的提示服务器端，以使所述提示服务器端将所述提示信息发送至目标应用。
可选地，所述执行模块还用于：
获取所述目标数据表对应的链表树，其中，所述链表树包括多层存储区间，各层存储区间包括至少一个数据块；
将所述校正数据表写入到所述链表树的目标存储区间；
读取所述目标存储区间中数据块的数量，并将所述目标存储区间中数据块的数量与预设的目标阈值进行比对；
当所述目标存储区间中数据块的数量大于所述目标阈值，将所述目标存储区间中的至少一个数据块转存至所述目标存储区间下层存储区间，其中，所述下层存储区间的数据块数量大于所述目标存储区间的数据块数量。
可选地，所述执行模块还用于：
比对所述目标存储区间与所述下层存储区间中重复数据块；
将所述重复数据块从所述目标存储区间中删除，以释放所述目标存储区间的存储空间。
可选地，所述根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表之后，包括：
比对所述元数据表和校正数据表的表特征；
当所述表特征比对不一致时，根据所述元数据表、目标数据表和校正数据表确定引起所述表特征不一致的根因数据；
唤醒所述根因数据对应的元容器，并获取所述元容器中的任务数据，以及任务数据对应的任务数据表；
根据任务数据表对所述校正数据表进行更新，并将更新后的校正数据与所述元数据表进行表特征比对；
根据所述表特征比对的结果，释放所述根因数据对应的元容器或者更换所述任务数据库和存储数据库之间的网络链路。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备基本结构框图。
如图3所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种数据管理法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据管理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图2中获取模块1100、处理模块1200和执行模块1300的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有数据管理装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
计算机设备任务数据库将生成的元数据存储在存储数据库中，提取得到元数据在任务数据库中的元数据表，以及元数据的同步数据在存储数据库中的目标数据表。提取元数据表和目标数据表中的表特征，然后，根据数据比对策略，比对元数据表和目标数据表中的表特征。当比对结果不一致时，则重启元数据表对应的同步任务，完成元数据的再次同步，并生成对应的校正数据表。表特征的提取减少了数据比对的任务量，提高了数据比对的效率。而表特征的比对，能够对出现错误的元数据再次进行数据同步，保证同步数据的正确性，进而达成数据同步的目的。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例数据管理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）等非易失性存储介质，或随机存储记忆体（Random Access Memory，RAM）等。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (8)
1.一种数据管理方法，其特征在于，包括：
获取元数据表以及与所述元数据表关联的目标数据表，其中，所述元数据表通过任务数据库得到，所述目标数据表通过存储数据库得到；
通过设置的数据比对策略，比对所述元数据表和目标数据表的表特征；
根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表；
所述获取元数据表以及与所述元数据表关联的目标数据表包括：
获取监听任务采集得到的监听数据；
提取所述监听数据的键数据，并根据设置的哈希计算式计算所述键数据的哈希键值，其中，所述监听数据的数据类型和所述哈希计算式具有映射关系；
基于设置的调用接口和所述哈希键值，分别向所述任务数据库和所述存储数据库调用所述元数据表和所述目标数据表，其中，任务数据库和存储数据库均通过该哈希键值确定对应的元数据和目标数据；
所述根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表之后，包括：
获取所述目标数据表对应的链表树，其中，所述链表树包括多层存储区间，各层存储区间包括至少一个数据块，每个存储区间按其中数据块的数量进行升序排列；
将所述校正数据表写入到所述链表树的目标存储区间，其中，所述目标存储区间位于多个存储区间最上层，所述目标存储区间数据块数量最少，且具有所述链表树中最优的读取/写入优先级；
读取所述目标存储区间中数据块的数量，并将所述目标存储区间中数据块的数量与预设的目标阈值进行比对；
当所述目标存储区间中数据块的数量大于所述目标阈值，将所述目标存储区间中的至少一个数据块转存至所述目标存储区间下层存储区间，其中，所述下层存储区间的数据块数量大于所述目标存储区间的数据块数量，所述目标存储区间的读取/写入优先级大于下层存储区间的读取/写入优先级。
2.根据权利要求1所述的数据管理方法，其特征在于，所述提取所述监听数据的键数据，并根据设置的哈希计算式计算所述键数据的哈希键值包括：
对所述监听数据的数据类型进行划分，生成所述监听数据对应的数据类型；
在设置的哈希计算列表中提取与所述数据类型对应的哈希计算式组合，其中，所述哈希计算式组合包括至少一个哈希计算式；
根据所述哈希计算式组合计算所述键数据的哈希键值。
3.根据权利要求1所述的数据管理方法，其特征在于，所述表特征包括：表结构和表数据量；所述通过设置的数据比对策略，比对所述元数据表和目标数据表的表特征包括：
提取所述元数据表元表结构和元表数据量，以及所述目标数据表的目标表结构和目标表数据量；
分别比对所述元表结构和目标表结构，以及所述元表数据量和目标表数据量；
所述根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表包括：
当所述元表结构和目标表结构和/或所述元表数据量和目标表数据量不一致，重启所述同步任务，更新所述目标数据表生成所述校正数据。
4.根据权利要求1所述的数据管理方法，其特征在于，所述根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表之后，包括：
获取目标终端处于使用状态的目标应用；
读取所述目标应用用于信息提示的通信接口；
根据所述同步任务生成提示信息，并通过所述通信接口发送所述提示信息至所述目标应用对应的提示服务器端，以使所述提示服务器端将所述提示信息发送至目标应用。
5.根据权利要求1所述的数据管理方法，其特征在于，所述将所述目标存储区间中的至少一个数据块转存至所述目标存储区间下层存储区间之后，包括：
比对所述目标存储区间与所述下层存储区间中重复数据块；
将所述重复数据块从所述目标存储区间中删除，以释放所述目标存储区间的存储空间。
6.根据权利要求1所述的数据管理方法，其特征在于，所述根据所述表特征的比对结果，重启与所述元数据表对应的同步任务，以更新所述目标数据表生成校正数据表之后，包括：
比对所述元数据表和校正数据表的表特征；
当所述表特征比对不一致时，根据所述元数据表、目标数据表和校正数据表确定引起所述表特征不一致的根因数据；
唤醒所述根因数据对应的元容器，并获取所述元容器中的任务数据，以及任务数据对应的任务数据表；
根据任务数据表对所述校正数据表进行更新，并将更新后的校正数据与所述元数据表进行表特征比对；
根据所述表特征比对的结果，释放所述根因数据对应的元容器或者更换所述任务数据库和存储数据库之间的网络链路。
7.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1-6中任一项权利要求所述数据管理方法的步骤。
8.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1-6中任一项权利要求所述数据管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310970296.9A CN116701543B (zh) | 2023-08-03 | 2023-08-03 | 数据管理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310970296.9A CN116701543B (zh) | 2023-08-03 | 2023-08-03 | 数据管理方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116701543A CN116701543A (zh) | 2023-09-05 |
| CN116701543B true CN116701543B (zh) | 2024-01-19 |
Family
ID=87839579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310970296.9A Active CN116701543B (zh) | 2023-08-03 | 2023-08-03 | 数据管理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116701543B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232095A (zh) * | 2019-05-21 | 2019-09-13 | 中国平安财产保险股份有限公司 | 一种数据同步方法、装置、存储介质和服务器 |
| CN110471927A (zh) * | 2019-08-20 | 2019-11-19 | 浙江大搜车软件技术有限公司 | 元数据采集方法、装置、计算机设备及存储介质 |
| CN112667620A (zh) * | 2020-12-31 | 2021-04-16 | 广州方硅信息技术有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN112905706A (zh) * | 2021-03-19 | 2021-06-04 | 平安消费金融有限公司 | 数据库同步方法、装置、存储介质和计算机设备 |
| CN113742415A (zh) * | 2020-05-29 | 2021-12-03 | 北京金山云网络技术有限公司 | 增量数据同步方法、装置及电子设备 |
| CN115587143A (zh) * | 2022-09-08 | 2023-01-10 | 中国建设银行股份有限公司 | 数据同步方法、装置、设备及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512200A (zh) * | 2015-11-26 | 2016-04-20 | 华为技术有限公司 | 一种分布式数据库处理的方法和设备 |
-
2023
- 2023-08-03 CN CN202310970296.9A patent/CN116701543B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232095A (zh) * | 2019-05-21 | 2019-09-13 | 中国平安财产保险股份有限公司 | 一种数据同步方法、装置、存储介质和服务器 |
| CN110471927A (zh) * | 2019-08-20 | 2019-11-19 | 浙江大搜车软件技术有限公司 | 元数据采集方法、装置、计算机设备及存储介质 |
| CN113742415A (zh) * | 2020-05-29 | 2021-12-03 | 北京金山云网络技术有限公司 | 增量数据同步方法、装置及电子设备 |
| CN112667620A (zh) * | 2020-12-31 | 2021-04-16 | 广州方硅信息技术有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN112905706A (zh) * | 2021-03-19 | 2021-06-04 | 平安消费金融有限公司 | 数据库同步方法、装置、存储介质和计算机设备 |
| CN115587143A (zh) * | 2022-09-08 | 2023-01-10 | 中国建设银行股份有限公司 | 数据同步方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116701543A (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11336431B2 (en) | Verification system and method for cooperating with blockchain and off-chain devices | |
| US10417103B2 (en) | Fault-tolerant methods, systems and architectures for data storage, retrieval and distribution | |
| US20210303633A1 (en) | Shard hashing | |
| US11308030B2 (en) | Log-structured merge-tree with blockchain properties | |
| US9910733B2 (en) | Transaction completion in a synchronous replication environment | |
| WO2019057081A1 (zh) | 数据存储方法、数据查询方法、计算机设备及存储介质 | |
| CN114422331B (zh) | 容灾切换方法、装置及系统 | |
| CN116701543B (zh) | 数据管理方法、装置、计算机设备及存储介质 | |
| CN113961643A (zh) | 搜索引擎更新方法及其装置、设备、介质、产品 | |
| CN107291938B (zh) | 订单查询系统及方法 | |
| CN114928620B (zh) | 用户信息同步方法、装置、设备、存储介质和程序产品 | |
| CN106850354A (zh) | 一种单点故障的处理方法及装置 | |
| CN116226139A (zh) | 一种适用大规模海洋数据的分布式存储和处理方法及系统 | |
| CN114647702A (zh) | 数据同步处理方法及其装置、设备、介质 | |
| CN110377665B (zh) | 数据同步方法、装置、电子设备及存储介质 | |
| US11803496B2 (en) | Systems, apparatus, and methods for electing a new broker for a channel on an MQTT bus | |
| US20180146087A1 (en) | Congestion detection and dynamic throttling of automated telephone call attempts during mass call events | |
| CN113254262B (zh) | 一种数据库容灾方法、装置和电子设备 | |
| CN114448996B (zh) | 基于计算存储分离框架下的冗余存储资源的共识方法和系统 | |
| CN116244160B (zh) | 一种无侵入性能分析方法、系统、电子设备及存储介质 | |
| CN114185619B (zh) | 基于分布式作业的断点补偿方法、装置、设备及介质 | |
| CN112306664B (zh) | 一种服务重启方法、系统、设备以及介质 | |
| CN117278401A (zh) | 配置更新方法及装置 | |
| CN116011022A (zh) | 数据库的数据处理方法及其装置、设备、介质、产品 | |
| CN118069749A (zh) | 数据同步方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |