CN115017223B - 一种支持大数据量导入导出的系统 - Google Patents
一种支持大数据量导入导出的系统 Download PDFInfo
- Publication number
- CN115017223B CN115017223B CN202210934340.6A CN202210934340A CN115017223B CN 115017223 B CN115017223 B CN 115017223B CN 202210934340 A CN202210934340 A CN 202210934340A CN 115017223 B CN115017223 B CN 115017223B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- request
- service
- writing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理相关领域,公开了一种支持大数据量导入导出的系统,实现了对于业务数据的集中性管理,在多设备使用的场景下能够更加方便的进行业务数据内容的管理和更新同步,并让多设备基于数据调度库对业务数据进行同步、实时的处理,可以有效的解决现有技术中多设备直接通过数据库读取与编辑修改可能发生的多设备间不能及时的进行修改内容同步的问题,可以有效的避免现有技术中多设备同时修改后对数据库进行编辑导致的编辑文本丢失等问题,同时,多设备基于数据调度库进行业务数据的读取与编写修改,可以降低对于存储数据库的数据读写资源占用,保护存储数据库的同时,提升用户在导出导入的读写体验。
Description
技术领域
本发明涉及数据处理相关领域,具体是一种支持大数据量导入导出的系统。
背景技术
在业务系统中,各个系统均需要一些数据导入或是数据导出的功能,在现有技术中,每个系统均自己编写导入导出功能时,便会累积产生较多的重复工作,不便于系统的管理和维护,且对于系统性能资源的占用也会较多,造成不必要的性能浪费,增加系统设置成本与维护成本。
且随着业务数量上的不断增长,上述问题愈发凸显,现有导入导出功能耗时时间越来越长,导致用户体验相对降低,同时很多业务方独占面临着导入导出的不断调整,无法将通用功能进行组内分享,使用不便。
发明内容
本发明的目的在于提供一种支持大数据量导入导出的系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种支持大数据量导入导出的系统,包含:
数据存储模块,设有多个存储数据库,所述存储数据库用于获取并存储业务数据,并生成与所述业务数据相对应的数据存储日志,所述数据存储日志包括数据存储指针,所述数据存储指针用于响应数据读写请求以引导读取所述业务数据;
数据调度模块,用于建立数据调度库,所述数据调度库与多个所述存储数据库建立数据连接,当获取所述数据读写请求时,遍历所述数据存储日志,根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储;
请求引导模块,用于当所述业务数据在所述数据调度库中存储时,基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖;
数据权限模块,用于获取并响应数据编辑请求,并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定,所述数据编辑请求用于表征对所述业务数据的内容修改替换需求,所述内容修改替换需求包括所述业务数据的修改区域。
作为本发明的进一步方案:所述请求引导模块具体包括:
读取记录单元,用于当所述数据调度库中的所述业务数据被读取时,锁定所述数据存储日志中相对应的所述数据存储指针,并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针,所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据;
引导覆盖单元,用于通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖。
作为本发明的再进一步方案:所述数据权限模块包括:
修改列队单元,用于当多个所述数据读写请求中包括数据编写请求时,根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断,若所述修改区域不重合,则直接响应多个所述数据编写请求,若所述修改区域具有重合,则基于所述数据编写请求的生成时间建立编写请求队列,当某一所述数据编写请求完成时,则响应所述编写请求队列中的下一所述数据编写请求。
作为本发明的再进一步方案:还包括数据更新模块,所述数据更新模块包括调度库更新单元;
所述调度库更新单元,用于在响应所述数据编辑请求后,对所述数据调度库中的所述业务数据进行更新。
作为本发明的再进一步方案:所述数据更新模块还包括数据库更新单元;
所述数据库更新单元,用于当所述请求队列中的多个所述数据编写请求均响应完成时,根据所述数据调度库中的所述业务数据对所述存储数据库中的所述业务数据进行更新。
作为本发明的再进一步方案:所述数据权限模块还包括编辑日志单元;
所述编辑日志单元,用于对所述数据编辑请求响应前后的所述业务数据修改区域以及所述数据编辑请求的发出对象进行记录,生成数据编辑日志并存储。
本发明实施例旨在提供一种支持大数据量导入导出的方法,其包含步骤:
作为本发明的进一步方案:设有多个存储数据库,所述存储数据库用于获取并存储业务数据,并生成与所述业务数据相对应的数据存储日志,所述数据存储日志包括数据存储指针,所述数据存储指针用于响应数据读写请求以引导读取所述业务数据。
建立数据调度库,所述数据调度库与多个所述存储数据库建立数据连接,当获取所述数据读写请求时,遍历所述数据存储日志,根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储。
当所述业务数据在所述数据调度库中存储时,基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖。
获取并响应数据编辑请求,并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定,所述数据编辑请求用于表征对所述业务数据的内容修改替换需求,所述内容修改替换需求包括所述业务数据的修改区域。
作为本发明的再进一步方案:所述基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖的步骤具体包括:
当所述数据调度库中的所述业务数据被读取时,锁定所述数据存储日志中相对应的所述数据存储指针,并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针,所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据。
通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖。
作为本发明的再进一步方案:所述获取并响应数据编辑请求的步骤还包括:
当多个所述数据读写请求中包括数据编写请求时,根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断,若所述修改区域不重合,则直接响应多个所述数据编写请求,若所述修改区域具有重合,则基于所述数据编写请求的生成时间建立编写请求队列,当某一所述数据编写请求完成时,则响应所述编写请求队列中的下一所述数据编写请求。
与现有技术相比,本发明的有益效果是:实现了对于业务数据的集中性管理,在多设备使用的场景下能够更加方便的进行业务数据内容的管理和更新同步,并让多设备基于数据调度库对业务数据进行同步、实时的处理,可以有效的解决现有技术中多设备直接通过数据库读取与编辑修改可能发生的多设备间不能及时的进行修改内容同步的问题,可以有效的避免现有技术中多设备同时修改后对数据库进行编辑导致的编辑文本丢失等问题,同时,多设备基于数据调度库进行业务数据的读取与编写修改,可以降低对于存储数据库的数据读写资源占用,保护存储数据库的同时,提升用户在导出导入的读写体验。
附图说明
图1为一种支持大数据量导入导出的系统的组成框图。
图2为一种支持大数据量导入导出的系统中请求引导模块的组成框图。
图3为一种支持大数据量导入导出的系统中数据更新模块的组成框图。
图4为一种支持大数据量导入导出的方法的流程框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现方式进行详细描述。
如图1所述,为本发明一个实施例提供的一种支持大数据量导入导出的系统,包括:
数据存储模块100,设有多个存储数据库,所述存储数据库用于获取并存储业务数据,并生成与所述业务数据相对应的数据存储日志,所述数据存储日志包括数据存储指针,所述数据存储指针用于响应数据读写请求以引导读取所述业务数据。
数据调度模块300,用于建立数据调度库,所述数据调度库与多个所述存储数据库建立数据连接,当获取所述数据读写请求时,遍历所述数据存储日志,根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储。
请求引导模块500,用于当所述业务数据在所述数据调度库中存储时,基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖。
数据权限模块700,用于获取并响应数据编辑请求,并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定,所述数据编辑请求用于表征对所述业务数据的内容修改替换需求,所述内容修改替换需求包括所述业务数据的修改区域。
本实施例中,给出了一种支持大数据快速导入导出的系统,相较于现有技术,其通过数据存储模块100、数据调度模块300、请求引导模块500以及数据权限模块700等的设置,实现了对于业务数据的集中性管理,在多人使用的场景下能够更加方便的进行业务数据内容的管理和更新同步,在数据调度库以及数据权限模块的设置下,可以实现将数据库中的业务数据进行单一读取,并让多设备基于数据调度库对业务数据进行同步、实时的处理,可以有效的解决现有技术中多设备直接通过数据库读取与编辑修改可能发生的多设备间不能及时的进行修改内容同步的问题,可以有效的避免现有技术中多设备同时修改后对数据库进行编辑导致的编辑文本丢失等问题,同时,多设备基于数据调度库进行业务数据的读取与编写修改,可以降低对于存储数据库的数据读写资源占用,保护存储数据库的同时,提升用户在导出导入的读写体验;具体的在使用中,数据存储模块100也就是存储数据库,是用于存储业务数据的最大数据库,数据调度模块300是独立于存储数据库的系统,其包括数据调度库,可以与存储数据库进行数据的交互,通过存储数据库读取数据信息,或对存储数据库中写入业务数据信息,当用户需要获取某一业务数据时,则通过数据调度模块300获取存储数据库中相对应的业务数据内容并在数据调度库中暂存,用户可以对这一数据进行读取编辑等,而当第二个用户请求该业务数据时,则会通过请求引导模块500修改的数据存储日志引导至调度数据库中的该业务数据,进而进行线上的共同编辑和读取等操作,而数据权限模块700则是对这一过程的协同管理,当多个设备对业务数据进行编辑时,则对多个设备进行管理,对多个设备实施同时或是队列的形式进行处理,可以避免数据同时的重复覆盖和修改,最终无法统一业务数据内容的问题发生。
如图2所示,作为本发明另一个优选的实施例,所述请求引导模块500具体包括:
读取记录单元501,用于当所述数据调度库中的所述业务数据被读取时,锁定所述数据存储日志中相对应的所述数据存储指针,并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针,所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据。
引导覆盖单元502,用于通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖。
本实施例中,根据作用效果对请求引导模块500进行了划分和进一步的内容说明,数据调度库与外界进行数据的交互,存储数据库中某地址被读取后,会生成反馈,用于第二次读取时通过数据调度库读取,也就是存储数据库被读取时便生成临时存储指针以对数据存储指针进行覆盖,实现读取路劲的引导。
作为本发明另一个优选的实施例,所述数据权限模块包括:
修改列队单元,用于当多个所述数据读写请求中包括数据编写请求时,根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断,若所述修改区域不重合,则直接响应多个所述数据编写请求,若所述修改区域具有重合,则基于所述数据编写请求的生成时间建立编写请求队列,当某一所述数据编写请求完成时,则响应所述编写请求队列中的下一所述数据编写请求。
本实施例中,这里的修改队列模块的作用是,当多个设备需要对一个业务数据进行修改时,需要进行判断他们的执行顺序,是否可以同时执行修改或是需要以先后顺序进行修改,也就是他们所编写修改的部分是否重叠,如果发生重叠,多个人同时修改则会造成不同步的困扰,因此需要以队列的形式逐一进行,如果修改的部分不重叠,则可以同时进行处理。
如图3所示,作为本发明另一个优选的实施例,还包括数据更新模块900,所述数据更新模块900包括调度库更新单元901;
所述调度库更新单元901,用于在响应所述数据编辑请求后,对所述数据调度库中的所述业务数据进行更新。
进一步的,所述数据更新模块900还包括数据库更新单元902;
所述数据库更新单元902,用于当所述请求队列中的多个所述数据编写请求均响应完成时,根据所述数据调度库中的所述业务数据对所述存储数据库中的所述业务数据进行更新。
本实施例中,数据更新模块900主要包括两个部分的内容,其一是对数据调度库中业务数据的实时更新,从而可以确保多设备进行读取编写时业务数据的实时性,其二是在编写完成后对数据库中业务数据的及时更新,实现数据编写的同步性,降低数据丢失的可能。
作为本发明另一个优选的实施例,所述数据权限模块700还包括编辑日志单元;
所述编辑日志单元,用于对所述数据编辑请求响应前后的所述业务数据修改区域以及所述数据编辑请求的发出对象进行记录,生成数据编辑日志并存储。
本实施例中,作用在于编辑中间文件的记录以及编辑执行的责任对象的记录,这样可以在后续的数据回溯和责任追究时,快速的进行应对和定位,也能够对数据进行回滚恢复。
如图4所示,本发明还提供了一种支持大数据量导入导出的方法,其包含步骤:
S200,设有多个存储数据库,所述存储数据库用于获取并存储业务数据,并生成与所述业务数据相对应的数据存储日志,所述数据存储日志包括数据存储指针,所述数据存储指针用于响应数据读写请求以引导读取所述业务数据。
S400,建立数据调度库,所述数据调度库与多个所述存储数据库建立数据连接,当获取所述数据读写请求时,遍历所述数据存储日志,根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储。
S600,当所述业务数据在所述数据调度库中存储时,基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖。
S800,获取并响应数据编辑请求,并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定,所述数据编辑请求用于表征对所述业务数据的内容修改替换需求,所述内容修改替换需求包括所述业务数据的修改区域。
作为本发明另一个优选的实施例,所述基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖的步骤具体包括:
当所述数据调度库中的所述业务数据被读取时,锁定所述数据存储日志中相对应的所述数据存储指针,并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针,所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据。
通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖。
作为本发明另一个优选的实施例,所述获取并响应数据编辑请求的步骤还包括:
当多个所述数据读写请求中包括数据编写请求时,根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断,若所述修改区域不重合,则直接响应多个所述数据编写请求,若所述修改区域具有重合,则基于所述数据编写请求的生成时间建立编写请求队列,当某一所述数据编写请求完成时,则响应所述编写请求队列中的下一所述数据编写请求。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实施例处的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (4)
1.一种支持大数据量导入导出的系统,其特征在于,包含:
数据存储模块,设有多个存储数据库,所述存储数据库用于获取并存储业务数据,并生成与所述业务数据相对应的数据存储日志,所述数据存储日志包括数据存储指针,所述数据存储指针用于响应数据读写请求以引导读取所述业务数据;
数据调度模块,用于建立数据调度库,所述数据调度库与多个所述存储数据库建立数据连接,当获取所述数据读写请求时,遍历所述数据存储日志,根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储;
请求引导模块,用于当所述业务数据在所述数据调度库中存储时,基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖;
数据权限模块,用于获取并响应数据编辑请求,并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定,所述数据编辑请求用于表征对所述业务数据的内容修改替换需求,所述内容修改替换需求包括所述业务数据的修改区域;
所述请求引导模块具体包括:
读取记录单元,用于当所述数据调度库中的所述业务数据被读取时,锁定所述数据存储日志中相对应的所述数据存储指针,并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针,所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据;
引导覆盖单元,用于通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖;
所述数据权限模块包括:
修改列队单元,用于当多个所述数据读写请求中包括数据编写请求时,根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断,若所述修改区域不重合,则直接响应多个所述数据编写请求,若所述修改区域具有重合,则基于所述数据编写请求的生成时间建立编写请求队列,当某一所述数据编写请求完成时,则响应所述编写请求队列中的下一所述数据编写请求。
2.根据权利要求1所述的一种支持大数据量导入导出的系统,其特征在于,还包括数据更新模块,所述数据更新模块包括调度库更新单元;
所述调度库更新单元,用于在响应所述数据编辑请求后,对所述数据调度库中的所述业务数据进行更新。
3.根据权利要求2所述的一种支持大数据量导入导出的系统,其特征在于,所述数据更新模块还包括数据库更新单元;
所述数据库更新单元,用于当所述请求队列中的多个所述数据编写请求均响应完成时,根据所述数据调度库中的所述业务数据对所述存储数据库中的所述业务数据进行更新。
4.根据权利要求1所述的一种支持大数据量导入导出的系统,其特征在于,所述数据权限模块还包括编辑日志单元;
所述编辑日志单元,用于对所述数据编辑请求响应前后的所述业务数据修改区域以及所述数据编辑请求的发出对象进行记录,生成数据编辑日志并存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210934340.6A CN115017223B (zh) | 2022-08-04 | 2022-08-04 | 一种支持大数据量导入导出的系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210934340.6A CN115017223B (zh) | 2022-08-04 | 2022-08-04 | 一种支持大数据量导入导出的系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115017223A CN115017223A (zh) | 2022-09-06 |
CN115017223B true CN115017223B (zh) | 2022-10-25 |
Family
ID=83065280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210934340.6A Active CN115017223B (zh) | 2022-08-04 | 2022-08-04 | 一种支持大数据量导入导出的系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115017223B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102891873A (zh) * | 2011-07-21 | 2013-01-23 | 腾讯科技(深圳)有限公司 | 一种存储日志数据的方法及日志数据存储系统 |
CN114116717A (zh) * | 2021-11-23 | 2022-03-01 | 天翼数字生活科技有限公司 | 一种数据库信息查询方法、装置、设备及可读存储介质 |
CN114595201A (zh) * | 2022-03-23 | 2022-06-07 | 四川省明厚天信息技术股份有限公司 | 一种接口访问日志采集记录查询方法、设备及存储介质 |
CN114741036A (zh) * | 2022-04-25 | 2022-07-12 | 扬州航盛科技有限公司 | 一种异构多核处理器下日志管理的方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020169777A1 (en) * | 2001-03-15 | 2002-11-14 | Liviu Balajel | Database architecture and method |
US9507843B1 (en) * | 2013-09-20 | 2016-11-29 | Amazon Technologies, Inc. | Efficient replication of distributed storage changes for read-only nodes of a distributed database |
CN104516959B (zh) * | 2014-12-18 | 2018-01-02 | 杭州华为数字技术有限公司 | 一种管理数据库日志的方法及装置 |
CN108616598B (zh) * | 2018-05-10 | 2021-01-01 | 新华三技术有限公司成都分公司 | 数据同步方法、装置和分布式存储系统 |
CN111177254B (zh) * | 2019-12-05 | 2021-08-17 | 武汉达梦数据库股份有限公司 | 一种异构关系型数据库之间数据同步的方法和装置 |
CN111880956B (zh) * | 2020-07-24 | 2023-12-05 | 北京达佳互联信息技术有限公司 | 一种数据同步方法和装置 |
CN113297234B (zh) * | 2020-09-30 | 2023-03-14 | 阿里云计算有限公司 | 一种数据处理方法、装置、设备及计算机可读存储介质 |
CN112597151A (zh) * | 2020-12-03 | 2021-04-02 | 长沙市到家悠享家政服务有限公司 | 数据处理方法、装置、设备和存储介质 |
CN112507027B (zh) * | 2020-12-16 | 2024-04-16 | 平安科技(深圳)有限公司 | 基于Kafka的增量数据同步方法、装置、设备及介质 |
CN113282611B (zh) * | 2021-06-29 | 2024-04-23 | 深圳平安智汇企业信息管理有限公司 | 一种流数据同步的方法、装置、计算机设备及存储介质 |
CN114189530A (zh) * | 2021-12-14 | 2022-03-15 | 南京讯天游科技有限公司 | 基于互联网的资源协同方法及系统 |
-
2022
- 2022-08-04 CN CN202210934340.6A patent/CN115017223B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102891873A (zh) * | 2011-07-21 | 2013-01-23 | 腾讯科技(深圳)有限公司 | 一种存储日志数据的方法及日志数据存储系统 |
CN114116717A (zh) * | 2021-11-23 | 2022-03-01 | 天翼数字生活科技有限公司 | 一种数据库信息查询方法、装置、设备及可读存储介质 |
CN114595201A (zh) * | 2022-03-23 | 2022-06-07 | 四川省明厚天信息技术股份有限公司 | 一种接口访问日志采集记录查询方法、设备及存储介质 |
CN114741036A (zh) * | 2022-04-25 | 2022-07-12 | 扬州航盛科技有限公司 | 一种异构多核处理器下日志管理的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115017223A (zh) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7788237B2 (en) | Method and system for tracking changes in a document | |
US7912811B2 (en) | Computer-based system and computer program product for collaborative editing of documents | |
CN109308602A (zh) | 业务流程数据处理方法、装置、计算机设备及存储介质 | |
CN112286941B (zh) | 一种基于Binlog+HBase+Hive的大数据同步方法和装置 | |
CN111814197A (zh) | 一种数据共享方法、装置及服务器、存储介质 | |
CN109785024A (zh) | 发票数据处理方法、装置、计算机设备和存储介质 | |
CN101667113A (zh) | 一种多线程日志记录方法及装置 | |
CN110334397A (zh) | 基于bim模型的信息显示方法、装置、系统、设备和介质 | |
CN115017223B (zh) | 一种支持大数据量导入导出的系统 | |
US6212533B1 (en) | Hyper-media document management system having navigation mechanism | |
CN101419544A (zh) | 一种计算机程序代码自动生成器 | |
CN112580143A (zh) | 一种基于bim的装配式建筑协同云平台 | |
CN114189530A (zh) | 基于互联网的资源协同方法及系统 | |
CN116975076B (zh) | 一种多终端交互的数据传输控制方法及系统 | |
CN111552740B (zh) | 数据处理方法及装置 | |
CN113806373A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112633830B (zh) | 一种应用系统可快速集成的工作流系统及方法 | |
CN112765943B (zh) | 数据管理方法及系统 | |
US20050065960A1 (en) | Method and system of data management | |
CN116307576A (zh) | 排班信息生成方法、装置、计算机设备和存储介质 | |
CN115879679A (zh) | 通用化信息资源管理及搜索的系统和方法 | |
JP3006723B2 (ja) | データベースアクセス装置 | |
CN116562777A (zh) | 一种审批流程方法、装置、计算机设备及存储介质 | |
CN116992443A (zh) | 一种基于网络监测的数据安全识别方法及系统 | |
CN114661820A (zh) | 一种数据同步方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |