CN113254461A - 一种基于nifi的实现数据库同步的优化方法及系统 - Google Patents
一种基于nifi的实现数据库同步的优化方法及系统 Download PDFInfo
- Publication number
- CN113254461A CN113254461A CN202110174585.9A CN202110174585A CN113254461A CN 113254461 A CN113254461 A CN 113254461A CN 202110174585 A CN202110174585 A CN 202110174585A CN 113254461 A CN113254461 A CN 113254461A
- Authority
- CN
- China
- Prior art keywords
- insert
- statement
- module
- update
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005457 optimization Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000012217 deletion Methods 0.000 claims description 9
- 230000037430 deletion Effects 0.000 claims description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
- G06F16/2386—Bulk updating operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/2438—Embedded query languages
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Stored Programmes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于NIFI的实现数据库同步的优化方法及系统，属于计算机数据同步优化领域；所述的S1使用NiFi的iGetRedoLog处理器按时间解析Oracle数据库的Redo日志；S2将解析得到的数据库执行的DML语句路由到下一处理器；S3使用NIFI依次执行DML语句对目标数据库插入数据；S4按照DML语句类型将insert和update操作分批处理；S5将处理后的操作命令递交数据库执行；本发明将insert和update操作分批处理，批量sql语句比逐条执行sql语句速度更快，性能更好；而编程语言比如java它不支持批量提交不同种类的sql语句，故为了达到批量提交带来的有益效果，分别为insert、update语句进行分批执行。
Description
技术领域
本发明公开一种基于NIFI的实现数据库同步的优化方法及系统，涉及计算机数据同步优化技术领域。
背景技术
步入二十一世纪之后，因特网的迅猛发展和广泛应用，使得人们获取到越来越多的信息，信息不仅在数量上呈现出了爆炸型增长，而且在信息速度上也呈现出指数型增长，这也带来了如何存储和处理这些海量数据的问题。系统数据库每天的redo日志日增数据量越来越多，甚至达到了TB级。这就产生了一个问题：如何快速、高效地解析redo日志。
由于操作数据库的语句类型是随机的，比如在一天的使用中，insert、 update、delete这三个常用的DML语句会随时发生，没有次序，从Redo日志中每解析出一条语句都要去数据库执行操作，这种方式是普遍使用的，存在的问题是效率较低。
目前jdbc支持的是同一种操作类型的DML语句按一个批次执行。如果只是简单的把DML语句整合成一个批次一起运行，会有冲突，比如分成insert、 update、delete三种操作，当任一操作类型的sql语句达到设定的条数(如1000 条)时执行一次批量任务，此时的问题是insert还未达到1000条、未执行，而delete操作达到了1000条开始执行，可能会对不存在的数据(因为insert 未执行)执行delete操作，发生冲突。
另一种方法是当delete达到1000条触发执行时先把现有的insert和 update操作提交执行。这样解决了上述问题。但出现了另一问题。当实际Redo 日志中记录的是先insert了一条id＝1的数据，之后delete了id＝1的数据，之后又insert了一条id＝1的数据，当批量执行时会重复insert两条id＝1的数据，发生冲突。同理，update先执行而insert未执行也会有冲突。
故现发明一种基于NIFI的实现数据库同步的优化方法及系统以解决上述问题。
发明内容
本发明针对现有技术的问题，提供一种基于NIFI的实现数据库同步的优化方法及系统，所采用的技术方案为：一种基于NIFI的实现数据库同步的优化方法，所述的方法具体步骤包括：
S1使用NiFi的iGetRedoLog处理器按时间解析Oracle数据库的Redo日志；
S2将解析得到的数据库执行的DML语句路由到下一处理器；
S3使用NIFI依次执行DML语句对目标数据库插入数据；
S4按照DML语句类型将insert和update操作分批处理；
S5将处理后的操作命令递交数据库执行。
所述S4按照DML语句类型将insert和update操作分批处理的具体步骤包括：
S401为insert语句设置一个计数器insertCount和一个预期值 insertExpect；
S402判断计数器insertCount计数是否达到预期值insertExpect；
S403为insert语句建立一个存储区，将没有达到预期值insertExpect的 insert语句记录到insert存储区；
S411为update语句设置一个计数器updateCount和一个预期值 updateExpect；
S412判断计数器updateCount计数是否达到预期值updateExpect；
S413为update语句建立一个存储区，将没有达到预期值updateExpect的 update语记录到update存储区。
所述S5将处理后的操作命令递交数据库执行的具体步骤包括：
S501将达到预期值insertExpect的insert语句提交至数据库执行；
S511将达到预期值updateExpect的update语提交至数据库执行；
S502将执行后的insert语句从存储器删除；
S512将执行后的update语句从存储器删除。
所述S4按照DML语句类型将insert和update操作分批处理的具体步骤还包括：
S421分别为insert语句和update语句建立一个存储区，存储当前已到达而未执行的insert语句和update语句；
所述S5将处理后的操作命令递交数据库执行的具体步骤还包括：
S521将执行后的insert语句和update语句从存储器中删除。
一种基于NIFI的实现数据库同步的优化系统，所述的系统具体包括日志解析模块、数据路由模块、命令执行模块、分批处理模块和命令执行模块：
日志解析模块：使用NiFi的iGetRedoLog处理器按时间解析Oracle数据库的Redo日志；
数据路由模块：将解析得到的数据库执行的DML语句路由到下一处理器；
命令执行模块：使用NIFI依次执行DML语句对目标数据库插入数据；
分批处理模块：按照DML语句类型将insert和update操作分批处理；
命令执行模块：将处理后的操作命令递交数据库执行。
所述分批处理模块具体模块包括设置模块A、判断模块A、存储模块A、设置模块B、判断模块B和存储模块B：
设置模块A：为insert语句设置一个计数器insertCount和一个预期值insertExpect；
判断模块A：判断计数器insertCount计数是否达到预期值insertExpect；
存储模块A：为insert语句建立一个存储区，将没有达到预期值 insertExpect的insert语句记录到insert存储区；
设置模块B：为update语句设置一个计数器updateCount和一个预期值updateExpect；
判断模块B：判断计数器updateCount计数是否达到预期值updateExpect；
存储模块B：为update语句建立一个存储区，将没有达到预期值 updateExpect的update语记录到update存储区。
所述S命令执行模块具体包括数据递交模块A、数据删除模块A、数据递交模块B和数据删除模块B：
数据递交模块A：将达到预期值insertExpect的insert语句提交至数据库执行；
数据删除模块A：将执行后的insert语句从存储器删除；
数据递交模块B：将达到预期值updateExpect的update语提交至数据库执行；
数据删除模块B：将执行后的update语句从存储器删除。
所述分批处理模块还包括设置模块C：
设置模块C：分别为insert语句和update语句建立一个存储区，存储当前已到达而未执行的insert语句和update语句；
所述命令执行模块还包括数据删除模块C：
数据删除模块C：将执行后的insert语句和update语句从存储器中删除
本发明的有益效果为：本发明将insert和update操作分批处理，批量sql 语句比逐条执行sql语句速度更快，性能更好；而编程语言比如java它不支持批量提交不同种类的sql语句，故为了达到批量提交带来的有益效果，分别为insert、update语句进行分批执行；同时insert和update语句的顺序操作能避免无序提交时带来的数据更新报错和数据无法更新操作的问题；本发明方法相比一条语句执行一次能够提高执行效率，在大数据量的数据同步时执行效率的提高更加明显。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的流程图；图2是本发明系统的结构示意图；图3是本发明实施例中NIFI流程的配置示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一：
一种基于NIFI的大数据量Redo日志数据优化方法，所述的方法具体步骤包括：
S1使用NiFi的iGetRedoLog处理器按时间解析Oracle数据库的Redo日志；
S2将解析得到的数据库执行的DML语句路由到下一处理器PutKudu18；
S3使用NIFI依次执行DML语句对目标数据库插入数据；
S4按照DML语句类型将insert和update操作分批处理；
S5将处理后的操作命令递交数据库执行；
由Oracle数据库通过解析Redo日志的方式同步数据到kudu数据库的NiFi 流程配置；
使用本发明方法时，首先按照S1使用NiFi的iGetRedoLog处理器按时间解析Oracle数据库的Redo日志，得到该数据库执行的DML语句，并将解析得到的DML语句按照S2路由到下一处理器PutKudu18；接着按照S3使用NiFi的 PutKudu18处理器依次执行由iGetRedoLog解析得到的DML语句，在PutKudu18 处理器中会按照DML的类型划分批次，其中putkudu18的处理器代表了做数据
同步时对目标库插入数据，iGetRedoLog处理器也只是获取数据库执行的 sql语句和顺序的一种途径；
根据DML语句类型按照S4将insert和update操作分批处理，再将处理后的操作命令按照S5递交数据库执行即可；
进一步的，所述S4按照DML语句类型将insert和update操作分批处理的具体步骤包括：
S401为insert语句设置一个计数器insertCount和一个预期值 insertExpect；
S402判断计数器insertCount计数是否达到预期值insertExpect；
S403为insert语句建立一个存储区，将没有达到预期值insertExpect的 insert语句记录到insert存储区；
S411为update语句设置一个计数器updateCount和一个预期值 updateExpect；
S412判断计数器updateCount计数是否达到预期值updateExpect；
S413为update语句建立一个存储区，将没有达到预期值updateExpect的 update语记录到update存储区；
进一步的，所述S5将处理后的操作命令递交数据库执行的具体步骤包括：
S501将达到预期值insertExpect的insert语句提交至数据库执行；
S511将达到预期值updateExpect的update语提交至数据库执行；
S502将执行后的insert语句从存储器删除；
S512将执行后的update语句从存储器删除；
进一步的，所述S4按照DML语句类型将insert和update操作分批处理的具体步骤还包括：
S421分别为insert语句和update语句建立一个存储区，存储当前已到达而未执行的insert语句和update语句；
再进一步的，所述S5将处理后的操作命令递交数据库执行的具体步骤还包括：
S521将执行后的insert语句和update语句从存储器中删除；
综合上述，在使用本发明方法将insert和update操作分批处理包括准备阶段和运行阶段，首先在准备阶段：
给insert语句设置一个计数器insertCount，insertCount＝0；
给update语句设置一个计数器updateCount，updateCount＝0；
为insert语句设置一个预期值，insertExpect，例如insertExpect＝500；此预期值的含义是一条insert语句出现时，并不会立即提交到数据库执行(因为这样执行效率低)，先insertCount加1，之后判断当前insertCount是否到达了这个预期值insertExpect，如果没有到达，把这条insert语句记录到 insert存储区；如果到达了，此时insertCount等于insertExpect，值为500，把这500条insert语句一次性的提交到数据库执行；
为update语句设置一个预期值，updateExpect，例如updateExpect＝1000；(insertExpect和updateExpect的值可以分别设置)；updateExpect的含义和insertExpect有一定区别，一条update语句出现时，并不会立即提交到数据库执行(因为这样执行效率低)，先updateCount加1，之后判断当前update 语句数量(updateCount)是否到达了这个预期值，如果没有到达，把这条update 语句记录到update存储区；如果到达了，此时updateCount等于updateExpect，值为1000；先将此时所有的insert语句提交到数据库执行(即使update语句的条数小于updateExpect的值)，执行完毕后把这1000条update语句一次性的提交到数据库执行；
为insert语句建立一个存储区，存储当前已到达而未执行的insert语句；
为update语句建立一个存储区，存储当前已到达而未执行的update语句；执行后的update语句会从存储器删除；
在运行阶段：
当出现一条insert语句，insertCount加1。判断insertCount是否大于等于insertExpect，如果小于insertExpect，把这条insert语句记录到insert 存储区；如果大于等于insertExpect，将insert语句存储器的所有insert 语句一次性的提交到数据库执行；
当出现一条update语句，updateCount加1。判断updateCount是否大于等于updateExpect，如果小于updateExpect，把这条update语句记录到update 存储区；如果大于等于updateExpect，先将insert语句存储器的所有insert 语句一次性的提交到数据库执行，之后将update语句存储器的所有update语句一次性的提交到数据库执行；
当出现一条delete语句，先将insert语句存储器的所有insert语句一次性的提交到数据库执行，再把update语句存储器的所有update语句一次性的提交到数据库执行，最后提交这条delete语句到数据库执行；
本发明方法能够实现的优点有：
1、批量sql语句比逐条执行sql语句速度更快，性能更好；
2、编程语言比如java它不支持批量提交不同种类的sql语句(即不支持一次性批量提交包含insert、update、delete三种类型的多条语句，只能批量提交多个insert语句或者多个update语句或者多个delete语句)；
为了达到批量提交带来的有益效果，分别为insert、update、delete语句进行分批，尽量批量执行，而insert、update、delete语句的顺序执行(标注的两个原则规定了语句提交的顺序)是为了规避无序提交时带来的问题。无序提交会带来以下问题：a比如update语句先于insert语句执行，update语句更新的数据并未记录到数据库(即未执行insert操作)，这样会报错，update 语句无法更新一条不存在的记录；b、lete语句先于insert语句，同上，delete 语句无法删除一条不存在的记录；c、delete语句先于update语句，delete 语句把一条记录删除，而后续的update语句无法更新这一条已经被删除的记录。
实施例二：
一种基于NIFI的大数据量Redo日志数据优化系统，所述的系统具体包括日志解析模块、数据路由模块、命令执行模块、分批处理模块和命令执行模块：
日志解析模块：使用NiFi的iGetRedoLog处理器按时间解析Oracle数据库的Redo日志；
数据路由模块：将解析得到的数据库执行的DML语句路由到下一处理器PutKudu18；
命令执行模块：使用NIFI依次执行DML语句对目标数据库插入数据；
分批处理模块：按照DML语句类型将insert和update操作分批处理；
命令执行模块：将处理后的操作命令递交数据库执行；
进一步的，所述分批处理模块具体模块包括设置模块A、判断模块A、存储模块A、设置模块B、判断模块B和存储模块B：
设置模块A：为insert语句设置一个计数器insertCount和一个预期值insertExpect；
判断模块A：判断计数器insertCount计数是否达到预期值insertExpect；
存储模块A：为insert语句建立一个存储区，将没有达到预期值 insertExpect的insert语句记录到insert存储区；
设置模块B：为update语句设置一个计数器updateCount和一个预期值updateExpect；
判断模块B：判断计数器updateCount计数是否达到预期值updateExpect；
存储模块B：为update语句建立一个存储区，将没有达到预期值 updateExpect的update语记录到update存储区；
进一步的，所述命令执行模块具体包括数据递交模块A、数据删除模块A、数据递交模块B和数据删除模块B：
数据递交模块A：将达到预期值insertExpect的insert语句提交至数据库执行；
数据删除模块A：将执行后的insert语句从存储器删除；
数据递交模块B：将达到预期值updateExpect的update语提交至数据库执行；
数据删除模块B：将执行后的update语句从存储器删除；
进一步的，所述分批处理模块还包括设置模块C：
设置模块C：分别为insert语句和update语句建立一个存储区，存储当前已到达而未执行的insert语句和update语句；
再进一步的，所述命令执行模块还包括数据删除模块C：
数据删除模块C：将执行后的insert语句和update语句从存储器中删除。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于NIFI的实现数据库同步的优化方法，其特征是所述的方法具体步骤包括：
S1使用NiFi的iGetRedoLog处理器按时间解析Oracle数据库的Redo日志；
S2将解析得到的数据库执行的DML语句路由到下一处理器；
S3使用NIFI依次执行DML语句对目标数据库插入数据；
S4按照DML语句类型将insert和update操作分批处理；
S5将处理后的操作命令递交数据库执行。
2.根据权利要求1所述的方法，其特征是所述S4按照DML语句类型将insert和update操作分批处理的具体步骤包括：
S401为insert语句设置一个计数器insertCount和一个预期值insertExpect；
S402判断计数器insertCount计数是否达到预期值insertExpect；
S403为insert语句建立一个存储区，将没有达到预期值insertExpect的insert语句记录到insert存储区；
S411为update语句设置一个计数器updateCount和一个预期值updateExpect；
S412判断计数器updateCount计数是否达到预期值updateExpect；
S413为update语句建立一个存储区，将没有达到预期值updateExpect的update语记录到update存储区。
3.根据权利要求2所述的方法，其特征是所述S5将处理后的操作命令递交数据库执行的具体步骤包括：
S501将达到预期值insertExpect的insert语句提交至数据库执行；
S511将达到预期值updateExpect的update语提交至数据库执行；
S502将执行后的insert语句从存储器删除；
S512将执行后的update语句从存储器删除。
4.根据权利要求3所述的方法，其特征是所述S4按照DML语句类型将insert和update操作分批处理的具体步骤还包括：
S421分别为insert语句和update语句建立一个存储区，存储当前已到达而未执行的insert语句和update语句。
5.根据权利要求4所述的方法，其特征是所述S5将处理后的操作命令递交数据库执行的具体步骤还包括：
S521将执行后的insert语句和update语句从存储器中删除。
6.一种基于NIFI的实现数据库同步的优化系统，其特征是所述的系统具体包括日志解析模块、数据路由模块、命令执行模块、分批处理模块和命令执行模块：
日志解析模块：使用NiFi的iGetRedoLog处理器按时间解析Oracle数据库的Redo日志；
数据路由模块：将解析得到的数据库执行的DML语句路由到下一处理器；
命令执行模块：使用NIFI依次执行DML语句对目标数据库插入数据；
分批处理模块：按照DML语句类型将insert和update操作分批处理；
命令执行模块：将处理后的操作命令递交数据库执行。
7.根据权利要求6所述的系统，其特征是所述分批处理模块具体模块包括设置模块A、判断模块A、存储模块A、设置模块B、判断模块B和存储模块B：
设置模块A：为insert语句设置一个计数器insertCount和一个预期值insertExpect；
判断模块A：判断计数器insertCount计数是否达到预期值insertExpect；
存储模块A：为insert语句建立一个存储区，将没有达到预期值insertExpect的insert语句记录到insert存储区；
设置模块B：为update语句设置一个计数器updateCount和一个预期值updateExpect；
判断模块B：判断计数器updateCount计数是否达到预期值updateExpect；
存储模块B：为update语句建立一个存储区，将没有达到预期值updateExpect的update语记录到update存储区。
8.根据权利要求7所述的系统，其特征是所述S命令执行模块具体包括数据递交模块A、数据删除模块A、数据递交模块B和数据删除模块B：
数据递交模块A：将达到预期值insertExpect的insert语句提交至数据库执行；
数据删除模块A：将执行后的insert语句从存储器删除；
数据递交模块B：将达到预期值updateExpect的update语提交至数据库执行；
数据删除模块B：将执行后的update语句从存储器删除。
9.根据权利要求8所述的系统，其特征是所述分批处理模块还包括设置模块C：
设置模块C：分别为insert语句和update语句建立一个存储区，存储当前已到达而未执行的insert语句和update语句。
10.根据权利要求9所述的系统，其特征是所述命令执行模块还包括数据删除模块C。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110174585.9A CN113254461A (zh) | 2021-02-07 | 2021-02-07 | 一种基于nifi的实现数据库同步的优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110174585.9A CN113254461A (zh) | 2021-02-07 | 2021-02-07 | 一种基于nifi的实现数据库同步的优化方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113254461A true CN113254461A (zh) | 2021-08-13 |
Family
ID=77180906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110174585.9A Pending CN113254461A (zh) | 2021-02-07 | 2021-02-07 | 一种基于nifi的实现数据库同步的优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113254461A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844507A (zh) * | 2016-12-27 | 2017-06-13 | 星环信息科技（上海）有限公司 | 一种数据批处理的方法及设备 |
| CN109960686A (zh) * | 2019-03-26 | 2019-07-02 | 北京百度网讯科技有限公司 | 数据库的日志处理方法和装置 |
| CN111797104A (zh) * | 2020-06-12 | 2020-10-20 | 中国建设银行股份有限公司 | 数据变更情况的获取方法、装置及电子设备 |
| CN111858534A (zh) * | 2020-07-27 | 2020-10-30 | 浪潮云信息技术股份公司 | 一种增加日志大数据量排序方法 |
| CN111858638A (zh) * | 2020-07-29 | 2020-10-30 | 上海真兰仪表科技股份有限公司 | 一种大批量同质数据的批量入库方法 |
-
2021
- 2021-02-07 CN CN202110174585.9A patent/CN113254461A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844507A (zh) * | 2016-12-27 | 2017-06-13 | 星环信息科技（上海）有限公司 | 一种数据批处理的方法及设备 |
| CN109960686A (zh) * | 2019-03-26 | 2019-07-02 | 北京百度网讯科技有限公司 | 数据库的日志处理方法和装置 |
| CN111797104A (zh) * | 2020-06-12 | 2020-10-20 | 中国建设银行股份有限公司 | 数据变更情况的获取方法、装置及电子设备 |
| CN111858534A (zh) * | 2020-07-27 | 2020-10-30 | 浪潮云信息技术股份公司 | 一种增加日志大数据量排序方法 |
| CN111858638A (zh) * | 2020-07-29 | 2020-10-30 | 上海真兰仪表科技股份有限公司 | 一种大批量同质数据的批量入库方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107704539B (zh) | 大规模文本信息批量结构化的方法及装置 | |
| CN108121827B (zh) | 一种全量数据的同步方法及装置 | |
| CN109376196B (zh) | 一种redo日志批量同步方法及装置 | |
| CN112182104A (zh) | 一种数据同步方法、装置、设备及存储介质 | |
| CN109086382B (zh) | 一种数据同步方法、装置、设备及存储介质 | |
| CN111563095A (zh) | 一种基于HBase的数据检索装置 | |
| CN115033646B (zh) | 一种基于Flink&Doris构建实时数仓系统的方法 | |
| CN112559473B (zh) | 一种基于优先级的双路同步方法和同步系统 | |
| CN111008246A (zh) | 数据库日志同步方法、装置、计算机设备及可读存储介质 | |
| CN112269802A (zh) | 一种基于Clickhouse频繁删改查优化的方法及系统 | |
| US8600990B2 (en) | Interacting methods of data extraction | |
| CN112000649B (zh) | 一种基于map reduce的增量数据同步的方法和装置 | |
| US7958083B2 (en) | Interacting methods of data summarization | |
| CN111159020B (zh) | 一种应用于同步软件测试的方法和装置 | |
| WO2021031583A1 (zh) | 执行语句的方法、装置、服务器及存储介质 | |
| EP3951609A1 (en) | Query optimization method and apparatus | |
| CN115391457B (zh) | 跨数据库的数据同步方法、装置及存储介质 | |
| CN113254461A (zh) | 一种基于nifi的实现数据库同步的优化方法及系统 | |
| CN116737829A (zh) | 一种数据同步方法、装置、存储介质及电子设备 | |
| CN112148705A (zh) | 数据迁移的方法和装置 | |
| CN114357068A (zh) | 一种从kafka向数据库同步数据的方法 | |
| CN111858638A (zh) | 一种大批量同质数据的批量入库方法 | |
| CN113760890A (zh) | 关系型数据库管理的方法和装置 | |
| CN110633271A (zh) | 一种基于json的Hbase到mysql的数据抽取方法 | |
| CN112597233B (zh) | 数据指标的批量处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210813 |