CN103488690B - 数据集成系统和数据集成方法 - Google Patents

数据集成系统和数据集成方法 Download PDF

Info

Publication number
CN103488690B
CN103488690B CN201310392454.3A CN201310392454A CN103488690B CN 103488690 B CN103488690 B CN 103488690B CN 201310392454 A CN201310392454 A CN 201310392454A CN 103488690 B CN103488690 B CN 103488690B
Authority
CN
China
Prior art keywords
data
thread
message
message queue
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310392454.3A
Other languages
English (en)
Other versions
CN103488690A (zh
Inventor
衡骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yonyou Network Technology Co Ltd
Original Assignee
Yonyou Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yonyou Network Technology Co Ltd filed Critical Yonyou Network Technology Co Ltd
Priority to CN201310392454.3A priority Critical patent/CN103488690B/zh
Publication of CN103488690A publication Critical patent/CN103488690A/zh
Application granted granted Critical
Publication of CN103488690B publication Critical patent/CN103488690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据集成系统和数据集成方法，其中，该数据集成系统包括：日志挖掘单元，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把对象存储至缓存；处理单元，用于通过第二线程轮询缓存，以从缓存中获取符合第二预设条件的对象进行处理得到处理数据，将处理数据发送至消息队列；写入单元，用于通过第三线程轮询消息队列，并在消息队列中存在消息时获取消息，对消息进行处理得到目标语句，将语句写入目标数据库。通过本申请的技术方案，可以有效地提高数据集成的稳定性和数据集成的效率。

Description

数据集成系统和数据集成方法
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种数据集成系统和一种数据集成方法。
背景技术
目前在云计算环境下BI（商业智能）战略变得越来越重要，而在商业智能中实时的数据集成在其中占有很重要的部分，需要一种完成数据抽取，转换，加载，分析等一整套数据处理流程的方法。
目前现有的实时数据集成的方法稳定性能比较差，对于列存储的数据仓库如gbase也没有很好的支持，并且效率也不是很高，因此有必要对现有的增量实时数据集成进行优化。
发明内容
本发明正是基于上述问题，提出了一种数据集成技术，能够有效地提高数据集成的稳定性和数据集成的效率。
有鉴于此，本发明提出了一种数据集成系统，包括：日志挖掘单元，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把所述对象存储至缓存；处理单元，用于通过第二线程轮询所述缓存，以从所述缓存中获取符合第二预设条件的对象进行处理得到处理数据，将所述处理数据发送至消息队列；写入单元，用于通过第三线程轮询所述消息队列，并在所述消息队列中存在消息时获取所述消息，对所述消息进行处理得到目标语句，将所述语句写入目标数据库。
在上述技术方案中，优选地，还包括：持久化单元，用于对所述挖掘出的数据进行持久化。
在上述技术方案中，优选地，还包括：记录单元，用于通过所述第二线程记录所述处理数据的标识。
在上述技术方案中，优选地，所述写入单元还用于通过所述第三线程将所述目标语句批量写入所述目标数据库。
在上述技术方案中，优选地，所述第一线程、所述第二线程和所述第三线程是异步执行的。
本申请还提出了一种数据集成方法，包括：步骤202，通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把所述对象存储至缓存；步骤204，通过第二线程轮询所述缓存，以从所述缓存中获取符合第二预设条件的对象进行处理得到处理数据，将所述处理数据发送至消息队列；步骤206，通过第三线程轮询所述消息队列，并在所述消息队列中存在消息时获取所述消息，对所述消息进行处理得到目标语句，将所述语句写入目标数据库。
在上述技术方案中，优选地，所述步骤202还包括：对所述挖掘出的数据进行持久化。
在上述技术方案中，优选地，所述步骤204还包括：通过所述第二线程记录所述处理数据的标识。
在上述技术方案中，优选地，所述步骤206还包括：通过所述第三线程将所述目标语句批量写入所述目标数据库。
在上述技术方案中，优选地，所述第一线程、所述第二线程和所述第三线程是异步执行的。
通过以上技术方案，可以有效地提高数据集成的稳定性和数据集成的效率。
附图说明
图1示出了根据本发明的实施例的数据集成系统的示意框图；
图2示出了根据本发明的实施例的数据集成方法的示意流程图；
图3示出了根据本发明的实施例的数据集成系统的结构示意图；
图4示出了根据本发明的实施例的数据流向示意图；
图5示出了根据本发明的实施例的数据挖掘和发送至消息队列的示意流程；
图6示出了根据本发明的实施例的数据写入目标数据库的示意流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的数据集成系统的示意框图。
如图1所示，根据本发明的实施例的数据集成系统100包括：日志挖掘单元102，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把对象存储至缓存；处理单元104，用于通过第二线程轮询缓存，以从缓存中获取符合第二预设条件的对象进行处理得到处理数据，将处理数据发送至消息队列；写入单元106，用于通过第三线程轮询消息队列，并在消息队列中存在消息时获取消息，对消息进行处理得到目标语句，将语句写入目标数据库。
从源端数据库中挖掘出数据，并将数据写入目标数据库，需要先对源端数据库的进行日志挖掘，然后将挖掘出的数据放入缓存队列，再将数据发送至消息队列，最后写入到目标数据库，通过为日志挖掘操作、将数据发送至消息队列操作和写入目标数据库三步操作分别设置线程，可以使得上述三个操作同时进行，比如通过对源端数据库进行日志挖掘操作得到数据A，然后将数据A放入缓存队列，在将缓存中的数据A发送至消息的队列时，进行日志挖掘操作的线程（即第一线程）可以继续对源端数据进行日志挖掘，并且将数据写入目标数据库的线程（即第三线程）也可以在此时将在数据A之前已经存在于消息队列中的其他数据，继续写入目标数据库，而无需等待数据A写入目标数据库之后才能再次对远端数据库进行日志挖掘，也无需等待数据A写入目标数据库之后才将消息队列中的其他数据写入目标数据库，从整体上提高了数据获取、处理和写入的效率，提高了实时数据集成的效率。
其中的第一预设条件和第二预设条件，可以预先设置一张数据表来规定所需的业务数据，对于即将实例化的数据和即将从缓存中发送至消息队列的数据，可以判断其是否输入预先设置的表格中所规定的内容，若不属于，说明该数据并不是用户所需，则可以直接删除，从而减少对无用数据的处理，提高了实时数据集成的效率。
优选地，还包括：持久化单元108，用于对挖掘出的数据进行持久化。
由于进行日志挖掘得到的内容都存在于缓存中，如果进行日志挖掘的线程（即第一线程）中断或停止，那么存在于缓存中的内容将全部丢失，进而导致进行需要同步的操作数据丢失，通过将挖掘出的数据进行持久化处理，比如持久化到本地日志中，从而可以在进行日志挖掘的线程中断或停止的情况下，依然能够通过查询本地日志来调用挖掘出的数据，提高了实时数据集成的稳定性。
优选地，还包括：记录单元110，用于通过第二线程记录处理数据的标识。
若第二线程发生中断或停止，那么挖掘出的数据会由于没有发送到消息队列中而丢失，通过记录处理数据设置标识，具体可以是在每一个处理数据发送到消息队列之前，都记录下该数据当前的SCN号，从而避免第二线程崩溃而导致处理数据丢失，提高了实时数据集成的稳定性。
优选地，写入单元106还用于通过第三线程将目标语句批量写入目标数据库。
可以在目标语句积累到一定数量后，通过批量导入的方式，将目标语句写入目标数据库，从而避免逐条写入语句而造成的频繁交互，提高了实时数据集成的效率。
优选地，还包括：所述第一线程、所述第二线程和所述第三线程是异步执行的。从而提高每步操作的同步率，进而提高实时数据集成的效率。
图2示出了根据本发明的实施例的数据集成方法的示意流程图。
如图2所示，根据本发明的实施例的数据集成方法包括：步骤202，通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把对象存储至缓存；步骤204，通过第二线程轮询缓存，以从缓存中获取符合第二预设条件的对象进行处理得到处理数据，将处理数据发送至消息队列；步骤206，通过第三线程轮询消息队列，并在消息队列中存在消息时获取消息，对消息进行处理得到目标语句，将语句写入目标数据库。
从源端数据库中挖掘出数据，并将数据写入目标数据库，需要先对源端数据库的进行日志挖掘，然后将挖掘出的数据放入缓存队列，再将数据发送至消息队列，最后写入到目标数据库，通过为日志挖掘操作、将数据发送至消息队列操作和写入目标数据库三步操作分别设置线程，可以使得上述三个操作同时进行，比如通过对源端数据库进行日志挖掘操作得到数据A，然后将数据A放入缓存队列，在将缓存中的数据A发送至消息的队列时，进行日志挖掘操作的线程（即第一线程）可以继续对源端数据进行日志挖掘，并且将数据写入目标数据库的线程（即第三线程）也可以在此时将在数据A之前已经存在于消息队列中的其他数据，继续写入目标数据库，而无需等待数据A写入目标数据库之后才能再次对远端数据库进行日志挖掘，也无需等待数据A写入目标数据库之后才将消息队列中的其他数据写入目标数据库，从整体上提高了数据获取、处理和写入的效率，提高了实时数据集成的效率。
在上述技术方案中，优选地，步骤202还包括：对挖掘出的数据进行持久化。
由于进行日志挖掘得到的内容都存在于缓存中，如果进行日志挖掘的线程（即第一线程）中断或停止，那么存在于缓存中的内容将全部丢失，进而导致进行需要同步的操作数据丢失，通过将挖掘出的数据进行持久化处理，比如持久化到本地日志中，从而可以在进行日志挖掘的线程中断或停止的情况下，依然能够通过查询本地日志来调用挖掘出的数据，提高了实时数据集成的稳定性。
在上述技术方案中，优选地，步骤204还包括：通过第二线程记录处理数据的标识。
若第二线程发生中断或停止，那么挖掘出的数据会由于没有发送到消息队列中而丢失，通过记录处理数据设置标识，具体可以是在每一个处理数据发送到消息队列之前，都记录下该数据当前的SCN号，从而避免第二线程崩溃而导致处理数据丢失，提高了实时数据集成的稳定性。
在上述技术方案中，优选地，步骤206还包括：通过第三线程将目标语句批量写入目标数据库。
可以在目标语句积累到一定数量后，通过批量导入的方式，将目标语句写入目标数据库，从而避免逐条写入语句而造成的频繁交互，提高了实时数据集成的效率。
在上述技术方案中，优选地，所述第一线程、所述第二线程和所述第三线程是异步执行的。从而提高每步操作的同步率，进而提高实时数据集成的效率。
其中的第一预设条件和第二预设条件，可以预先设置一张数据表来规定所需的业务数据，对于即将实例化的数据和即将从缓存中发送至消息队列的数据，可以判断其是否输入预先设置的表格中所规定的内容，若不属于，说明该数据并不是用户所需，则可以直接删除，从而减少对无用数据的处理，提高了实时数据集成的效率。
图3示出了根据本发明的实施例的数据集成系统的结构示意图。
如图3所示，根据本申请的实施例的数据集成系统是基于日志分析和消息中间件技术（数据集成，简称RDI），内部具有高缓存，高并发的架构。可以通过具体有以下功能的软件和/或硬件来实现：
Source DB：用于进行源端的日志挖掘，相当于日志挖掘单元；
RDI Source Agent：从源端数据库分析日志得到事务并发送至消息中间件，相当于处理单元；
RDI Admin Console：用来管理数据集成的实例中的任务和资源；
Message Queue（简称MQ）：消息队列中间件用于传递消息；
RDI Target Agent：从消息中间件取得事务并应用到目的端数据库；
Target DB：用于写入的目标数据库，RDI Target Agent和Target DB相当于写入单元。
其相应的数据流向如图4所示，对源端数据库402进行日志挖掘得到的数据放入缓存队列404，然后将缓存队列404中的数据发送至消息队列406，最后将消息队列406中的数据写入目标数据库408。
图5示出了根据本发明的实施例的数据挖掘和发送至消息队列的示意流程。
如图5所示，数据集成引擎启动时会开启一个线程（相当于第一线程）专门用于进行日志挖掘，挖掘的对象是数据库的归档日志，挖掘的工具使用的是oracle自带的logminer，主要是根据数据库的系统变更号进行挖掘。线程启动后首先会向logminer里传递一个开始系统变更号和一个结束系统变更号，logminer会根据挖掘的范围对归档日志进行挖掘（当然，如果该挖掘操作发生在系统崩溃后，则可以根据记录下的SCN号进行日志挖掘），挖掘出记录后会选择有效的字段内容并实例成对象，最后把实例好的对象存入系统缓存中等待下一步处理。在这里所有发掘出来的内容都存在于系统的缓存中因此如果发掘线程突然中断或者停止，则存在与缓存中的内容都会丢失，带来的问题就是进行需要同步的操作数据丢失，因此提出的改进方案就是把挖掘出来的数据持久化到本地的日志中，这样可以方便在出错的时候对发掘的数据进行查询。
数据集成引擎在启动后会开启另一个线程（相当于第二线程）专门用于把存在于系统缓存中的数据发送到消息队列中。它与日志挖掘的线程是异步执行的，这样可以增加同步的效率。线程启动后会轮询系统的缓存队列，如果发现有有效的实例化对象，会把该对象放入一个事务处理的对象中，直到一个事务提交完毕后，线程会把该事务对象送入配置好的过滤器进行过滤操作，没有被过滤掉的数据会通过发送通道发送到MQ（即MessageQueue）消息队列中，等待下一步处理。在这里提出的改进方案是在每一个消息发送到队列时都记录下当前的SCN号以防止在系统崩溃时已发掘出来的但还没有发送到消息队列的数据丢失。
图6示出了根据本发明的实施例的数据写入目标数据库的示意流程图。
数据集成引擎在启动后会开启一个线程（相当于第三线程）用于获取MQ消息队列中的数据并把其写入数据库。线程启动后会轮询MQ消息队列，如果发现有消息，会把消息中的事务对象提取出来，然后传入事务拦截器进行处理，最后提取出处理好的事务对象中的SQL语句并写入目标数据库完成数据的同步过程。但目前数据导入的效率比较低，是因为数据采用的是逐行导入的方式，改进方案是提供一个批量导入的方法，这样整体同步的效率会增加，写入效率也会提升。
以上结合附图详细说明了本发明的技术方案，考虑到相关技术中，数据集成的方法稳定性能比较差，并且效率也不是很高。通过本申请的技术方案，能够有效地提高数据集成的稳定性和数据集成的效率。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据集成系统，其特征在于，包括：
日志挖掘单元，用于通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把所述对象存储至缓存；
处理单元，用于通过第二线程轮询所述缓存，以从所述缓存中获取符合第二预设条件的对象进行处理得到处理数据，将所述处理数据发送至消息队列；
写入单元，用于通过第三线程轮询所述消息队列，并在所述消息队列中存在消息时获取所述消息，对所述消息进行处理得到目标语句，将所述语句写入目标数据库；
所述第一线程、所述第二线程和所述第三线程是异步执行的。
2.根据权利要求1所述的数据集成系统，其特征在于，还包括：
持久化单元，用于对所述挖掘出的数据进行持久化。
3.根据权利要求1所述的数据集成系统，其特征在于，还包括：
记录单元，用于通过所述第二线程记录所述处理数据的标识。
4.根据权利要求1所述的数据集成系统，其特征在于，所述写入单元还用于通过所述第三线程将所述目标语句批量写入所述目标数据库。
5.一种数据集成方法，其特征在于，包括：
步骤202，通过第一线程对源数据库进行日志挖掘，将挖掘出的数据中符合第一预设条件的数据实例成对象，把所述对象存储至缓存；
步骤204，通过第二线程轮询所述缓存，以从所述缓存中获取符合第二预设条件的对象进行处理得到处理数据，将所述处理数据发送至消息队列；
步骤206，通过第三线程轮询所述消息队列，并在所述消息队列中存在消息时获取所述消息，对所述消息进行处理得到目标语句，将所述语句写入目标数据库；
所述第一线程、所述第二线程和所述第三线程是异步执行的。
6.根据权利要求5所述的数据集成方法，其特征在于，所述步骤202还包括：对所述挖掘出的数据进行持久化。
7.根据权利要求5所述的数据集成方法，其特征在于，所述步骤204还包括：通过所述第二线程记录所述处理数据的标识。
8.根据权利要求5所述的数据集成方法，其特征在于，所述步骤206还包括：通过所述第三线程将所述目标语句批量写入所述目标数据库。
CN201310392454.3A 2013-09-02 2013-09-02 数据集成系统和数据集成方法 Active CN103488690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310392454.3A CN103488690B (zh) 2013-09-02 2013-09-02 数据集成系统和数据集成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310392454.3A CN103488690B (zh) 2013-09-02 2013-09-02 数据集成系统和数据集成方法

Publications (2)

Publication Number Publication Date
CN103488690A CN103488690A (zh) 2014-01-01
CN103488690B true CN103488690B (zh) 2017-06-30

Family

ID=49828916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310392454.3A Active CN103488690B (zh) 2013-09-02 2013-09-02 数据集成系统和数据集成方法

Country Status (1)

Country Link
CN (1) CN103488690B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856353B (zh) * 2014-03-06 2018-01-26 上海爱数信息技术股份有限公司 一种业务日志数据访问与统计分析的方法及装置
CN105224596A (zh) * 2015-08-27 2016-01-06 浪潮集团有限公司 一种访问数据的方法及装置
CN105320769A (zh) * 2015-10-28 2016-02-10 浪潮(北京)电子信息产业有限公司 一种Oracle数据库的数据同步方法及系统
CN107256180B (zh) * 2017-05-19 2019-04-26 腾讯科技（深圳）有限公司 数据处理方法、装置及终端
CN110019197B (zh) * 2017-09-28 2021-07-30 武汉斗鱼网络科技有限公司 一种数据写入的方法、装置、服务器及介质
CN108681485A (zh) * 2018-04-27 2018-10-19 佛山市日日圣科技有限公司 一种接收信息的处理方法及处理装置
CN108600092A (zh) * 2018-05-03 2018-09-28 山东汇贸电子口岸有限公司 一种基于事件消息机制的软件系统协作装置及方法
CN108874555A (zh) * 2018-05-23 2018-11-23 福建天泉教育科技有限公司 一种写消息至消息中间件的方法及装置
CN108959456B (zh) * 2018-06-15 2020-03-06 珠海格力电器股份有限公司 一种自动恢复补全数据的方法
CN110213317B (zh) * 2018-07-18 2021-10-29 腾讯科技（深圳）有限公司 消息存储的方法、装置及存储介质
CN110134734A (zh) * 2019-04-04 2019-08-16 杭州抖音科技有限公司 一种区块链交易记录写入的方法及系统
CN110209507A (zh) * 2019-05-16 2019-09-06 厦门市美亚柏科信息股份有限公司 基于消息队列的数据处理方法、装置、系统及存储介质
CN111026768A (zh) * 2019-10-16 2020-04-17 武汉达梦数据库有限公司 一种可实现数据快速装载的数据同步方法和装置
CN111159494B (zh) * 2019-12-30 2024-04-05 北京航天云路有限公司 一种多用户并发处理的数据标注方法
CN111143093B (zh) * 2019-12-31 2024-04-19 中国银行股份有限公司 异步消息分布式处理方法、装置、设备及存储介质
CN112100414B (zh) * 2020-09-11 2024-02-23 深圳力维智联技术有限公司 数据处理方法、装置、系统与计算机可读存储介质
CN112527844A (zh) * 2020-12-22 2021-03-19 北京明朝万达科技股份有限公司 数据处理方法及装置、数据库架构
CN113656444B (zh) * 2021-08-26 2024-02-27 友安云(厦门)数据科技有限公司 一种数据持久化方法、服务器及管理设备
CN116701426B (zh) * 2023-08-07 2024-04-05 荣耀终端有限公司 数据处理方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030152A (zh) * 2007-03-20 2007-09-05 华为技术有限公司 基于伪同步方式的操作控制方法及装置
CN101944114A (zh) * 2010-09-16 2011-01-12 深圳天源迪科信息技术股份有限公司 内存数据库和物理数据库间的数据同步方法
CN103235807A (zh) * 2013-04-19 2013-08-07 浪潮集团山东通用软件有限公司 一种支持高并发大数据量的数据抽取处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030152A (zh) * 2007-03-20 2007-09-05 华为技术有限公司 基于伪同步方式的操作控制方法及装置
CN101944114A (zh) * 2010-09-16 2011-01-12 深圳天源迪科信息技术股份有限公司 内存数据库和物理数据库间的数据同步方法
CN103235807A (zh) * 2013-04-19 2013-08-07 浪潮集团山东通用软件有限公司 一种支持高并发大数据量的数据抽取处理方法

Also Published As

Publication number Publication date
CN103488690A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
CN103488690B (zh) 数据集成系统和数据集成方法
US8799213B2 (en) Combining capture and apply in a distributed information sharing system
US10180946B2 (en) Consistent execution of partial queries in hybrid DBMS
US7801852B2 (en) Checkpoint-free in log mining for distributed information sharing
US8037110B2 (en) Business data access client for online/offline client use
US10572510B2 (en) Distributed database transaction protocol
CN105956166B (zh) 数据库读写方法和读写装置
US7783601B2 (en) Replicating and sharing data between heterogeneous data systems
CN103092905B (zh) 使用虚拟文件数据对象的列式数据库
KR101963917B1 (ko) 가장 최근에 사용된 문서 목록들의 자동 동기화 기법
US20230004527A1 (en) Architecture for management of digital files across distributed network
US7702741B2 (en) Configuring or reconfiguring a multi-master information sharing environment
CN106021267B (zh) 对数据结构的并发读取和插入的方法和系统
AU2011282969B2 (en) Application instance and query stores
US20130110767A1 (en) Online Transaction Processing
US9313269B2 (en) Blending single-master and multi-master data synchronization techniques
EP2996051B1 (en) Methods, systems, and apparatus for processing data event streams in a database environment
CN114138894A (zh) 一种分布式事务数据同步方法、装置、设备及可读存储介质
CN113051244A (zh) 数据访问方法和装置、数据获取方法和装置
US11843663B1 (en) Vector-scalar logical clock and associated method, apparatus and system
CN118132573A (zh) 一种数据变更捕获方法、装置、电子设备及存储介质
CN102156718A (zh) 图形数据库联机事务中取消节点数据关系的方法及系统
JP2018101217A (ja) データベースシステムおよびデータ処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100094 Haidian District North Road, Beijing, No. 68

Applicant after: Yonyou Network Technology Co., Ltd.

Address before: 100094 Beijing city Haidian District North Road No. 68, UFIDA Software Park

Applicant before: UFIDA Software Co., Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant