CN106250543B - 一种自动化数据查询同步存储方法 - Google Patents

一种自动化数据查询同步存储方法 Download PDF

Info

Publication number
CN106250543B
CN106250543B CN201610652606.2A CN201610652606A CN106250543B CN 106250543 B CN106250543 B CN 106250543B CN 201610652606 A CN201610652606 A CN 201610652606A CN 106250543 B CN106250543 B CN 106250543B
Authority
CN
China
Prior art keywords
data
information
synchronous
unit
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610652606.2A
Other languages
English (en)
Other versions
CN106250543A (zh
Inventor
邓志强
徐志宏
倪思勇
曹健
王国彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tubatu Group Co Ltd
Original Assignee
Shenzhen Bincent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bincent Technology Co Ltd filed Critical Shenzhen Bincent Technology Co Ltd
Priority to CN201610652606.2A priority Critical patent/CN106250543B/zh
Publication of CN106250543A publication Critical patent/CN106250543A/zh
Application granted granted Critical
Publication of CN106250543B publication Critical patent/CN106250543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity

Abstract

本发明提供了一种自动化数据查询同步存储方法,提供一数据库、开源数据存储工具及数据缓存工具,所述自动化数据同步方法包括以下步骤:获取解析信息单元获取数据库变更数据,判断是否订阅自动化同步服务信息,如果是,则生成变更信息,所述消息队列单元分发业务信息至信息同步处理单元,所述信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步,如果否,则结束生成变更信息;该自动化数据同步体系统能自动捕获数据库中更新数据并同步至开源数据存储工具,节约开发人员开发成本,无需进行开源数据存储工具同步、校验,系统各环节都实现可配置化,能够按配置的灵活的添加、删除新旧业务。

Description

一种自动化数据查询同步存储方法
技术领域
本发明涉及计算机软件技术领域,尤其涉及一种自动化数据查询同步存储方法。
背景技术
随着互联网技术的发展,对于数据的存储、查询已由单一的数据库操作逐渐发展到多样化,其中Elasticserach(开源数据存储工具)在复杂查询的速度上用户体验明显优于数据库。但由于数据库的稳定性、安全性表现突出,又不能完全的抛开数据库独立的使用ES作为存储的容器。一种使用数据库充当数据容器,ES来实现快速查询的模型就产生。既能够确保数据的准确性,又能确保复杂查询的速度。因此,如何确保数据库和ES的数据完全一致成为一个技术难点。
当前同步模型趋向于控制数据的入口,在数据入库时同步更新数据库和开源数据存储工具的内容,确保数据一致,但两套逻辑其中任何一方失败都会导致数据的不一致,故需要再以数据库数据为原始数据进行全量校验。该模型能够实现快速查询复杂逻辑的要求,但是从代码开发层面,需要付出大量的开发成本。
发明内容
本发明要解决的技术问题是提供一种自动化数据查询同步存储方法,该自动化数据查询同步存储方法能自动捕获数据库中更新数据并同步至开源数据存储工具,节约开发人员开发成本,无需进行开源数据存储工具同步、校验,方法各环节都实现可配置化,能够按配置的灵活的添加、删除新旧业务。
为解决上述技术问题,本发明提供了自动化数据查询同步存储方法,提供一数据库、开源数据存储工具及数据缓存工具,所述自动化数据查询同步存储方法包括以下步骤:获取解析信息单元获取数据库变更数据,判断是否订阅自动化同步服务信息,如果是,则生成变更信息并将变更信息输入到消息队列单元,所述消息队列单元分发业务信息至信息同步处理单元,所述信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步,如果否,则结束生成变更信息;
所述消息队列单元输入口为获取数据库变更信息,所述消息队列单元的输出口为输出待进行信息同步处理的业务信息;
所述“获取数据库变更信息”步骤包括捕获变更数据和生成、分发变更信息到消息队列单元,所述“信息同步处理”步骤包括将消息队列单元中存放的变更信息自动同步至所述开源数据存储工具中;
所述获取解析信息单元包括数据同步工具,所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤包括:将数据同步工具定义成从服务器库,向数据库发送dump协议,数据库收到dump协议后将二进制日志信息发送给从服务器库,所述数据同步工具对二进制日志信息进行解析,获取数据库的数据变化。
优选地,所述获取解析信息单元还包括订阅客户端,所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤还包括通过所述订阅客户端订阅指定的数据结构及表,使用所述数据同步工具获取数据库的日志信息,并通过指定的数据结构完成对日志信息的解析。
优选地,所述信息同步处理单元包括数据同步消费服务单元及若干个消费客户端,所述“信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步”步骤包括:
步骤11:所述获取解析信息单元根据数据库变更的信息配置不同业务线的信息,并通过所述消息队列单元将变更的业务信息自动地分发到各业务订阅的消息队列;
步骤12:判断是否有待消费的信息,如果是,则执行步骤13,如果否,则执行步骤16;
步骤13:解析所述消费信息;
步骤14:判断是否存在特殊的逻辑,如果是,则处理对应的逻辑,如果否,则执行步骤15;
步骤15:所述数据同步消费服务单元将各业务的信息同步进行物理隔离,再由各个所述对应的消费客户端的消费服务独立完成各自的数据同步;
步骤16:重新等待。
优选地,所述开源数据存储工具由索引和类型指定数据空间,所述数据库中表格结构和开源数据存储工具的类型一一映射从而完成数据同步。
优选地,所述数据库中一个表格分别以不同的类型存在于所述开源数据存储工具,针对一份数据,同时同步数据至所述开源数据存储工具中指定的n个类型或类型中的子属性。
优选地,所述开源数据存储工具及所述数据缓存工具包括集群、索引、类型。
优选地,所述数据库包括数据库链接基本信息、数据库索引、数据表。
优选地,所述消息队列单元指定待消费数据源。
优选地,所述信息同步处理单元设定消费模型,并指定消费者按何种模型进行消费。
采用了上述方法之后,获取解析信息单元获取数据库变更数据,判断是否订阅自动化同步服务信息,如果是,则生成变更信息,所述消息队列单元分发业务信息至信息同步处理单元,所述信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步,如果否,则结束生成变更信息;所述消息队列单元输入口为获取数据库变更信息,所述消息队列单元的输出口为输出待进行信息同步处理的业务信息;获取数据库变更信息步骤包括捕获变更数据和生成、分发变更信息到消息队列单元,所述信息同步处理步骤包括将消息队列单元中存放的变更信息自动同步至所述开发源数据存储工具中;所述获取解析信息单元包括数据同步工具,获取解析信息单元获取数据库变更数据并生成变更信息步骤包括:将数据同步工具定义成从服务器库,向数据库发送dump协议,数据库收到dump协议后将二进制日志信息发送给从服务器库,所述数据同步工具对二进制日志信息进行解析,获取数据库的数据变化,该自动化数据查询同步存储方法能自动捕获数据库中更新数据并同步至开源数据存储工具,节约开发人员开发成本,无需进行开源数据存储工具同步、校验,方法各环节都实现可配置化,能够按配置的灵活的添加、删除新旧业务。
附图说明
图1是本发明的自动化数据查询同步存储方法的步骤流程图;
图2是与图1的步骤流程图对应的整体模型示意图;
图3是本发明自动化数据查询同步存储方法的信息同步处理步骤的流程图;
图4是本发明自动化数据查询同步存储方法的获取解析信息步骤的流程图;
图5是本发明自动化数据查询同步存储方法的不同类型的业务同步模型的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
请参阅图1及图2,图1是本发明的自动化数据查询同步存储方法的步骤流程图;图2是与图1的步骤流程图对应的整体模型示意图。
本发明公开的一种自动化数据查询同步存储方法,提供一数据库20、开源数据存储工具30及数据缓存工具50,数据库20、开源数据存储工具30及数据缓存工具50通过数据封装单元40进行数据交换,所述自动化数据查询同步存储方法包括以下步骤:
获取解析信息单元10获取数据库变更数据,判断是否订阅自动化同步服务信息,如果是,则生成变更信息并将变更信息输入到消息队列单元16,消息队列单元16分发业务信息至信息同步处理单元60,信息同步处理单元60对消息队列单元16分发的业务信息进行数据同步,如果否,则结束生成变更信息;
消息队列单元16输入口为获取数据库变更信息,消息队列单元16的输出口为输出待进行信息同步处理的业务信息;
请参阅图4,图4是本发明自动化数据查询同步存储方法的获取解析信息步骤的流程图;
所述“获取数据库变更信息”步骤包括捕获变更数据和生成、分发变更信息到消息队列单元16,所述信息同步处理步骤包括将消息队列单元16中存放的变更信息自动同步至开源数据存储工具30中;
获取解析信息单元10包括数据同步工具,所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤包括:将数据同步工具定义成从服务器库,向数据库20发送dump协议,数据库20收到dump协议后将二进制日志信息发送给从服务器库,数据同步工具对二进制日志信息进行解析,获取数据库20的数据变化。
获取解析信息单元10还包括订阅客户端14、若干个业务服务端12及数据转发中心子单元15,各个订阅客户端14将接收到的数据通过数据转发中心单元15进行解析后传给消息队列单元16,所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤还包括通过所述订阅客户端14订阅指定的数据结构及表,使用所述数据同步工具获取数据库的日志信息,并通过指定的数据结构完成对日志信息的解析。
请参阅图3,图3是本发明自动化数据查询同步存储方法的信息同步处理步骤的流程图;
信息同步处理单元60包括数据同步消费服务单元及若干个消费客户端62,所述“信息同步处理单元60对所述消息队列单元分发的业务信息进行数据同步”步骤包括:
步骤11:获取解析信息单元10根据数据库20变更的信息配置不同业务线的信息,并通过消息队列单元16将变更的业务信息自动地分发到各业务订阅的消息队列;
步骤12:判断是否有待消费的信息,如果是,则执行步骤13,如果否,则执行步骤16;
步骤13:解析所述消费信息;
步骤14:判断是否存在特殊的逻辑,如果是,则处理对应的逻辑,如果否,则执行步骤15;
步骤15:数据同步消费服务单元63将各业务的信息同步进行物理隔离,再由各个所述对应的消费客户端62的消费服务独立完成各自的数据同步;
步骤16:重新等待。
开源数据存储工具30由索引和类型指定数据空间,数据库20中表格结构和开源数据存储工具30的类型一一映射从而完成数据同步。
数据库20中一个表格分别以不同的类型存在于开源数据存储工具30,针对一份数据,同时同步数据至开源数据存储工具30中指定的n个类型或类型中的子属性。
开源数据存储工具30及所述数据缓存工具包括集群、索引、类型。
数据库20包括数据库链接基本信息、数据库索引、数据表。
消息队列单元16指定待消费数据源。
信息同步处理单元63设定消费模型,并指定消费者按何种模型进行消费。
数据库20变更、生成变更信息即是生产,获取数据同步即是消费。
各业务线各有一个消费者实例,通过配置,获取到业务注册队列,从消息队列单元中获取对应待消费数据,开源数据存储工具30由索引和类型指定数据空间,本实施例中,开源数据存储工具30的同步包括两种模型:
模型一:1:1模型,即数据库20中表格结构和开源数据存储工具30的类型一一映射从而完成数据同步;
模型二:数据库20中一个表格分别以不同的类型存在于开源数据存储工具30,针对一份数据,同时同步数据至开源数据存储工具30中指定的n个类型或类型中的子属性。
以上的同步操作,通过消费者自身的配置即可完成,即当添加一个新业务需要使用数据同步服务,无需做任何代码上的开发,只需按标准化配置,配置好即可完成数据库20和开源数据存储工具30的数据同步。
请参阅图4,图4是本发明自动化数据查询同步存储方法的不同类型的业务同步模型的结构示意图;
图4中共有四条相互独立的业务线,其中业务A、B、C分别订阅了数据同步服务,业务D未订阅同步服务。当业务D中的数据库发生变化,由于未订阅同步服务,更新完数据库后,并未有任何其他操作。业务A、B、C分别订阅了同步分钟中的不同模型。业务A满足1:1模型。数据库表结构能够与的类型一一对应。业务B也满足1:1模型,但其表结构只是某个开源数据存储工具30的类型的子属性。业务C满足1:n模型,即同一个表结构在开源数据存储工具30中有若干份数据需要同步,其数据能够是一个开源数据存储工具30的类型也可以是开源数据存储工具30任一种类型中的一个子属性。当订阅了自动同步服务的业务有相关表数据变化后,同步服务通过开源数据同步工具获取数据库变更日志,解析成消费端指定的数据格式,通过配置的消息队列名,通过数据分发中心将待消费的数据分别的存入对应的消息对列单元队列,获取解析信息单元需要完成数据的捕获、解析、分发。
当消费者服务侦听到对应队列有待消费数据,则开始数据消费。消费者具备高可配性,能够灵活的配置开源数据存储工具30、数据库、消息队列、消费模型。
开源数据存储工具30配置包括集群、索引、类型。
数据库包括数据库链接基本信息、数据库、表。
消费队列指定待消费数据源。消费模型指定消费者按何种模型进行消费。从而能够满足不同业务的不同同步需求。消费者将数据库变更同步至开源数据存储工具30则整个服务流程就完成了。
整个同步服务具备高可配性,业务D若因业务变更需要使用开源数据存储工具30,则只需在生产和消费两个部分,添加对应规范化配置,则能够使用数据的自动化同步。
采用了上述方法之后,获取解析信息单元10获取数据库20变更数据,判断是否订阅自动化同步服务信息,如果是,则生成变更信息,消息队列单元16分发业务信息至信息同步处理单元60,信息同步处理单元60对消息队列单元16分发的业务信息进行数据同步,如果否,则结束生成变更信息;消息队列单元16输入口为获取数据库变更信息,消息队列单元16的输出口为输出待进行信息同步处理的业务信息;获取数据库20变更信息步骤包括捕获变更数据和生成、分发变更信息到消息队列单元16,所述信息同步处理步骤包括将消息队列单元16中存放的变更信息自动同步至开发源数据存储工具30中;获取解析信息单元10包括数据同步工具,获取解析信息单元10获取数据库变更数据并生成变更信息步骤包括:将数据同步工具定义成从服务器库,向数据库20发送dump协议,数据库20收到dump协议后将二进制日志信息发送给从服务器库,所述数据同步工具对二进制日志信息进行解析,获取数据库的数据变化,该自动化数据查询同步存储方法能自动捕获数据库中更新数据并同步至开源数据存储工具,节约开发人员开发成本,无需进行开源数据存储工具同步、校验,方法各环节都实现可配置化,能够按配置的灵活的添加、删除新旧业务。
同时,应当理解的是,以上仅为本发明的优选实施例,不能因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效实现方法,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种自动化数据查询同步存储方法,其特征在于:提供一数据库、开源数据存储工具及数据缓存工具,所述开源数据存储工具是一种与所述数据库功能相似但查询速度优于所述数据库的工具,所述自动化数据查询同步存储方法包括以下步骤:获取解析信息单元获取数据库变更数据,判断是否订阅自动化同步服务信息,如果是,则生成变更信息并将变更信息输入到消息队列单元,所述消息队列单元分发业务信息至信息同步处理单元,所述信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步,如果否,则结束生成变更信息;
所述消息队列单元输入口为获取数据库变更信息,所述消息队列单元的输出口为输出待进行信息同步处理的业务信息;
所述“获取数据库变更信息”步骤包括捕获变更数据和生成、分发变更信息到消息队列单元,所述“信息同步处理”步骤包括将消息队列单元中存放的变更信息自动同步至所述开源数据存储工具中;
所述获取解析信息单元包括数据同步工具,所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤包括:将数据同步工具定义成从服务器库,向数据库发送dump协议,数据库收到dump协议后将二进制日志信息发送给从服务器库,所述数据同步工具对二进制日志信息进行解析,获取数据库的数据变化。
2.根据权利要求1所述的自动化数据查询同步存储方法,其特征在于:所述获取解析信息单元还包括订阅客户端,所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤还包括通过所述订阅客户端订阅指定的数据结构及表,使用所述数据同步工具获取数据库的日志信息,并通过指定的数据结构完成对日志信息的解析。
3.根据权利要求1所述的自动化数据查询同步存储方法,其特征在于:所述信息同步处理单元包括数据同步消费服务单元及若干个消费客户端,所述“信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步”步骤包括:
步骤11:所述获取解析信息单元根据数据库变更的信息配置不同业务线的信息,并通过所述消息队列单元将变更的业务信息自动地分发到各业务订阅的消息队列;
步骤12:判断是否有待消费的信息,如果是,则执行步骤13,如果否,则执行步骤16;
步骤13:解析所述消费信息;
步骤14:判断是否存在特殊的逻辑,如果是,则处理对应的逻辑,如果否,则执行步骤15;
步骤15:所述数据同步消费服务单元将各业务的信息同步进行物理隔离,再由各个所述对应的消费客户端的消费服务独立完成各自的数据同步;
步骤16:重新等待。
4.根据权利要求1所述的自动化数据查询同步存储方法,其特征在于:所述开源数据存储工具由索引和类型指定数据空间,所述数据库中表格结构和开源数据存储工具的类型一一映射从而完成数据同步。
5.根据权利要求4所述的自动化数据查询同步存储方法,其特征在于:所述数据库中一个表格分别以不同的类型存在于所述开源数据存储工具,针对一份数据,同时同步数据至所述开源数据存储工具中指定的n个类型或类型中的子属性。
6.根据权利要求1至5任一所述的自动化数据查询同步存储方法,其特征在于:所述开源数据存储工具及所述数据缓存工具包括集群、索引、类型。
7.根据权利要求1至5任一所述的自动化数据查询同步存储方法,其特征在于:所述数据库包括数据库链接基本信息、数据库索引、数据表。
8.根据权利要求1至5任一所述的自动化数据查询同步存储方法,其特征在于:所述消息队列单元指定待消费数据源。
9.根据权利要求1至5任一所述的自动化数据查询同步存储方法,其特征在于:所述信息同步处理单元设定消费模型,并指定消费者按何种模型进行消费。
CN201610652606.2A 2016-08-10 2016-08-10 一种自动化数据查询同步存储方法 Active CN106250543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610652606.2A CN106250543B (zh) 2016-08-10 2016-08-10 一种自动化数据查询同步存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610652606.2A CN106250543B (zh) 2016-08-10 2016-08-10 一种自动化数据查询同步存储方法

Publications (2)

Publication Number Publication Date
CN106250543A CN106250543A (zh) 2016-12-21
CN106250543B true CN106250543B (zh) 2019-09-10

Family

ID=58079171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610652606.2A Active CN106250543B (zh) 2016-08-10 2016-08-10 一种自动化数据查询同步存储方法

Country Status (1)

Country Link
CN (1) CN106250543B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980643A (zh) * 2017-02-14 2017-07-25 阿里巴巴集团控股有限公司 变更消息的发送方法、装置及电子设备
CN107506379A (zh) * 2017-07-20 2017-12-22 北京影合众新媒体技术服务有限公司 基于数据库row模式构建流式实时电影生态模型的方法
CN107665255B (zh) * 2017-09-30 2020-12-15 杭州时趣信息技术有限公司 键值数据库数据变更的方法、装置、设备及存储介质
CN108009252A (zh) * 2017-12-04 2018-05-08 传神语联网网络科技股份有限公司 数据同步的方法及装置
CN108255621A (zh) * 2018-01-10 2018-07-06 深圳友门鹿网络科技有限公司 一种基于binlog的MySQL增量消息解析方法
CN110543513B (zh) * 2018-05-29 2024-03-15 金篆信科有限责任公司 分布式数据库增量数据同步方法、设备及存储介质
CN108833569A (zh) * 2018-06-27 2018-11-16 郑州云海信息技术有限公司 一种数据同步方法及相关装置
CN109145059A (zh) * 2018-06-29 2019-01-04 深圳市彬讯科技有限公司 用于数据统计的数据处理方法、服务器及存储介质
CN110895534A (zh) * 2018-08-24 2020-03-20 北京京东尚科信息技术有限公司 一种数据拼接方法、装置、介质及电子设备
CN110941621A (zh) * 2018-09-25 2020-03-31 北京国双科技有限公司 一种内外网间同步数据库的方法及装置
TWI678087B (zh) * 2018-11-22 2019-11-21 財團法人工業技術研究院 訊息佇列發佈與訂閱之同步方法及其系統
CN109684341B (zh) * 2018-12-21 2023-09-08 上海瀚银信息技术有限公司 一种业务数据的实时同步系统及方法
CN113743697A (zh) * 2020-08-21 2021-12-03 西安京迅递供应链科技有限公司 一种风险告警方法和装置
CN113420088B (zh) * 2021-06-24 2024-04-26 广州欢网科技有限责任公司 一种缓存数据库和数据库同步的方法、装置及终端
CN113742356A (zh) * 2021-08-17 2021-12-03 深圳Tcl新技术有限公司 数据同步方法、装置、存储介质及电子设备
CN114048241A (zh) * 2022-01-12 2022-02-15 树根互联股份有限公司 工业互联网数据的同步方法、装置和电子设备
CN115081679A (zh) * 2022-05-19 2022-09-20 中核武汉核电运行技术股份有限公司 基于cdc的工业数据动态变化自动感知处理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672552B2 (en) * 2014-03-27 2017-06-06 GroupBy Inc. Methods of augmenting search engines for ecommerce information retrieval

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"一种基于Hadoop平台Dump模块的设计与实现";黄振奎;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130215(第02期);论文第3.2节
"一种基于HBase的海量空间遥感数据检索系统";林久对;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215(第02期);论文,6.1,6.2.2节,图6.2
"基于Elastic Search的分布式日志搜索系统设计";吕佳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160115(第01期);论文第1.3.3,2.2.1,2.4.2,3.4,4.1.3,4.3,4.5.3,4.3节

Also Published As

Publication number Publication date
CN106250543A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
CN106250543B (zh) 一种自动化数据查询同步存储方法
CN106294741B (zh) 一种自动化数据查询同步存储系统
CN108536761B (zh) 报表数据查询方法及服务器
US10122665B2 (en) Distributed synchronization data in a message management service
CN109325008A (zh) 面向消息中间件的跨域数据同步方法与系统
CN102368261A (zh) 一种可扩展的运维报表生成方法
CN104778175A (zh) 一种实现异构数据库数据同步的方法及系统
CN110781197B (zh) 一种hive离线同步校验方法、装置及电子设备
US10747588B2 (en) Method for updating instance-based message maps using metadata
CN113485781A (zh) 报表生成方法、装置、电子设备及计算机可读介质
CN110704465A (zh) 一种处理业务工单表的方法、装置及存储介质
CN108256820A (zh) 一种基于mbd的三维装配视图下的pbom调整方法
CN107133160B (zh) 服务器和客户端
CN113076304A (zh) 一种分布式版本管理方法、装置和系统
CN112416991A (zh) 一种数据处理方法、装置以及存储介质
CN114116259A (zh) 基于消息队列的消息实时推送方法、系统、装置及介质
CN114416868B (zh) 一种数据同步方法、装置、设备及存储介质
CN111159300A (zh) 基于区块链的数据处理方法及装置
US20170344592A1 (en) Database integration system
CN108959309B (zh) 数据分析的方法和装置
US10740324B1 (en) Methods, apparatuses, and systems for ingesting and consuming data utilizing a trading partner manager
CN114281307A (zh) 一种低代码多环境同步发布平台
CN114661277B (zh) 一种基于opc技术的客户端中间件及其实现方法
CN113329043A (zh) 一种数据服务提供方法及装置
CN112187916A (zh) 一种跨系统的数据同步方法与装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 518000 R & D room 3501, block a, building 7, Vanke Cloud City Phase I, Xingke 1st Street, Xili community, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Tubatu Group Co.,Ltd.

Address before: 1001-a, 10th floor, bike technology building, No.9, Keke Road, high tech Zone, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: SHENZHEN BINCENT TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address