CN111026727A - 基于日志文件的表维度检索数据同步方法、系统及装置 - Google Patents

基于日志文件的表维度检索数据同步方法、系统及装置 Download PDF

Info

Publication number
CN111026727A
CN111026727A CN201911018828.9A CN201911018828A CN111026727A CN 111026727 A CN111026727 A CN 111026727A CN 201911018828 A CN201911018828 A CN 201911018828A CN 111026727 A CN111026727 A CN 111026727A
Authority
CN
China
Prior art keywords
data
log file
log
processor
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911018828.9A
Other languages
English (en)
Inventor
崔云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN201911018828.9A priority Critical patent/CN111026727A/zh
Publication of CN111026727A publication Critical patent/CN111026727A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及网络技术领域，公开了一种基于日志文件的表维度检索数据同步方法、系统及装置。所述方法包括：将数据库接入日志解析组件，以将数据库的原始日志文件解析为目标格式；基于所述目标格式的日志文件，根据日志文件中表的数据特征实现对应的表数据处理器；将日志文件中的表派发到对应的表数据处理器；通过表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；将映射后的日志文件的表数据字段推送到搜索服务器。本发明实现基于日志文件的检索数据同步服务，同步速度快、实时性好；而且无需在业务系统侵入同步相关代码，便于业务系统的维护和扩展，不会出现数据遗漏，能够保证搜索服务器与数据库中数据的一致性。

Description

基于日志文件的表维度检索数据同步方法、系统及装置
技术领域
本发明涉及网络技术领域，具体而言，涉及一种基于日志文件的表维度检索数据同步方法、一种基于日志文件的表维度检索数据同步系统及一种基于日志文件的表维度检索数据同步装置。
背景技术
在互联网公司，大部分在线业务的数据都是基于MySQL数据库存储的。在业务系统中直接查询、分析数据，业务处理与数据查询、分析耦合在一起，导致数据分析与业务逻辑之间相互影响，导致查询、分析速度慢。对存储在MySQL中的业务数据使用SQL语言做实时分析，为了提升分析结果的实时性，可能需要每分钟甚至几秒钟执行一次，SQL语句执行的时间间隔越小，MySQL的性能压力就越大；另外MySQL在做数据分析的同时还需应对来自业务系统的读写请求，MySQL的负荷非常大，导致业务系统的稳定性难以保证。
目前，越来越多的公司使用搜索引擎来实现自己的查询、分析服务。使用搜索引擎需要将业务数据库(MySQL)中的数据实时同步到搜索服务器中。常规的方式是在业务数据变更的相关代码后添加同步搜索服务器的相关代码，这种方式需要在业务代码中侵入大量的代码，维护成本高，扩展性差。若某些变更无法直接在业务系统中没有相应的系统接口，无法直接编码，需要操作MySQL数据库来完成变更，则变更的数据无法同步到搜索服务器，导致变更数据被遗漏。
发明内容
本发明的目的是提供一种基于日志文件的表维度检索数据同步方法、系统、装置及存储介质，以解决上述的业务数据库与搜索服务器的数据同步中存在的问题。
为了实现上述目的，在本发明第一方面提供一种基于日志文件的表维度检索数据同步方法，所述方法包括：
将数据库接入日志解析组件，以
将数据库的原始日志文件解析为目标格式；
基于所述目标格式的日志文件，根据日志文件中表的数据特征实现对应的表数据处理器；
将所述日志文件中的表派发到对应的表数据处理器；
通过所述表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；
将映射后的日志文件的表数据字段推送到搜索服务器。
可选地，通过任务调度器的策略调度将所述日志文件中的表派发到对应的表数据处理器。
可选地，由所述表数据处理器根据日志文件的事件类型以及数据更新情况将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段。
可选地，所述搜索引擎为ElasticSearch搜索引擎。
可选地，所述日志解析组件是Canal组件。
可选地，通过所述Canal组件将所述数据库的原始日志文件解析为JSON格式。
本发明第二方面提供一种基于日志文件的表维度检索数据同步系统，所述系统包括：
数据输入层，包括日志解析组件，用于通过所述日志解析组件将接收到的原始日志文件解析为目标格式；
数据映射层，包括任务调度器和表数据处理器，用于通过所述任务调度器的策略调度将所述目标格式的的日志文件中的表派发到对应的表数据处理器；由所述表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；
数据输出层，用于将映射后的日志文件的表数据字段推送到搜索服务器。
可选地，所述日志解析组件是Canal组件，所述Canal组件用于将接收到的原始日志文件解析为JSON格式。
本发明第三方面提供一种基于日志文件的表维度检索数据同步装置，所述装置包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述存储器中存储的所述程序指令以实现上述的基于日志文件的表维度检索数据同步方法步骤。
本发明第四方面提供一种存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述的基于日志文件的表维度检索数据同步方法步骤。
本发明上述技术方案中，所述日志文件可以包括二进制日志文件，例如binlog。通过binlog日志解析组件将MySQL数据库的binlog解析为明文格式，然后实现与binlog中的表相对应的表数据处理器；通过表数据处理器将binlog表中的变更字段映射为与搜索引擎匹配的数据字段并推送到搜索服务器，实现基于binlog的检索数据同步服务。该数据同步是基于binlog中的表，即基于表维度的数据同步，仅同步表中的变更字段，同步密度细、速度快、实时性好。本发明的技术方案，通过binlog直接监听业务数据库的变更，无需在业务系统侵入同步搜索引擎相关的代码，便于业务系统的维护和扩展。若在某些情况下需要直接向MySQL数据库导入数据或直接修改MySQL数据库，都会产生相应的binlog，因此，在MySQL数据库中添加新的数据或调整原有数据时，都会被写入binlog，都会被映射为与搜索引擎匹配的数据字段并推送到搜索服务器，不会出现数据遗漏的问题，能够很好的保证搜索服务器与MySQL中数据的一致性。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施方式，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一种实施方式提供的基于binlog日志文件的表维度检索数据同步方法的流程图；
图2为本发明一种可选实施方式提供的基于binlog日志文件的表维度检索数据同步系统的示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本文中，所述数据库例如Oracle，SQLServer，DB2，Mysql等关系型数据库以及MongoDB、redis等非关系型数据库。以下多以MySQL来进行举例说明。
本文中，多以binlog作为一种日志文件来进行举例说明。
图1是本发明一种实施方式提供的基于binlog日志文件的表维度检索数据同步方法的流程图。如图1所示，一种基于binlog日志文件的表维度检索数据同步方法，包括：
S1.将MySQL数据库接入binlog解析组件。
业务事件数据在产生的时候通过一个应用程序接口写入MySQL数据库，MySQL数据库被配置为启用二进制日志文件binlog，在数据直接写入MySQL数据库时，同时将更新数据写到binlog文件中。应用程序接口只负责写入操作，每一条数据在MySQL数据库中插入或者修改一个条目，这些插入或者修改内容的SQL语句同时被存储在MySQL数据库的binlog中。
将MySQL数据库接入binlog解析组件，即将MySQL数据库的binlog连接到binlog解析组件。
S2.binlog解析组件将MySQL数据库的原始binlog解析为目标格式。
所述binlog解析组件对MySQL数据库的原始binlog进行解析，将其解析为JSON格式或XML格式等目标格式。本实施方式中，所述binlog解析组件采用Canal组件，通过Canal组件将原始binlog解析为JSON格式。
JSON(JavaScript Object Notation,JS对象简谱)是一种轻量级的数据交换格式。它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。JSON的语法只支持字符串、数值、布尔值及null以及在此基础上的对象和数组，具有简洁、清晰的层次结构，易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
MySQL的主备复制过程包括：master将改变记录到二进制日志binlog(binarylog)中(这些记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看)；slave将master的binary log events拷贝到它的中继日志(relay log)；slave重做中继日志中的事件。
Canal解析binlog的原理为：canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议；mysql master收到dump请求，开始推送binary log给slave(也就是canal)；canal解析binary log对象(原始为byte流)，将其解析为JSON格式。
本实施例中，Canal组件解析后输出的binlog格式表格如下：
Figure BDA0002246536480000061
S3.基于所述目标格式的binlog，根据binlog中每个表的数据特征实现对应的表数据处理器。
具体地，基于上述JSON格式的binlog文件，根据binlog中表(table)的数据特征(例如，上述binlog格式表格中table中的status字段)实现对应的表数据处理器TableHandler。
S4.将binlog中的表派发到对应的表数据处理器。
具体地，通过任务调度器Dispatcher的策略调度将binlog中的表(table)派发到对应的表数据处理器TableHandler。
S5.通过表数据处理器将binlog表中的变更字段映射为与搜索引擎匹配的数据字段。
具体地，表数据处理器TableHandler根据binlog的事件类型(新增字段(INSERT)、更新字段(UPDATE)、删除字段(DELETE))以及数据更新情况将binlog表中的变更字段(例如，Table中的status字段由1变为0)映射为与搜索引擎匹配的数据字段。
S6.将映射后的binlog表数据字段推送到搜索服务器。
本实施方式中，所述搜索引擎为ElasticSearch搜索引擎。ElasticSearch是一个基于Lucene的搜索服务器，提供一个分布式多用户能力的全文搜索引擎，是一种企业级搜索引擎，它通过JSON和Java API提供检索服务特性。使用ElasticSearch作为检索服务需要将业务数据库(MySQL)中的数据实时保存到ElasticSearch中。上述步骤S2中通过Canal组件将原始binlog解析为JSON格式，以匹配ElasticSearch搜索引擎的数据格式。上述步骤S5通过表数据处理器将binlog表中的变更字段映射为与ElasticSearch搜索引擎匹配的数据字段，最后推送该数据字段到ElasticSearch搜索服务器，实现基于binlog的检索数据同步服务。该数据同步是基于binlog中的表，即基于表维度的数据同步，仅同步表中的变更字段，同步密度细、速度快、实时性好。
本发明实施方式的技术方案，通过binlog直接监听业务数据库MySQL的变更，无需在业务系统侵入同步搜索引擎的相关代码，因此，便于业务系统的维护和扩展。若因某种原因需要直接向MySQL导入数据或直接修改MySQL数据库，都会产生相应的binlog，因此，在MySQL中添加新的数据或调整原有数据时，都会被写入binlog，都会被映射为与搜索引擎匹配的数据字段并推送到搜索服务器，不会出现数据遗漏的问题，能够很好的保证搜索服务器与MySQL中数据的一致性。
本发明实施方式还提供一种基于binlog日志文件的表维度检索数据同步装置，所述装置包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述存储器中存储的所述程序指令以实现上述的基于binlog的表维度检索数据同步方法步骤。
本发明实施方式还提供一种存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述的基于binlog日志文件的表维度检索数据同步方法步骤。
图2为本发明一种可选实施方式提供的基于binlog日志文件的表维度检索数据同步系统的示意图。如图2所示，本发明一种可选实施方式提供的基于binlog日志文件的表维度检索数据同步系统，所述系统包括数据输入层、数据映射层和数据输出层。
所述数据输入层，包括日志解析组件，所述日志解析组件将接收到的原始日志文件解析为目标格式。本实施例中，所述日志解析组件为Canal组件，通过Canal组件将数据库MySQL-1至MySQL-N的原始日志文件(binlog)解析为JSON格式的binlog数据。
所述数据映射层，包括任务调度器(Dispatcher)和表数据处理器(TableHandler)，通过所述任务调度器(Dispatcher)的策略调度将所述目标格式的日志文件中的表(Table1至TableN)派发到对应的表数据处理器(Table1Handler至TableNHandler)；所述表数据处理器，例如根据日志文件的事件类型(新增字段(INSERT)、更新字段(UPDATE)、删除字段(DELETE))以及数据更新情况，将日志文件的表中的变更字段(例如，Table中的status字段)映射为与搜索引擎(ElasticSearch)匹配的数据字段。
所述数据输出层，通过所述表数据处理器(Table1Handler至TableNHandler)将映射后的日志文件的表数据字段推送到(ElasticSearch)搜索服务器。
以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (10)

1.一种基于日志文件的表维度检索数据同步方法，其特征在于，所述方法包括：
将数据库接入日志解析组件，以
将数据库的原始日志文件解析为目标格式；
基于所述目标格式的日志文件，根据日志文件中表的数据特征实现对应的表数据处理器；
将所述日志文件中的表派发到对应的表数据处理器；
通过所述表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；
将映射后的日志文件的表数据字段推送到搜索服务器。
2.根据权利要求1所述的基于日志文件的表维度检索数据同步方法，其特征在于，所述将所述日志文件中的表派发到对应的表数据处理器，包括：
通过任务调度器的策略调度将所述日志文件中的表派发到对应的表数据处理器。
3.根据权利要求1所述的基于日志文件的表维度检索数据同步方法，其特征在于，所述通过所述表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段，包括：
由所述表数据处理器根据日志文件的事件类型以及数据更新情况将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段。
4.根据权利要求3所述的基于日志文件的表维度检索数据同步方法，其特征在于，所述搜索引擎为ElasticSearch搜索引擎。
5.根据权利要求1所述的基于日志文件的表维度检索数据同步方法，其特征在于，所述日志解析组件是Canal组件。
6.根据权利要求5所述的基于日志文件的表维度检索数据同步方法，其特征在于，通过所述Canal组件将所述数据库的原始日志文件解析为JSON格式。
7.一种基于日志文件的表维度检索数据同步系统，其特征在于，所述系统包括：
数据输入层，包括日志解析组件，用于通过所述日志解析组件将接收到的原始日志文件解析为目标格式；
数据映射层，包括任务调度器和表数据处理器，用于通过所述任务调度器的策略调度将所述目标格式的日志文件中的表派发到对应的表数据处理器；由所述表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；
数据输出层，用于将映射后的日志文件的表数据字段推送到搜索服务器。
8.根据权利要求7所述的基于日志文件的表维度检索数据同步系统，其特征在于，所述日志解析组件是Canal组件，所述Canal组件用于将接收到的原始日志文件解析为JSON格式。
9.一种基于日志文件的表维度检索数据同步装置，其特征在于，所述装置包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述存储器中存储的所述程序指令以实现权利要求1至6中任一项所述的基于日志文件的表维度检索数据同步方法步骤。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任一项所述的基于日志文件的表维度检索数据同步方法步骤。
CN201911018828.9A 2019-10-24 2019-10-24 基于日志文件的表维度检索数据同步方法、系统及装置 Pending CN111026727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911018828.9A CN111026727A (zh) 2019-10-24 2019-10-24 基于日志文件的表维度检索数据同步方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911018828.9A CN111026727A (zh) 2019-10-24 2019-10-24 基于日志文件的表维度检索数据同步方法、系统及装置

Publications (1)

Publication Number Publication Date
CN111026727A true CN111026727A (zh) 2020-04-17

Family

ID=70200384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911018828.9A Pending CN111026727A (zh) 2019-10-24 2019-10-24 基于日志文件的表维度检索数据同步方法、系统及装置

Country Status (1)

Country Link
CN (1) CN111026727A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522918A (zh) * 2020-04-24 2020-08-11 天津易维数科信息科技有限公司 数据汇聚方法、装置、电子设备及计算机可读存储介质
CN111581232A (zh) * 2020-04-30 2020-08-25 重庆富民银行股份有限公司 一种基于elk的慢sql实时分析方法及系统
CN111639016A (zh) * 2020-05-29 2020-09-08 北京合力思腾科技股份有限公司 大数据日志分析方法、装置及计算机存储介质
CN112416944A (zh) * 2020-12-03 2021-02-26 云知声智能科技股份有限公司 一种同步业务数据的方法和设备
CN112905707A (zh) * 2021-03-31 2021-06-04 浙江太美医疗科技股份有限公司 关系数据库与搜索引擎的同步方法、装置和计算机存储介质
CN113407634A (zh) * 2021-07-05 2021-09-17 挂号网（杭州）科技有限公司 一种数据同步方法、装置、系统、服务器和存储介质
CN113821492A (zh) * 2020-06-19 2021-12-21 北京国电思达科技有限公司 一种基于Redis的风机数据读写方法、装置、系统和介质
CN114970479A (zh) * 2022-07-29 2022-08-30 飞狐信息技术（天津）有限公司 图表生成方法及装置
CN115840788A (zh) * 2023-02-21 2023-03-24 创意信息技术股份有限公司 一种MySql数据同步到ES的方法、装置、终端及存储介质
CN116431885A (zh) * 2023-06-08 2023-07-14 北京新里程叮铃科技有限公司 高可用的实时搜索系统
CN116578655A (zh) * 2023-07-06 2023-08-11 舟谱数据技术南京有限公司 一种数据传输系统及其控制方法
CN117540151A (zh) * 2023-12-08 2024-02-09 深圳市亲邻科技有限公司 一种数据推送系统的数据预处理方法
CN117632889A (zh) * 2024-01-24 2024-03-01 北京安华金和科技有限公司 一种审计日志的全文索引处理方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107402963A (zh) * 2017-06-20 2017-11-28 阿里巴巴集团控股有限公司 搜索数据的构建方法、增量数据的推送方法及装置和设备
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN108920659A (zh) * 2018-07-03 2018-11-30 广州唯品会信息科技有限公司 数据处理系统及其数据处理方法、计算机可读存储介质
CN109284334A (zh) * 2018-09-05 2019-01-29 拉扎斯网络科技（上海）有限公司 实时数据库同步方法、装置、电子设备及存储介质
CN109492012A (zh) * 2018-10-31 2019-03-19 厦门安胜网络科技有限公司 一种数据实时统计和检索的方法、装置及存储介质
CN109815261A (zh) * 2018-12-11 2019-05-28 北京荣之联科技股份有限公司 全局搜索功能实现及数据实时同步方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN107402963A (zh) * 2017-06-20 2017-11-28 阿里巴巴集团控股有限公司 搜索数据的构建方法、增量数据的推送方法及装置和设备
CN108920659A (zh) * 2018-07-03 2018-11-30 广州唯品会信息科技有限公司 数据处理系统及其数据处理方法、计算机可读存储介质
CN109284334A (zh) * 2018-09-05 2019-01-29 拉扎斯网络科技（上海）有限公司 实时数据库同步方法、装置、电子设备及存储介质
CN109492012A (zh) * 2018-10-31 2019-03-19 厦门安胜网络科技有限公司 一种数据实时统计和检索的方法、装置及存储介质
CN109815261A (zh) * 2018-12-11 2019-05-28 北京荣之联科技股份有限公司 全局搜索功能实现及数据实时同步方法、装置及电子设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522918A (zh) * 2020-04-24 2020-08-11 天津易维数科信息科技有限公司 数据汇聚方法、装置、电子设备及计算机可读存储介质
CN111581232B (zh) * 2020-04-30 2023-04-25 重庆富民银行股份有限公司 一种基于elk的慢sql实时分析方法及系统
CN111581232A (zh) * 2020-04-30 2020-08-25 重庆富民银行股份有限公司 一种基于elk的慢sql实时分析方法及系统
CN111639016A (zh) * 2020-05-29 2020-09-08 北京合力思腾科技股份有限公司 大数据日志分析方法、装置及计算机存储介质
CN113821492A (zh) * 2020-06-19 2021-12-21 北京国电思达科技有限公司 一种基于Redis的风机数据读写方法、装置、系统和介质
CN112416944A (zh) * 2020-12-03 2021-02-26 云知声智能科技股份有限公司 一种同步业务数据的方法和设备
CN112905707A (zh) * 2021-03-31 2021-06-04 浙江太美医疗科技股份有限公司 关系数据库与搜索引擎的同步方法、装置和计算机存储介质
CN113407634A (zh) * 2021-07-05 2021-09-17 挂号网（杭州）科技有限公司 一种数据同步方法、装置、系统、服务器和存储介质
CN114970479A (zh) * 2022-07-29 2022-08-30 飞狐信息技术（天津）有限公司 图表生成方法及装置
CN115840788A (zh) * 2023-02-21 2023-03-24 创意信息技术股份有限公司 一种MySql数据同步到ES的方法、装置、终端及存储介质
CN115840788B (zh) * 2023-02-21 2023-04-28 创意信息技术股份有限公司 一种MySql数据同步到ES的方法、装置、终端及存储介质
CN116431885A (zh) * 2023-06-08 2023-07-14 北京新里程叮铃科技有限公司 高可用的实时搜索系统
CN116431885B (zh) * 2023-06-08 2023-08-29 北京新里程叮铃科技有限公司 高可用的实时搜索系统
CN116578655A (zh) * 2023-07-06 2023-08-11 舟谱数据技术南京有限公司 一种数据传输系统及其控制方法
CN116578655B (zh) * 2023-07-06 2023-09-15 舟谱数据技术南京有限公司 一种数据传输系统及其控制方法
CN117540151A (zh) * 2023-12-08 2024-02-09 深圳市亲邻科技有限公司 一种数据推送系统的数据预处理方法
CN117632889A (zh) * 2024-01-24 2024-03-01 北京安华金和科技有限公司 一种审计日志的全文索引处理方法和系统

Similar Documents

Publication Publication Date Title
CN111026727A (zh) 基于日志文件的表维度检索数据同步方法、系统及装置
JP6617117B2 (ja) 半構造データのためのスケーラブルな分析プラットフォーム
US10019284B2 (en) Method for performing transactions on data and a transactional database
Parker et al. Comparing nosql mongodb to an sql db
US6487641B1 (en) Dynamic caches with miss tables
US20020165724A1 (en) Method and system for propagating data changes through data objects
US8924373B2 (en) Query plans with parameter markers in place of object identifiers
US20070168380A1 (en) System and method for storing text annotations with associated type information in a structured data store
US10042889B2 (en) Pseudo columns for data retrieval
US8661022B2 (en) Database management method and system
US20190114294A1 (en) Methods and systems for database optimisation
US9836503B2 (en) Integrating linked data with relational data
US8805776B2 (en) Relationship serialization and reconstruction for entities
US11327962B1 (en) Real-time analytical database system for querying data of transactional systems
CN110866022A (zh) 基于日志文件的数据解析方法、系统及装置
CN108874944B (zh) 一种基于xsl语言转换的异构数据映射系统及方法
Akidau et al. What's the Difference? Incremental Processing with Change Queries in Snowflake
US7424493B2 (en) Replication-based propagation mechanism for pipelines
US20210232603A1 (en) Capturing data lake changes
Liu et al. Modeling fuzzy relational database in HBase
US11616744B2 (en) Context-dependent message extraction and transformation
CN115455031B (zh) 一种Doris的数据查询方法、装置、存储介质及设备
AU2016202911A1 (en) Methods and Systems for Database Optimisation
CN115248829A (zh) 数据存储方法、数据查询方法及装置
Soto et al. Semantic web servers: a new approach to query on big datasets of metadata.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417