CN115033646A - 一种基于Flink&Doris构建实时数仓系统的方法 - Google Patents
一种基于Flink&Doris构建实时数仓系统的方法 Download PDFInfo
- Publication number
- CN115033646A CN115033646A CN202210958245.XA CN202210958245A CN115033646A CN 115033646 A CN115033646 A CN 115033646A CN 202210958245 A CN202210958245 A CN 202210958245A CN 115033646 A CN115033646 A CN 115033646A
- Authority
- CN
- China
- Prior art keywords
- real
- data
- time
- database
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于Flink&Doris构建实时数仓系统的方法,包括以下步骤:S1,抽取不同业务数据库获取日志文件的变更数据,并基于FlinkCDC组件将日志文件的增量变化实时同步至Kafka消息队列,并根据FlinkCDC组件同步增量变化的业务场景,创建所需的Kafka Topic,并将业务数据库中原始的操作日志报文同步至Kafka Topic中;S2,解析Kafka Topic中的业务数据库的操作日志报文得到数据库源表,并将所述业务数据库的操作日志报文发送至实时数仓ODS层,便于通过FlinkSQL将数据库源表映射成ODS层流式源表;能快速高效的进行实时需求开发,将数据库的OLAP业务与OLTP分离,消除OLAP对OLTP性能影响,极大减轻了数据库的负载,提升了实时数据可用性和业务需求的响应速度。
Description
技术领域
本发明涉及数据库技术领域,更具体地说,涉及一种基于Flink&Doris构建实时数仓系统的方法。
背景技术
随着大数据时代的到来,当前各大公司的业务需求和内部决策对于数据实时性的要求越来越迫切,需要实时数据分析的能力来赋能。传统离线数仓的数据时效性是T+1,调度频率以天为单位,无法支撑实时场景的数据需求。即使能将调度频率设置成小时,也只能解决部分时效性要求不高的场景,对于实效性要求很高的场景还是无法支撑;公司目前部分实时OLAP分析需求都依赖于Oracle/Mysql集群的计算性能,抢占了数据库的OLTP资源,该模式下的数据库性能已出现告警,因此实时数据服务问题必须得到有效解决。
现阶段实时场景的需求是通过实时计算框架SparkStreaming、Flink进行代码开发提供实时数据服务, 当前模式对开发人员的技术要求较高,且开发周期冗长,对业务的需求响应较慢,效率低下。且实时数据建设没有规范,数据可用性较差,无法形成数仓体系,造成资源大量浪费。因此研发更快速、更简便的实时场景解决方案,实现OLAP和OLTP场景分离,提升实时业务需求的响应速度和效率是数据仓库当前急需解决的问题。
发明内容
本发明要解决的技术问题在于,针对上述技术方案存在的不足,提供一种解决实时场景开发周期冗长,数据可用性低下,实现OLAP和OLTP场景分离的基于Flink&Doris构建实时数仓系统的方法。
本发明提供一种基于Flink&Doris构建实时数仓系统的方法,所述方法包括以下步骤:
S1,抽取不同业务数据库获取日志文件的变更数据,并基于FlinkCDC组件将日志文件的增量变化实时同步至Kafka消息队列,并根据FlinkCDC组件同步增量变化的业务场景,创建所需的Kafka Topic,并将业务数据库中原始的操作日志报文同步至Kafka Topic中;
S2,解析Kafka Topic中的业务数据库的操作日志报文得到数据库源表,并将所述业务数据库的操作日志报文发送至实时数仓ODS层,便于通过FlinkSQL将数据库源表映射成ODS层流式源表;
S3,通过FlinkSQL对所述实时数仓ODS层中的Kafka数据进行处理,将实时数仓建设为DWD明细层、DIM公共维度层和DM汇总层。
在本发明所述的基于Flink&Doris构建实时数仓系统的方法中,在所述步骤S1中,根据不同业务数据库选取不同的FlinkCDC组件,其中所述FlinkCDC组件支持的业务数据库包括MySQL、Oracle、SQLServer、MongoDB、OceanBase、Postgres与TiDB。
在本发明所述的基于Flink&Doris构建实时数仓系统的方法中,所述原始的操作日志报文包括所述数据库源表的DDL语句或DML语句。
在本发明所述的基于Flink&Doris构建实时数仓系统的方法中,所述步骤S2还包括以下步骤:
S21,根据实时数仓层级建设并按照数据库源表创建ODS层所需的Kafka Topic。
在本发明所述的基于Flink&Doris构建实时数仓系统的方法中,所述步骤S2还包括以下步骤:
S22,编写解析所述数据库的操作日志报文的Flink流式程序,并将操作日志报文转换成Json数据,将数据库源表中的UPDATE更新和DELETE删除操作分别转换为INSERT插入,并把解析出来的Json数据发送到ODS层的Kafka Topic中。
在本发明所述的基于Flink&Doris构建实时数仓系统的方法中,所述步骤S3中对所述实时数仓ODS层中的Kafka数据进行处理的方式包括数据转化、维度关联与指标统计。
在本发明所述的基于Flink&Doris构建实时数仓系统的方法中,在所述步骤S3中,所述DWD明细层的数据来源于ODS层的Kafka Topic,通过大数据架构提供的FlinkSQL完成数据转化、维度关联;基于每个具体业务数据库的业务过程特点构建最细粒度的DWD明细层事实表,其中DWD明细层的数据存储在Kafka Topic消息队列中,同时也将DWD明细层的数据实时写入Doris数据库中,供明细数据查询和作为简单汇总数据的加工数据源。
在本发明所述的基于Flink&Doris构建实时数仓系统的方法中,在所述步骤S3中,所述DIM层主要用于存放各个业务主题的维度数据。
在本发明所述的基于Flink&Doris构建实时数仓系统的方法中,在所述步骤S3中,通过FlinkSQL对DWD层的Kafka Topic数据进行多维的主题汇总,其中DM层的数据存放于Doris,所述DWD层可直接对外提供实时数据服务,同时也可通过接口对外提供数据查询。
根据本发明的另一方面,还提供一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的基于Flink&Doris构建实时数仓系统的方法。
本发明的基于Flink&Doris构建实时数仓系统的方法能快速高效的进行实时需求开发,将数据库的OLAP业务与OLTP分离,消除OLAP对OLTP性能影响,极大减轻了数据库的负载,提升了实时数据可用性和业务需求的响应速度。
附图说明
图1是本发明一种基于Flink&Doris构建实时数仓系统的方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,提供一种基于Flink&Doris构建实时数仓系统的方法,该方法包括以下步骤:
S1,抽取不同业务数据库获取日志文件的变更数据,并基于FlinkCDC组件将日志文件的增量变化实时同步至Kafka消息队列,并根据FlinkCDC组件同步增量变化的业务场景,创建所需的Kafka Topic,并将业务数据库中原始的操作日志报文同步至Kafka Topic中;
FlinkCDC 组件的工作原理是通过抽取各个业务数据库获取日志文件的变更数据,能够捕获到数据库的所有数据变化,无需像查询同步技术(Sqoop)进行全表扫描,不增加业务数据库的负载,而且FlinkCDC组件是实时同步解析业务数据库的日志文件,数据延迟基本上是秒级。
S2,解析Kafka Topic中的业务数据库的操作日志报文得到数据库源表,并将业务数据库的操作日志报文发送至实时数仓ODS层,便于通过FlinkSQL将数据库源表映射成ODS层流式源表;
S3,通过FlinkSQL对实时数仓ODS层中的Kafka数据进行处理,将实时数仓建设为DWD明细层、DIM公共维度层和DM汇总层。
在一实施例中,在步骤S1中,根据不同业务数据库选取不同的FlinkCDC组件,其中FlinkCDC组件支持的业务数据库包括MySQL、Oracle、SQLServer、MongoDB、OceanBase、Postgres与TiDB等。
具体的,原始的操作日志报文包括数据库源表的DDL语句或DML语句。
在一实施例中,步骤S2还包括以下步骤:
S21,根据实时数仓层级建设并按照数据库源表创建ODS层所需的Kafka Topic。
在一实施例中,步骤S2还包括以下步骤:
S22,编写解析数据库的操作日志报文的Flink流式程序,并将操作日志报文转换成Json数据,将数据库源表中的UPDATE更新和DELETE删除操作分别转换为INSERT插入,并把解析出来的Json数据发送到ODS层的Kafka Topic中,目的是为数据的后续层级迁移提供流式环境。
在一实施例中,步骤S3中对实时数仓ODS层中的Kafka数据进行处理的方式包括数据转化、维度关联与指标统计等。
在一实施例中,在步骤S3中,DWD明细层的数据来源于ODS 层的Kafka Topic,通过大数据架构提供的FlinkSQL完成数据转化、维度关联等;基于每个具体业务数据的业务过程特点构建最细粒度的DWD明细层事实表,其中DWD明细层的数据存储在Kafka Topic消息队列中,同时也将DWD明细层的数据实时写入Doris数据库中,供明细数据查询和作为简单汇总数据的加工数据源。
在一实施例中,在步骤S3中,DIM层主要用于存放各个业务数据库中业务主题的维度数据,且DIM公共维度层的存储引擎必须要支持FlinkSQL的访问。一般对于维表数据比较少的情况可以使用 MySQL;对于单条数据大小比较小,查询 QPS 比较高的情况,可以使用Redis存储,降低Flink集群内存资源占用;对于数据量比较大,维表数据变化不是特别敏感的场景,可以使用 HBase 存储。
在一实施例中,在步骤S3中,通过FlinkSQL对DWD层的Kafka Topic数据进行多维的主题汇总,其中DM层的数据存放于Doris,DWD层可直接对外提供实时数据服务,同时也可通过接口对外提供数据查询。因为实时数仓本身是面向主题的,可能每个主题会关心的维度都不一样,所以需要在不同的主题下,按照这个主题关心的维度对数据进行汇总。
本实施例的另一方面,还提供一种计算机设备,计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现实现如本发明任意实施例所提供的基于Flink&Doris构建实时数仓系统的方法。
选用Oracle业务数据库处理为例,其中其他业务数据库处理的过程也和Oracle业务数据库处理过程相同。
具体的过程如下:
在Oracle业务数据库的订单表(t_order)中插入一条数据: insert intotableMSP.t_order(ID,VIN,CREATED_DATE) value('2021112903','LGBC1AExxxxxx','2022-05-01');
FlinkCDC会实时捕获到这条数据的插入操作日志报文:
{
"before":{},
"after":{
"ID":"2021112903",
"VIN":"LGBC1AExxxxxx",
"CREATED_DATE":"2022-05-01"
},
"source":{
"name":"MSP",
"table":"t_order",
"txId":"tx-3"
},
"op":"i",
"ts_ms":1437480416795
}
(2)FlinkCDC将这条数据发送到Kafka主题 Topic_A
(3)通过Flink程序去Kafka 主题 Topic_A 将这条日志报文解析成原本的数据库数据
{
"ID":"2021112903",
"VIN":"LGBC1AExxxxxx",
"CREATED_DATE":"2022-05-01",
"DEL":"0"
}
(4)将解析的结果数据发送到实时数仓ODS层即Kafka主题 Topic_ods_order。
(5)通过FlinkSQL 进行数据拉宽处理。Topic_ods_order 与Topic_ods_user 进行join匹配, 数据增加了一个用户电话信息,得到结果数据:
{
"ID":"2021112903",
"VIN":"LGBC1AExxxxxx",
"USER_PHONE":"188xxxxxxx",
"CREATED_DATE":"2022-05-01",
"DEL":"0"
}
将结果数据发送至实时数仓DWD层即Kafka 主题 Topic_dwd_order。
(6)使用FlinkSQL对实时数仓DWD层的数据进行统计用户当日的用户订单数:
{
"ID":"2021112903",
"VIN":"LGBC1AExxxxxx",
"USER_PHONE":"188xxxxxxx",
"ORDER_COUNT":"1",
"CREATED_DATE":"2022-05-01",
"DEL":"0"
}
将统计结果存入到实时数仓DM层Doris数据库中,供可视化工具查询。
本发明实施例提供的一种基于Flink&Doris构建实时数仓系统的方法的有益效果至少在于:
1、基于FlinkCDC日志同步技术,可以实时捕获到数据库的增量变化且不会增加数据库负载,改变了传统数仓T+1离线抽取数据的模式, 为实时OLAP分析提供了数据基础。
2、数据服务端引入Doris存储引擎,可以支持高并发查询,具有良好的实时OLAP分析性能,扩容方便,支持MySQL协议等优点。且Doris的唯一主键模式克服了传统数仓关于历史数据变化而导致统计不准确的痛点,可适用于复杂的业务场景,满足数据源的增删改操作。
3、本方案使用FlinkSQL进行实时业务场景开发,可以简化实时项目的开发流程,缩短开发周期,并且降低开发难度,能快速的响应业务需求。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
因此,以上所述,仅为本发明较佳的具体实施方式,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内,本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于Flink&Doris构建实时数仓系统的方法,其特征在于,所述方法包括以下步骤:
S1,抽取不同业务数据库获取日志文件的变更数据,并基于FlinkCDC组件将日志文件的增量变化实时同步至Kafka消息队列,并根据FlinkCDC组件同步增量变化的业务场景,创建所需的Kafka Topic,并将业务数据库中原始的操作日志报文同步至Kafka Topic中;
S2,解析Kafka Topic中业务数据库的操作日志报文得到数据库源表,并将所述业务数据库的操作日志报文发送至实时数仓ODS层,便于通过FlinkSQL将数据库源表映射成ODS层流式源表;
S3,通过FlinkSQL对所述实时数仓ODS层中的Kafka数据进行处理,将实时数仓建设为DWD明细层、DIM公共维度层和DM汇总层。
2.根据权利要求1所述的基于Flink&Doris构建实时数仓系统的方法,其特征在于,在所述步骤S1中,根据不同业务数据库选取不同的FlinkCDC组件,其中所述FlinkCDC组件支持的业务数据库包括MySQL、Oracle、SQLServer、MongoDB、OceanBase、Postgres与TiDB。
3.根据权利要求2所述的基于Flink&Doris构建实时数仓系统的方法,其特征在于,所述原始的操作日志报文包括所述数据库源表的DDL语句或DML语句。
4.根据权利要求1所述的基于Flink&Doris构建实时数仓系统的方法,其特征在于,所述步骤S2还包括以下步骤:
S21,根据实时数仓层级建设并按照数据库源表创建ODS层所需的Kafka Topic。
5.根据权利要求4所述的基于Flink&Doris构建实时数仓系统的方法,其特征在于,所述步骤S2还包括以下步骤;
S22,编写解析所述业务数据库的操作日志报文的Flink流式程序,并将操作日志报文转换成Json数据格式,将数据库源表中的UPDATE更新和DELETE删除操作分别转换为INSERT插入,并把解析出来的Json数据发送到ODS层的Kafka Topic中。
6.根据权利要求5所述的基于Flink&Doris构建实时数仓系统的方法,其特征在于,所述步骤S3中对所述实时数仓ODS层中的Kafka数据进行处理的方式包括数据转化、维度关联与指标统计。
7.根据权利要求6所述的基于Flink&Doris构建实时数仓系统的方法,其特征在于,在所述步骤S3中,所述DWD明细层的数据来源于ODS层的Kafka Topic,通过大数据架构提供的FlinkSQL完成数据转化、维度关联;基于每个具体业务数据库的业务过程特点构建最细粒度的DWD明细层事实表,其中DWD明细层的数据存储在Kafka Topic消息队列中,同时也将DWD明细层的数据实时写入Doris数据库中,供明细数据查询和作为简单汇总数据的加工数据源。
8.根据权利要求7所述的基于Flink&Doris构建实时数仓系统的方法,其特征在于,在所述步骤S3中,所述DIM层主要用于存放各个业务数据库中业务主题的维度数据。
9.根据权利要求8所述的基于Flink&Doris构建实时数仓系统的方法,其特征在于,在所述步骤S3中,通过FlinkSQL对DWD层的Kafka Topic数据进行多维的主题汇总,其中DM层的数据存放于Doris,所述DWD层可直接对外提供实时数据服务,同时也可通过接口对外提供数据查询。
10.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1~9中任一所述的基于Flink&Doris构建实时数仓系统的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210958245.XA CN115033646B (zh) | 2022-08-11 | 2022-08-11 | 一种基于Flink&Doris构建实时数仓系统的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210958245.XA CN115033646B (zh) | 2022-08-11 | 2022-08-11 | 一种基于Flink&Doris构建实时数仓系统的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115033646A true CN115033646A (zh) | 2022-09-09 |
CN115033646B CN115033646B (zh) | 2023-01-13 |
Family
ID=83130271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210958245.XA Active CN115033646B (zh) | 2022-08-11 | 2022-08-11 | 一种基于Flink&Doris构建实时数仓系统的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115033646B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116307345A (zh) * | 2023-05-09 | 2023-06-23 | 佛山众陶联供应链服务有限公司 | 一种陶瓷行业数据系统及采集方法 |
CN117331992A (zh) * | 2023-09-19 | 2024-01-02 | 上海麦杰科技股份有限公司 | 一种工业大数据处理方法 |
CN118051554A (zh) * | 2024-03-05 | 2024-05-17 | 合肥喆塔科技有限公司 | 基于FlinkSQL与Kudu构建实时数仓的方法、设备及介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7657576B1 (en) * | 2001-05-24 | 2010-02-02 | Oracle International Corporation | Asynchronous change capture for data warehousing |
US20210112059A1 (en) * | 2019-10-09 | 2021-04-15 | Salesforce.Com, Inc. | Application programmer interface platform with direct data center access |
CN112948492A (zh) * | 2021-02-26 | 2021-06-11 | 中国建设银行股份有限公司 | 一种数据处理系统、方法、装置、电子设备及存储介质 |
CN114238516A (zh) * | 2021-12-21 | 2022-03-25 | 浙江太美医疗科技股份有限公司 | 数据同步方法、系统及计算机可读介质 |
CN114357088A (zh) * | 2021-12-14 | 2022-04-15 | 中核武汉核电运行技术股份有限公司 | 核电工业数据仓库系统 |
US20220121628A1 (en) * | 2020-10-19 | 2022-04-21 | Splunk Inc. | Streaming synthesis of distributed traces from machine logs |
CN114429364A (zh) * | 2022-01-06 | 2022-05-03 | 腾讯科技(深圳)有限公司 | 业务数据管理方法和装置、存储介质及电子设备 |
CN114579614A (zh) * | 2022-02-11 | 2022-06-03 | 武汉物易云通网络科技有限公司 | 一种实时数据全量获取方法、装置及计算机设备 |
CN114722119A (zh) * | 2022-03-30 | 2022-07-08 | 上海幻电信息科技有限公司 | 数据同步方法及系统 |
CN114756630A (zh) * | 2022-04-18 | 2022-07-15 | 焦点科技股份有限公司 | 一种基于Flink状态的实时数仓建设方法 |
-
2022
- 2022-08-11 CN CN202210958245.XA patent/CN115033646B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7657576B1 (en) * | 2001-05-24 | 2010-02-02 | Oracle International Corporation | Asynchronous change capture for data warehousing |
US20210112059A1 (en) * | 2019-10-09 | 2021-04-15 | Salesforce.Com, Inc. | Application programmer interface platform with direct data center access |
US20220121628A1 (en) * | 2020-10-19 | 2022-04-21 | Splunk Inc. | Streaming synthesis of distributed traces from machine logs |
CN112948492A (zh) * | 2021-02-26 | 2021-06-11 | 中国建设银行股份有限公司 | 一种数据处理系统、方法、装置、电子设备及存储介质 |
CN114357088A (zh) * | 2021-12-14 | 2022-04-15 | 中核武汉核电运行技术股份有限公司 | 核电工业数据仓库系统 |
CN114238516A (zh) * | 2021-12-21 | 2022-03-25 | 浙江太美医疗科技股份有限公司 | 数据同步方法、系统及计算机可读介质 |
CN114429364A (zh) * | 2022-01-06 | 2022-05-03 | 腾讯科技(深圳)有限公司 | 业务数据管理方法和装置、存储介质及电子设备 |
CN114579614A (zh) * | 2022-02-11 | 2022-06-03 | 武汉物易云通网络科技有限公司 | 一种实时数据全量获取方法、装置及计算机设备 |
CN114722119A (zh) * | 2022-03-30 | 2022-07-08 | 上海幻电信息科技有限公司 | 数据同步方法及系统 |
CN114756630A (zh) * | 2022-04-18 | 2022-07-15 | 焦点科技股份有限公司 | 一种基于Flink状态的实时数仓建设方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116307345A (zh) * | 2023-05-09 | 2023-06-23 | 佛山众陶联供应链服务有限公司 | 一种陶瓷行业数据系统及采集方法 |
CN117331992A (zh) * | 2023-09-19 | 2024-01-02 | 上海麦杰科技股份有限公司 | 一种工业大数据处理方法 |
CN118051554A (zh) * | 2024-03-05 | 2024-05-17 | 合肥喆塔科技有限公司 | 基于FlinkSQL与Kudu构建实时数仓的方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115033646B (zh) | 2023-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115033646B (zh) | 一种基于Flink&Doris构建实时数仓系统的方法 | |
CN110362544B (zh) | 日志处理系统、日志处理方法、终端及存储介质 | |
CN111597257A (zh) | 数据库的同步方法、装置、存储介质及终端 | |
CN106982150B (zh) | 一种基于Hadoop的移动互联网用户行为分析方法 | |
CN113282611B (zh) | 一种流数据同步的方法、装置、计算机设备及存储介质 | |
CN110245134B (zh) | 一种应用于搜索服务的增量同步方法 | |
CN104699723A (zh) | 数据交换适配器、异构系统之间数据同步系统和方法 | |
CN107832323B (zh) | 一种基于图数据库的分布式实现系统及方法 | |
CN111459944A (zh) | 一种mr数据存储方法、装置、服务器及存储介质 | |
CN111382155A (zh) | 一种数据仓库的数据处理方法、电子设备及介质 | |
CN114820080A (zh) | 基于人群流转的用户分群方法、系统、装置及介质 | |
CN111367953A (zh) | 一种资讯数据的流式处理方法及装置 | |
CN114328981B (zh) | 基于模式映射的知识图谱建立和数据获取方法、装置 | |
CN108228432A (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN112181678A (zh) | 业务数据的处理方法、装置和系统、存储介质、电子装置 | |
CN112506887B (zh) | 车辆终端can总线数据处理方法及装置 | |
CN110688383A (zh) | 数据采集方法及系统 | |
CN106599113B (zh) | 用于网管系统海量性能数据的数据库读写方法 | |
CN116186053A (zh) | 一种数据处理方法、装置及存储介质 | |
CN116186082A (zh) | 基于分布式的数据汇总方法、第一服务器和电子设备 | |
CN116049193A (zh) | 数据存储方法及装置 | |
CN115809311A (zh) | 知识图谱的数据处理方法、装置及计算机设备 | |
CN115794783A (zh) | 数据去重方法、装置、设备和介质 | |
CN115168361A (zh) | 一种标签管理方法和装置 | |
CN112000669B (zh) | 一种环境监测数据的处理方法、装置、存储介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |