CN117149914B - 一种基于ClickHouse的存储方法 - Google Patents
一种基于ClickHouse的存储方法 Download PDFInfo
- Publication number
- CN117149914B CN117149914B CN202311404757.2A CN202311404757A CN117149914B CN 117149914 B CN117149914 B CN 117149914B CN 202311404757 A CN202311404757 A CN 202311404757A CN 117149914 B CN117149914 B CN 117149914B
- Authority
- CN
- China
- Prior art keywords
- data
- clickhouse
- layer
- column
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 230000004931 aggregating effect Effects 0.000 claims abstract description 5
- 238000004140 cleaning Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000007405 data analysis Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于ClickHouse的存储方法，包括ClickHouse、OSD层和数据处理层；存储方法包括以下步骤：步骤S1，将数据写入ClickHouse中，到当数据被写入到ClickHouse时，按照缓存层、合并树层和数据目录层依次写入；首先数据会被写入缓存层中，在数据写入缓存层之后，ClickHouse会将缓存层中的数据批量写入磁盘；步骤S2，将数据写入到原始数据层中；原始数据层中使用ClickHouse的MergeTree数据表引擎，将数据按照时间维度进行分区和存储；步骤S3，数据处理层中通过Materialized View对数据进行行加工、清洗、转换和聚合。本发明的技术优点明显，能够提高数据处理和分析的效率和准确性，同时保证数据的可靠性和持久性。
Description
技术领域
本发明属于数据处理技术领域，具体为一种基于ClickHouse的存储方法。
背景技术
数仓的数据分析是现代企业决策中不可或缺的一环。在互联网和物联网时代，数据量急剧增加，数据分析也面临着更高的挑战。为了实时分析海量数据，数据存储和分析系统需要具备高性能、高扩展性和低成本的特点。传统的关系型数据库在处理大规模数据时存在性能瓶颈，而分布式数据库虽然具备高扩展性，但需要较高的维护成本。因此，寻找一种新型的数据存储和分析方案成为了业界的共同需求。
在现有的数据存储和分析技术中，Hadoop、Spark、Kafka和Elasticsearch等系统都可以用于实时数据存储和分析。其中，Kafka和Elasticsearch都是实时数据处理的专用系统，而Hadoop和Spark则是通用的大数据处理系统。这些系统都具备高性能和高扩展性，但也存在一些问题：
Hadoop和Spark需要复杂的部署和维护，增加了系统运维的难度和成本。
Kafka和Elasticsearch虽然具备实时性，但它们并不是传统的关系型数据库，而是专用的分布式系统，需要对其进行定制开发和配置调优，增加了开发和维护的成本。
发明内容
本发明的目的在于提供一种基于ClickHouse的存储方法，以解决背景技术中提出的现有技术中，现有技术的缺点主要包括数据处理速度慢、数据一致性差、数据可靠性低、数据冗余和重复存储的问题。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于ClickHouse的存储方法，包括ClickHouse、原始数据层和数据处理层；存储方法包括以下步骤：
步骤S1，将数据写入ClickHouse中，到当数据被写入到ClickHouse时，按照缓存层、合并树层和数据目录层依次写入；首先数据会被写入缓存层中，在数据写入缓存层之后，ClickHouse会将缓存层中的数据批量写入磁盘；
步骤S2，将数据写入到原始数据层中；原始数据层中使用ClickHouse的MergeTree数据表引擎，将数据按照时间维度进行分区和存储；
步骤S3，数据处理层中通过Materialized View对数据进行行加工、清洗、转换和聚合；
Materialized View使用流程：
步骤S301，建立原始表；使用ReplicatedMergeTree副本引擎来指定分区字段、指定建立索引字段以及MergeTree引擎中索引的粒度；
步骤S302，使用ClickHouse的SummingMergeTree引擎创建Materialized View；
步骤S303，最后，通过Materialized View将原始数据进行转换，使得数据易于理解。
根据上述技术方案，ClickHouse通过合并树算法来管理Data Part的合并过程，从而实现高效的数据查询和处理，具体的合并树算法为：
合并树层的大小和数量通过配置，以适应不同的应用场景和硬件配置； 数据文件是按照列的方式进行存储的，按照列的方式存储是指将每个列单独存储在磁盘上，在按列存储的数据库中，每个列都有自己的数据文件，其中包含该列的所有值；列数据文件通过压缩算法来减少磁盘空间占用。
根据上述技术方案，列数据文件的压缩具体为：
步骤A1，初始化字典：LZ4算法初始化一个空字典，用于存储已经出现的片段；
步骤A2，分割输入数据为块：将输入数据划分为多个固定大小的块；
步骤A3，遍历块：在当前块内遍历,对于每个块，从头到尾遍历数据；
步骤A4，查找匹配片段：在当前块内，通过字典匹配算法查找与当前片段相匹配的最长重复片段；
步骤A5，存储匹配信息：将匹配片段的指针和长度编码为压缩块的一部分；
步骤A6，更新字典：将当前片段添加到字典中，以供后续的匹配查找，将压缩块输出作为压缩数据。
根据上述技术方案，在 ClickHouse 中，每个ClickHouse表数据都由多个数据文件组成，其中每个文件对应一个列，从而使ClickHouse快速地定位和读取数据文件，以支持高效的数据查询和分析。
根据上述技术方案，步骤S1中，当数据被写入到合并树层时，ClickHouse将数据写入到Data Part中，然后将Data Part进行合并，直到形成一个文件，合并后的文件为MergedData Part；Merged Data Part为包含多个Data Part的有序文件。
与现有技术相比，本发明具有以下有益效果：
本发明中的方法具有:1、高效性：本发明采用基于ClickHouse的实时数据处理架构，能够实现高速的数据处理和查询，提高了数据处理和分析的效率。
2、可扩展性：本发明的架构支持水平扩展，即可以通过增加计算和存储节点来扩展整个系统的处理能力，而不需要对现有节点进行改动。
3、数据准确性：本发明采用了多重校验和验证机制，能够保证数据的准确性和完整性。
4、实时性：本发明能够实现实时数据处理和查询，缩短了数据分析和决策的时间。
5、可靠性：本发明采用了数据备份和容错机制，保证数据的可靠性和持久性。
综上所述，本发明的技术优点明显，能够提高数据处理和分析的效率和准确性，同时保证数据的可靠性和持久性，具有很高的应用价值。
附图说明
图1为本发明存储结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，一种基于ClickHouse的存储方法，包括ClickHouse、原始数据层和数据处理层；存储方法包括以下步骤：
步骤S1，将数据写入ClickHouse中，到当数据被写入到ClickHouse时，按照缓存层、合并树层和数据目录层依次写入；首先数据会被写入缓存层中，在数据写入缓存层之后，ClickHouse会将缓存层中的数据批量写入磁盘；
步骤S2，将数据写入到原始数据层中；原始数据层中使用ClickHouse的MergeTree数据表引擎，将数据按照时间维度进行分区和存储；
步骤S3，数据处理层中通过Materialized View对数据进行行加工、清洗、转换和聚合；
Materialized View使用流程：
步骤S301，建立原始表；使用ReplicatedMergeTree副本引擎来指定分区字段、指定建立索引字段以及MergeTree引擎中索引的粒度；
步骤S302，使用ClickHouse的SummingMergeTree引擎创建Materialized View；
步骤S303，最后，通过Materialized View将原始数据进行转换，使得数据易于理解。
本发明中的方法具有:高效性：本发明采用基于ClickHouse的实时数据处理架构，能够实现高速的数据处理和查询，提高了数据处理和分析的效率。
可扩展性：本发明的架构支持水平扩展，即可以通过增加计算和存储节点来扩展整个系统的处理能力，而不需要对现有节点进行改动。
数据准确性：本发明采用了多重校验和验证机制，能够保证数据的准确性和完整性。
实时性：本发明能够实现实时数据处理和查询，缩短了数据分析和决策的时间。
可靠性：本发明采用了数据备份和容错机制，保证数据的可靠性和持久性。
综上所述，本发明的技术优点明显，能够提高数据处理和分析的效率和准确性，同时保证数据的可靠性和持久性，具有很高的应用价值。
实施例二
本实施例为实施例一的进一步细化。ClickHouse通过合并树算法来管理DataPart的合并过程，从而实现高效的数据查询和处理，具体的合并树算法为：
合并树层的大小和数量通过配置，以适应不同的应用场景和硬件配置； 数据文件是按照列的方式进行存储的，按照列的方式存储是指将每个列单独存储在磁盘上，在按列存储的数据库中，每个列都有自己的数据文件，其中包含该列的所有值；列数据文件通过压缩算法来减少磁盘空间占用。
列数据文件的压缩具体为：
步骤A1，初始化字典：LZ4算法初始化一个空字典，用于存储已经出现的片段；
步骤A2，分割输入数据为块：将输入数据划分为多个固定大小（多大固定大小：根据在创建表时设定的数据大小进行分块存储）的块；
步骤A3，遍历块：在当前块内遍历,对于每个块，从头到尾遍历数据；
步骤A4，查找匹配片段：在当前块内，通过字典匹配算法(字典匹配：根据建表时创建的索引进行依次匹配。)查找与当前片段相匹配的最长重复片段；
步骤A5，存储匹配信息：将匹配片段的指针和长度编码为压缩块的一部分；
步骤A6，更新字典：将当前片段添加到字典中，以供后续的匹配查找，将压缩块输出作为压缩数据。
在 ClickHouse 中，每个ClickHouse表数据都由多个数据文件组成，其中每个文件对应一个列，从而使ClickHouse快速地定位和读取数据文件，以支持高效的数据查询和分析。
数据处理层（数据处理层）通过Materialized View（物化视图）使用流程对原始数据进行加工、清洗、转换和聚合，具体方法为：
步骤S501，建立原始表，建表使用ReplicatedMergeTree副本引擎，指定分区字段，指定建立索引字段以及MergeTree引擎中索引的粒度；
步骤S502，通过ClickHouse的SummingMergeTree(合并引擎，当合并数据时，会把具有相同主键的记录合并为一条记录)，RepalceMergeTree（去重引擎，在后台数据合并期间，对具有相同排序键的数据进行去重操作）, VersionedCollapsingMergeTree(排序引擎，增加数据版本信息字段配置选项，对具有相同主键的数据进行折叠排序)引擎来创建Materialized View（物化视图）；引擎会将数据按照指定的排序键进行排序，并且在插入新数据时会自动更新聚合结果，并对原始数据进行了聚合操作。
根据实际的数据特征和查询需求，具体的聚合就是通过“SummingMergeTree”等不同表引擎，并结合使用相应的聚合函数进行数据处理和聚合操作。
稀疏索引是在数据表创建时就定义和使用的，稀疏索引在数据表创建时作为列定义的一部分进行指定，用于优化数据的存储和查询。
下面是创建 ClickHouse 表时如何使用稀疏索引的示例：
CREATE TABLE link_table (
id Int32,
name String,
category String,
value Int32
) ENGINE = MergeTree()
ORDER BY (id)
SETTINGS index_granularity = 32
PRIMARY KEY (id)
INDEX idx_sparse_category (category) TYPE SPARSE
在上面的示例中，通过在表定义中添加 INDEX 关键字和 TYPE SPARSE 指定了稀疏索引。idx_sparse_category 是索引的名称，category 是要建立索引的列名; 通过定义稀疏索引来指定哪些列需要进行稀疏索引优化，以提高查询性能和降低存储空间的占用。在实际使用中，可以根据数据的特征和查询需求来选择合适的索引类型。
实施例三
本发明的发明构思为：a)当数据被写入到ClickHouse时，按照缓存层、合并树层和数据目录层依次写入，首先数据会被写入缓存中，在数据写入缓存层之后，ClickHouse会尝试将缓存中的数据批量写入磁盘，以减少磁盘IO的频率；用于将写入缓存层中的数据写入到磁盘上；
b)当数据被写入到合并树层时，ClickHouse会将数据写入到一个小的有序文件中，这些文件也叫做“数据部分”（Data Part）或“分片”（Shard），是存储ClickHouse表数据的最小单位，每个数据部分通常包含数百万或数十亿行数据；然后将这个小文件合并到更大的文件中。这个过程会不断重复，直到最终形成一个足够大的文件，称为“合并后的数据部分”（MergedData Part）；合并后的数据部分是包含多个数据部分数据的有序文件，通常包含数十亿或数百亿行数据。ClickHouse使用合并树（Merge Tree）算法来管理数据部分的合并过程，从而实现高效的数据查询和处理。合并后的数据部分通常以“.mrk”扩展名结尾，例如“mytable_1_1_0_0_1_1_0.mrk”。
合并树层的大小和数量可以被配置，以适应不同的应用场景和硬件配置； 数据文件是按照列的方式进行存储的，按照列的方式存储是指将每个列单独存储在磁盘上，而不是像传统的行（row）存储方式那样将整行数据一起存储。在按列存储的数据库中，每个列都有自己的数据文件，其中包含该列的所有值。这些列数据文件通常使用压缩算法来减少磁盘空间占用。相比之下，行存储的数据库将整行数据存储在一起，通常使用压缩算法对整个行进行压缩；每个列都有一个对应的数据文件，这个数据文件是一个二进制文件，其中包含该列的所有值。在 ClickHouse 中，每个表都由多个数据文件组成，其中每个文件对应一个列，可以帮助ClickHouse快速地定位和读取数据文件，以支持高效的数据查询和分析。 例如：有一个名为risk_zydt_ods的数据库和一个名为ods_loan _log的数据表。
存储目录如下:
/data/risk_zydt_ods/ods_loan _log/
├── detached/
├── metadata.xml
├── columns.txt
├── primary.idx
├── all_columns.bin
├── all_column1.bin
└── all_column2.bin
c)ZooKeeper是一个分布式协调服务，用于管理ClickHouse集群中的配置、命名服务、分布式锁等； ClickHouse是一个分布式数据 库系统，需要对多个节点进行管理和协调。 存储节点列表和状态信息，ZooKeeper 可以存储 ClickHouse 集群中所有节点的列表信息，以及它们的状态和性能指标。当新的节点加入或旧的节点退出集群时，ZooKeeper 会自动更新节点列表，并通知其他节点进行相应的调整。 记录数据分片信息，当 ClickHouse集群中的数据分片状态发生变化时，例如新增或删除节点、数据块迁移等，ZooKeeper 可以记录这些变化，并通知其他节点进行相应的调整，以保持数据的一致性和可用性。 存储备份信息和配置信息，ZooKeeper 还可以存储 ClickHouse 集群的备份信息和其他配置信息，例如副本数、索引配置等。这些信息可以用于恢复数据和调整集群配置。 实现分布式锁和领导选举，ZooKeeper 可以用于实现分布式锁和领导选举，来协调不同节点之间的操作。例如，在进行集群扩容或缩容时，ZooKeeper 可以通过分布式锁来确保只有一个节点可以执行相应的操作。
d)原始数据层（原始数据层）是ClickHouse数据仓库的原始数据存储层，是用于存储和管理操作数据的层次，用于接收来自各种数据源的数据，原始数据层可以接收实时流数据、批量数据、半结构化数据等多种数据类型，包括Kafka、Fluentd、Logstash等。通过原始数据层（原始数据层）的数据接入。
使用ClickHouse的MergeTree数据表引擎，将数据按照时间维度进行分区和存储，使数据的存储和查询变得更加高效，并且支持快速的时间范围查询和聚合计算；
MergeTree引擎在存储数据的时候，可以自动进行去重和合并，同时还支持对每个分区进行不同的数据压缩方式，使数据的存储和查询变得更加高效，同时也能够减少存储空间的占用。
e)数据处理层（数据处理层）用于存储和管理已经加工好的数据，用于支持企业级的数据应用和分析；数据处理层用于对原始数据进行加工、清洗、转换
和聚合等操作，以生成更加有用和易于分析的数据；用于存储和管理加工好的数据，包括已经计算好的指标、度量和聚合结果等。
Materialized View（物化视图）用于存储对原始数据进行聚合、转换和过滤后的结果；MaterializedView（物化视图）可以存储预先计算好的结果，以提高查询性能和减少响应时间；
Materialized View使用流程：
建立原始表，建表使用ReplicatedMergeTree副本引擎，指定分区字段，指定建立索引字段，MergeTree引擎中索引的粒度：
CREATE TABLE risk_zydt_ods.ods_loan_log_ (
`phone` String COMMENT '手机号',
`md5Phone` String COMMENT 'md5手机号码',
`day` Date COMMENT '天',
`hour` UInt8 COMMENT '小时',
`type` Int8 COMMENT '1:渠道撞库 2:登陆',
`createTime` DateTime COMMENT '创建时间',
`aesPhone` Nullable(String) COMMENT 'AES加密手机号码'
)
ENGINE = ReplicatedMergeTree('/ClickHouse/tables/zydt/ods_loan_log',
'bigdata06')
PARTITION BY toYYYYMM(day)
ORDER BY (day,
phone)
SETTINGS index_granularity = 8192
创建Materialized View：
CREATE MATERIALIZED VIEW risk_zydt_dwm.dwm_loan _log_mv_day ENGINE =SummingMergeTree TO risk_zydt_dwm.dwm_loan_log_day
(
`md5Phone` String COMMENT 'md5手机号码',
`phone` String COMMENT '手机号',
`day` Date COMMENT '天',
`total` UInt32 COMMENT '总活跃次数'
) AS
SELECT
md5Phone,
phone,
day,
count() AS total
FROM risk_zydt_ods.ods_loan_log
GROUP BY
md5Phone,
phone,
day
用了ClickHouse的SummingMergeTree引擎来创建Materialized View。这个引擎会将数据按照指定的排序键进行排序，并且在插入新数据时会自动更新聚合结果，并对原始数据进行了聚合操作。
使用Materialized View，可以避免在每次查询时都进行复杂的聚合操作，从而提高查询效率和响应速度。（即图1中的数据处理层）
f)最后Materialized View生成的数据将原始数据转换为易于理解和可视化的结果，结合工具实现各种数据报表和数据展示。
专业名词解释：
ReplicatedMergeTree：指的是复制表引擎；
Materialized View：物化视图；
SummingMergeTree：合并引擎；
ReplaceMergeTree：去重引擎；
分区字段：指定索引文件目录字段；
索引粒度：索引文件大小。
g)稀疏索引：是ClickHouse中的一种索引类型，它与传统的B树索引不同。B树索引通常在每个叶子节点上存储指向数据行的指针，
因此索引大小与表大小成正比。稀疏索引则不需要在每个叶子节点上存储指针，而是将这些指针存储在一个单独的数据结构中。
这个数据结构被称为“稀疏索引表”，它包含了每个数据块中的最后一行的指针。当查询需要读取一段连续的数据块时，
ClickHouse会根据稀疏索引表快速定位每个数据块的第一行和最后一行的位置，然后直接读取这些行的数据。由于稀疏索引表的
大小与数据块数量成正比，因此它比B树索引更加紧凑，可以减少内存占用和I/O开销。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于ClickHouse的存储方法，其特征在于：包括ClickHouse、OSD层和数据处理层；存储方法包括以下步骤：
步骤S1，将数据写入ClickHouse中，当数据被写入到ClickHouse时，按照缓存层、合并树层和数据目录层依次写入；首先数据会被写入缓存层中，在数据写入缓存层之后，ClickHouse会将缓存层中的数据批量写入磁盘；
步骤S2，将数据写入到原始数据层中；原始数据层中使用ClickHouse的MergeTree数据表引擎，将数据按照时间维度进行分区和存储；
步骤S3，数据处理层中通过Materialized View对数据进行行加工、清洗、转换和聚合；
Materialized View使用流程：
步骤S301，建立原始表；使用ReplicatedMergeTree副本引擎来指定分区字段、指定建立索引字段以及MergeTree引擎中索引的粒度；
步骤S302，使用ClickHouse的SummingMergeTree引擎创建Materialized View；
步骤S303，最后，通过Materialized View将原始数据进行转换，使得数据易于理解；
ClickHouse通过合并树算法来管理Data Part的合并过程，从而实现高效的数据查询和处理；数据文件是按照列的方式进行存储的，即将每个列单独存储在磁盘上，在按列存储的数据库中；列数据文件通过压缩算法来减少磁盘空间占用；在 ClickHouse 中，每个ClickHouse表数据都由多个数据文件组成，其中每个文件对应一个列，从而使ClickHouse快速地定位和读取数据文件，以支持高效的数据查询和分析。
2.根据权利要求1所述的一种基于ClickHouse的存储方法，其特征在于：列数据文件的压缩具体为：
步骤A1，初始化字典：LZ4算法初始化一个空字典，用于存储已经出现的片段；
步骤A2，分割输入数据为块：将输入数据划分为多个固定大小的块；
步骤A3，遍历块：在当前块内遍历,对于每个块，从头到尾遍历数据；
步骤A4，查找匹配片段：在当前块内，通过字典匹配算法查找与当前片段相匹配的最长重复片段；
步骤A5，存储匹配信息：将匹配片段的指针和长度编码为压缩块的一部分；
步骤A6，更新字典：将当前片段添加到字典中，以供后续的匹配查找，将压缩块输出作为压缩数据。
3. 根据权利要求1所述的一种基于ClickHouse的存储方法，其特征在于：步骤S1中，当数据被写入到合并树层时，ClickHouse将数据写入到Data Part中，然后将Data Part进行合并，直到形成一个文件，合并后的文件为Merged Data Part；Merged Data Part为包含多个Data Part的有序文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311404757.2A CN117149914B (zh) | 2023-10-27 | 2023-10-27 | 一种基于ClickHouse的存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311404757.2A CN117149914B (zh) | 2023-10-27 | 2023-10-27 | 一种基于ClickHouse的存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117149914A CN117149914A (zh) | 2023-12-01 |
| CN117149914B true CN117149914B (zh) | 2024-01-26 |
Family
ID=88908389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311404757.2A Active CN117149914B (zh) | 2023-10-27 | 2023-10-27 | 一种基于ClickHouse的存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117149914B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988741A (zh) * | 2021-02-04 | 2021-06-18 | 北京淇瑀信息科技有限公司 | 实时业务数据合并方法、装置及电子设备 |
| CN113868248A (zh) * | 2021-09-03 | 2021-12-31 | 上海汇付数据服务有限公司 | 指标数据预聚合方法 |
| CN113901055A (zh) * | 2021-10-25 | 2022-01-07 | 联想(北京)有限公司 | 数据的检索处理方法、装置和电子设备 |
| CN114064660A (zh) * | 2021-11-29 | 2022-02-18 | 重庆允成互联网科技有限公司 | 基于ElasticSearch的数据结构化分析方法 |
| CN114153809A (zh) * | 2021-10-20 | 2022-03-08 | 贵州数联铭品科技有限公司 | 基于数据库日志并行实时增量统计的方法 |
| CN114328598A (zh) * | 2021-11-29 | 2022-04-12 | 浪潮云信息技术股份公司 | 基于ClickHouse数据库的pipeline的缓存优化方法及系统 |
| CN114610708A (zh) * | 2020-12-08 | 2022-06-10 | 中移(苏州)软件技术有限公司 | 一种向量数据处理方法及装置、电子设备及存储介质 |
| CN116049181A (zh) * | 2022-12-29 | 2023-05-02 | 天翼云科技有限公司 | 一种基于ClickHouse集群的日志处理方法及装置 |
| CN116185298A (zh) * | 2023-03-02 | 2023-05-30 | 西安电子科技大学 | 一种日志分布式存储的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7133876B2 (en) * | 2001-06-12 | 2006-11-07 | The University Of Maryland College Park | Dwarf cube architecture for reducing storage sizes of multidimensional data |
| US20170193041A1 (en) * | 2016-01-05 | 2017-07-06 | Sqrrl Data, Inc. | Document-partitioned secondary indexes in a sorted, distributed key/value data store |
-
2023
- 2023-10-27 CN CN202311404757.2A patent/CN117149914B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114610708A (zh) * | 2020-12-08 | 2022-06-10 | 中移(苏州)软件技术有限公司 | 一种向量数据处理方法及装置、电子设备及存储介质 |
| CN112988741A (zh) * | 2021-02-04 | 2021-06-18 | 北京淇瑀信息科技有限公司 | 实时业务数据合并方法、装置及电子设备 |
| CN113868248A (zh) * | 2021-09-03 | 2021-12-31 | 上海汇付数据服务有限公司 | 指标数据预聚合方法 |
| CN114153809A (zh) * | 2021-10-20 | 2022-03-08 | 贵州数联铭品科技有限公司 | 基于数据库日志并行实时增量统计的方法 |
| CN113901055A (zh) * | 2021-10-25 | 2022-01-07 | 联想(北京)有限公司 | 数据的检索处理方法、装置和电子设备 |
| CN114064660A (zh) * | 2021-11-29 | 2022-02-18 | 重庆允成互联网科技有限公司 | 基于ElasticSearch的数据结构化分析方法 |
| CN114328598A (zh) * | 2021-11-29 | 2022-04-12 | 浪潮云信息技术股份公司 | 基于ClickHouse数据库的pipeline的缓存优化方法及系统 |
| CN116049181A (zh) * | 2022-12-29 | 2023-05-02 | 天翼云科技有限公司 | 一种基于ClickHouse集群的日志处理方法及装置 |
| CN116185298A (zh) * | 2023-03-02 | 2023-05-30 | 西安电子科技大学 | 一种日志分布式存储的方法 |
Non-Patent Citations (2)
| Title |
|---|
| Compressed Data Direct Computing for Databases;Weitao Wan et al.;《IEEE Transactions on Knowledge and Data Engineering》;1-15 * |
| 面向SELECT和SORT的数据库算子缓存的设计与实现;王新硕;《中国优秀硕士学位论文全文数据库 信息科技辑》;I137-58 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117149914A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11256696B2 (en) | Data set compression within a database system | |
| US8977597B2 (en) | Generating and applying redo records | |
| US8255398B2 (en) | Compression of sorted value indexes using common prefixes | |
| CA2723731C (en) | Managing storage of individually accessible data units | |
| WO2020234719A1 (en) | Indexing for evolving large-scale datasets in multi-master hybrid transactional and analytical processing systems | |
| US11138183B2 (en) | Aggregating data in a mediation system | |
| US8719254B2 (en) | Efficient querying using on-demand indexing of monitoring tables | |
| US20120330909A1 (en) | System and Method for Storing Data Streams in a Distributed Environment | |
| KR20080102981A (ko) | 값의 발생에 기초한 테이블의 압축 | |
| CN102890678A (zh) | 一种基于格雷编码的分布式数据布局方法及查询方法 | |
| JP2005531051A (ja) | リレーショナルデータを圧縮格納フォーマットに格納および問合せすること | |
| US20240126762A1 (en) | Creating compressed data slabs that each include compressed data and compression information for storage in a database system | |
| US20210326320A1 (en) | Data segment storing in a database system | |
| CN113535670B (zh) | 一种虚拟化资源镜像存储系统及其实现方法 | |
| Xu et al. | Reducing replication bandwidth for distributed document databases | |
| US8396858B2 (en) | Adding entries to an index based on use of the index | |
| Wang et al. | Apache IoTDB: A time series database for IoT applications | |
| WO2017156855A1 (en) | Database systems with re-ordered replicas and methods of accessing and backing up databases | |
| CN117149914B (zh) | 一种基于ClickHouse的存储方法 | |
| CN112100197A (zh) | 基于Elasticsearch的准实时日志数据分析与统计方法 | |
| CN115794861A (zh) | 基于特征摘要的离线数据查询复用方法及其应用 | |
| WO1992015954A1 (en) | Compaction of a querying in relational databases | |
| Liu et al. | Reference-counter aware deduplication in erasure-coded distributed storage system | |
| Zaki et al. | Efficient distributed dynamic graph system | |
| CN117131023B (zh) | 数据表处理方法、装置、计算机设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |