CN114911575A - ClickHouse集群管理方法和相关设备 - Google Patents

ClickHouse集群管理方法和相关设备 Download PDF

Info

Publication number
CN114911575A
CN114911575A CN202210549496.2A CN202210549496A CN114911575A CN 114911575 A CN114911575 A CN 114911575A CN 202210549496 A CN202210549496 A CN 202210549496A CN 114911575 A CN114911575 A CN 114911575A
Authority
CN
China
Prior art keywords
clickhouse
cluster
platform
node
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210549496.2A
Other languages
English (en)
Inventor
李焜胤
朱挺
林东煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Travel Information Technology Shanghai Co Ltd
Original Assignee
Ctrip Travel Information Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Travel Information Technology Shanghai Co Ltd filed Critical Ctrip Travel Information Technology Shanghai Co Ltd
Priority to CN202210549496.2A priority Critical patent/CN114911575A/zh
Publication of CN114911575A publication Critical patent/CN114911575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及集群管理技术领域，提供一种ClickHouse集群管理方法和相关设备。ClickHouse集群管理方法应用于ClickHouse集群管理平台，包括：将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中；收集所述容器编排引擎环境中的所有节点信息，同步至所述ClickHouse集群管理平台的数据库，并将所述ClickHouse集群的管理员账户绑定至集成于所述ClickHouse集群管理平台的查询平台；以及，链接所述ClickHouse集群与大数据平台，对所述ClickHouse集群进行大数据管理。本发明结合容器编排引擎Kubernetes和ClickHouse集群管理平台，实现ClickHouse集群的自动部署与扩容，降低运维管理成本，并连通查询平台和大数据平台，实现基于ClickHouse的功能完备的联机分析处理OLAP系统。

Description

ClickHouse集群管理方法和相关设备
技术领域
本发明涉及集群管理技术领域，具体地说，涉及一种ClickHouse集群管理方法和相关设备。
背景技术
ClickHouse是一个用于联机分析处理(On-line Analytical Processing，OLAP)的列式数据库管理系统。目前，ClickHouse已经广泛应用于OLAP的各项领域，集群接入请求也在日益增加。
但是，ClickHouse集群的使用和操作有一定的门槛，需要对分片、节点、数据分层等有着一定的理解，现有的ClickHouse集群的部署运维比较复杂，组建的OLAP平台普遍存在实时性差、同步工具不统一、数据隔离权限不统一等问题。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种ClickHouse集群管理方法和相关设备，能够结合容器编排引擎(Kubernetes)和ClickHouse集群管理平台，解决ClickHouse集群的自动部署与扩容问题，以及运维管理困难的问题，实现基于ClickHouse的OLAP系统。
根据本发明的一个方面，提供一种ClickHouse集群管理方法，应用于ClickHouse集群管理平台，包括：将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中；收集所述容器编排引擎环境中的所有节点信息，同步至所述ClickHouse集群管理平台的数据库，并将所述ClickHouse集群的管理员账户绑定至集成于所述ClickHouse集群管理平台的查询平台；以及，链接所述ClickHouse集群与大数据平台，对所述ClickHouse集群进行大数据管理。
在一些实施例中，所述将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中之前，还包括：对所述容器编排引擎环境中的宿主机资源进行节点配置，生成携带ClickHouse标签的ClickHouse宿主机和携带Zookeeper标签的Zookeeper宿主机；所述ClickHouse集群中，所述ClickHouse节点部署于所述ClickHouse宿主机，所述Zookeeper节点部署于所述Zookeeper宿主机。
在一些实施例中，所述将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中，包括：将ClickHouse生成器部署至所述容器编排引擎环境，通过所述ClickHouse集群管理平台和所述ClickHouse生成器的描述文件进行所述ClickHouse集群的部署。
在一些实施例中，所述通过所述ClickHouse集群管理平台和所述ClickHouse生成器的描述文件进行所述ClickHouse集群的部署，包括：响应于集群申请请求，绑定所述ClickHouse集群的工作域；生成所述ClickHouse集群的配置信息和账户信息；设置所述ClickHouse集群的资源占用信息；将所述Zookeeper节点的容器编排引擎域名和服务名添加至所述描述文件；整合所有描述文件的设置，生成分别对应于所述ClickHouse节点、所述Zookeeper节点和所述Zookeeper节点的服务节点的资源描述文件；将所述资源描述文件提交至所述容器编排引擎环境，生成所述ClickHouse节点和所述Zookeeper节点，并将所述ClickHouse节点的域名链接至目标服务节点。
在一些实施例中，所述绑定所述ClickHouse集群的工作域，包括：根据所述集群申请请求携带的应用标识和组标识，绑定所述工作域，所述工作域覆盖若干ClickHouse宿主机和若干Zookeeper宿主机。
在一些实施例中，所述配置信息包括：用户账密配置信息、用户权限配置信息、查询配置信息、写入配置信息、集群存储配置信息和日志存储配置信息；所述账户信息包括拥有全部权限的管理员账户、拥有读写权限的读写账户和拥有只读权限的只读账户。
在一些实施例中，所述设置所述ClickHouse集群的资源占用信息，包括：根据分片信息和副本信息，设置所述资源占用信息，所述资源占用信息包括分片数、副本数、中央处理器占用信息、内存占用信息、存储空间占用信息和同步资源占用信息。
在一些实施例中，所述将所述ClickHouse节点的域名链接至目标服务节点，包括：将所述ClickHouse节点的域名提交至部署于所述容器编排引擎环境的网关服务，生成域名访问服务，将所述ClickHouse节点的域名链接至所述目标服务节点。
在一些实施例中，所述大数据平台包括：数据传输平台、数据权限平台、数据查询工具、数据报表平台和数据实时计算平台。
在一些实施例中，所述对所述ClickHouse集群进行大数据管理，包括以下一项或多项：通过所述大数据平台，配置所述ClickHouse集群的表结构，所述表结构与所述大数据平台的数据表的索引处于同一层级；通过所述数据权限平台，配置所述ClickHouse集群的库表权限；通过所述数据传输平台，将数据源中的离线数据导入所述ClickHouse集群，并将所述ClickHouse集群中的数据导入所述数据源；通过所述数据实时计算平台，将实时数据导入所述ClickHouse集群；通过所述数据查询工具，对所述ClickHouse集群进行数据查询和导出；通过所述数据报表平台，配置所述ClickHouse集群的数据报表。
在一些实施例中，所述的ClickHouse集群管理方法还包括：通过所述ClickHouse集群管理平台，对所述ClickHouse集群进行运维管理；其中，对所述ClickHouse集群进行运维管理，包括以下一项或多项：通过所述ClickHouse集群管理平台的集群列表页面，展示所有ClickHouse集群并供搜索；通过所述ClickHouse集群管理平台的集群详情页面，展示一目标ClickHouse集群的所有详情信息；响应于自所述集群详情页面发出的集群变更请求，修改所述目标ClickHouse集群的配置；响应于自所述集群详情页面发出的集群扩容请求，根据所述集群扩容请求携带的副本数量和备份数量，对所述目标ClickHouse集群进行扩容；响应于自所述集群详情页面发出的权限管理请求，对所述目标ClickHouse集群进行权限管理；响应于自所述集群详情页面发出的库表管理请求，对所述目标ClickHouse集群进行库表管理；通过所述ClickHouse集群管理平台的申请集群页面，接收集群申请请求；通过所述ClickHouse集群管理平台的审批列表页面，展示已经审批的集群申请请求和未经审批的集群申请请求；通过所述ClickHouse集群管理平台的版本管理页面，对各ClickHouse版本进行管理；响应于所述管理员账户自所述查询平台发出的查询请求，对所述管理员账户关联的ClickHouse集群及其节点信息进行查询、管理和导出。
根据本发明的一个方面，提供一种ClickHouse集群管理平台，用于实现如上述任意实施例所述的ClickHouse集群管理方法，包括：集群部署模块，用于将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中；数据管理模块，用于收集所述容器编排引擎环境中的所有节点信息，同步至所述ClickHouse集群管理平台的数据库，并将所述ClickHouse集群的管理员账户绑定至集成于所述ClickHouse集群管理平台的查询平台；以及，平台接口模块，用于链接所述ClickHouse集群与大数据平台链接，对所述ClickHouse集群进行大数据管理。
根据本发明的一个方面，提供一种联机分析处理系统，包括如上述任意实施例所述的ClickHouse集群管理平台。
根据本发明的一个方面，提供一种计算机设备，包括：一处理器；一存储器，所述存储器中存储有可执行指令；其中，所述可执行指令被所述处理器执行时，实现如上述任意实施例所述的ClickHouse集群管理方法。
根据本发明的一个方面，提供一种计算机可读的存储介质，用于存储程序，所述程序被处理器执行时实现如上述任意实施例所述的ClickHouse集群管理方法。
本发明与现有技术相比的有益效果至少包括：
本发明结合容器编排引擎Kubernetes和ClickHouse集群管理平台，实现ClickHouse集群的自动部署与扩容，降低运维管理成本，实现ClickHouse生命周期用户自助管理；结合Kubernetes的灵活性与Clickhouse强大的OLAP性能，并连通查询平台和大数据平台，实现基于ClickHouse的功能完备的OLAP系统。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明一实施例中ClickHouse集群管理方法的步骤示意图；
图2示出本发明一实施例中ClickHouse集群部署过程的步骤示意图；
图3示出本发明一实施例中ClickHouse集群部署和检索的流程示意图；
图4示出本发明一实施例中联机分析处理系统的架构示意图；
图5示出本发明一实施例中ClickHouse集群管理平台的功能模块图；
图6示出本发明一实施例中集群详情页面的页面示意图；
图7示出本发明一实施例中ClickHouse集群管理平台的模块示意图；
图8示出本发明一实施例中计算机设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使本发明全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
此外，附图中所示的流程仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤可以分解，有的步骤可以合并或部分合并，且实际执行的顺序有可能根据实际情况改变。需要说明的是，在不冲突的情况下，本发明的实施例及不同实施例中的特征可以相互组合。
本发明的ClickHouse集群管理方法，应用于ClickHouse集群管理平台。ClickHouse集群管理平台(下文称作CH-PaaS平台)是本发明开发的一款用户可视化自助ClickHouse集群运维管理工具，用于管理ClickHouse集群，具备数据源接入、数据源导出、数据查询等联机分析处理(OLAP)功能，且与大数据平台联动，实现从大数据平台到基于ClickHouse的OLAP平台的数据同步。
图1示出ClickHouse集群管理方法的主要步骤，参照图1所示，在一个实施例中，ClickHouse集群管理方法包括：
步骤S110，将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中。
ClickHouse是一个用于OLAP的列式数据库管理系统，具有数据写入吞吐量大、分布式系统可以水平扩展、数据压缩比高且存储成本低、每秒查询率(Queries-per-second，QPS)不高且查询速度快等特点。容器编排引擎(Kubernetes)是用于自动部署、扩展和管理容器化应用程序的开源系统，具有以下特点：可移植：支持公有云、私有云、混合云和多重云；可扩展：模块化、插件化、可挂载、可组合、支持各种形式的扩展；自动化：自动部署、自动重启、自动复制、自动伸缩/扩展、通过声明式语法提供强大的自修复能力。
ZooKeeper(分布式应用程序协调服务)节点能够提供配置维护、域名服务、分布式同步、组服务等功能。因为ClickHouse需要使用Zookeeper做副本同步，因此需要在ClickHouse集群中配置Zookeeper节点。
步骤S120，收集容器编排引擎环境中的所有节点信息，同步至ClickHouse集群管理平台的数据库，并将ClickHouse集群的管理员账户绑定至集成于ClickHouse集群管理平台的查询平台。
CH-PaaS平台通过收集程序，能够收集Kubernetes环境中的所有ClickHouse节点和Zookeeper节点的信息，将节点更新与自身数据库保持同步，包括Zookeeper节点信息至MySQL(关系型数据库管理系统)数据库和Qconfig配置中心，将节点信息反馈至用户，并将对应集群管理员的账户和节点绑定至查询平台(SQLPad)，使用户可以使用SQLPad查询ClickHouse集群的相关数据。
SQLPad是一款开源的ClickHouse连接SQL(Structured Query Language，结构化查询语言)的工作台工具，使用HTTP(Hyper Text Transfer Protocol，超文本传输协议)连接，可执行与输出SQL，提供结果格式导出、可视化图表等功能。
步骤S130，链接ClickHouse集群与大数据平台，对ClickHouse集群进行大数据管理。
上述的ClickHouse集群管理方法，结合Kubernetes和CH-PaaS平台，实现ClickHouse集群的自动部署与扩容，降低运维管理成本，实现ClickHouse生命周期用户自助管理；结合Kubernetes的灵活性与Clickhouse强大的OLAP性能，并连通查询平台和大数据平台，能够实现基于ClickHouse的功能完备的OLAP系统。
在一个实施例中，将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中之前，还包括：对容器编排引擎环境中的宿主机资源进行节点配置，生成携带ClickHouse标签的ClickHouse宿主机和携带Zookeeper标签的Zookeeper宿主机；ClickHouse集群中，ClickHouse节点部署于ClickHouse宿主机，Zookeeper节点部署于Zookeeper宿主机。
具体在部署ClickHouse前，需要先将宿主机资源添加至Kubernetes环境，并在配置Node(节点)时添加taint(污点)和label(标签)设置专属宿主机，以便后续的集群使用资源能够挂靠在正确的宿主机上。ClickHouse宿主机的label设置为“ck-host”，Zookeeper宿主机的label设置为“zookeeper”。本实施例中，在数据中心部署了80台ClickHouse宿主机和14台Zookeeper宿主机。
在一个实施例中，将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中，包括：将ClickHouse生成器部署至容器编排引擎环境，通过ClickHouse集群管理平台和ClickHouse生成器的描述文件进行ClickHouse集群的部署。
ClickHouse生成器即ClickHouse-Operator，是基于Kubernetes的自定义资源类型(Custom Resource Definition，CRD)配置管理工具。将ClickHouse-Operator部署在Kubernetes环境，使用描述文件(ClickHouse Installation，CHI)进行具体的ClickHouse集群部署。ClickHouse-Operator连接调用Kubernetes的Core API(核心接口)实现资源的调用与部署，CHI用于管理ClickHouse集群，其中规定很多关于ClickHouse的配置参数，本实施例选取一部分，并将配置生成过程嵌入CH-PaaS平台。
图2示出ClickHouse集群的部署过程的主要步骤，参照图2所示，在一个实施例中，通过ClickHouse集群管理平台和ClickHouse生成器的描述文件进行ClickHouse集群的部署，包括：
S210，响应于集群申请请求，绑定ClickHouse集群的工作域。
其中，绑定ClickHouse集群的工作域，包括：根据集群申请请求携带的应用标识和组标识，绑定工作域，工作域覆盖若干ClickHouse宿主机和若干Zookeeper宿主机。CH-PaaS平台接收到用户提交的经超管审核通过的集群申请请求后，先根据App id(应用标识)和Group id(组标识)绑定IDC(Internet Data Center，互联网数据中心)工作域，以IDC区分具体的物理集群，并以App id+IDC的形式产生集群命名。
S220，生成ClickHouse集群的配置信息和账户信息。
其中，配置信息包括Config配置与User配置，具体包括用户账密配置信息、用户权限配置信息、查询配置信息、写入配置信息、集群存储配置信息和日志存储配置信息；账户信息包括三种主要账户：拥有全部权限的管理员账户(DDL账户)、拥有读写权限的读写账户(JDBC账户)和拥有只读权限的只读账户(Read账户)。
S230，设置ClickHouse集群的资源占用信息。
其中，设置ClickHouse集群的资源占用信息，包括：根据分片(shard)信息和副本(replica)信息(由管理员在CH-PaaS平台提供)，设置资源占用信息，资源占用信息包括分片数、副本数、中央处理器占用信息、内存占用信息、存储空间占用信息和同步资源占用信息。
S240，将Zookeeper节点的容器编排引擎域名和服务名添加至描述文件。
Zookeeper节点的Kubernetes域名和服务名根据代码规则生成，将其添加至CHI，保证后续两者通信。
S250，整合所有描述文件的设置，生成分别对应于ClickHouse节点、Zookeeper节点和Zookeeper节点的服务节点的资源描述文件。
整合所有的CHI设置后，将其合成为Kubernetes的三个YAML(一种用来表达数据序列化的格式)资源描述文件，分别对应ClickHouse、Zookeeper和Zookeeper-svr，用于后续CH-PaaS平台进一步处理。其中，在ClickHouse集群的关键配置中，包含Freemarker模板设置(由CH-PaaS平台注入参数)。
S260，将资源描述文件提交至容器编排引擎环境，生成ClickHouse节点和Zookeeper节点，并将ClickHouse节点的域名链接至目标服务节点。
其中，将ClickHouse节点的域名链接至目标服务节点，包括：将ClickHouse节点的域名提交至部署于容器编排引擎环境的网关服务，生成域名访问服务，将ClickHouse节点的域名链接至目标服务节点。
CH-PaaS平台将三份YAML资源描述文件提交至Kubernetes，生成ClickHouse节点和Zookeeper节点，并使用其中ClickHouse节点生成的域名提交至Kubernetes环境中已部署的网关服务(istio-Ingress服务)，istio-Ingress服务通过Destination Rule(目标规则)、Gateway(网关)、Virtual Service(虚拟服务)三者形成域名访问服务，将ClickHouse节点的域名链接至最终的目标服务节点。
ClickHouse集群的水平扩容操作原理和过程与上述的集群部署原理和过程相同，因此不再重复说明。
图3示出ClickHouse集群部署和检索的主要流程，包括初始部署和后续的集群状态检测。参照图3所示，在一个实施例中，通过CH-PaaS平台部署和检索ClickHouse集群，包括：
S310，根据应用标识App id和组标识Group id绑定IDC工作域。此时已提供域名但不可读。本步骤中，有任意参数异常则结束流程。
S320，基于CH-PaaS平台运行描述文件CHI。具体包括：调用isito文档→读取大数据接口Big Data Interface→读取PVC资源对象→运行描述文件CHI→写入数据库MySQL→申请部署。若描述文件CHI未正常启动，则结束流程。若运行成功，继续后续流程。
S330，基于CH-PaaS平台Zookeeper节点信息。具体包括：启动任务→检测CHI是否启动完成→若是则检测部署点pod是否运行→若是则检测工作域的IP(InternetProtocol，网际互连协议)是否完成，若是将节点信息同步至MySQL数据库，此时域名可读。若IP未完成，则返回重新启动任务(可等待预设时间)。此外，在检测CHI是否启动完成的步骤中，若CHI未启动完成、以及在检测部署点pod是否运行的步骤中，若pod未运行，也返回重新启动任务。若步骤S330运行成功，则继续后续流程，若失败/异常，则结束流程。
S340，基于CH-PaaS平台同步IP信息。具体包括：启动任务→运行MySQL节点→配置节点IP，若成功则结束流程，此时IP可写，若失败则返回重新启动任务。
在一个实施例中，大数据平台包括：数据传输平台(DTC)，用于数据处理的任务管理与分发；数据权限平台(DSC)，用于数据表的查询和开发权限申请与审批；数据查询工具(Adhoc)，是大数据平台的查询工具，主要连接Hive数据源；数据报表平台(Artnova)，可根据不同的数据源生成报表；数据实时计算平台(Muise)，用于数据的转发、同步与预处理。
通过CH-PaaS平台的收集程序和开发接口，能够使DTC、DSC、Adhoc、ArtNova、Muise等大数据系统与CH-PaaS平台所管理的ClickHouse集群联动，实现对集群的Metadata(元数据)管理、数据同步、数据查询、权限认证等功能，实现基于ClickHouse的OLAP系统。
图4示出联机分析处理系统的主要架构，参照图4所示，在一个实施例中，OLAP系统400包括：
容器编排引擎Kubernetes 410，配置有ClickHouse-Operator、ClickHouse节点和Zookeeper节点。容器编排引擎410与流处理平台Kafka420联动，并与Hive数据源430和多个大数据平台联动。Hive数据源430与MySQL数据库440等原始数据库联动。大数据平台包括：数据查询工具Adhoc 450a、数据传输平台DTC 450b、数据权限平台DSC 450c、元数据管理平台Metadata 450d、数据报表平台Artnova 450e、可视化工具Kibana/Grafana 450f，等等。容器编排引擎410还与CH-PaaS平台460联动，实现基于ClickHouse的OLAP系统400。
在一个实施例中，对ClickHouse集群进行大数据管理，包括以下一项或多项：
通过大数据平台，配置ClickHouse集群的表结构，表结构与大数据平台的数据表的索引处于同一层级；通过大数据平台Metadata建表，用户可以在大数据平台配置ClickHouse表结构，与大数据中的各类表index处于同一层级，方便管理。
通过数据权限平台，配置ClickHouse集群的库表权限；用户可以在DSC平台申请各类ClickHouse的库表权限。
通过数据传输平台，将数据源中的离线数据导入ClickHouse集群，并将ClickHouse集群中的数据导入数据源；通过权限认证后，用户可以通过DTC平台配置Muise任务，将Hive等离线数据(即非实时写入的数据)导入至ClickHouse，同时也可以将ClickHouse中的数据导入至Hive等数据源，实现与大数据平台之间的联通。
通过数据实时计算平台，将实时数据导入ClickHouse集群；通过权限认证后，用户可以通过Muise实时计算平台配置Flink任务，可以使用Flink-jar任务，也可直接配置Flink-SQL将数据导入ClickHouse。
通过数据查询工具，对ClickHouse集群进行数据查询和导出；申请查询权限后，用户可以在大数据平台的adhoc查询界面选择已有的集群进行SQL查询，也可以导出部分数据用于分析。
通过数据报表平台，配置ClickHouse集群的数据报表；申请查询权限后，用户可以在Artnova平台配置ClickHouse数据源的数据报表。
图5示出ClickHouse集群管理平台的功能模块，参照图5所示，在一个实施例中，CH-PaaS平台500包括集群管理模块510、查询平台SQL Pad 520、元数据管理模块530、任务管理模块540、版本管理模块550和用户管理模块560。集群管理模块510中，可包括集群部署、集群配置、集群监控、集群离线、集群变更、集群元数据等功能模块。查询平台SQL Pad520中，可包括用户注册/登录、SQL/DDL搜索、导出数据等功能模块。元数据管理模块530中，可包括数据库管理、数据表管理、DDL管理等功能模块。任务管理模块540中，可包括节点检测、监控检测、查询同步、配置检测等功能模块。版本管理模块550中，可包括CH(ClickHouse)版本管理、ZK(Zookeeper)版本管理等功能模块。用户管理模块560中，可包括CH用户管理、PaaS用户管理等功能模块。
在一个实施例中，ClickHouse集群管理方法还包括：通过ClickHouse集群管理平台，对ClickHouse集群进行运维管理。CH-PaaS平台是本发明开发的一款用户可视化自助ClickHouse集群运维管理工具，包含集群状态查询、集群管理、集群审核与扩容等功能，将ClickHouse集群的所有部署与运维操作集合于一体。
对ClickHouse集群进行运维管理，包括以下一项或多项：
通过ClickHouse集群管理平台的集群列表页面，展示所有ClickHouse集群并供搜索。在集群列表页面，具体可支持集群名、域名、用户名、节点IP、数据库搜索等功能。
通过ClickHouse集群管理平台的集群详情页面，展示一目标ClickHouse集群的所有详情信息。图6示出集群详情页面的页面示意，参照图6所示，在集群详情页面600，展示目标ClickHouse集群的基本信息和详情信息，同时还包括集群配置栏，集群配置栏中具体包括实例信息项、集群变更项、权限管理项、库表信息项、账密显示项、DDL管理项等等。
响应于自集群详情页面发出的集群变更请求，修改目标ClickHouse集群的配置。具体来说，用户可在实例信息处，修改自己集群的特殊配置，包括常用的查询、写入、网络等设置。
响应于自集群详情页面发出的集群扩容请求，根据集群扩容请求携带的副本数量和备份数量，对目标ClickHouse集群进行扩容。用户可在实例信息处，提出水平与垂直扩容集群申请，自行选择所需要的shard与replica数量。
响应于自集群详情页面发出的权限管理请求，对目标ClickHouse集群进行权限管理。在权限管理处，集群的申请人和超管可自助添加与删除集群管理员。
响应于自集群详情页面发出的库表管理请求，对目标ClickHouse集群进行库表管理。在库表信息处，可以进行库表的源数据管理与修改，其中表的创建涵盖表结构的列、分区、TTL设置等。
通过ClickHouse集群管理平台的申请集群页面，接收集群申请请求。通过申请集群页面，用户可按需求自助申请创建集群。
通过ClickHouse集群管理平台的审批列表页面，展示已经审批的集群申请请求和未经审批的集群申请请求。超管可在审批列表页面根据申请调整对应的资源配置。
通过ClickHouse集群管理平台的版本管理页面，对各ClickHouse版本进行管理。
响应于管理员账户自查询平台发出的查询请求，对管理员账户关联的ClickHouse集群及其节点信息进行查询、管理和导出。通过在CH-PaaS平台中集成SQLPad查询平台，链接内部账户，并同步用户与账号的权限管理，使用户在界面上能管理自己在CH-PaaS平台中有权限的集群与节点。用户可以在SQLPad查询平台完成对元数据的查询与管理，并且支持将数据导出为csv、xlsx、json三种格式的文件。
综上，本发明的ClickHouse集群管理方法，通过CH-PaaS平台实现了ClickHouse集群的生命周期管理，包括部署集群、水平与垂直扩容集群、修改集群配置、集群下线、节点状态实时检测、集成查询、部分异常自动检测等功能，实现了Kubernetes宿主机、Pod、集群的全方位监控；将ClickHouse集群托管至Kubernetes管理，减少了对于物理机环境与配置的大量重复配置，降低了系统的复杂性，减少了系统的管理成本。CH-PaaS平台能够提升ClickHouse集群的易用性，使普通的业务与数据开发从ClickHouse的集群设置中解放，无需关注ClickHouse的集群部署与运维细节，大大降低了ClickHouse集群的使用门槛，做到集群开箱即可用。此外，还使更多的用户使用到ClickHouse这一强大的OLAP管理系统，改善海量数据的OLAP处理性能问题，因为ClickHouse存储数据的高压缩比，降低了存储数据的成本，相比于其他数据库管理系统，在OLAP的方面提高了原系统的效率与稳定性。本发明的CH-PaaS平台与大数据平台充分联动，实现了离线数据与实时数据的全周期管理，两方的数据相互流转，充分发挥各平台的优势处理能力，实现了CH-PaaS平台整合OLAP平台的效果。
本发明实施例还提供一种ClickHouse集群管理平台，即CH-PaaS平台，可用于实现上述任意实施例描述的ClickHouse集群管理方法。上述任意实施例描述的ClickHouse集群管理方法的特征和原理均可应用至下面的CH-PaaS平台实施例。在下面的CH-PaaS平台实施例中，对已经阐明的关于ClickHouse集群管理的特征和原理不再重复说明。
图7示出ClickHouse集群管理平台的主要模块，参照图7所示，在一个实施例中，ClickHouse集群管理平台700包括：集群部署模块710，用于将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中；数据管理模块720，用于收集容器编排引擎环境中的所有节点信息，同步至ClickHouse集群管理平台的数据库，并将ClickHouse集群的管理员账户绑定至集成于ClickHouse集群管理平台的查询平台；以及平台接口模块730，用于链接ClickHouse集群与大数据平台，对ClickHouse集群进行大数据管理。
进一步地，ClickHouse集群管理平台700还可包括实现上述各ClickHouse集群管理方法实施例的其他流程步骤的模块，例如可包括图5中所示的各个功能模块。各个模块的具体原理可参照上述各ClickHouse集群管理方法实施例的描述，此处不再重复说明。
此外，本发明实施例还提供一种联机分析处理系统，即OLAP系统，包括上述任意实施例描述的CH-PaaS平台。OLAP系统的架构可参照图4所示，此处不再重复说明。
本发明的CH-PaaS平台，能够实现ClickHouse集群的自动部署与扩容，降低运维管理成本，实现ClickHouse生命周期用户自助管理；结合Kubernetes的灵活性与Clickhouse强大的OLAP性能，连通各大数据平台，实现基于ClickHouse的功能完备的OLAP系统。
本发明实施例还提供一种计算机设备，包括处理器和存储器，存储器中存储有可执行指令，可执行指令被处理器执行时，实现上述任意实施例描述的ClickHouse集群管理方法。
本发明的计算机设备，能够实现ClickHouse集群的自动部署与扩容，降低运维管理成本，实现ClickHouse生命周期用户自助管理；结合Kubernetes的灵活性与Clickhouse强大的OLAP性能，连通各大数据平台，实现基于ClickHouse的功能完备的OLAP系统。
图8是本发明实施例中计算机设备的结构示意图，应当理解的是，图8仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。
如图8所示，计算机设备800以通用计算设备的形式表现。计算机设备800的组件包括但不限于：至少一个处理单元810、至少一个存储单元820、连接不同平台组件(包括存储单元820和处理单元810)的总线830、显示单元840等。
存储单元820存储有程序代码，程序代码可以被处理单元810执行，使得处理单元810执行上述任意实施例描述的ClickHouse集群管理方法的步骤。例如，处理单元810可以执行如图1所示的步骤。
存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一个或多个程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
计算机设备800也可以与一个或多个外部设备通信，外部设备可以是键盘、指向设备、蓝牙设备等设备中的一种或多种。这些外部设备使得用户能与该计算机设备800进行交互通信。计算机设备800也能与一个或多个其它计算设备进行通信，所示计算机设备包括路由器、调制解调器。这种通信可以通过输入/输出(I/O)接口850进行。并且，计算机设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器860可以通过总线830与计算机设备800的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读的存储介质，用于存储程序，程序被执行时实现上述任意实施例描述的ClickHouse集群管理方法。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述任意实施例描述的ClickHouse集群管理方法。
本发明的存储介质当被处理器执行时，能够实现ClickHouse集群的自动部署与扩容，降低运维管理成本，实现ClickHouse生命周期用户自助管理；结合Kubernetes的灵活性与Clickhouse强大的OLAP性能，连通各大数据平台，实现基于ClickHouse的功能完备的OLAP系统。
存储介质可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的存储介质不限于此，其可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读信号介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (15)

1.一种ClickHouse集群管理方法，其特征在于，应用于ClickHouse集群管理平台，包括：
将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中；
收集所述容器编排引擎环境中的所有节点信息，同步至所述ClickHouse集群管理平台的数据库，并将所述ClickHouse集群的管理员账户绑定至集成于所述ClickHouse集群管理平台的查询平台；以及
链接所述ClickHouse集群与大数据平台，对所述ClickHouse集群进行大数据管理。
2.如权利要求1所述的ClickHouse集群管理方法，其特征在于，所述将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中之前，还包括：
对所述容器编排引擎环境中的宿主机资源进行节点配置，生成携带ClickHouse标签的ClickHouse宿主机和携带Zookeeper标签的Zookeeper宿主机；
所述ClickHouse集群中，所述ClickHouse节点部署于所述ClickHouse宿主机，所述Zookeeper节点部署于所述Zookeeper宿主机。
3.如权利要求1所述的ClickHouse集群管理方法，其特征在于，所述将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中，包括：
将ClickHouse生成器部署至所述容器编排引擎环境，通过所述ClickHouse集群管理平台和所述ClickHouse生成器的描述文件进行所述ClickHouse集群的部署。
4.如权利要求3所述的ClickHouse集群管理方法，其特征在于，所述通过所述ClickHouse集群管理平台和所述ClickHouse生成器的描述文件进行所述ClickHouse集群的部署，包括：
响应于集群申请请求，绑定所述ClickHouse集群的工作域；
生成所述ClickHouse集群的配置信息和账户信息；
设置所述ClickHouse集群的资源占用信息；
将所述Zookeeper节点的容器编排引擎域名和服务名添加至所述描述文件；
整合所有描述文件的设置，生成分别对应于所述ClickHouse节点、所述Zookeeper节点和所述Zookeeper节点的服务节点的资源描述文件；
将所述资源描述文件提交至所述容器编排引擎环境，生成所述ClickHouse节点和所述Zookeeper节点，并将所述ClickHouse节点的域名链接至目标服务节点。
5.如权利要求4所述的ClickHouse集群管理方法，其特征在于，所述绑定所述ClickHouse集群的工作域，包括：
根据所述集群申请请求携带的应用标识和组标识，绑定所述工作域，所述工作域覆盖若干ClickHouse宿主机和若干Zookeeper宿主机。
6.如权利要求4所述的ClickHouse集群管理方法，其特征在于，所述配置信息包括：用户账密配置信息、用户权限配置信息、查询配置信息、写入配置信息、集群存储配置信息和日志存储配置信息；
所述账户信息包括拥有全部权限的管理员账户、拥有读写权限的读写账户和拥有只读权限的只读账户。
7.如权利要求4所述的ClickHouse集群管理方法，其特征在于，所述设置所述ClickHouse集群的资源占用信息，包括：
根据分片信息和副本信息，设置所述资源占用信息，所述资源占用信息包括分片数、副本数、中央处理器占用信息、内存占用信息、存储空间占用信息和同步资源占用信息。
8.如权利要求4所述的ClickHouse集群管理方法，其特征在于，所述将所述ClickHouse节点的域名链接至目标服务节点，包括：
将所述ClickHouse节点的域名提交至部署于所述容器编排引擎环境的网关服务，生成域名访问服务，将所述ClickHouse节点的域名链接至所述目标服务节点。
9.如权利要求1所述的ClickHouse集群管理方法，其特征在于，所述大数据平台包括：数据传输平台、数据权限平台、数据查询工具、数据报表平台和数据实时计算平台。
10.如权利要求9所述的ClickHouse集群管理方法，其特征在于，所述对所述ClickHouse集群进行大数据管理，包括以下一项或多项：
通过所述大数据平台，配置所述ClickHouse集群的表结构，所述表结构与所述大数据平台的数据表的索引处于同一层级；
通过所述数据权限平台，配置所述ClickHouse集群的库表权限；
通过所述数据传输平台，将数据源中的离线数据导入所述ClickHouse集群，并将所述ClickHouse集群中的数据导入所述数据源；
通过所述数据实时计算平台，将实时数据导入所述ClickHouse集群；
通过所述数据查询工具，对所述ClickHouse集群进行数据查询和导出；
通过所述数据报表平台，配置所述ClickHouse集群的数据报表。
11.如权利要求1所述的ClickHouse集群管理方法，其特征在于，还包括：通过所述ClickHouse集群管理平台，对所述ClickHouse集群进行运维管理；
其中，对所述ClickHouse集群进行运维管理，包括以下一项或多项：
通过所述ClickHouse集群管理平台的集群列表页面，展示所有ClickHouse集群并供搜索；
通过所述ClickHouse集群管理平台的集群详情页面，展示一目标ClickHouse集群的所有详情信息；
响应于自所述集群详情页面发出的集群变更请求，修改所述目标ClickHouse集群的配置；
响应于自所述集群详情页面发出的集群扩容请求，根据所述集群扩容请求携带的副本数量和备份数量，对所述目标ClickHouse集群进行扩容；
响应于自所述集群详情页面发出的权限管理请求，对所述目标ClickHouse集群进行权限管理；
响应于自所述集群详情页面发出的库表管理请求，对所述目标ClickHouse集群进行库表管理；
通过所述ClickHouse集群管理平台的申请集群页面，接收集群申请请求；
通过所述ClickHouse集群管理平台的审批列表页面，展示已经审批的集群申请请求和未经审批的集群申请请求；
通过所述ClickHouse集群管理平台的版本管理页面，对各ClickHouse版本进行管理；
响应于所述管理员账户自所述查询平台发出的查询请求，对所述管理员账户关联的ClickHouse集群及其节点信息进行查询、管理和导出。
12.一种ClickHouse集群管理平台，其特征在于，用于实现如权利要求1-11任一项所述的ClickHouse集群管理方法，包括：
集群部署模块，用于将包含ClickHouse节点和Zookeeper节点的ClickHouse集群部署至容器编排引擎环境中；
数据管理模块，用于收集所述容器编排引擎环境中的所有节点信息，同步至所述ClickHouse集群管理平台的数据库，并将所述ClickHouse集群的管理员账户绑定至集成于所述ClickHouse集群管理平台的查询平台；以及
平台接口模块，用于链接所述ClickHouse集群与大数据平台，对所述ClickHouse集群进行大数据管理。
13.一种联机分析处理系统，其特征在于，包括如权利要求12所述的ClickHouse集群管理平台。
14.一种计算机设备，其特征在于，包括：
一处理器；
一存储器，所述存储器中存储有可执行指令；
其中，所述可执行指令被所述处理器执行时，实现如权利要求1-11任一项所述的ClickHouse集群管理方法。
15.一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1-11任一项所述的ClickHouse集群管理方法。
CN202210549496.2A 2022-05-20 2022-05-20 ClickHouse集群管理方法和相关设备 Pending CN114911575A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210549496.2A CN114911575A (zh) 2022-05-20 2022-05-20 ClickHouse集群管理方法和相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210549496.2A CN114911575A (zh) 2022-05-20 2022-05-20 ClickHouse集群管理方法和相关设备

Publications (1)

Publication Number Publication Date
CN114911575A true CN114911575A (zh) 2022-08-16

Family

ID=82769420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210549496.2A Pending CN114911575A (zh) 2022-05-20 2022-05-20 ClickHouse集群管理方法和相关设备

Country Status (1)

Country Link
CN (1) CN114911575A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115982211A (zh) * 2022-12-02 2023-04-18 北京凌云雀科技有限公司 基于云原生的MySQL数据查询分析方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115982211A (zh) * 2022-12-02 2023-04-18 北京凌云雀科技有限公司 基于云原生的MySQL数据查询分析方法及装置
CN115982211B (zh) * 2022-12-02 2023-09-26 北京凌云雀科技有限公司 基于云原生的MySQL数据查询分析方法及装置

Similar Documents

Publication Publication Date Title
US20210273972A1 (en) Dynamic Hierarchical Tagging System and Method
CN107370786B (zh) 一种基于微服务架构的通用信息管理系统
US9002868B2 (en) Systems and methods for secure access of data
US20130110873A1 (en) Method and system for data storage and management
US20130238641A1 (en) Managing tenant-specific data sets in a multi-tenant environment
CN109101428B (zh) 一种ui自动化测试系统
US11375015B2 (en) Dynamic routing of file system objects
US20160335274A1 (en) Facilitating application processes defined using application objects to operate based on structured and unstructured data stores
CN114911575A (zh) ClickHouse集群管理方法和相关设备
US20230099501A1 (en) Masking shard operations in distributed database systems
US11704327B2 (en) Querying distributed databases
CN116848517A (zh) 使用基于数据指纹的数据地址的高速缓存编索引
US20230306026A1 (en) Database query performance improvement
US11727022B2 (en) Generating a global delta in distributed databases
US11609754B2 (en) Tool for latency optimized system placement
US11704314B2 (en) Multiplexing data operation
US11354312B2 (en) Access-plan-based querying for federated database-management systems
CN115292313A (zh) 一种伪列实现方法、装置、电子设备及存储介质
CN114996053A (zh) 一种远程卷复制传输方法、系统、装置及存储介质
US11042665B2 (en) Data connectors in large scale processing clusters
CN115485677A (zh) 在分布式数据存储环境中的安全数据复制
CN111352985A (zh) 一种基于计算机系统的数据服务平台、方法、存储介质
CN112988879A (zh) 访问数据库的方法、系统、装置、存储介质及处理器
US11687416B2 (en) Data backup optimization
US11995102B2 (en) Bidirectional data replication with wait for data function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination