CN113268475A - 一种clickhouse数据库自清除方法 - Google Patents

一种clickhouse数据库自清除方法 Download PDF

Info

Publication number
CN113268475A
CN113268475A CN202110608196.2A CN202110608196A CN113268475A CN 113268475 A CN113268475 A CN 113268475A CN 202110608196 A CN202110608196 A CN 202110608196A CN 113268475 A CN113268475 A CN 113268475A
Authority
CN
China
Prior art keywords
clickhouse
data
cleaning
server
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110608196.2A
Other languages
English (en)
Inventor
张康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Huanwang Technology Co Ltd
Original Assignee
Guangdong Huanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Huanwang Technology Co Ltd filed Critical Guangdong Huanwang Technology Co Ltd
Priority to CN202110608196.2A priority Critical patent/CN113268475A/zh
Publication of CN113268475A publication Critical patent/CN113268475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种clickhouse数据库自清除方法，包括：对服务器磁盘和clickhouse数据进行监控；在服务器磁盘剩余容量低于服务器磁盘总容量的第一预设数值时对服务器磁盘进行清理包括：若clickhouse数据占服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对clickhouse数据量进行清理。本发明的有益效果为：实现对服务器磁盘的自动清理，能够解决由于clickhouse数据量过大而引起的服务器磁盘空间不足的问题，可以在极短的时间内完成数据清理和释放磁盘空间的工作，从而提高了生产力，减少了开发人员的工作量，提高数据清除的效率。

Description

一种clickhouse数据库自清除方法
技术领域
本发明属于IT技术领域，具体涉及一种clickhouse数据库自清除方法。
背景技术
clickhouse是一款MPP架构的列式存储数据库，在服务器上进行clickhouse数据存储是相当消耗磁盘空间的，当clickhouse中的数据量存放过大，将会导致服务器的磁盘消耗严重，当服务器没有剩余磁盘空间的时候，其他的任务也将会停止或者执行失败。
在现有技术中当由于clickhouse数据量过多而引起的磁盘空间不足时，一般会手动找到量大的那些表，然后按照日期从后往前进行合理的数据清理，不仅工作量大而且费时费力，效率非常低。
发明内容
为了解决现有技术存在的费时费力、效率低等问题，本发明提供了一种clickhouse数据库自清除方法，其具有效率高、操作便利等特点。
根据本发明的具体实施方式的一种clickhouse数据库自清除方法，包括：
对服务器磁盘和clickhouse数据进行监控；
在所述服务器磁盘剩余容量低于所述服务器磁盘总容量的第一预设数值时对所述服务器磁盘进行清理包括：
若所述clickhouse数据占所述服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对所述clickhouse数据量进行清理。
进一步地的，所述clickhouse数据库自清除方法还包括：
当清理的所述clickhouse数据量占所述clickhouse数据总量的占比达到第三预设数值时停止清理。
进一步地，所述clickhouse数据库自清除方法还包括：
在停止清理后向用户发送至少包括清理数据内容和释放空间大小的邮件。
进一步地，所述clickhouse数据库自清除方法还包括：
若所述clickhouse数据占所述服务器磁盘的已使用容量占比低于第二预设数值时，基于预设检测规则对所述服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员。
进一步地，所述基于预设检测规则对所述服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员包括：
检测服务器中数据量大的路径以及相应的数据文件，并将检测结果通过邮件发送至工作人员。
进一步地，所述第一预设数值为90％。
进一步地，所述第二预设数值为80％。
进一步地，所述第三预设数值为30％。
本发明的有益效果为：通过对服务器磁盘和clickhouse数据进行监控；在服务器磁盘剩余容量低于服务器磁盘总容量的第一预设数值时对服务器磁盘进行清理包括：若clickhouse数据占服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对clickhouse数据量进行清理，实现对服务器磁盘的自动清理，能够解决由于clickhouse数据量过大而引起的服务器磁盘空间不足的问题，可以在极短的时间内完成数据清理和释放磁盘空间的工作，从而提高了生产力，减少了开发人员的工作量，提高数据清除的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例提供的clickhouse数据库自清除方法的流程图；
图2是根据一示例性实施例提供的clickhouse数据库自清除方法的另一流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
参照图1所示，本发明的实施例提供了一种clickhouse数据库自清除方法，具体包括以下步骤：
101、对服务器磁盘和clickhouse数据进行监控；
在具体实施时可调用相应的监控命令或程序对服务器磁盘和clickhouse数据量进行实时监控从而得出clickhouse数据量、磁盘空间使用量、磁盘空间剩余量等数据从而能够为服务器磁盘空间的清理提供可靠的数据参考。
102、在服务器磁盘剩余容量低于服务器磁盘总容量的第一预设数值时对服务器磁盘进行清理包括：
通过设置相应的第一预设数值，对服务器磁盘剩余容量的占比进行限定，从而能够对磁盘的剩余容量进行限定，从而使用户能够根据服务器剩余容量的多少进行相应的清理。
103、若clickhouse数据占服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对clickhouse数据量进行清理。
在服务器磁盘剩余容量不够的情况下，此时对已使用容量中的clickhouse数据的占比进行分析，如果clickhouse数据的占比超过了预设的第二数值，则对clickhouse数据进行清理，并且清理的顺序可根据clickhouse数据进入磁盘中时间的长短进行clickhouse数据的清理，可以在极短的时间内完成数据清理和释放磁盘空间的工作，实现服务器磁盘空间的释放，从而提高了生产力，减少了开发人员的工作量。
参照图2所示，在本发明的另一些具体实施例中clickhouse数据库自清除方法包括以下步骤：
201、对服务器磁盘和clickhouse数据进行监控；
202、在服务器磁盘剩余容量低于所述服务器磁盘总容量的第一预设数值时对所述服务器磁盘进行清理包括：
203、若clickhouse数据占服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对clickhouse数据量进行清理
204、当清理的clickhouse数据量占clickhouse数据总量的占比达到第三预设数值时停止清理。
205、在停止清理后向用户发送至少包括清理数据内容和释放空间大小的邮件。
206、若clickhouse数据占服务器磁盘的已使用容量占比低于第二预设数值时，基于预设检测规则对服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员。
作为上述实施例可行的实现方式，基于预设检测规则对服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员包括：
检测服务器中数据量大的路径以及相应的数据文件，并将检测结果通过邮件发送至工作人员。
第一预设数值为90％；第二预设数值为80％；第三预设数值为30％。
例如：首先对服务器磁盘和clickhouse的数据量进行实施监控(得出clickhouse数据量，磁盘空间使用量，磁盘空间剩余量)；
当磁盘空间剩余量低于总量的90％以后开始自行自清理操作；
清理分两步，clickhouse数据量占磁盘使用量的80％以上时，开始进行clickhouse数据的清理工作，清理完成之后邮件通知工作人员清理的内容和释放空间的大小；
当clickhouse数据量不足磁盘使用的80％以上时，开始检测服务器路径中数据量较大的路径以及数据文件名称，将信息邮件通知工作人员，由工作人员手动进行数据清理的工作。
可以理解的是，本领域技术人员可根据服务器磁盘容量、服务器运行情况等内容对第一预设数值、第二预设数值和第三预设数值的具体数值进行限定，本发明在此不做限制。
本发明上述实施例所提供的clickhouse数据库自清除方法，可自行进行数据清理工作，从而提高了生产力，减少了开发人员的工作量，并且可以在极短的时间内完成数据清理和释放磁盘空间的工作效率更高。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种clickhouse数据库自清除方法，其特征在于，包括：
对服务器磁盘和clickhouse数据进行监控；
在所述服务器磁盘剩余容量低于所述服务器磁盘总容量的第一预设数值时对所述服务器磁盘进行清理包括：
若所述clickhouse数据占所述服务器磁盘的已使用容量占比高于第二预设数值时，基于预设时间顺序对所述clickhouse数据量进行清理。
2.根据权利要求1所述的clickhouse数据库自清除方法，其特征在于，还包括：
当清理的所述clickhouse数据量占所述clickhouse数据总量的占比达到第三预设数值时停止清理。
3.根据权利要求2所述的clickhouse数据库自清除方法，其特征在于，还包括：
在停止清理后向用户发送至少包括清理数据内容和释放空间大小的邮件。
4.根据权利要求1所述的clickhouse数据库自清除方法，其特征在于，还包括：
若所述clickhouse数据占所述服务器磁盘的已使用容量占比低于第二预设数值时，基于预设检测规则对所述服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员。
5.根据权利要求4所述的clickhouse数据库自清除方法，其特征在于，所述基于预设检测规则对所述服务器磁盘中的数据文件进行检测，并将检测结果发送至工作人员包括：
检测服务器中数据量大的路径以及相应的数据文件，并将检测结果通过邮件发送至工作人员。
6.根据权利要求1所述的clickhouse数据库自清除方法，其特征在于，所述第一预设数值为90％。
7.根据权利要求1所述的clickhouse数据库自清除方法，其特征在于，所述第二预设数值为80％。
8.根据权利要求2所述的clickhouse数据库自清除方法，其特征在于，所述第三预设数值为30％。
CN202110608196.2A 2021-06-01 2021-06-01 一种clickhouse数据库自清除方法 Pending CN113268475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110608196.2A CN113268475A (zh) 2021-06-01 2021-06-01 一种clickhouse数据库自清除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110608196.2A CN113268475A (zh) 2021-06-01 2021-06-01 一种clickhouse数据库自清除方法

Publications (1)

Publication Number Publication Date
CN113268475A true CN113268475A (zh) 2021-08-17

Family

ID=77233823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110608196.2A Pending CN113268475A (zh) 2021-06-01 2021-06-01 一种clickhouse数据库自清除方法

Country Status (1)

Country Link
CN (1) CN113268475A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333079A (zh) * 2011-02-25 2012-01-25 北京兴宇中科科技开发股份有限公司 一种磁盘空间清理方法
CN102799395A (zh) * 2012-06-29 2012-11-28 华为技术有限公司 磁盘空间的动态平衡处理方法和装置，以及磁盘系统
CN103747276A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种cdn数据删除方法及cdn服务器
CN104182439A (zh) * 2014-02-26 2014-12-03 无锡天脉聚源传媒科技有限公司 一种文件自动清理的方法及装置
CN104346102A (zh) * 2013-08-06 2015-02-11 上海联影医疗科技有限公司 一种基于dicom的数据自动删除方法
WO2018087421A1 (en) * 2016-11-09 2018-05-17 Jetico Inc. Oy Method in data wiping of a mass storage
CN109491589A (zh) * 2017-09-13 2019-03-19 北京易华录信息技术股份有限公司 一种基于文件内容的分层处理方法及装置
CN112015795A (zh) * 2020-08-21 2020-12-01 广州欢网科技有限责任公司 一种大数据量即席查询的系统和方法
CN112083893A (zh) * 2020-09-25 2020-12-15 酒泉钢铁(集团)有限责任公司 一种基于Linux的磁盘空间优化方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333079A (zh) * 2011-02-25 2012-01-25 北京兴宇中科科技开发股份有限公司 一种磁盘空间清理方法
CN102799395A (zh) * 2012-06-29 2012-11-28 华为技术有限公司 磁盘空间的动态平衡处理方法和装置，以及磁盘系统
CN104346102A (zh) * 2013-08-06 2015-02-11 上海联影医疗科技有限公司 一种基于dicom的数据自动删除方法
CN103747276A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种cdn数据删除方法及cdn服务器
CN104182439A (zh) * 2014-02-26 2014-12-03 无锡天脉聚源传媒科技有限公司 一种文件自动清理的方法及装置
WO2018087421A1 (en) * 2016-11-09 2018-05-17 Jetico Inc. Oy Method in data wiping of a mass storage
CN109491589A (zh) * 2017-09-13 2019-03-19 北京易华录信息技术股份有限公司 一种基于文件内容的分层处理方法及装置
CN112015795A (zh) * 2020-08-21 2020-12-01 广州欢网科技有限责任公司 一种大数据量即席查询的系统和方法
CN112083893A (zh) * 2020-09-25 2020-12-15 酒泉钢铁(集团)有限责任公司 一种基于Linux的磁盘空间优化方法

Similar Documents

Publication Publication Date Title
US10102097B2 (en) Transaction server performance monitoring using component performance data
US8286139B2 (en) Call stack sampling for threads having latencies exceeding a threshold
EP2503733B1 (en) Data collecting method, data collecting apparatus and network management device
US20160306414A1 (en) Software-centric power management
JP2004171249A (ja) データベースのバックアップ実行判断方法
CN106126403B (zh) Oracle数据库故障分析方法和装置
CN102226890A (zh) 一种主机批量作业数据监控方法及装置
WO2018228049A1 (zh) 数据库性能指标的监测方法、装置、设备及存储介质
WO2019214010A1 (zh) 一种监控设备故障的方法和装置
CN111563014A (zh) 接口服务性能测试方法、装置、设备和存储介质
CN112749013A (zh) 线程负载的检测方法、装置、电子设备及存储介质
CN103593232A (zh) 一种数据仓库的任务调度方法及装置
WO2020233252A1 (zh) 一种诊断Spark应用的方法及装置
CN113268475A (zh) 一种clickhouse数据库自清除方法
CN112035322A (zh) Jvm监控方法及装置
CN114490091B (zh) 工业数据采集管理系统中监控规则引擎性能的方法及装置
CN113868226A (zh) 一种数据库管理方法、数据库平台及可读存储介质
KR100811433B1 (ko) 복합이벤트 처리시스템 및 복합이벤트 처리방법
CN110502404B (zh) 一种基于数据治理平台的预警处理方法及相关设备
CN103186828B (zh) 一种处理业务的方法及装置
CN111143154A (zh) 码头操作系统运行监控方法、装置、服务器及存储介质
CN111090627A (zh) 基于池化的日志存储方法、装置、计算机设备及存储介质
CN111737132B (zh) 项目代码数据的发布方法、系统、电子设备及存储介质
JP5379719B2 (ja) コンピュータ、コンピュータの障害検知方法、及びプログラム
CN116400871B (zh) 碎片整理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination