CN113010399A - 日志数据处理方法、系统、设备及介质 - Google Patents

日志数据处理方法、系统、设备及介质 Download PDF

Info

Publication number
CN113010399A
CN113010399A CN202110412210.1A CN202110412210A CN113010399A CN 113010399 A CN113010399 A CN 113010399A CN 202110412210 A CN202110412210 A CN 202110412210A CN 113010399 A CN113010399 A CN 113010399A
Authority
CN
China
Prior art keywords
management
log
log data
database management
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110412210.1A
Other languages
English (en)
Inventor
朱挺
唐锐华
陈汉
徐利平
李焜胤
陈国杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Travel Network Technology Shanghai Co Ltd
Original Assignee
Ctrip Travel Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Travel Network Technology Shanghai Co Ltd filed Critical Ctrip Travel Network Technology Shanghai Co Ltd
Priority to CN202110412210.1A priority Critical patent/CN113010399A/zh
Publication of CN113010399A publication Critical patent/CN113010399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种日志数据处理方法、系统、设备及介质，所述日志数据处理方法应用在日志存储系统中，所述日志存储系统包括列式数据库管理系统，所述方法包括：从所述列式数据库管理系统中获取目标日志数据；对所述目标日志数据采用预设管理方式进行处理以获取日志管理结果；其中，所述预设管理方式对应IDC管理、NODE管理、集群管理、数据库管理、表结构管理、数据管道管理、账户管理、日志管理以及日志访问管理中的至少一种。本发明通过多种预设管理方式之间相互配合、相互协调，实现日志全生命周期的自助管理，实现了对超大规模的日志数据处理以及对列式数据库管理系统的管理，大大降低了列式数据库管理系统的运维和管理成本。

Description

日志数据处理方法、系统、设备及介质
技术领域
本发明涉及数据处理技术领域，特别涉及一种日志数据处理方法、系统、设备及介质。
背景技术
互联网服务提供商为了提高企业的服务质量，需要记录用户的访问信息、网络的运行状况等。随着互联网的迅猛发展和公司业务不断拓展，带来了日益增多的互联网用户，而庞大的用户量，使得记录信息的过程会产生海量的日志数据，而如何管理和分析这些海量的日志数据成为互联网企业的一个难题。
现有的日志分析普遍存在如下问题：
(1)数据量大，增量数据和存量数据都非常大，处理和存储成本高，要求日志分析系统有较大的吞吐量；
(2)实时性要求高，日志一般用于了解系统当前发生的事情，要求数据实时；
(3)查询的QPS(每秒查询率)不高，但是单次查询的数据量大，对于查询性能要求高
(4)日志数据不规则，需要进行ETL(Extract-Transform-Load，抽取-清洗-转换)等，让日志变成规范的数据，才具有使用价值。
发明内容
本发明要解决的技术问题是为了克服现有技术无法处理大规模数据的缺陷，提供一种日志数据处理方法、系统、设备及介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种日志数据处理方法，所述方法应用在日志存储系统中，所述日志存储系统包括列式数据库管理系统，所述方法包括：
从所述列式数据库管理系统中获取目标日志数据；
对所述目标日志数据采用预设管理方式进行处理以获取日志管理结果；
其中，所述预设管理方式对应IDC(Internet Data Center，互联网数据中心)管理、NODE(节点)管理、集群管理、数据库管理、表结构管理、数据管道管理、账户管理、日志管理以及日志访问管理中的至少一种。
较佳地，所述日志存储系统还包括日志数据预处理系统，所述方法还包括：
基于所述日志数据预处理系和所述列式数据库管理系统进行配置处理以获取配置结果；
其中，所述配置结果对应所述列式数据库管理系统中所述目标日志数据的生命全周期管理。
较佳地，所述基于所述日志数据预处理系和所述列式数据库管理系统进行配置处理的步骤包括：
基于所述日志数据预处理系和所述列式数据库管理系统执行日志的接入申请、建表、配置、日志下线。
较佳地，所述日志存储系统还包括展示系统，所述方法还包括：
基于所述展示系统展示所述目标日志数据；
和/或，
所述列式数据库管理系统包括Clickhouse(一个开源的高性能列式分布式数据库管理系统)集群管理系统。
本发明还提供一种日志数据处理系统，所述系统应用在日志存储系统中，所述日志存储系统包括列式数据库管理系统，所述系统包括：
获取模块，用于从所述列式数据库管理系统中获取目标日志数据；
处理模块，用于对所述目标日志数据采用预设管理方式进行处理以获取日志管理结果；
其中，所述预设管理方式对应IDC管理、NODE管理、集群管理、数据库管理、表管理、数据管道管理、账户管理、日志管理以及日志访问管理中的至少一种。
较佳地，所述日志存储系统还包括日志数据预处理系统，所述系统还包括：
配置模块，用于基于所述日志数据预处理系和所述列式数据库管理系统进行配置处理以获取配置结果；
其中，所述配置结果对应所述列式数据库管理系统中所述目标日志数据的生命全周期管理。
较佳地，所述系统包括：
执行模块，用于基于所述日志数据预处理系和所述列式数据库管理系统执行日志的接入申请、建表、配置、日志下线。
较佳地，所述日志存储系统还包括展示系统，所述系统还包括：
所述展示系统采用展示模块，基于所述展示系统展示所述目标日志数据；
和/或，
所述列式数据库管理系统包括Clickhouse集群管理系统。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的日志数据处理方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现那个所述的日志数据处理方法的步骤。
本发明的积极进步效果在于：(1)通过从列式数据库管理系统中获取目标日志数据，进而对目标日志数据采用预设管理方式进行处理以获取日志管理结果，其中，多种预设管理方式之间相互配合、相互协调，全面覆盖了日志数据和数据库管理系统，从而实现了对超大规模的日志数据处理以及对列式数据库管理系统的管理，使得列式数据库管理系统的能够灵活部署，也能够方便扩充容量和缩减容量，大大降低了列式数据库管理系统的运维和管理成本；(2)通过对日志数据预处理系和列式数据库管理系统执行日志的接入申请、建表、配置、日志下线，实现对日志数据的全生命周期管理，大大提高了日志接入的效率，降低日志接入的工作量，同时监控日志功能够让用户对当前日志的状况实时了解，提高了日志的可用性，也进一步提高了数据安全性和系统稳定性。
附图说明
图1为本发明实施例1的日志数据处理方法的流程图。
图2为本发明实施例2的日志数据处理方法的流程图。
图3为本发明实施例3的日志数据处理系统的结构示意图。
图4为本发明实施例4的日志数据处理系统的结构示意图。
图5为本发明实施例5的实现日志数据处理方法的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种日志数据处理方法，图1示出了本实施例的流程图。参照图1，本实施例的日志数据处理方法应用在日志存储系统中，日志存储系统包括列式数据库管理系统，本实施例的日志数据处理方法包括：
S101、从列式数据库管理系统中获取目标日志数据；
S102、对目标日志数据采用预设管理方式进行处理以获取日志管理结果；
其中，预设管理方式对应IDC管理、NODE管理、集群管理、数据库管理、表结构管理、数据管道管理、账户管理、日志管理以及日志访问管理等。
具体地，本实施例通过从kafka(一个分布式的发布订阅式的消息系统)等消息队列中获取日志原始数据，进而对日志原始数据进行日志的有效字段提取、类型转换、字段重命名、数据补充完整、无效字段删除等处理，让不规则的、杂乱的日志原始数据，变成规则且有效的目标日志数据，便于后续数据处理直接使用该目标日志数据以完成相应的系统管理等操作。
具体地，本实施例中的列式数据库管理系统包括但不限于Clickhouse集群管理系统。
本实施例通过从列式数据库管理系统中获取目标日志数据，进而对目标日志数据采用预设管理方式进行处理以获取日志管理结果，其中，多种预设管理方式之间相互配合、相互协调，全面覆盖了日志数据和数据库管理系统，从而实现了对超大规模的日志数据处理以及对列式数据库管理系统的管理，使得列式数据库管理系统的能够灵活部署，也能够方便扩充容量和缩减容量，大大降低了列式数据库管理系统的运维和管理成本。
实施例2
图2示出了本实施例的流程图，本实施例的日志数据处理方法是对实施例1的进一步改进，具体地：本实施例的日志存储系统还包括日志数据预处理系统和展示系统。本实施例日志数据处理方法还包括：
S103、基于日志数据预处理系和列式数据库管理系统进行配置处理以获取配置结果；
其中，配置结果对应列式数据库管理系统中目标日志数据的生命全周期管理。
S104、基于展示系统展示目标日志数据；
具体地，展示系统可以使用Kibana系统，Kibana系统是一个开源的可视化图表展示的系统。
通过让Kibana支持Clickhouse，使得用户的使用习惯不变，减低了用户学习的成本，而且SQL(Structured Query Language，结构化查询语言)的查询语法更加简单，学习成本比Elasticsearch(一个分布式的搜索和数据分析引擎)系统的Lucene(一套用于全文检索和搜寻的开源程式库)语法更低。
当然，本领域技术人员也可以根据实际需求选用其他可展示化系统。
在一可实施的方案中，步骤S103包括：
基于日志数据预处理系和列式数据库管理系统执行日志的接入申请、建表、配置、日志下线。
在具体实施中，用户通过IDC管理对Clickhouse集群部署的IDC基本信息进行管理，IDC基本信息包括IDC中部署的Kafka地址、zookeeper(一个开放源码的分布式应用程序协调服务)地址以及IDC部署的Clickhouse集群列表；用户通过NODE管理对Clickhouse的实例进行管理，如IP(Internet Protocol，网际互连协议)、端口、所属IDC、角色等技术属性信息；集群管理则用于创建和删除Clickhouse集群、添加和删除shard(分片)、绑定和解绑shard的Clickhouse节点、调整shard的权重用于控制该shard的数据写入；数据库管理用于用户创建和删除数据库；表结构管理用于创建、删除、修改Clickhouse表结构；数据管道管理用于管理数据消费、处理、写入的全过程；账户管理用于管理Clickhouse的账号；日志管理包括日志的接入申请、建表、配置、监控、Hangout日志显示等；日志访问管理包括日志访问申请、访问控制等。日志访问管理包括日志访问申请和访问控制等。
通过多种预设管理方式使得Clickhouse强大的吞吐量让写入不再是日志处理的瓶颈，解决海量日志数据实时写入的问题；Clickhouse存储数据的高压缩比，满足了用户保存更长时间日志的需求；同时Clickhouse集群的稳定性也大大降低了大规模日志分析系统管理运维的成本，提高了日志系统的稳定性和可用性。
具体地，日志的接入申请包括填写日志接入的数据源、数据规模、保存时间、业务说明等基本信息，日志的建表包括创建用于存储日志Clickhouse的表；日志的配置包括使用Hangout(一个开放源码的ETL工具)对日志消费的源、ETL规则、写入的目标进行配置管理；日志的监控包括对日志的生成、Hangout的处理过程等进行监控；Hangout日志包括显示Hangout的运行日志，用户能通过Hangout的日志了解Hangout的运行状况，如Hangout配置错误、运行异常等情况。
具体地，日志访问申请用于用户申请对日志的访问、注册访问的SQL，并进行SQL合规性检查，检查通过后分配给用户一个查询值，用户通过查询值和接口进行数据访问，通过查询值的方式访问数据库，有效地降低了慢SQL、异常SQL、大SQL等对Clickhouse集群的影响，提高了数据安全性和系统稳定性。
通过对日志的接入申请、Clickhouse建表、hangout配置(日志消费、ETL、写入Clickhouse)、日志下线实现了日志全生命周期的管理，大大提高了日志接入的效率，降低日志接入的工作量；监控和日志功能让用户对当前日志的状况能够实时了解，大大提供了日志的可用性；日志访问管理功能也提高了数据安全性和系统稳定性。
当然，还可以通过增设预设管理功能以实现整个系统基础信息的管理，包括完成日志获取、日志处理、日志存储、日志展示等基本必要管理。
本实施例中，通过从列式数据库管理系统中获取目标日志数据，进而对目标日志数据采用预设管理方式进行处理以获取日志管理结果，在此基础上，进一步通过对日志数据预处理系和列式数据库管理系统执行日志的接入申请、建表、配置、日志下线，实现对日志数据的全生命周期管理，大大提高了日志接入的效率，降低日志接入的工作量，同时监控日志功能够让用户对当前日志的状况实时了解，提高了日志的可用性，也进一步提高了数据安全性和系统稳定性。
实施例3
本实施例提供一种日志数据处理系统，图3示出了本实施例的结构示意图。参照图3，本实施例的日志数据处理系统应用在日志存储系统中，日志存储系统包括列式数据库管理系统，本实施例的日志数据处理系统包括：
获取模块1，用于从所述列式数据库管理系统中获取目标日志数据；
处理模块2，用于对所述目标日志数据采用预设管理方式进行处理以获取日志管理结果；
其中，所述预设管理方式对应IDC管理、NODE管理、集群管理、数据库管理、表结构管理、数据管道管理、账户管理、日志管理以及日志访问管理等。
具体地，本实施例通过从kafka(一个分布式的发布订阅式的消息系统)等消息队列中获取日志原始数据，进而对日志原始数据进行日志的有效字段提取、类型转换、字段重命名、数据补充完整、无效字段删除等处理，让不规则的、杂乱的日志原始数据，变成规则且有效的目标日志数据，便于后续数据处理直接使用该目标日志数据以完成相应的系统管理等操作。
具体地，本实施例中的列式数据库管理系统包括但不限于Clickhouse集群管理系统。
本实施例中，通过从列式数据库管理系统中获取目标日志数据，进而对目标日志数据采用预设管理方式进行处理以获取日志管理结果，其中，多种预设管理方式之间相互配合、相互协调，全面覆盖了日志数据和数据库管理系统，从而实现了对超大规模的日志数据处理以及对列式数据库管理系统的管理，使得列式数据库管理系统的能够灵活部署，也能够方便扩充容量和缩减容量，大大降低了列式数据库管理系统的运维和管理成本。
实施例4
图4示出了本实施例的结构示意图，本实施例的日志数据处理系统是对实施例3的进一步改进，具体地：本实施例的日志存储系统还包括日志数据预处理系统和展示系统。本实施例日志数据处理系统还包括：
配置模块4，用于基于所述日志数据预处理系和所述列式数据库管理系统进行配置处理以获取配置结果；
其中，所述配置结果对应所述列式数据库管理系统中所述目标日志数据的生命全周期管理。
展示模块5，所述展示系统采用展示模块44，基于所述展示系统展示所述目标日志数据；
配置模块4包括执行单元41，执行单元431用于基于所述日志数据预处理系和所述列式数据库管理系统执行日志的接入申请、建表、配置、日志下线。
具体地，展示系统可以使用Kibana系统，Kibana系统是一个开源的可视化图表展示的系统。
通过让Kibana支持Clickhouse，使得用户的使用习惯不变，减低了用户学习的成本，而且SQL的查询语法更加简单，学习成本比Elasticsearch系统的Lucene语法更低。
当然，本领域技术人员也可以根据实际需求选用其他可展示化系统。
在具体实施中，用户通过IDC管理对Clickhouse集群部署的IDC基本信息进行管理，IDC基本信息包括IDC中部署的Kafka(一个分布式的发布订阅式的消息系统)地址、zookeeper(一个开放源码的分布式应用程序协调服务)地址以及IDC部署的Clickhouse集群列表；用户通过NODE管理对Clickhouse的实例进行管理，如IP(Internet Protocol，网际互连协议)、端口、所属IDC、角色等技术属性信息；集群管理则用于创建和删除Clickhouse集群、添加和删除shard(分片)、绑定和解绑shard的Clickhouse节点、调整shard的权重用于控制该shard的数据写入；数据库管理用于用户创建和删除数据库；表结构管理用于创建、删除、修改Clickhouse表结构；数据管道管理用于管理数据消费、处理、写入的全过程；账户管理用于管理Clickhouse的账号；日志管理包括日志的接入申请、建表、配置、监控、Hangout日志显示等；日志访问管理包括日志访问申请、访问控制等。日志访问管理包括日志访问申请和访问控制等。
通过多种预设管理方式使得Clickhouse强大的吞吐量让写入不再是日志处理的瓶颈，解决海量日志数据实时写入的问题；Clickhouse存储数据的高压缩比，满足了用户保存更长时间日志的需求；同时Clickhouse集群的稳定性也大大降低了大规模日志分析系统管理运维的成本，提高了日志系统的稳定性和可用性。
具体地，日志的接入申请包括填写日志接入的数据源、数据规模、保存时间、业务说明等基本信息，日志的建表包括创建用于存储日志Clickhouse的表；日志的配置包括使用Hangout(一个开放源码的ETL工具)对日志消费的源、ETL(Extract-Transform-Load，抽取-清洗-转换)规则、写入的目标进行配置管理；日志的监控包括对日志的生成、Hangout的处理过程等进行监控；Hangout日志包括显示Hangout的运行日志，用户能通过Hangout的日志了解Hangout的运行状况，如Hangout配置错误、运行异常等情况。
具体地，日志访问申请用于用户申请对日志的访问、注册访问的SQL(StructuredQuery Language，结构化查询语言)，并进行SQL合规性检查，检查通过后分配给用户一个查询值，用户通过查询值和接口进行数据访问，通过查询值的方式访问数据库，有效地降低了慢SQL、异常SQL、大SQL等对Clickhouse集群的影响，提高了数据安全性和系统稳定性。
通过对日志的接入申请、Clickhouse建表、hangout配置(日志消费、ETL、写入Clickhouse)、日志下线实现了日志全生命周期的管理，大大提高了日志接入的效率，降低日志接入的工作量；监控和日志功能让用户对当前日志的状况能够实时了解，大大提供了日志的可用性；日志访问管理功能也提高了数据安全性和系统稳定性。
当然，还可以通过增设预设管理功能以实现整个系统基础信息的管理，包括完成日志获取、日志处理、日志存储、日志展示等基本必要管理。
本实施例中，通过从列式数据库管理系统中获取目标日志数据，进而对目标日志数据采用预设管理方式进行处理以获取日志管理结果，在此基础上，进一步通过对日志数据预处理系和列式数据库管理系统执行日志的接入申请、建表、配置、日志下线，实现对日志数据的全生命周期管理，大大提高了日志接入的效率，降低日志接入的工作量，同时监控日志功能够让用户对当前日志的状况实时了解，提高了日志的可用性，也进一步提高了数据安全性和系统稳定性。
实施例5
图5为本发明实施例5提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1或2中的日志数据处理方法。图5显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2中的日志数据处理方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1或2中的日志数据处理方法中的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1或2中的日志数据处理方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种日志数据处理方法，其特征在于，所述方法应用在日志存储系统中，所述日志存储系统包括列式数据库管理系统，所述方法包括：
从所述列式数据库管理系统中获取目标日志数据；
对所述目标日志数据采用预设管理方式进行处理以获取日志管理结果；
其中，所述预设管理方式对应IDC管理、NODE管理、集群管理、数据库管理、表结构管理、数据管道管理、账户管理、日志管理以及日志访问管理中的至少一种。
2.如权利要求1所述的日志数据处理方法，其特征在于，所述日志存储系统还包括日志数据预处理系统，所述方法还包括：
基于所述日志数据预处理系和所述列式数据库管理系统进行配置处理以获取配置结果；
其中，所述配置结果对应所述列式数据库管理系统中所述目标日志数据的生命全周期管理。
3.如权利要求2所述的日志数据处理方法，其特征在于，所述基于所述日志数据预处理系和所述列式数据库管理系统进行配置处理的步骤包括：
基于所述日志数据预处理系和所述列式数据库管理系统执行日志的接入申请、建表、配置、日志下线。
4.如权利要求3所述的日志数据处理方法，其特征在于，所述日志存储系统还包括展示系统，所述方法还包括：
基于所述展示系统展示所述目标日志数据；
和/或，
所述列式数据库管理系统包括Clickhouse集群管理系统。
5.一种日志数据处理系统，其特征在于，所述系统应用在日志存储系统中，所述日志存储系统包括列式数据库管理系统，所述系统包括：
获取模块，用于从所述列式数据库管理系统中获取目标日志数据；
处理模块，用于对所述目标日志数据采用预设管理方式进行处理以获取日志管理结果；
其中，所述预设管理方式对应IDC管理、NODE管理、集群管理、数据库管理、表结构管理、数据管道管理、账户管理、日志管理以及日志访问管理中的至少一种。
6.如权利要求5所述的日志数据处理系统，其特征在于，所述日志存储系统还包括日志数据预处理系统，所述系统还包括：
配置模块，用于基于所述日志数据预处理系和所述列式数据库管理系统进行配置处理以获取配置结果；
其中，所述配置结果对应所述列式数据库管理系统中所述目标日志数据的生命全周期管理。
7.如权利要求6所述的日志数据处理系统，其特征在于，所述配置模块包括执行单元；
执行单元，用于基于所述日志数据预处理系和所述列式数据库管理系统执行日志的接入申请、建表、配置、日志下线。
8.如权利要求7所述的日志数据处理系统，其特征在于，所述日志存储系统还包括展示系统，所述系统还包括：
所述展示系统采用展示模块，基于所述展示系统展示所述目标日志数据；
和/或，
所述列式数据库管理系统包括Clickhouse集群管理系统。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4中任一项所述的日志数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任一项所述的日志数据处理方法的步骤。
CN202110412210.1A 2021-04-16 2021-04-16 日志数据处理方法、系统、设备及介质 Pending CN113010399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110412210.1A CN113010399A (zh) 2021-04-16 2021-04-16 日志数据处理方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110412210.1A CN113010399A (zh) 2021-04-16 2021-04-16 日志数据处理方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN113010399A true CN113010399A (zh) 2021-06-22

Family

ID=76389401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110412210.1A Pending CN113010399A (zh) 2021-04-16 2021-04-16 日志数据处理方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN113010399A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374199A (zh) * 2022-08-08 2022-11-22 广州小飞信息科技有限公司 一种基于大数据的配置式可扩展统计入库系统及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150261808A1 (en) * 2014-03-13 2015-09-17 Fei Zhou Reduce log contention by batching log record transfers to the log
CN107577805A (zh) * 2017-09-26 2018-01-12 华南理工大学 一种面向日志大数据分析的业务服务系统
CN108365985A (zh) * 2018-02-07 2018-08-03 深圳壹账通智能科技有限公司 一种集群管理方法、装置、终端设备及存储介质
CN109933505A (zh) * 2019-03-14 2019-06-25 深圳市珍爱捷云信息技术有限公司 日志处理方法、装置、计算机设备和存储介质
CN110716910A (zh) * 2019-10-14 2020-01-21 中国建设银行股份有限公司 一种日志管理方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150261808A1 (en) * 2014-03-13 2015-09-17 Fei Zhou Reduce log contention by batching log record transfers to the log
CN107577805A (zh) * 2017-09-26 2018-01-12 华南理工大学 一种面向日志大数据分析的业务服务系统
CN108365985A (zh) * 2018-02-07 2018-08-03 深圳壹账通智能科技有限公司 一种集群管理方法、装置、终端设备及存储介质
CN109933505A (zh) * 2019-03-14 2019-06-25 深圳市珍爱捷云信息技术有限公司 日志处理方法、装置、计算机设备和存储介质
CN110716910A (zh) * 2019-10-14 2020-01-21 中国建设银行股份有限公司 一种日志管理方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374199A (zh) * 2022-08-08 2022-11-22 广州小飞信息科技有限公司 一种基于大数据的配置式可扩展统计入库系统及其方法

Similar Documents

Publication Publication Date Title
JP6542785B2 (ja) 第一クラスデータベース要素としての半構造データの実装
US10168921B1 (en) Systems and methods for storing time-series data
CN111709527A (zh) 运维知识图谱库的建立方法、装置、设备及存储介质
CA3059738A1 (en) Behaviour data processing method, device, electronic device and computer readable medium
Jeong et al. Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions
CN112988741A (zh) 实时业务数据合并方法、装置及电子设备
US11561965B2 (en) Data retrieval via incremental updates to graph data structures
EP2904520B1 (en) Reference data segmentation from single to multiple tables
CN113010208B (zh) 一种版本信息的生成方法、装置、设备及存储介质
Wu et al. An Auxiliary Decision‐Making System for Electric Power Intelligent Customer Service Based on Hadoop
CN113010399A (zh) 日志数据处理方法、系统、设备及介质
CN113065139A (zh) 告警接入方法及系统、电子设备及介质
US9773034B1 (en) Large-scale log index
CN102867029B (zh) 一种管理分布式文件系统目录的方法及分布式文件系统
US11947490B2 (en) Index generation and use with indeterminate ingestion patterns
CN115033639A (zh) 一种生成集群间数据共享的关系图的方法和相关装置
Ren et al. Towards realistic benchmarking for cloud file systems: Early experiences
Brandt et al. OVIS 3.2 user’s guide
El Kafrawy et al. HDFSx: an enhanced model to handle small files in Hadoop with a simulating toolkit
Shao et al. Optimization research of information management system based on big data technology
Chai et al. Design and Implementation of GPS Data Inspection System Based on Desktop Virtualization Technology
EP2887235B1 (en) System and method for optimizing memory utilization in a database
US11226947B1 (en) Systems and methods for storing time-series data
CN110719334B (zh) 适用于云桌面行为的审计系统及方法
CN117435341A (zh) 数据分发方法、系统、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination