CN116894021A - 一种日志数据存储方法、查询方法、装置、设备及介质 - Google Patents
一种日志数据存储方法、查询方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116894021A CN116894021A CN202310596038.9A CN202310596038A CN116894021A CN 116894021 A CN116894021 A CN 116894021A CN 202310596038 A CN202310596038 A CN 202310596038A CN 116894021 A CN116894021 A CN 116894021A
- Authority
- CN
- China
- Prior art keywords
- log
- mode
- log data
- target
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000013500 data storage Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 abstract description 10
- 238000007906 compression Methods 0.000 abstract description 10
- 101150035983 str1 gene Proteins 0.000 description 11
- 101100129590 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp5 gene Proteins 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种日志数据存储方法、查询方法、装置、设备及介质。该日志数据存储方法，包括：采集业务处理中的日志数据，并对日志数据进行日志模式聚类，生成日志聚类模式；根据日志数据以及日志聚类模式，确定对应的模式索引；其中，模式索引用于通过索引为日志数据匹配对应的日志聚类模式；将日志数据中的参数值以列存储形式进行对象存储，并将日志聚类模式对应的模式索引进行本地存储。该方法可以提取日志数据中的参数值进行列存储，可以实现高压缩比的存储；而本地仅存储模式索引，可以节省本地内存；从而减轻网络带宽压力。
Description
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种日志数据存储方法、查询方法、装置、设备及介质。
背景技术
日志数据是故障排除、监控、安全、合规、电子取证等许多企业应用的基础。随着大数据时代的来临，数据产生速度加快、数据体量巨大。随着日志容量和类型的增长，日志数据超出了人类的认知能力，对日志内容进行分析并追踪潜在的问题越来越困难。
对于海量数据,大数据搜索技术非常适合在海量数据中快速定位小量结果。例如，现有技术中通过搭建分布式日志搜索平台(Elasticsearch Logstash Kibana，ELK)进行日志存储和搜索管理。
但是，ELK平台通过Logstash采集并传输到Elasticsearch集群进行统一存储。当日志量较大时，势必会对网络带宽带来较大的压力，存储性能较低。
发明内容
本发明提供了一种日志数据存储方法、查询方法、装置、设备及介质，以实现高压缩比的存储，节省本地内存，并减轻网络带宽压力。
根据本发明的一方面，提供了一种日志数据存储方法，该方法包括：
采集业务处理中的日志数据，并对日志数据进行日志模式聚类，生成日志聚类模式；
根据日志数据以及日志聚类模式，确定对应的模式索引；其中，模式索引用于通过索引为日志数据匹配对应的日志聚类模式；
将日志数据中的参数值以列存储形式进行对象存储，并将日志聚类模式对应的模式索引进行本地存储。
根据本发明的一方面，提供了一种日志数据查询方法，日志数据采用如本发明任意实施例所提供的日志数据存储方法进行存储，日志数据查询方法，包括：
获取用户输入的日志查询请求，并在日志查询请求中识别查询参数；
根据查询参数，在本地存储中确定对应的目标模式索引；
根据查询参数以及目标模式索引，在对象存储中查询获取对应的目标参数值；
根据目标参数值以及与目标模式索引对应的目标日志聚类模式，生成目标日志数据，并将目标日志数据输出。
根据本发明的另一方面，提供了一种日志数据存储装置，该装置包括：
日志聚类模式生成模块，用于采集业务处理中的日志数据，并对日志数据进行日志模式聚类，生成日志聚类模式；
模式索引生成模块，用于根据日志数据以及日志聚类模式，确定对应的模式索引；其中，模式索引用于通过索引为日志数据匹配对应的日志聚类模式；
数据存储模块，用于将日志数据中的参数值以列存储形式进行对象存储，并将日志聚类模式对应的模式索引进行本地存储。
根据本发明的另一方面，提供了一种日志数据查询装置，其中，日志数据采用如本发明任意实施例所提供的日志数据存储方法进行存储，日志数据查询装置，包括：
查询参数识别模块，用于获取用户输入的日志查询请求，并在日志查询请求中识别查询参数；
目标模式索引确定模块，用于根据查询参数，在本地存储中确定对应的目标模式索引；
目标参数值获取模块，用于根据查询参数以及目标模式索引，在对象存储中查询获取对应的目标参数值；
目标日志数据输出模块，用于根据目标参数值以及与目标模式索引对应的目标日志聚类模式，生成目标日志数据，并将目标日志数据输出。
根据本发明的另一方面，提供了一种电子设备，电子设备包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任意实施例所提供的日志数据存储方法，或者，日志数据查询方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任意实施例所提供的日志数据存储方法，或者，日志数据查询方法。
本发明实施例的技术方案，通过采集业务处理中的日志数据，并对日志数据进行日志模式聚类，生成日志聚类模式；根据日志数据以及日志聚类模式，确定对应的模式索引；其中，模式索引用于通过索引为日志数据匹配对应的日志聚类模式；将日志数据中的参数值以列存储形式进行对象存储，并将日志聚类模式对应的模式索引进行本地存储，解决了日志数据的存储问题，通过提取日志数据中的参数值进行列存储，可以实现高压缩比的存储；通过本地仅存储模式索引，可以节省本地内存；从而减轻网络带宽压力。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种日志数据存储方法的流程图；
图2是根据本发明实施例二提供的一种日志数据查询方法的流程图；
图3是根据本发明实施例三提供的一种日志数据存储装置的结构示意图；
图4是根据本发明实施例四提供的一种日志数据查询装置的结构示意图；
图5是实现本发明实施例的日志数据存储方法或者日志数据查询方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是根据本发明实施例一提供的一种日志数据存储方法的流程图，本实施例可适用于对日志数据进行高压缩比存储的情况，该方法可以由日志数据存储装置来执行，该日志数据存储装置可以采用硬件和/或软件的形式实现，该日志数据存储装置可配置于电子设备如计算机中。如图1所示，该方法包括：
步骤110、采集业务处理中的日志数据，并对日志数据进行日志模式聚类，生成日志聚类模式。
在本发明实施例中可以采集一个或多个业务机器在业务处理中产生的日志数据。其中，日志数据可以是与不同领域事件对应的数据。日志数据中可以包括字段、字符以及符号等。例如，日志中的数据可以由换行符分隔。日志数据中的字段描述特定交易的信息，如日期、IP地址、以及执行操作等。
示例性的，日志数据中可以包括DATE(日期)、TIME(时间)、DATETIME(时间戳)、IP(网络地址)、MAC(MAC地址)、URL(网络资源访问路径)、PATH(文件系统访问路径)、EMAIL(邮箱)、ID(常见ID标识)、UNICODE(Unicode编码格式)、PARAMETER(在大小括号、双引号等包裹内的文本，如果经分词后词的数量超过5个的)、以及CHINESE_WORD(中文文本)中的一项或者多项。
在本发明实施例中，日志模式聚类可以对日志数据进行分析，确定日志数据所对应的格式，得到日志聚类模式。示例性的，对于日志数据1：“2015-09-18 07:50:58,035INFO org.apache.hadoop.hdfs.server.datanode.DataNode:Receiving BP-1578427263-10.0.52.144-1441855472637:blk_1073741853_1029 src:/10.0.52.146:56860 dest:/10.0.52.145:50010”，以及日志数据2：“2015-09-18 07:50:59,143 INFO org.apache.hadoop.hdfs.server.datanode.DataNode:Received BP-1578427263-10.0.52.144-1441855472637:blk_1073741853_1029 src:/10.0.52.146:56860 dest:/10.0.52.145:50010 of size 134217728”，均可以通过日志模式聚类，得到对应的日志聚类模式：“<DATETIME> INFO org.apache.hadoop.hdfs.server.datanode.DataNode:*BP-<NUM>-<IP>-<NUM>:blk_<NUM>_<NUM>src:/<IP>:<NUM>dest:/<IP>:<NUM>**”。在进一步的训练中，如果日志模式聚类时，日志数据量足够大，日志聚类模式也可以是：“<DATETIME>*org.apache.hadoop.hdfs.server.datanode.*:* **src:/<IP>:<NUM>dest:/<IP>:<NUM>**”。
具体的，日志模式聚类的方式可以有多种。例如，可以是根据文字识别技术和/或语义分析技术等，识别日志数据中的数据含义，对于相同或者同类的数据进行聚类。或者，可以是通过人工标注、模型训练的方式，实现日志模式聚类。
在本发明实施例的一个可选实施方式中，对日志数据进行日志模式聚类，生成日志聚类模式，包括：提取日志数据中的参数信息；其中，参数信息，包括参数名和对应的参数值；根据参数名和/或参数值的类型属性，将参数信息中的参数值替换为目标类型信息，生成日志聚类模式。
例如，2015-09-18 07:50:58为参数值，该参数值的类型属性为时间戳。根据该参数值的类型属性，可以确定该参数的目标类型信息为时间戳。因此，与2015-09-18 07:50:58对应的日志聚类模式可以是DATETIME。
又如，BP-1578427263中BP为参数名，1578427263为与BP对应的参数值，可以将NUM作为1578427263的类型属性，进而BP-<NUM>可以作为与BP-1578427263对应的日志聚类模式。
在本发明实施例的一个可选实施方式中，根据参数名和/或参数值的类型属性，将参数信息中的参数值替换为目标类型信息，生成日志聚类模式，包括：如果根据参数值的类型属性，能确定与参数值对应的参数种类，则将参数值对应的参数种类作为目标类型信息；否则，则将参数值对应的数据类型作为目标类型信息；将参数信息中的参数值替换为目标类型信息，生成日志聚类模式。
示例性的，根据参数值2015-09-18 07:50:58可以确定参数种类为时间戳，则可以将DATETIME作为目标类型信息。又如，根据参数值10.0.52.145可以确定参数种类为IP地址，则可以将IP作为目标类型信息。
又一示例性的，参数值为纯数字时，可以确定对应的类型属性为数值，可以将NUM作为目标类型信息。又如，参数值为纯字符串时，可以确定对应的类型属性为字符串，可以将str作为目标类型信息。
日志聚类模式可以是通过将日志数据中的参数名和参数值，替换为对应的目标类型信息生成。
步骤120、根据日志数据以及日志聚类模式，确定对应的模式索引。
其中，模式索引用于通过索引为日志数据匹配对应的日志聚类模式。
在本发明实施例的一个可选实施方式中，具体的，模式索引，包括：目标类型信息与参数值的映射关系。
例如，通过模式索引可以指示2015-09-18 07:50:58可以映射为DATETIME。进一步的，通过模式索引可以指示形如2015-09-18 07:50:58的参数值均可以映射为DATETIME。
步骤130、将日志数据中的参数值以列存储形式进行对象存储，并将日志聚类模式对应的模式索引进行本地存储。
其中，列存储的形式可以使参数值便于压缩，能够实现高压缩比。在本发明实施例的一个可选实施方式中，将日志数据中的参数值以列存储形式进行对象存储，包括：将日志数据中的参数值以parquet格式进行对象存储。
本地存储仅存储模式索引而无需存储具体的日志数据，可以极大的减少数据存储量，减少本地内存的占用。
在本发明实施例的一个可选实施方式中，将日志聚类模式对应的模式索引进行本地存储，包括：如果在预先设定的索引库中不存在日志聚类模式对应的模式索引，则将模式索引添加至索引库；将索引库进行本地存储。
其中，为了提高日志数据的存储效率，可以预先根据常规的日志数据设定索引库。并根据具体日志数据的模式索引动态更新索引库，从而可以不断丰富索引库，使索引库能越来越切合实际。
本实施例的技术方案，通过采集业务处理中的日志数据，并对日志数据进行日志模式聚类，生成日志聚类模式；根据日志数据以及日志聚类模式，确定对应的模式索引；其中，模式索引用于通过索引为日志数据匹配对应的日志聚类模式；将日志数据中的参数值以列存储形式进行对象存储，并将日志聚类模式对应的模式索引进行本地存储，解决了日志数据的存储问题，通过提取日志数据中的参数值进行列存储，可以实现高压缩比的存储；通过本地仅存储模式索引，可以节省本地内存，避免由于磁盘关闭而导致的延迟和吞吐量下降；并减轻网络带宽压力。
实施例二
图2是根据本发明实施例二提供的一种日志数据查询方法的流程图，本实施例可适用于在对日志数据进行高压缩比存储时，对日志数据进行搜索查询的情况，该方法可以由日志数据查询装置来执行，该日志数据查询装置可以采用硬件和/或软件的形式实现，该日志数据查询装置可配置于电子设备如计算机中。
具体的，本实施例中的日志数据可以采用本发明任意实施例所提供的日志数据存储方法进行存储。如图2所示，该日志数据查询方法包括：
步骤210、获取用户输入的日志查询请求，并在日志查询请求中识别查询参数。
具体的，用户可以通过多表查询(SPL)搜索命令进行查询。电子设备可以根据用户输入的日志查询请求进行语法解析，提取其中的查询参数信息。例如，用户输入的查询搜索命令为“SELECT num1,str1 FROM logs WHERE num1>100AND str1＝'example'"”。电子设备可以识别的查询参数为“numl”和“str1”。
步骤220、根据查询参数，在本地存储中确定对应的目标模式索引。
其中，目标模式索引可以用于通过索引为日志数据匹配对应的日志聚类模式。具体的，模式索引，包括：目标类型信息与参数值的映射关系。因此，根据查询参数可以匹配至对应的目标模式索引。
步骤230、根据查询参数以及目标模式索引，在对象存储中查询获取对应的目标参数值。
具体的，根据目标模式索引，可以确定与查询参数对应的目标类型信息。根据与查询参数对应的目标类型信息，可以在对象存储中查询获取对应的目标参数值。
在本发明实施例的一个可选实施方式中，根据查询参数以及目标模式索引，在对象存储中查询获取对应的目标参数值，包括：根据目标模式索引对查询参数中的参数名称进行别名映射转换，得到与查询参数对应的目标存储列名；根据目标存储列名，以及查询参数中的参数值，在对象存储中查询获取对应的目标参数值。
具体的，可以采用目标类型信息作为参数名称进行别名映射转换时的目标存储列名。根据查询参数中的参数值，例如num1>100，以及str1＝'example'，以及目标存储列名，可以在对象存储中查询获取对应的目标参数值。
例如，电子设备可以根据参数值以及目标存储列名，生成S3 select SQL查询语句进行对象存储查询，从而实现高压缩比查询的下推，而无需单独构建倒排或正排处理；也可以节省与其他集群机器数据传输的环节，减少带宽压力，提高日志搜索效率，节省成本。
步骤240、根据目标参数值以及与目标模式索引对应的目标日志聚类模式，生成目标日志数据，并将目标日志数据输出。
具体的，可以根据目标参数值以及对应的目标存储列名，生成目标日志数据，并将目标日志数据输出。或者，可以根据目标参数值以及对应的查询参数生成目标日志数据，并将目标日志数据输出。
示例性的，对于查询搜索命令为“SELECT num1,str1 FROM logs WHERE num1>100AND str1＝'example'"”，电子设备可以按照以下步骤实现参数的别名映射转换，并将查询语句转写为对象存储的S3 select SQL查询语句。
首先，可以提取查询参数“numl”和“str1”。提取查询条件信息(参数值)num1>100，以及str1＝'example'。从本地存储的目标模式索引中确定与查询参数“numl”和“str1”分别对应的目标存储列名。例如，目标模式索引为num1映射为column1；str1映射为column2。则可以将参数名num1和str1分别替换为对应的目标存储列名column1和column2。并使用转换后的"SELECT column1,column2 FROM logs WHERE column1>100AND column2＝'example'"。目标存储列名构建新的查询语句。例如，可以构建新的查询语句为"SELECTcolumn1,column2 FROM logs WHERE column1>100AND column2＝'example'"。该新的查询语句可以转写为对象存储的S3 select SQL查询语句。具体的，可以根据对象存储的查询语法规则，将新的查询语句转写为相应的S3 select SQL查询语句，以实现高压缩比的查询下推。最终，电子设备可以根据用户输入的搜索命令，通过参数的别名映射转换，将查询语句转写为对象存储的S3 select SQL，从而实现对应关系并进行高效的查询操作。
本发明实施例的技术方案，通过获取用户输入的日志查询请求，并在日志查询请求中识别查询参数；根据查询参数，在本地存储中确定对应的目标模式索引；根据查询参数以及目标模式索引，在对象存储中查询获取对应的目标参数值；根据目标参数值以及与目标模式索引对应的目标日志聚类模式，生成目标日志数据，并将目标日志数据输出，解决了日志数据按照本发明实施例所提供的日志数据存储方法进行存储时的日志数据查询问题，无需额外构建倒排或者正排处理，提高日志搜索效率，并节省与其他集群机器数据传输的环节，减少带宽压力，节省成本。
本发明实施例的技术方案中，所涉及日志数据的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
实施例三
图3是根据本发明实施例三提供的一种日志数据存储装置的结构示意图。如图3所示，该装置包括：日志聚类模式生成模块310，模式索引生成模块320和数据存储模块330。其中：
日志聚类模式生成模块310，用于采集业务处理中的日志数据，并对日志数据进行日志模式聚类，生成日志聚类模式；
模式索引生成模块320，用于根据日志数据以及日志聚类模式，确定对应的模式索引；其中，模式索引用于通过索引为日志数据匹配对应的日志聚类模式；
数据存储模块330，用于将日志数据中的参数值以列存储形式进行对象存储，并将日志聚类模式对应的模式索引进行本地存储。
可选的，日志聚类模式生成模块310，包括：
参数信息提取单元，用于提取日志数据中的参数信息；其中，参数信息，包括参数名和对应的参数值；
日志聚类模式生成单元，用于根据参数名和/或参数值的类型属性，将参数信息中的参数值替换为目标类型信息，生成日志聚类模式。
可选的，日志聚类模式生成单元，具体用于：
如果根据参数值的类型属性，能确定与参数值对应的参数种类，则将参数值对应的参数种类作为目标类型信息；
否则，则将参数值对应的数据类型作为目标类型信息；
将参数信息中的参数值替换为目标类型信息，生成日志聚类模式。
可选的，数据存储模块330，包括：
对象存储单元，用于将日志数据中的参数值以parquet格式进行对象存储。
可选的，模式索引，包括：目标类型信息与参数值的映射关系；
数据存储模块330，包括：
索引库更新单元，用于如果在预先设定的索引库中不存在日志聚类模式对应的模式索引，则将模式索引添加至索引库；
本地存储单元，用于将索引库进行本地存储。
本发明实施例所提供的日志数据存储装置可执行本发明任意实施例所提供的日志数据存储方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是根据本发明实施例四提供的一种日志数据查询装置的结构示意图。其中，日志数据可以采用本发明任意实施例所提供的日志数据存储方法进行存储。如图4所示，该日志数据查询装置包括：查询参数识别模块410，目标模式索引确定模块420，目标参数值确定模块430，和目标日志数据输出模块440。其中：
查询参数识别模块410，用于获取用户输入的日志查询请求，并在日志查询请求中识别查询参数；
目标模式索引确定模块420，用于根据查询参数，在本地存储中确定对应的目标模式索引；
目标参数值确定模块430，用于根据查询参数以及目标模式索引，在对象存储中查询获取对应的目标参数值；
目标日志数据输出模块440，用于根据目标参数值以及与目标模式索引对应的目标日志聚类模式，生成目标日志数据，并将目标日志数据输出。
可选的，目标参数值确定模块430，具体用于：
根据目标模式索引对查询参数中的参数名称进行别名映射转换，得到与查询参数对应的目标存储列名；
根据目标存储列名，以及查询参数中的参数值，在对象存储中查询获取对应的目标参数值。
本发明实施例所提供的日志数据查询装置可执行本发明任意实施例所提供的日志数据查询方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如日志数据存储方法，或者，日志数据查询方法。
在一些实施例中，日志数据存储方法，或者，日志数据查询方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的日志数据存储方法，或者，日志数据查询方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行日志数据存储方法，或者，日志数据查询方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种日志数据存储方法，其特征在于，包括：
采集业务处理中的日志数据，并对所述日志数据进行日志模式聚类，生成日志聚类模式；
根据所述日志数据以及所述日志聚类模式，确定对应的模式索引；其中，所述模式索引用于通过索引为所述日志数据匹配对应的日志聚类模式；
将所述日志数据中的参数值以列存储形式进行对象存储，并将所述日志聚类模式对应的模式索引进行本地存储。
2.根据权利要求1所述的方法，其特征在于，对所述日志数据进行日志模式聚类，生成日志聚类模式，包括：
提取所述日志数据中的参数信息；其中，所述参数信息，包括参数名和对应的参数值；
根据所述参数名和/或参数值的类型属性，将所述参数信息中的参数值替换为目标类型信息，生成日志聚类模式。
3.根据权利要求2所述的方法，其特征在于，根据所述参数名和/或参数值的类型属性，将所述参数信息中的参数值替换为目标类型信息，生成日志聚类模式，包括：
如果根据所述参数值的类型属性，能确定与所述参数值对应的参数种类，则将所述参数值对应的参数种类作为目标类型信息；
否则，则将所述参数值对应的数据类型作为目标类型信息；
将所述参数信息中的参数值替换为目标类型信息，生成日志聚类模式。
4.根据权利要求1所述的方法，其特征在于，将所述日志数据中的参数值以列存储形式进行对象存储，包括：
将所述日志数据中的参数值以parquet格式进行对象存储。
5.根据权利要求2所述的方法，其特征在于，所述模式索引，包括：目标类型信息与参数值的映射关系；
将所述日志聚类模式对应的模式索引进行本地存储，包括：
如果在预先设定的索引库中不存在所述日志聚类模式对应的模式索引，则将所述模式索引添加至所述索引库；
将所述索引库进行本地存储。
6.一种日志数据查询方法，其特征在于，所述日志数据采用如权利要求1-5任一项所述的日志数据存储方法进行存储，所述日志数据查询方法，包括：
获取用户输入的日志查询请求，并在所述日志查询请求中识别查询参数；
根据所述查询参数，在本地存储中确定对应的目标模式索引；
根据所述查询参数以及所述目标模式索引，在对象存储中查询获取对应的目标参数值；
根据所述目标参数值以及与所述目标模式索引对应的目标日志聚类模式，生成目标日志数据，并将所述目标日志数据输出。
7.根据权利要求6所述的方法，其特征在于，根据所述查询参数以及所述目标模式索引，在对象存储中查询获取对应的目标参数值，包括：
根据所述目标模式索引对所述查询参数中的参数名称进行别名映射转换，得到与所述查询参数对应的目标存储列名；
根据所述目标存储列名，以及所述查询参数中的参数值，在对象存储中查询获取对应的目标参数值。
8.一种日志数据存储装置，其特征在于，包括：
日志聚类模式生成模块，用于采集业务处理中的日志数据，并对所述日志数据进行日志模式聚类，生成日志聚类模式；
模式索引生成模块，用于根据所述日志数据以及所述日志聚类模式，确定对应的模式索引；其中，所述模式索引用于通过索引为所述日志数据匹配对应的日志聚类模式；
数据存储模块，用于将所述日志数据中的参数值以列存储形式进行对象存储，并将所述日志聚类模式对应的模式索引进行本地存储。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的日志数据存储方法，或者，权利要求6-7中任一项所述的日志数据查询方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的日志数据存储方法，或者，权利要求6-7中任一项所述的日志数据查询方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310596038.9A CN116894021A (zh) | 2023-05-24 | 2023-05-24 | 一种日志数据存储方法、查询方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310596038.9A CN116894021A (zh) | 2023-05-24 | 2023-05-24 | 一种日志数据存储方法、查询方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116894021A true CN116894021A (zh) | 2023-10-17 |
Family
ID=88309938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310596038.9A Pending CN116894021A (zh) | 2023-05-24 | 2023-05-24 | 一种日志数据存储方法、查询方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116894021A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106354434A (zh) * | 2016-08-31 | 2017-01-25 | 中国人民大学 | 日志数据的存储方法及系统 |
| CN108182215A (zh) * | 2017-12-22 | 2018-06-19 | 微梦创科网络科技（中国）有限公司 | 一种结构化查询语言sql性能统计的方法及装置 |
| CN109885545A (zh) * | 2019-02-02 | 2019-06-14 | 华为技术有限公司 | 存储、查询日志信息的方法、装置 |
| CN111708860A (zh) * | 2020-06-15 | 2020-09-25 | 北京优特捷信息技术有限公司 | 信息提取方法、装置、设备及存储介质 |
| CN113238912A (zh) * | 2021-05-08 | 2021-08-10 | 国家计算机网络与信息安全管理中心 | 一种网络安全日志数据的聚合处理方法 |
| CN113868214A (zh) * | 2021-09-30 | 2021-12-31 | 中国电信股份有限公司 | 日志的存储方法、装置、电子设备及计算机可读介质 |
| CN113886193A (zh) * | 2021-10-26 | 2022-01-04 | Oppo广东移动通信有限公司 | 日志数据处理方法、装置、电子设备及存储介质 |
-
2023
- 2023-05-24 CN CN202310596038.9A patent/CN116894021A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106354434A (zh) * | 2016-08-31 | 2017-01-25 | 中国人民大学 | 日志数据的存储方法及系统 |
| CN108182215A (zh) * | 2017-12-22 | 2018-06-19 | 微梦创科网络科技（中国）有限公司 | 一种结构化查询语言sql性能统计的方法及装置 |
| CN109885545A (zh) * | 2019-02-02 | 2019-06-14 | 华为技术有限公司 | 存储、查询日志信息的方法、装置 |
| CN111708860A (zh) * | 2020-06-15 | 2020-09-25 | 北京优特捷信息技术有限公司 | 信息提取方法、装置、设备及存储介质 |
| CN113238912A (zh) * | 2021-05-08 | 2021-08-10 | 国家计算机网络与信息安全管理中心 | 一种网络安全日志数据的聚合处理方法 |
| CN113868214A (zh) * | 2021-09-30 | 2021-12-31 | 中国电信股份有限公司 | 日志的存储方法、装置、电子设备及计算机可读介质 |
| CN113886193A (zh) * | 2021-10-26 | 2022-01-04 | Oppo广东移动通信有限公司 | 日志数据处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210042470A1 (en) | Method and device for separating words | |
| CN113836314B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
| CN114579104A (zh) | 数据分析场景的生成方法、装置、设备及存储介质 | |
| CN115617849A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN113568938A (zh) | 数据流处理方法、装置、电子设备及存储介质 | |
| CN113220710B (zh) | 数据查询方法、装置、电子设备以及存储介质 | |
| CN113836316B (zh) | 三元组数据的处理方法、训练方法、装置、设备及介质 | |
| CN113609100B (zh) | 数据存储方法、数据查询方法、装置及电子设备 | |
| CN113722600A (zh) | 应用于大数据的数据查询方法、装置、设备及产品 | |
| CN117171296A (zh) | 信息获取方法、装置和电子设备 | |
| CN116955856A (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
| CN116340518A (zh) | 文本关联矩阵的建立方法、装置、电子设备及存储介质 | |
| CN113239054B (zh) | 信息生成方法及相关装置 | |
| CN116894021A (zh) | 一种日志数据存储方法、查询方法、装置、设备及介质 | |
| CN115525659A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
| CN117272970B (zh) | 一种文档生成方法、装置、设备以及存储介质 | |
| CN115858325B (zh) | 一种项目日志的调整方法、装置、设备和存储介质 | |
| CN115203428B (zh) | 一种知识图谱构建方法、装置、电子设备及存储介质 | |
| CN113377922B (zh) | 用于匹配信息的方法、装置、电子设备以及介质 | |
| CN114581680A (zh) | 一种表格信息提取方法、装置、电子设备及存储介质 | |
| CN117349312A (zh) | 单词标准化、查询方法、装置、电子设备以及存储介质 | |
| EP3822822A1 (en) | Relationship network generation method and device, electronic apparatus, and storage medium | |
| CN113535968A (zh) | 数据关键属性的提取方法和装置 | |
| CN114416881A (zh) | 一种多源数据的实时同步方法、装置、设备及介质 | |
| CN115495368A (zh) | 数据测试方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |