CN117076743A - 基于全文检索数据库的日志检索方法、装置、系统和介质 - Google Patents
基于全文检索数据库的日志检索方法、装置、系统和介质 Download PDFInfo
- Publication number
- CN117076743A CN117076743A CN202311172462.7A CN202311172462A CN117076743A CN 117076743 A CN117076743 A CN 117076743A CN 202311172462 A CN202311172462 A CN 202311172462A CN 117076743 A CN117076743 A CN 117076743A
- Authority
- CN
- China
- Prior art keywords
- log
- retrieval
- preset classification
- database
- query condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013499 data model Methods 0.000 claims description 11
- 238000007726 management method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种基于全文检索数据库的日志检索方法、装置、系统和介质，可应用于大数据领域或金融领域。业务系统产生日志，获取日志；将日志按照预设分类进行划分多个部分，将多个部分分别与预设分类对应进行存储，存储到全文检索数据库；当接收到用户输入的与预设分类对应的查询条件时，对全文检索数据库中存储的日志进行过滤查询，从查询条件对应的部分中检索得到与查询条件对应的检索数据。采用全文检索数据库集中存储日志，减少日志占用磁盘空间，便于归档、备份；同时相对关系型数据库读写效率高；相对于各业务系统内独立的日志存储和检索系统方便管理和检索，统一日志管理和日志检索入口。提高日志检索的读写效率，实现准确有效的日志检索。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种基于全文检索数据库的日志检索方法、装置、系统和介质。
背景技术
随着计算机技术的飞速发展，业务应用系统的日志有了越来越高的要求。在系统使用过程中，为了便于对用户操作进行审计以及对异常数据变动进行筛查，在项目建设过程中，通常会设计开发对应的日志服务，对用户操作、系统更改和数据变动等一系列的情况进行日志记录及展示。
而传统的日志服务通常是通过关系型数据库存储的方式，构建对应的日志表，并通过指定日志信息字段的方式对日志进行记录；且基于日志的检索查询功能等，都需要进行单独的开发。
这种传统的开发模式，存在一定的弊端：首先在记录日志的方式上，针对大数据量日志的场景下，传统数据库的方式会生成巨大的数据文件，占用大量的磁盘存储空间，管理不便，且数据量较大的情况下，基于数据库的日志检索性能较差，全文检索用户体验不佳。其次在日志检索查询方面，需要根据具体存储的日志信息及数据类型进行定制开发。
因此，如何提高日志检索的读写效率，减少占用空间，实现准确有效的日志检索，是本领域需要解决的技术问题。
发明内容
有鉴于此，提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本申请的目的在于提供一种基于全文检索数据库的日志检索方法、装置、系统和介质，可以提高日志检索的读写效率，减少占用空间，实现准确有效的日志检索。
为实现上述目的，本申请有如下技术方案：
第一方面，本申请实施例提供了一种基于全文检索数据库的日志检索方法，包括：
当业务系统产生日志时，获取所述日志；
将所述日志按照预设分类进行划分为多个部分，将所述多个部分分别与所述预设分类对应进行存储，存储到全文检索数据库；
当接收到用户输入的与所述预设分类对应的查询条件时，对所述全文检索数据库中存储的所述日志进行过滤查询，从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
在一种可能的实现方式中，所述将所述多个部分分别与所述预设分类对应进行存储，包括：
分别建立所述多个部分与所述预设分类之间的第一映射关系；
利用所述第一映射关系链接所述多个部分和所述预设分类进行存储。
在一种可能的实现方式中，所述当接收到用户输入的与所述预设分类对应的查询条件时，对所述全文检索数据库中存储的所述日志进行过滤查询，从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据，包括：
将所述查询条件输入预先训练的大数据模型，得到所述查询条件对应的所述预设分类；
根据所述查询条件对应的所述预设分类，以及所述第一映射关系，得到所述查询条件对应的所述部分；
从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
在一种可能的实现方式中，所述预设分类，包括：
日志类型、业务应用系统编码、业务应用系统名称、日志地点、日志级别、日志主题、日志内容、操作人标识、操作人姓名和/或操作时间。
第二方面，本申请实施例提供了一种基于全文检索数据库的日志检索装置，包括：
获取单元，用于当业务系统产生日志时，获取所述日志；
划分单元，用于将所述日志按照预设分类进行划分为多个部分，将所述多个部分分别与所述预设分类对应进行存储，存储到全文检索数据库；
检索单元，用于当接收到用户输入的与所述预设分类对应的查询条件时，对所述全文检索数据库中存储的所述日志进行过滤查询，从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
在一种可能的实现方式中，所述划分单元，具体用于：
分别建立所述多个部分与所述预设分类之间的第一映射关系；
利用所述第一映射关系链接所述多个部分和所述预设分类进行存储。
在一种可能的实现方式中，所述检索单元，具体用于：
将所述查询条件输入预先训练的大数据模型，得到所述查询条件对应的所述预设分类；
根据所述查询条件对应的所述预设分类，以及所述第一映射关系，得到所述查询条件对应的所述部分；
从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
在一种可能的实现方式中，所述预设分类，包括：
日志类型、业务应用系统编码、业务应用系统名称、日志地点、日志级别、日志主题、日志内容、操作人标识、操作人姓名和/或操作时间。
第三方面，本申请实施例提供了一种基于全文检索数据库的日志检索系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述基于全文检索数据库的日志检索方法的步骤。
第四方面，本申请实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述所述基于全文检索数据库的日志检索方法的步骤。
与现有技术相比，本申请实施例具有以下有益效果：
本申请实施例提供了一种基于全文检索数据库的日志检索方法、装置、系统和介质，可应用于大数据领域或金融领域。该方法包括：当业务系统产生日志时，获取日志；将日志按照预设分类进行划分为多个部分，将多个部分分别与预设分类对应进行存储，存储到全文检索数据库；当接收到用户输入的与预设分类对应的查询条件时，对全文检索数据库中存储的日志进行过滤查询，从查询条件对应的部分中检索得到与查询条件对应的检索数据。本申请通过采用全文检索数据库集中存储日志，减少日志占用磁盘空间，便于归档、备份；同时相对关系型数据库读写效率高；相对于各业务系统内独立的日志存储和检索系统方便管理和检索，统一了日志管理和日志检索入口。提高日志检索的读写效率，减少占用空间，实现准确有效的日志检索。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1示出了本申请实施例提供的一种基于全文检索数据库的日志检索方法的流程图；
图2示出了本申请实施例提供的一种基于全文检索数据库的日志检索装置的示意图。
具体实施方式
需要说明的是，本发明提供的一种基于全文检索数据库的日志检索方法、装置、系统和介质可用于大数据领域或金融领域。上述仅为示例，并不对本发明提供的一种基于全文检索数据库的日志检索方法、装置、系统和介质的应用领域进行限定。
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
正如背景技术中的描述，随着计算机技术的飞速发展，业务应用系统的日志有了越来越高的要求。在系统使用过程中，为了便于对用户操作进行审计以及对异常数据变动进行筛查，在项目建设过程中，通常会设计开发对应的日志服务，对用户操作、系统更改和数据变动等一系列的情况进行日志记录及展示。
而传统的日志服务通常是通过关系型数据库存储的方式，构建对应的日志表，并通过指定日志信息字段的方式对日志进行记录；且基于日志的检索查询功能等，都需要进行单独的开发。
这种传统的开发模式，存在一定的弊端：首先在记录日志的方式上，针对大数据量日志的场景下，传统数据库的方式会生成巨大的数据文件，占用大量的磁盘存储空间，管理不便，且数据量较大的情况下，基于数据库的日志检索性能较差，全文检索用户体验不佳。其次在日志检索查询方面，需要根据具体存储的日志信息及数据类型进行定制开发。
因此，如何提高日志检索的读写效率，减少占用空间，实现准确有效的日志检索，是本领域需要解决的技术问题。
为了解决以上技术问题，本申请实施例提供了一种基于全文检索数据库的日志检索方法、装置、系统和介质，可应用于大数据领域或金融领域。该方法包括：当业务系统产生日志时，获取日志；将日志按照预设分类进行划分为多个部分，将多个部分分别与预设分类对应进行存储，存储到全文检索数据库；当接收到用户输入的与预设分类对应的查询条件时，对全文检索数据库中存储的日志进行过滤查询，从查询条件对应的部分中检索得到与查询条件对应的检索数据。本申请通过采用全文检索数据库集中存储日志，减少日志占用磁盘空间，便于归档、备份；同时相对关系型数据库读写效率高；相对于各业务系统内独立的日志存储和检索系统方便管理和检索，统一了日志管理和日志检索入口。提高日志检索的读写效率，减少占用空间，实现准确有效的日志检索。
示例性方法
参见图1所示，为本申请实施例提供的一种基于全文检索数据库的日志检索方法的流程图，包括：
S101：当业务系统产生日志时，获取所述日志。
S102：将所述日志按照预设分类进行划分为多个部分，将所述多个部分分别与所述预设分类对应进行存储，存储到全文检索数据库。
在本申请实施例中，当业务系统产生日志时，首先可以获取业务系统产生的日志。具体的，业务系统(例如业务系统A和业务系统B等)产生日志时，可以调用日志写入接口，将日志首先写入日志写入服务模块。以便后续可以及时调用进行存储。
然后，本申请实施例可以将日志按照预设分类进行划分为多个部分，将多个部分分别与预设分类对应进行存储，存储到全文检索数据库。
具体的，即在本申请实施例中，可以利用日志写入服务将接收到的日志存储到全文检索数据库，全文检索数据库采用分词即预设分类对日志数据进行处理，处理完毕后，完成日志的存储入库。从而进行分类存储，方便后续的检索准确定位和查询。
具体的，参见表1所示，本申请实施例提供的预设分类，具体可以包括：
日志类型、业务应用系统编码、业务应用系统名称、日志地点、日志级别、日志主题、日志内容、操作人标识、操作人姓名和/或操作时间。
表1
S103：当接收到用户输入的与所述预设分类对应的查询条件时，对所述全文检索数据库中存储的所述日志进行过滤查询，从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
在本申请实施例中，当接收到用户输入的与预设分类对应的查询条件时，则可以对全文检索数据库中存储的日志进行过滤查询，从查询条件对应的部分中检索得到与查询条件对应的检索数据。
具体的，在本申请实施例中，用户可以输入事件发生时间、日志类型、日志内容和应用等查询条件，对日志进行过滤查询，调用日志检索服务，日志检索服务组装检索条件调用全文检索数据库查询接口查询数据，日志检索服务将查询结果拼装成响应数据结果集，返回给用户或者客户端，实现了对业务系统日志的检索查询。
本申请实施例采用全文检索数据库集中存储日志，减少日志占用磁盘空间，便于归档、备份；同时相对关系型数据库读写效率高；相对于各业务系统内独立的日志存储和检索系统方便管理和检索，统一了日志管理和日志检索入口。
在一种可能的实现方式中，本申请实施例提供的将多个部分分别与预设分类对应进行存储，具体可以包括：
分别建立多个部分与预设分类之间的第一映射关系；
利用第一映射关系链接多个部分和预设分类进行存储。
即在本申请实施例中，为了准确实现分类后的日志与多个部分的一一对应，可以利用建立第一映射关系的方式来建立连接。通过第一映射关系链接多个部分和预设分类进行存储后，则无需在整个日志中进行检索，可以实现局部部分的准确定位，提高检索效率和准确性。
在一种可能的实现方式中，本申请实施例提供的当接收到用户输入的与预设分类对应的查询条件时，对全文检索数据库中存储的日志进行过滤查询，从查询条件对应的部分中检索得到与查询条件对应的检索数据，具体可以包括：
将查询条件输入预先训练的大数据模型，得到查询条件对应的预设分类；根据查询条件对应的预设分类，以及第一映射关系，得到查询条件对应的部分；从查询条件对应的部分中检索得到与查询条件对应的检索数据。
即在本申请实施例中，由于用户输入的查询条件可能有各种形式，无法固定识别，因此，可以利用预先训练的大数据模型，来进行查询条件和预设分类的匹配，匹配后的预设分类对应的检索数据，即为查询条件对应的检索数据，可以实现准确定位和匹配，提高了检索效率。
具体的，预先训练的大数据模型可以通过以下步骤训练得到：
首先可以获取初始数据模型的训练集，训练集包括：历史查询条件和历史查询条件对应的已知预设分类。
利用训练集学习历史查询条件和历史查询条件对应的已知预设分类的映射关系，根据映射关系确定初始数据模型的模型参数，从而可以得到预先训练的大数据模型。
本申请实施例提供了一种基于全文检索数据库的日志检索方法，可应用于大数据领域或金融领域。该方法包括：当业务系统产生日志时，获取日志；将日志按照预设分类进行划分为多个部分，将多个部分分别与预设分类对应进行存储，存储到全文检索数据库；当接收到用户输入的与预设分类对应的查询条件时，对全文检索数据库中存储的日志进行过滤查询，从查询条件对应的部分中检索得到与查询条件对应的检索数据。本申请通过采用全文检索数据库集中存储日志，减少日志占用磁盘空间，便于归档、备份；同时相对关系型数据库读写效率高；相对于各业务系统内独立的日志存储和检索系统方便管理和检索，统一了日志管理和日志检索入口。提高日志检索的读写效率，减少占用空间，实现准确有效的日志检索。
示例性装置
参见图2所示，为本申请实施例提供的一种基于全文检索数据库的日志检索装置的示意图，包括：
获取单元201，用于当业务系统产生日志时，获取所述日志；
划分单元202，用于将所述日志按照预设分类进行划分为多个部分，将所述多个部分分别与所述预设分类对应进行存储，存储到全文检索数据库；
检索单元203，用于当接收到用户输入的与所述预设分类对应的查询条件时，对所述全文检索数据库中存储的所述日志进行过滤查询，从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
在一种可能的实现方式中，所述划分单元，具体用于：
分别建立所述多个部分与所述预设分类之间的第一映射关系；
利用所述第一映射关系链接所述多个部分和所述预设分类进行存储。
在一种可能的实现方式中，所述检索单元，具体用于：
将所述查询条件输入预先训练的大数据模型，得到所述查询条件对应的所述预设分类；
根据所述查询条件对应的所述预设分类，以及所述第一映射关系，得到所述查询条件对应的所述部分；
从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
在一种可能的实现方式中，所述预设分类，包括：
日志类型、业务应用系统编码、业务应用系统名称、日志地点、日志级别、日志主题、日志内容、操作人标识、操作人姓名和/或操作时间。
本申请实施例提供了一种基于全文检索数据库的日志检索装置，可应用于大数据领域或金融领域。应用于该装置的方法包括：当业务系统产生日志时，获取日志；将日志按照预设分类进行划分为多个部分，将多个部分分别与预设分类对应进行存储，存储到全文检索数据库；当接收到用户输入的与预设分类对应的查询条件时，对全文检索数据库中存储的日志进行过滤查询，从查询条件对应的部分中检索得到与查询条件对应的检索数据。本申请通过采用全文检索数据库集中存储日志，减少日志占用磁盘空间，便于归档、备份；同时相对关系型数据库读写效率高；相对于各业务系统内独立的日志存储和检索系统方便管理和检索，统一了日志管理和日志检索入口。提高日志检索的读写效率，减少占用空间，实现准确有效的日志检索。
在上述实施例的基础上，本申请实施例提供了一种基于全文检索数据库的日志检索系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述基于全文检索数据库的日志检索方法的步骤。
在上述实施例的基础上，本申请实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述基于全文检索数据库的日志检索方法的步骤。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述系统中所包含的；也可以是单独存在，而未装配入该系统中。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅是本申请的优选实施方式，虽然本申请已以较佳实施例披露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。
Claims (10)
1.一种基于全文检索数据库的日志检索方法，其特征在于，包括：
当业务系统产生日志时，获取所述日志；
将所述日志按照预设分类进行划分为多个部分，将所述多个部分分别与所述预设分类对应进行存储，存储到全文检索数据库；
当接收到用户输入的与所述预设分类对应的查询条件时，对所述全文检索数据库中存储的所述日志进行过滤查询，从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
2.根据权利要求1所述的方法，其特征在于，所述将所述多个部分分别与所述预设分类对应进行存储，包括：
分别建立所述多个部分与所述预设分类之间的第一映射关系；
利用所述第一映射关系链接所述多个部分和所述预设分类进行存储。
3.根据权利要求2所述的方法，其特征在于，所述当接收到用户输入的与所述预设分类对应的查询条件时，对所述全文检索数据库中存储的所述日志进行过滤查询，从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据，包括：
将所述查询条件输入预先训练的大数据模型，得到所述查询条件对应的所述预设分类；
根据所述查询条件对应的所述预设分类，以及所述第一映射关系，得到所述查询条件对应的所述部分；
从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
4.根据权利要求1所述的方法，其特征在于，所述预设分类，包括：
日志类型、业务应用系统编码、业务应用系统名称、日志地点、日志级别、日志主题、日志内容、操作人标识、操作人姓名和/或操作时间。
5.一种基于全文检索数据库的日志检索装置，其特征在于，包括：
获取单元，用于当业务系统产生日志时，获取所述日志；
划分单元，用于将所述日志按照预设分类进行划分为多个部分，将所述多个部分分别与所述预设分类对应进行存储，存储到全文检索数据库；
检索单元，用于当接收到用户输入的与所述预设分类对应的查询条件时，对所述全文检索数据库中存储的所述日志进行过滤查询，从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
6.根据权利要求5所述的装置，其特征在于，所述划分单元，具体用于：
分别建立所述多个部分与所述预设分类之间的第一映射关系；
利用所述第一映射关系链接所述多个部分和所述预设分类进行存储。
7.根据权利要求6所述的装置，其特征在于，所述检索单元，具体用于：
将所述查询条件输入预先训练的大数据模型，得到所述查询条件对应的所述预设分类；
根据所述查询条件对应的所述预设分类，以及所述第一映射关系，得到所述查询条件对应的所述部分；
从所述查询条件对应的所述部分中检索得到与所述查询条件对应的检索数据。
8.根据权利要求5所述的装置，其特征在于，所述预设分类，包括：
日志类型、业务应用系统编码、业务应用系统名称、日志地点、日志级别、日志主题、日志内容、操作人标识、操作人姓名和/或操作时间。
9.一种基于全文检索数据库的日志检索系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-4任意一项所述基于全文检索数据库的日志检索方法的步骤。
10.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理执行时实现如权利要求1-4任意一项所述基于全文检索数据库的日志检索方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311172462.7A CN117076743A (zh) | 2023-09-12 | 2023-09-12 | 基于全文检索数据库的日志检索方法、装置、系统和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311172462.7A CN117076743A (zh) | 2023-09-12 | 2023-09-12 | 基于全文检索数据库的日志检索方法、装置、系统和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117076743A true CN117076743A (zh) | 2023-11-17 |
Family
ID=88719519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311172462.7A Pending CN117076743A (zh) | 2023-09-12 | 2023-09-12 | 基于全文检索数据库的日志检索方法、装置、系统和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076743A (zh) |
-
2023
- 2023-09-12 CN CN202311172462.7A patent/CN117076743A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200050968A1 (en) | Interactive interfaces for machine learning model evaluations | |
| US7243110B2 (en) | Searchable archive | |
| US8468146B2 (en) | System and method for creating search index on cloud database | |
| CN110019218B (zh) | 数据存储与查询方法及设备 | |
| US9256665B2 (en) | Creation of inverted index system, and data processing method and apparatus | |
| US11036699B2 (en) | Method for computing distinct values in analytical databases | |
| CN110659282B (zh) | 数据路由的构建方法、装置、计算机设备和存储介质 | |
| CN111506559A (zh) | 数据存储方法、装置、电子设备及存储介质 | |
| CN106815353A (zh) | 一种数据查询的方法及设备 | |
| CN114297204A (zh) | 一种异构数据源的数据存储、检索方法及装置 | |
| CN111858581B (zh) | 一种分页查询的方法、装置、存储介质和电子设备 | |
| CN113868698A (zh) | 一种文件脱敏方法及设备 | |
| CN110874366A (zh) | 数据处理、查询方法和装置 | |
| CN116303628B (zh) | 基于Elasticsearch的告警数据查询方法、系统及设备 | |
| EP3227794A1 (en) | Unstructured search query generation from a set of structured data terms | |
| US20110029480A1 (en) | Method of Compiling Multiple Data Sources into One Dataset | |
| CN117076743A (zh) | 基于全文检索数据库的日志检索方法、装置、系统和介质 | |
| CN102117324B (zh) | 应用模糊矩阵的文件管理方法及管理系统 | |
| CN107430633B (zh) | 用于数据存储的系统及方法和计算机可读介质 | |
| CN113127636B (zh) | 一种文本聚类类簇中心点选取方法及装置 | |
| CN113626387A (zh) | 一种任务数据的导出方法、装置、电子设备及存储介质 | |
| CN110633430B (zh) | 事件发现方法、装置、设备和计算机可读存储介质 | |
| CN110019771B (zh) | 文本处理的方法及装置 | |
| CN112131215A (zh) | 自底向上的数据库信息获取方法及装置 | |
| CN115809268B (zh) | 一种基于分片索引的自适应查询方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |