CN109815201A - 基于消息队列和搜索引擎的日志处理方法及相关设备 - Google Patents
基于消息队列和搜索引擎的日志处理方法及相关设备 Download PDFInfo
- Publication number
- CN109815201A CN109815201A CN201811537331.3A CN201811537331A CN109815201A CN 109815201 A CN109815201 A CN 109815201A CN 201811537331 A CN201811537331 A CN 201811537331A CN 109815201 A CN109815201 A CN 109815201A
- Authority
- CN
- China
- Prior art keywords
- daily record
- record data
- log
- message queue
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及大数据领域数据处理技术，具体涉及基于消息队列和搜索引擎的日志处理方法及相关设备，所述方法包括：获取多个资源管理系统中日志数据并分类；搜索引擎系统识别日志数据中的关键词，定义一级标签、二级标签并将日志数据编号；调取日志编号，将日志编号记录在编号登记表中；存储日志数据；当接收到查看所述日志数据指令时，获取用户输入的日志类别和关键词后搜索所述日志编号；通过在编号登记表中搜索，调取对应所述资源管理系统中的日志数据并展示。上述方法以分布式结构为基础，将日志数据进行编号，便于后续事务处理信息的查询和分析，提高了事务存储和查询的效率。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种基于消息队列和搜索引擎的日志处理方法及相关设备。
背景技术
随着计算机技术的发展，事务处理的结构也呈现出多样化发展的趋势，事务处理模式也逐渐成熟，其中，分布式事务结构已成为应用于诸多领域的一种主要的事务处理方式，但是复杂结构随之而来的各种问题也日益凸显，因此设置合理的查看方法尤为重要。
目前市场上的分布式系统架构大多停留在简单的事务处理的阶段，针对各结构之间的数据处理仍然不到位，易出现各结构之间衔接不畅、查看困难的情况，同时也容易引发信息分析的诸多问题。
发明内容
基于此，有必要针对数据处理不到位，查询信息困难等问题，提供一种基于消息队列和搜索引擎的日志处理方法及相关设备。
一种基于消息队列和搜索引擎的日志处理方法，包括：
事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列；
搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列；
所述事务管理系统从所述第二消息队列中获取所述日志数据，调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称；
所述资源管理系统存储所述日志数据；
当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列；
所述事务管理系统获取所述第三消息队列中的日志编号，搜索编号登记表，调取对应所述资源管理系统中的日志数据并展示。
在其中一个实施例中，所述事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列，包括：
所述事务管理系统向多个资源管理系统发出日志数据收集请求；
所述事务管理系统接收所述资源管理系统发送的所述日志数据，所述日志数据包括事务执行结果；
所述事务管理系统读取所述事务执行结果，依据所述事务执行结果将所述日志数据分类，得到日志类别，所述日志类别包括正常执行类和异常执行类；
所述资源管理系统将所述日志数据和所述日志类别发送至第一消息队列。
在其中一个实施例中，所述搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列，包括：
所述搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别；
所述搜索引擎系统依据所述日志类别定义所述日志数据的一级标签；
所述搜索引擎系统调取朴素贝叶斯模型算法程序脚本，朴素贝叶斯模型算法程序脚本获取预设的提取参数，依据提取参数测试所述日志数据，提取所述日志数据中的关键词；
所述搜索引擎系统依据所述关键词定义所述日志数据的二级标签；
所述搜索引擎系统依据所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中；
所述搜索引擎系统将所述日志数据发送至第二消息队列。
在其中一个实施例中，所述资源管理系统存储所述日志数据的步骤包括：采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据。
在其中一个实施例中，所述采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据，包括：
当所述日志类别为正常执行类时，所述资源管理系统将日志编号、执行事务、执行过程、执行结果覆盖所述日志数据；
当所述日志类别为异常执行类时，所述资源管理系统调取事务回滚系统，获取执行异常原因和异常位置信息，将日志编号、执行事务、执行过程、执行结果、执行异常原因、异常位置信息覆盖所述日志数据。
在其中一个实施例中，所述当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列，包括：
所述搜索引擎系统获取用户日志数据查看指令，展示查看输入页面，提示用户选择需查看日志类别和关键词；
所述搜索引擎系统获取用户输入的所述日志类别和所述关键词；
所述搜索引擎系统依据所述日志类别和所述关键词搜索所述日志编号；
所述搜索引擎系统将所述日志编号发送至第三消息队列。
在其中一个实施例中，所述搜索引擎系统依据所述日志类别和所述关键词搜索所述日志编号，包括：
当所述搜索引擎系统搜索到所述日志编号时，将所述日志编号发送至所述第三消息队列；
当所述搜索引擎系统未搜索到所述日志编号时，调取词汇相似度程序脚本，计算与所述关键词相似度最大的相似关键词，所述搜索引擎系统搜索所述相似关键词的日志编号并发送至所述第三消息队列。
基于相同的技术构思，本发明还提供了基于消息队列和搜索引擎的日志处理装置，所述基于消息队列和搜索引擎的日志处理装置包括：
日志获取模块，设置为事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列；
日志编号模块，设置为搜索引擎系统从所述消息队列1中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列；
编号记录模块，设置为所述事务管理系统调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称；
数据覆盖模块，设置为所述资源管理系统存储所述日志数据；
日志搜索模块，设置为当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列；
日志展示模块，设置为当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，所述事务管理系统依据所述编号登记表调取所述日志数据并展示。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述基于消息队列和搜索引擎的日志处理方法的步骤。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述基于消息队列和搜索引擎的日志处理方法的步骤。
上述基于消息队列和搜索引擎的日志处理方法及相关设备，通过事务管理系统从多个资源管理系统中获取日志数据并分类得到日志类别；搜索引擎系统获取日志数据和日志类别，识别日志数据中的关键词，将日志类别定义为一级标签，将关键词定义为二级标签，采用一级标签和述二级标签将日志数据编号，形成日志编号；事务管理系统调取日志编号，将日志编号记录在编号登记表中；资源管理系统存储日志数据；当搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号；事务管理系统获取日志编号并在编号登记表中搜索，调取对应所述资源管理系统中的日志数据并展示。本发明以分布式结构为基础，在分布式事务处理的基础上将分布式事务处理后的日志数据进行编号，从而可以清晰获取日志数据的主要内容，便于后续事务处理信息的查询和分析，提高了事务存储和查询的效率，给事务处理和分析提供了信息查看保障。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本发明一个实施例中基于消息队列和搜索引擎的日志处理方法的流程图；
图2为本发明一个实施例中步骤S1日志获取的流程图；
图3为本发明一个实施例中步骤S2日志编号的流程图；
图4为本发明一个实施例中步骤S5日志搜索的流程图；
图5为本发明基于消息队列和搜索引擎的日志处理装置的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本发明实施例基于消息队列和搜索引擎的日志处理方法的流程图，如图1所示，基于消息队列和搜索引擎的日志处理方法，包括以下步骤：
步骤S1，日志获取：事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列。
图2为本发明一个实施例中步骤S1日志获取的流程图，如图2所示，在一个实施例中，步骤S1可包括如下具体步骤：
步骤S101，收集日志请求：所述事务管理系统向多个资源管理系统发出日志数据收集请求。
步骤S102，接收日志数据：所述事务管理系统接收所述资源管理系统发送的所述日志数据，所述日志数据包括事务执行结果。
步骤S103，定义日志类别：所述事务管理系统读取所述事务执行结果，依据所述事务执行结果将所述日志数据分类，得到日志类别，所述日志类别包括正常执行类和异常执行类。
步骤S104，存储第一消息：所述资源管理系统将所述日志数据和所述日志类别发送至第一消息队列。
本步骤通过主动获取日志数据，依据日志数据中执行结果将日志数据分类，用于缩小用户在查询过程中信息输入的筛选范围。
本实施例通过将用户分类，将日志数据合理划分范围，同时便于搜索日志数据过程使用，缩小了用户搜索的范围，提升了用户搜索的效率。
步骤S2，日志编号：搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列。
图3为本发明一个实施例中步骤S2日志编号的流程图，如图3所示，在一个实施例中，步骤S2可包括如下具体步骤：
步骤S201，获取第一消息：所述搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别。
步骤S202，定义一级标签：所述搜索引擎系统依据所述日志类别定义所述日志数据的一级标签。
步骤S203，提取关键词：所述搜索引擎系统调取朴素贝叶斯模型算法程序脚本，朴素贝叶斯模型算法程序脚本获取预设的提取参数，依据提取参数测试所述日志数据，提取所述日志数据中的关键词。
朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率，朴素贝叶斯模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单，其中朴素指特征条件独立，贝叶斯指基于贝叶斯定理。
对于分类问题，P(Y|X)可看作在样本的特征为X的条件下，关键词为Y的条件概率，这正是关键词搜索中需要确认的关键词，计算公式如下：
P(Y)可看做训练集中关键词为Y的概率，P(Y|X)可看作在训练集中特征为X时，关键词为Y的条件概率，P(X)可看作训练集中特征为X的样本概率。
步骤S204，定义二级标签：所述搜索引擎系统依据所述关键词定义所述日志数据的二级标签。
步骤S205，形成日志编号：所述搜索引擎系统依据所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中。
步骤S206，存储第二消息：所述搜索引擎系统将所述日志数据发送至第二消息队列。
通过利用朴素贝叶斯模型提取关键词，依据步骤S1中的日志类别和关键词给日志数据编号。
本实施例采用朴素贝叶斯模型，具备稳定的计算效率，处理数据不敏感，可以避免缺失数据的影响，算法简单、易操作。
步骤S3，编号记录：所述事务管理系统从第二消息队列中获取所述日志数据，调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称。
本实施例将日志编号进行登记，便于依据编号快速查找日志数据的具体位置，有助于提高调取日志数据的速度，提升了查询日志数据的效率。
步骤S4，数据覆盖：所述资源管理系统存储所述日志数据。
在步骤S4中，所述资源管理系统存储所述日志数据的步骤包括：采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据。
其中，所述采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据，包括：
当所述日志类别为正常执行类时，所述资源管理系统将日志编号、执行事务、执行过程、执行结果覆盖所述日志数据。
当所述日志类别为异常执行类时，所述资源管理系统调取事务回滚系统，获取执行异常原因和异常位置信息，将日志编号、执行事务、执行过程、执行结果、执行异常原因、异常位置信息覆盖所述日志数据。
本步骤针对日志数据的两种类别，分别对正常执行类和异常执行类信息存储的内容作出了具体说明。
本实施例采用数据覆盖的形式，便于资源的有效利用，防止资源重复存储的情况发生，同时可以有效更新最新记录信息，便于后续信息获取到的为最新信息，为信息调取和使用提高信息真实可靠性。
步骤S5，日志搜索：当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列。
图4为本发明一个实施例中步骤S5日志搜索的流程图，如图4所示，在一个实施例中，步骤S5可包括如下具体步骤：
步骤S501，获取查看请求：所述搜索引擎系统获取用户日志数据查看指令，展示查看输入页面，提示用户选择需查看日志类别和关键词。
步骤S502，搜索用户输入：所述搜索引擎系统获取用户输入的所述日志类别和所述关键词。
步骤S503，获取日志编号：所述搜索引擎系统依据所述日志类别和所述关键词搜索所述日志编号。
步骤S504，存储第三消息：所述搜索引擎系统将所述日志编号发送至第三消息队列。
本步骤是对用户查询日志数据过程的具体展开，用户通过查询步骤S1至步骤S4所设置的用户编号，可以获取到具体日志数据的位置，通过调取对应的资源管理系统获取用户所需日志数据。
在具体设计时，如用户A需要获取异常情况下关键词B的日志数据，用户A可通过将日志类别和关键词输入到系统，由系统完成日志编号的匹配，用户可依据编号借助资源管理系统查询编号登记表，再通过资源管理系统获取异常情况下的日志数据。
本实施例改善了用户查询日志数据的方式，为用户查询和调取数据提供了更加便捷的途径，解决了在分布式事务处理过程中数据繁多，无法及时定位和获取日志数据的情况。
在一个实施例中，所述搜索引擎系统依据所述日志类别和所述关键词搜索所述日志编号，包括：
当所述搜索引擎系统搜索到所述日志编号时，将所述日志编号发送至所述第三消息队列。
当所述搜索引擎系统未搜索到所述日志编号时，调取词汇相似度程序脚本，计算与所述关键词相似度最大的相似关键词，所述搜索引擎系统搜索所述相似关键词的日志编号并发送至所述第三消息队列。
本步骤是在搜索引擎搜索日志编号过程中出现两种情况下的处理过程，主要是针对未搜索到日志编号时，给出解决方案。
在具体设计时，如当用户需要分析通过理论获取的某种情况时，由于未发生所述情况，此时数据不能满足用户分析所需，这种情况下通过查询相似关键词，使用相似情况的日志数据进行分析，便于参考。
本实施例保障了理论分析的所需，扩大了用户在各种情况下数据来源的范围，提升了数据资源的可利用性。
本发明实施例解决了分布式结构下数据查询的繁琐复杂，缓解了各类情况下问题追溯困难的窘境，提升了用户使用过程中的效率，为解决问题和寻找问题提供了便捷的途径。
在一个实施例中，提出了基于消息队列和搜索引擎的日志处理装置，如图5所示，其包括：
日志获取模块，设置为事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列；
日志编号模块，设置为搜索引擎系统从所述消息队列1中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列；
编号记录模块，设置为所述事务管理系统调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称；
数据覆盖模块，设置为所述资源管理系统存储所述日志数据。
日志搜索模块，设置为当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列；
日志展示模块，设置为当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，所述事务管理系统依据所述编号登记表调取所述日志数据并展示。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现上述各实施例里基于消息队列和搜索引擎的日志处理方法的步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例里基于消息队列和搜索引擎的日志处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(ReA/D-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于消息队列和搜索引擎的日志处理方法，其特征在于，包括：
事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列；
搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列；
所述事务管理系统从所述第二消息队列中获取所述日志数据，调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称；
所述资源管理系统存储所述日志数据；
当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列；
所述事务管理系统获取所述第三消息队列中的日志编号，搜索编号登记表，调取对应所述资源管理系统中的日志数据并展示。
2.如权利要求1所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列，包括：
所述事务管理系统向多个资源管理系统发出日志数据收集请求；
所述事务管理系统接收所述资源管理系统发送的所述日志数据，所述日志数据包括事务执行结果；
所述事务管理系统读取所述事务执行结果，依据所述事务执行结果将所述日志数据分类，得到日志类别，所述日志类别包括正常执行类和异常执行类；
所述资源管理系统将所述日志数据和所述日志类别发送至第一消息队列。
3.如权利要求1所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列，包括：
所述搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别；
所述搜索引擎系统依据所述日志类别定义所述日志数据的一级标签；
所述搜索引擎系统调取朴素贝叶斯模型算法程序脚本，朴素贝叶斯模型算法程序脚本获取预设的提取参数，依据提取参数测试所述日志数据，提取所述日志数据中的关键词；
所述搜索引擎系统依据所述关键词定义所述日志数据的二级标签；
所述搜索引擎系统依据所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中；
所述搜索引擎系统将所述日志数据发送至第二消息队列。
4.如权利要求1所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述资源管理系统存储所述日志数据的步骤包括：采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据。
5.如权利要求4所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据，包括：
当所述日志类别为正常执行类时，所述资源管理系统将日志编号、执行事务、执行过程、执行结果覆盖所述日志数据；
当所述日志类别为异常执行类时，所述资源管理系统调取事务回滚系统，获取执行异常原因和异常位置信息，将日志编号、执行事务、执行过程、执行结果、执行异常原因、异常位置信息覆盖所述日志数据。
6.如权利要求1所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列，包括：
所述搜索引擎系统获取用户日志数据查看指令，展示查看输入页面，提示用户选择需查看日志类别和关键词；
所述搜索引擎系统获取用户输入的所述日志类别和所述关键词；
所述搜索引擎系统依据所述日志类别和所述关键词搜索所述日志编号；
所述搜索引擎系统将所述日志编号发送至第三消息队列。
7.如权利要求6所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述搜索引擎系统依据所述日志类别和所述关键词搜索所述日志编号，包括：
当所述搜索引擎系统搜索到所述日志编号时，将所述日志编号发送至所述第三消息队列；
当所述搜索引擎系统未搜索到所述日志编号时，调取词汇相似度程序脚本，计算与所述关键词相似度最大的相似关键词，所述搜索引擎系统搜索所述相似关键词的日志编号并发送至所述第三消息队列。
8.一种基于消息队列和搜索引擎的日志处理装置，其特征在于，包括：
日志获取模块，设置为事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列；
日志编号模块，设置为搜索引擎系统从所述消息队列1中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列；
编号记录模块，设置为所述事务管理系统调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称；
数据覆盖模块，设置为所述资源管理系统存储所述日志数据；
日志搜索模块，设置为当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列；
日志展示模块，设置为当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，所述事务管理系统依据所述编号登记表调取所述日志数据并展示。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一种基于消息队列和搜索引擎的日志处理方法的步骤。
10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述一种基于消息队列和搜索引擎的日志处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537331.3A CN109815201A (zh) | 2018-12-15 | 2018-12-15 | 基于消息队列和搜索引擎的日志处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537331.3A CN109815201A (zh) | 2018-12-15 | 2018-12-15 | 基于消息队列和搜索引擎的日志处理方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109815201A true CN109815201A (zh) | 2019-05-28 |
Family
ID=66602016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811537331.3A Pending CN109815201A (zh) | 2018-12-15 | 2018-12-15 | 基于消息队列和搜索引擎的日志处理方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815201A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115357689A (zh) * | 2022-10-18 | 2022-11-18 | 盛业信息科技服务(深圳)有限公司 | 分布式日志的数据处理方法、装置、介质及计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040073536A1 (en) * | 1999-11-30 | 2004-04-15 | Charles Smith-Semedo | System and method for computer-assisted manual and automatic logging of time-based media |
| JP2011215857A (ja) * | 2010-03-31 | 2011-10-27 | Yahoo Japan Corp | 複数のサーバにより順次行われる処理の状態を確認するシステム、方法及び検索エンジン |
| CN106817407A (zh) * | 2016-12-23 | 2017-06-09 | 四川九鼎瑞信软件开发有限公司 | 一种教学信息资源推送方法及系统 |
| CN107341215A (zh) * | 2017-06-07 | 2017-11-10 | 北京航空航天大学 | 一种基于分布式计算平台的多源垂直知识图谱分类集成查询方法 |
-
2018
- 2018-12-15 CN CN201811537331.3A patent/CN109815201A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040073536A1 (en) * | 1999-11-30 | 2004-04-15 | Charles Smith-Semedo | System and method for computer-assisted manual and automatic logging of time-based media |
| JP2011215857A (ja) * | 2010-03-31 | 2011-10-27 | Yahoo Japan Corp | 複数のサーバにより順次行われる処理の状態を確認するシステム、方法及び検索エンジン |
| CN106817407A (zh) * | 2016-12-23 | 2017-06-09 | 四川九鼎瑞信软件开发有限公司 | 一种教学信息资源推送方法及系统 |
| CN107341215A (zh) * | 2017-06-07 | 2017-11-10 | 北京航空航天大学 | 一种基于分布式计算平台的多源垂直知识图谱分类集成查询方法 |
Non-Patent Citations (2)
| Title |
|---|
| 胡亮;傅泽田;: "网络诈骗信息垂直搜索引擎的设计与实现", 计算机应用与软件, no. 11 * |
| 黄玉蕾;唐明;: "基于数据仓库的海量搜索日志分析系统研究", 电脑编程技巧与维护, no. 05 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115357689A (zh) * | 2022-10-18 | 2022-11-18 | 盛业信息科技服务(深圳)有限公司 | 分布式日志的数据处理方法、装置、介质及计算机设备 |
| CN115357689B (zh) * | 2022-10-18 | 2023-02-17 | 盛业信息科技服务(深圳)有限公司 | 分布式日志的数据处理方法、装置、介质及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ilyas et al. | Data cleaning | |
| US11762909B2 (en) | Method and system for abstracting information for use in link analysis | |
| US8160982B2 (en) | Method for detecting people of interest from information sources | |
| US9489350B2 (en) | Systems and methods for semantic search, content correlation and visualization | |
| US20080195568A1 (en) | Methodologies and analytics tools for identifying white space opportunities in a given industry | |
| Nesi et al. | Geographical localization of web domains and organization addresses recognition by employing natural language processing, Pattern Matching and clustering | |
| CN113326187B (zh) | 数据驱动的内存泄漏智能化检测方法及系统 | |
| CN114205216B (zh) | 微服务故障的根因定位方法、装置、电子设备和介质 | |
| Ajienka et al. | An empirical study on the interplay between semantic coupling and co-change of software classes | |
| Nesi et al. | Ge (o) Lo (cator): Geographic information extraction from unstructured text data and Web documents | |
| US11880403B2 (en) | Document data management via graph cliques for layout understanding | |
| CN109815201A (zh) | 基于消息队列和搜索引擎的日志处理方法及相关设备 | |
| Graff et al. | A Python library for exploratory data analysis on twitter data based on tokens and aggregated origin–destination information | |
| CN109543959A (zh) | 审批链生成方法、装置、计算机设备及存储介质 | |
| US11550799B2 (en) | Method and system for retrieving and displaying data from an entity network database | |
| Li et al. | Geospatial data mining on the web: Discovering locations of emergency service facilities | |
| Zhao et al. | A new efficient data cleansing method | |
| Knoblock et al. | Automatic spatio-temporal indexing to integrate and analyze the data of an organization | |
| Rahoman et al. | Automatic erroneous data detection over type-annotated linked data | |
| CN114860852A (zh) | 一种面向军事领域的知识图谱构建方法 | |
| Prathyusha et al. | Normalization Methods for Multiple Sources of Data | |
| Alshaer | An efficient framework for processing and analyzing unstructured text to discover delivery delay and optimization of route planning in realtime | |
| Shi et al. | Abaci-finder: Linux kernel crash classification through stack trace similarity learning | |
| Subramaniam et al. | NumJoin: Discovering Numeric Joinable Tables with Semantically Related Columns | |
| Gangavane et al. | A novel approach for document clustering to criminal identification by using ABK-means algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |