CN112948334A - 日志处理方法和装置 - Google Patents
日志处理方法和装置 Download PDFInfo
- Publication number
- CN112948334A CN112948334A CN202110345462.7A CN202110345462A CN112948334A CN 112948334 A CN112948334 A CN 112948334A CN 202110345462 A CN202110345462 A CN 202110345462A CN 112948334 A CN112948334 A CN 112948334A
- Authority
- CN
- China
- Prior art keywords
- log data
- log
- determining
- data
- role
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 18
- 238000005192 partition Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志处理方法和装置，涉及大数据技术领域。该方法的一具体实施方式包括：识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；从所述消息队列中获取所述日志数据，并存储所述日志数据。该实施方式能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种日志处理方法和装置。
背景技术
在性能测试过程中，常常需要通过慢日志来分析数据库相关的性能问题。对于传统的单机MySQL数据库，可以直接查看存储在数据库服务器中的慢日志文件；对于GoldenDB这样的分布式数据库，要分别到每个节点上获取慢日志文件才能对整个系统的慢日志进行分析，如果分布式数据库集群规模较大，到每个节点上获取慢日志会非常繁琐，且容易遗漏，需要耗费大量时间和精力分别分析各节点上的慢日志，效率很低，而且无法对跨节点的事务进行整体分析。若只分析分布式数据库某个节点上的慢日志文件，则无法全面分析整个数据库系统的慢查询情况。
发明内容
有鉴于此，本发明实施例提供一种日志处理方法和装置，能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率。
为实现上述目的，根据本发明实施例的一个方面，提供了一种日志处理方法，包括：
识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；
从所述消息队列中获取所述日志数据，并存储所述日志数据。
可选的，采集日志数据包括：采集日志数据，并对所述日志数据进行标记，以通过所述标记确定所述日志数据对应的数据库节点的角色。
可选地，从所述消息队列中获取所述日志数据，并存储所述日志数据包括：
从所述消息队列中获取所述日志数据；
根据所述日志数据的标记，确定所述日志数据对应的数据库节点的角色；
根据所述日志数据对应的数据库节点的角色，确定解析策略；
根据所述解析策略，解析所述日志数据；
将解析后的所述日志数据进行存储。
可选地，在解析所述日志数据之后，所述方法还包括：对解析后的日志数据进行格式转换。
可选地，将解析后的所述日志数据进行存储包括：根据所述日志数据的标记，确定所述日志数据对应的数据表；将解析后的所述日志数据存储于所述数据表中。
可选地，根据所述日志数据的标记，确定所述日志数据对应的数据表包括：根据所述日志数据的标记，确定分区键；根据所述分区键，确定所述日志数据对应的数据表。
可选地，在存储所述日志数据时，所述方法还包括：创建多个日志索引，以通过所述日志索引查询存储的日志数据。
可选地，创建多个日志索引包括：根据以下一种或多种关键字创建索引：时间、用户、IP地址和耗时。
可选地，在存储所述日志数据之后，所述方法还包括：
接收查询指令，并根据所述查询指令查询存储的日志数据，得到查询结果；
根据所述查询指令，确定目标图表；
将所述查询结果和所述目标图表进行关联和渲染，以通过所述目标图表展示所述查询结果。
可选地，所述数据库节点的角色包括计算节点和存储节点。
为实现上述目的，根据本发明实施例的另一个方面，提供了一种日志处理装置，包括：
识别模块，用于识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
采集模块，用于基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；
存储模块，用于从所述消息队列中获取所述日志数据，并存储所述日志数据。
可选地，所述采集模块还用于：采集日志数据，并对所述日志数据进行标记，以通过所述标记确定所述日志数据对应的数据库节点的角色。
可选地，所述存储模块还用于：从所述消息队列中获取所述日志数据；根据所述日志数据的标记，确定所述日志数据对应的数据库节点的角色；根据所述日志数据对应的数据库节点的角色，确定解析策略；根据所述解析策略，解析所述日志数据；将解析后的所述日志数据进行存储。
可选地，所述装置还包括格式转换模块，用于对解析后的日志数据进行格式转换。
可选地，所述存储模块还用于：根据所述日志数据的标记，确定所述日志数据对应的数据表；将解析后的所述日志数据存储于所述数据表中。
可选地，所述存储模块还用于：根据所述日志数据的标记，确定分区键；根据所述分区键，确定所述日志数据对应的数据表。
可选地，所述装置还包括索引创建模块，用于创建多个日志索引，以通过所述日志索引查询存储的日志数据。
可选地，所述索引创建模块还用于根据以下一种或多种关键字创建索引：时间、用户、IP地址和耗时。
可选地，所述装置还包括查询分析模块，用于：接收查询指令，并根据所述查询指令查询存储的日志数据，得到查询结果；根据所述查询指令，确定目标图表；将所述查询结果和所述目标图表进行关联和渲染，以通过所述目标图表展示所述查询结果。
可选地，所述数据库节点的角色包括计算节点和存储节点。
为实现上述目的，根据本发明实施例的又一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的日志处理方法。
为实现上述目的，根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的日志处理方法。
上述发明中的一个实施例具有如下优点或有益效果：通过识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；从所述消息队列中获取所述日志数据，并存储所述日志数据的技术手段，能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率，而且能够针对数据库节点的角色，采用不同的采集、解析和存储方式。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例的日志处理方法的主要流程的示意图；
图2是本发明另一实施例的日志处理方法的主要流程的示意图；
图3是本发明又一实施例的日志处理方法的主要流程的示意图；
图4是本发明实施例的日志处理装置的主要模块的示意图；
图5是本发明另一实施例的日志处理装置的主要模块的示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是本发明实施例的日志处理方法的主要步骤的流程示意图，如图1所示，该方法包括：
步骤S101：识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
步骤S102：基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；
步骤S103：从所述消息队列中获取所述日志数据，并存储所述日志数据。
本发明实施例中所涉及的日志可以是慢日志。其中，慢日志是My SQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句。该方法可以应用于采集、分析基于MySQL开发的分布式数据库中的慢日志。作为示例，该方法可以应用于采集、分析GoldenDB中的慢日志，其中，GoldenDB基于MySQL的分布式数据库，其开启慢日志后，会把慢日志记录到集群各个节点上，每个节点上只记录该节点处理的慢查询信息。在GoldenDB中，节点可以分为多种角色，例如数据节点和计算节点。数据节点用于存储数据，计算节点根据接收到的指令从数据节点中查询数据并进行计算。数据节点和计算节点都可以记录慢日志，但是数据节点和计算节点中慢日志的配置信息、存储位置、数据格式和具体内容各不相同。因此，需要针对数据节点和计算节点的特点，分别设计日志采集、处理、存储和分析方法。
具体的，在每个GoldenDB节点上部署日志采集插件(或日志采集服务)，通过该日志采集插件采集GoldenDB节点上的日志数据，并将采集的日志数据发送至消息队列。更具体的，在采集日志数据时，首先需要识别GoldenDB节点(即数据库节点)的角色，根据该角色确定日志的存储路径。其中，可以根据GoldenDB节点中的配置信息，识别GoldenDB节点的角色。在确定日志的存储路径之后，通过该存储路径采集日志数据，并发送至预设的消息队列中。然后，从消息队列中获取日志数据，并存储该日志数据。
本发明实施例的日志处理方法，通过消息队列异步传输日志数据，保证平稳接收日志数据，并通过消息队列临时存储日志数据，保证数据不丢失。
本发明实施例的日志处理方法，通过识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；从所述消息队列中获取所述日志数据，并存储所述日志数据，能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率，而且能够针对数据库节点的角色，采用不同的采集、解析和存储方式。
图2是本发明另一实施例的日志处理方法的主要步骤的流程示意图，如图2所示，该方法包括：
步骤S201：识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
步骤S202：基于所述存储路径，采集日志数据，并对所述日志数据进行标记，以通过所述标记确定所述日志数据对应的数据库节点的角色；
步骤S203：将所述日志数据发送至预设的消息队列；
步骤S204：从所述消息队列中获取所述日志数据；
步骤S205：根据所述日志数据的标记，确定所述日志数据对应的数据库节点的角色；
步骤S206：根据所述日志数据对应的数据库节点的角色，确定解析策略；
步骤S207：根据所述解析策略，解析所述日志数据；
步骤S208：对解析后的日志数据进行格式转换；
步骤S209：将格式转换后的所述日志数据进行存储。
对于步骤S101，数据库节点的角色可以包括计算节点和存储节点。
对于步骤S202，可以设置标志位，通过该标志位标记日志数据。例如，对于从数据节点上采集的日志数据，可以将其对应的标志位设置为0。对于从计算节点上采集的日志数据，可以将其对应的标志位设置为1。
对于步骤S205，若日志数据对应的标志位的值为0，则说明该日志数据是从数据节点上采集的，若标志位的值为1，说明该日志数据是从计算节点上采集的。
对于步骤S206-S209，GoldenDB的数据节点和计算节点中的日志数据内容不同，格式也不相同。例如，计算节点慢日志包含创建计划树耗时、GTID申请释放耗时、子语句耗时、子语句在每个group(组)上的执行耗时等；数据节点慢日志包含线程池队列等待时间、命令解析时间、打开缓存表和数据字典的时间、获取锁的时间、存储引擎提交时间等。其中，GTID(Global Transaction Identifier)是指全局事务I D。因此，针对不同节点的日志数据需要不同的解析策略。通过解析从消息队列中读取的日志数据，然后对非结构化的日志数据进行格式转换，将非结构化的日志数据转换为结构化数据，然后进行存储。
本发明实施例的日志处理方法，通过识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；从所述消息队列中获取所述日志数据，并存储所述日志数据，能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率，而且能够针对数据库节点的角色，采用不同的采集、解析和存储方式。
图3是本发明又一实施例的日志处理方法的主要步骤的流程示意图，如图3所示，该方法包括：
步骤S301：识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
步骤S302：基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；
步骤S303：根据所述日志数据的标记，确定所述日志数据对应的数据表；
步骤S304：将解析后的所述日志数据存储于所述数据表中。
其中，步骤S301-S302与图1所示的实施例相同，未在本实施例中详尽描述的技术细节，可参见图1所示的实施例。
对于步骤S303-S304，本实施例根据日志数据的标记，使用不同的表结构存储日志内容。具体的，可以根据日志数据的标记，确定分区键，根据该分区键，确定该日志数据对应的数据表。GoldenDB的数据节点和计算节点中的日志数据内容不同，解析后得到的数据字段也不完全相同，因此，可以通过数据字段确定分区键，根据该分区键对日志数据进行分片存储。
本发明实施例的日志处理方法，通过识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；从所述消息队列中获取所述日志数据，并存储所述日志数据，能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率，而且能够针对数据库节点的角色，采用不同的采集、解析和存储方式。
在可选的实施例中，在存储所述日志数据时，该日志处理方法还包括：创建多个日志索引，以通过所述日志索引查询存储的日志数据。作为具体的示例，可以根据时间、用户名、IP地址、耗时等多种维度创建索引。
在可选的实施例中，该日志处理方法还包括以下步骤：
接收查询指令，并根据所述查询指令查询存储的日志数据，得到查询结果；
根据所述查询指令，确定目标图表；
将所述查询结果和所述目标图表进行关联和渲染，以通过所述目标图表展示所述查询结果。
作为具体的示例，该方法可以提供可视化界面，通过该可视化界面提供日志查询服务，即接收用户的查询指令，根据该查询指令进行查询，得到查询结果，并以图标的形式展示该查询结果。更优选地，还可以预先设置不同的查询指令对应不同的图表形式，在接收到查询指令之后，根据预先的设置确定该查询指令对应的目标图表，然后查询结果和目标图表进行关联和渲染，以通过该目标图表展示所述查询结果。
图4是本发明实施例的日志处理装置400的主要模块的示意图，如图4所示，该日志处理装置400包括：识别模块401，用于识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
采集模块402，用于基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；
存储模块403，用于从所述消息队列中获取所述日志数据，并存储所述日志数据。
本发明实施例的日志处理装置，通过识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；从所述消息队列中获取所述日志数据，并存储所述日志数据，能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率，而且能够针对数据库节点的角色，采用不同的采集、解析和存储方式。
可选地，所述采集模块402还用于：采集日志数据，并对所述日志数据进行标记，以通过所述标记确定所述日志数据对应的数据库节点的角色。
可选地，所述存储模块403还用于：从所述消息队列中获取所述日志数据；根据所述日志数据的标记，确定所述日志数据对应的数据库节点的角色；根据所述日志数据对应的数据库节点的角色，确定解析策略；根据所述解析策略，解析所述日志数据；将解析后的所述日志数据进行存储。
可选地，所述装置还包括格式转换模块，用于对解析后的日志数据进行格式转换。
可选地，所述存储模块403还用于：根据所述日志数据的标记，确定所述日志数据对应的数据表；将解析后的所述日志数据存储于所述数据表中。
可选地，所述存储模块403还用于：根据所述日志数据的标记，确定分区键；根据所述分区键，确定所述日志数据对应的数据表。
可选地，所述装置还包括索引创建模块，用于创建多个日志索引，以通过所述日志索引查询存储的日志数据。所述索引创建模块还用于根据以下一种或多种关键字创建索引：时间、用户、IP地址和耗时。
图5是本发明另一实施例的日志处理装置400的主要模块的示意图，如图5所示，该日志处理装置500包括：
识别模块501，用于识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
采集模块502，用于基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；
存储模块503，用于从所述消息队列中获取所述日志数据，并存储所述日志数据；
查询分析模块504，用于接收查询指令，并根据所述查询指令查询存储的日志数据，得到查询结果；根据所述查询指令，确定目标图表；将所述查询结果和所述目标图表进行关联和渲染，以通过所述目标图表展示所述查询结果。
在本实施例中，查询分析模块504通过可视化界面提供日志查询服务，即接收用户的查询指令，根据该查询指令进行查询，得到查询结果，并以图标的形式展示该查询结果。更优选地，还可以预先设置不同的查询指令对应不同的图表形式，在接收到查询指令之后，根据预先的设置确定该查询指令对应的目标图表，然后查询结果和目标图表进行关联和渲染，以通过该目标图表展示所述查询结果。更具体的，该查询分析模块可以支持按节点角色、SQL语句类型、集群、数据分片等多种方式分析慢日志，并提供SQL冲突分析。
上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
图6示出了可以应用本发明实施例的日志处理方法或日志处理装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
需要说明的是，本发明实施例所提供的日志处理方法一般由服务器605执行，相应地，日志处理装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；
从所述消息队列中获取所述日志数据，并存储所述日志数据本发明实施例的技术方案，能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率，而且能够针对数据库节点的角色，采用不同的采集、解析和存储方式。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (22)
1.一种日志处理方法，其特征在于，包括：
识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；
从所述消息队列中获取所述日志数据，并存储所述日志数据。
2.根据权利要求1所述的方法，其特征在于，采集日志数据包括：
采集日志数据，并对所述日志数据进行标记，以通过所述标记确定所述日志数据对应的数据库节点的角色。
3.根据权利要求1所述的方法，其特征在于，从所述消息队列中获取所述日志数据，并存储所述日志数据包括：
从所述消息队列中获取所述日志数据；
根据所述日志数据的标记，确定所述日志数据对应的数据库节点的角色；
根据所述日志数据对应的数据库节点的角色，确定解析策略；
根据所述解析策略，解析所述日志数据；
将解析后的所述日志数据进行存储。
4.根据权利要求3所述的方法，其特征在于，在解析所述日志数据之后，所述方法还包括：对解析后的日志数据进行格式转换。
5.根据权利要求3所述的方法，其特征在于，将解析后的所述日志数据进行存储包括：
根据所述日志数据的标记，确定所述日志数据对应的数据表；
将解析后的所述日志数据存储于所述数据表中。
6.根据权利要求5所述的方法，其特征在于，根据所述日志数据的标记，确定所述日志数据对应的数据表包括：
根据所述日志数据的标记，确定分区键；
根据所述分区键，确定所述日志数据对应的数据表。
7.根据权利要求1所述的方法，其特征在于，在存储所述日志数据时，所述方法还包括：创建多个日志索引，以通过所述日志索引查询存储的日志数据。
8.根据权利要求7所述的方法，其特征在于，创建多个日志索引包括：根据以下一种或多种关键字创建索引：时间、用户、IP地址和耗时。
9.根据权利要求1所述的方法，其特征在于，在存储所述日志数据之后，所述方法还包括：
接收查询指令，并根据所述查询指令查询存储的日志数据，得到查询结果；
根据所述查询指令，确定目标图表；
将所述查询结果和所述目标图表进行关联和渲染，以通过所述目标图表展示所述查询结果。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述数据库节点的角色包括计算节点和存储节点。
11.一种日志处理装置，其特征在于，包括：
识别模块，用于识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；
采集模块，用于基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；
存储模块，用于从所述消息队列中获取所述日志数据，并存储所述日志数据。
12.根据权利要求11所述的装置，其特征在于，所述采集模块还用于：采集日志数据，并对所述日志数据进行标记，以通过所述标记确定所述日志数据对应的数据库节点的角色。
13.根据权利要求11所述的装置，其特征在于，所述存储模块还用于：
从所述消息队列中获取所述日志数据；
根据所述日志数据的标记，确定所述日志数据对应的数据库节点的角色；
根据所述日志数据对应的数据库节点的角色，确定解析策略；
根据所述解析策略，解析所述日志数据；
将解析后的所述日志数据进行存储。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括格式转换模块，用于对解析后的日志数据进行格式转换。
15.根据权利要求13所述的装置，其特征在于，所述存储模块还用于：
根据所述日志数据的标记，确定所述日志数据对应的数据表；
将解析后的所述日志数据存储于所述数据表中。
16.根据权利要求15所述的装置，其特征在于，所述存储模块还用于：
根据所述日志数据的标记，确定分区键；
根据所述分区键，确定所述日志数据对应的数据表。
17.根据权利要求11所述的装置，其特征在于，所述装置还包括索引创建模块，用于创建多个日志索引，以通过所述日志索引查询存储的日志数据。
18.根据权利要求17所述的装置，其特征在于，所述索引创建模块还用于根据以下一种或多种关键字创建索引：时间、用户、IP地址和耗时。
19.根据权利要求11所述的装置，其特征在于，所述装置还包括查询分析模块，用于：
接收查询指令，并根据所述查询指令查询存储的日志数据，得到查询结果；
根据所述查询指令，确定目标图表；
将所述查询结果和所述目标图表进行关联和渲染，以通过所述目标图表展示所述查询结果。
20.根据权利要求11-19任一项所述的装置，其特征在于，所述数据库节点的角色包括计算节点和存储节点。
21.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
22.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110345462.7A CN112948334A (zh) | 2021-03-31 | 2021-03-31 | 日志处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110345462.7A CN112948334A (zh) | 2021-03-31 | 2021-03-31 | 日志处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112948334A true CN112948334A (zh) | 2021-06-11 |
Family
ID=76231220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110345462.7A Pending CN112948334A (zh) | 2021-03-31 | 2021-03-31 | 日志处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112948334A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140101106A1 (en) * | 2012-10-09 | 2014-04-10 | Hon Hai Precision Industry Co., Ltd. | Log server and log file storage method |
| CN107819616A (zh) * | 2017-10-30 | 2018-03-20 | 杭州安恒信息技术有限公司 | 自动提取日志的方法、装置及系统 |
| CN109726074A (zh) * | 2018-08-31 | 2019-05-07 | 网联清算有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN109800223A (zh) * | 2018-12-12 | 2019-05-24 | 平安科技（深圳）有限公司 | 日志处理方法、装置、电子设备及存储介质 |
| CN109933505A (zh) * | 2019-03-14 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN110147411A (zh) * | 2019-05-20 | 2019-08-20 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN110515912A (zh) * | 2019-07-18 | 2019-11-29 | 湖南星汉数智科技有限公司 | 日志处理方法、装置、计算机装置及计算机可读存储介质 |
| CN110688354A (zh) * | 2019-09-30 | 2020-01-14 | 深圳证券交易所 | 数据库中慢日志文件的分析方法、终端以及存储介质 |
-
2021
- 2021-03-31 CN CN202110345462.7A patent/CN112948334A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140101106A1 (en) * | 2012-10-09 | 2014-04-10 | Hon Hai Precision Industry Co., Ltd. | Log server and log file storage method |
| CN107819616A (zh) * | 2017-10-30 | 2018-03-20 | 杭州安恒信息技术有限公司 | 自动提取日志的方法、装置及系统 |
| CN109726074A (zh) * | 2018-08-31 | 2019-05-07 | 网联清算有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN109800223A (zh) * | 2018-12-12 | 2019-05-24 | 平安科技（深圳）有限公司 | 日志处理方法、装置、电子设备及存储介质 |
| CN109933505A (zh) * | 2019-03-14 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN110147411A (zh) * | 2019-05-20 | 2019-08-20 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN110515912A (zh) * | 2019-07-18 | 2019-11-29 | 湖南星汉数智科技有限公司 | 日志处理方法、装置、计算机装置及计算机可读存储介质 |
| CN110688354A (zh) * | 2019-09-30 | 2020-01-14 | 深圳证券交易所 | 数据库中慢日志文件的分析方法、终端以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019350B (zh) | 基于配置信息的数据查询方法和装置 | |
| CN111241189B (zh) | 一种同步数据的方法和装置 | |
| CN110188113B (zh) | 一种利用复杂表达式进行数据比对的方法、装置及存储介质 | |
| CN112818026A (zh) | 数据整合方法和装置 | |
| CN110109912B (zh) | 一种标识符生成方法和装置 | |
| CN112100168A (zh) | 一种确定数据关联关系的方法和装置 | |
| CN116450622B (zh) | 数据入库的方法、装置、设备和计算机可读介质 | |
| CN112860538B (zh) | 基于线上日志进行接口回归测试的方法和装置 | |
| CN112579673A (zh) | 一种多源数据处理方法及装置 | |
| CN113326305A (zh) | 一种处理数据的方法和装置 | |
| US10129328B2 (en) | Centralized management of webservice resources in an enterprise | |
| CN113760966A (zh) | 基于异构数据库系统的数据处理方法和装置 | |
| CN113672671A (zh) | 一种实现数据加工的方法和装置 | |
| CN112817930A (zh) | 一种数据迁移的方法和装置 | |
| CN111723063A (zh) | 一种离线日志数据处理的方法和装置 | |
| CN112148705A (zh) | 数据迁移的方法和装置 | |
| CN112948334A (zh) | 日志处理方法和装置 | |
| CN113485763A (zh) | 一种数据处理方法、装置、电子设备及计算机可读介质 | |
| CN113760890A (zh) | 关系型数据库管理的方法和装置 | |
| CN113704242A (zh) | 一种数据处理方法和装置 | |
| CN113704222A (zh) | 一种处理业务请求的方法和装置 | |
| CN113448957A (zh) | 一种数据查询方法和装置 | |
| CN113742321A (zh) | 一种数据更新的方法和装置 | |
| CN113347052A (zh) | 通过访问日志统计用户访问数据的方法和装置 | |
| CN112131287A (zh) | 一种读取数据的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210611 |