CN112925762A - 一种基于syslog日志拆分系统及操作方法 - Google Patents

一种基于syslog日志拆分系统及操作方法 Download PDF

Info

Publication number
CN112925762A
CN112925762A CN202110043129.0A CN202110043129A CN112925762A CN 112925762 A CN112925762 A CN 112925762A CN 202110043129 A CN202110043129 A CN 202110043129A CN 112925762 A CN112925762 A CN 112925762A
Authority
CN
China
Prior art keywords
log
module
syslog
thread
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110043129.0A
Other languages
English (en)
Inventor
周帅
金明丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinxin Tianan Beijing Technology Co ltd
Original Assignee
Jinxin Tianan Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinxin Tianan Beijing Technology Co ltd filed Critical Jinxin Tianan Beijing Technology Co ltd
Priority to CN202110043129.0A priority Critical patent/CN112925762A/zh
Publication of CN112925762A publication Critical patent/CN112925762A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种基于syslog日志拆分系统，所述基于syslog日志拆分系统包括以下几个模块：split模块、ringqueue模块、process模块、parse模块、insert模块，所述split模块与ringqueue模块电性连接，所述process模块通过cpu控制电路与parse模块电性连接，所述insert模块与cpu电性连接。本申请的有益效果是：拆分算法采用关键字字符串匹配，这样能够做到拆分细致准确，并且本发明采用C语言实现，处理速度更快，split模块和process模块会频繁的竞争syslog日志数据，如果采用传统的锁机制，必定会造成cpu资源的浪费，采用了环形消息队列机制，既保证了不会产生竞争，又避免了cpu资源的浪费。

Description

一种基于syslog日志拆分系统及操作方法
技术领域
本申请涉及一种拆分系统及操作方法，具体是一种基于syslog日志拆分 系统及操作方法，属于计算机领域。
背景技术
Syslog常被称为系统日志或系统记录，可以用来记录设备的日志，在路 由器、防火墙、交换机等网络设备中，系统日志记录了系统中任何时间发生 的大小事件，管理者可以通过查看系统记录，随时掌握系统状况，Linux的系 统日志是通过syslogd这个进程记录系统有关的事件，几乎所有的网络设备 都可以通过syslog协议，将日志信息以TCP、UDP方式传送到远程服务器， 也可以存储到本机指定的文件中。
目前，针对syslog日志拆分是通过syslog程序的ommysql模块直接对 日志进行拆分，然后插入到数据库中，这种方式比较局限，首先，该模式只 能支持mysql数据库，其次，对于日志拆分的不够详细、颗粒度较大，而且 性能较低。因此，针对上述问题提出一种基于syslog日志拆分系统及操作方 法。
发明内容
本申请的目的就在于为了解决上述问题而提供一种基于syslog日志拆 分系统。
本申请通过以下技术方案来实现上述目的，一种基于syslog日志拆分系 统，所述基于syslog日志拆分系统包括以下几个模块：split模块、ringqueue 模块、process模块、parse模块、insert模块，所述split模块与ringqueue 模块电性连接，所述process模块通过cpu控制电路与parse模块电性连接， 所述insert模块与cpu电性连接。
优选的，一种基于syslog日志拆分系统的操作方法，其特征在于：所述 具体操作方法如下步骤：
步骤一、获取当前cpu核心数量，确定每一个模块启动的线程个数；
步骤二、split模块实时读取message文件获取最新接收到的syslog日 志，将接收到的日志分发给ringqueue模块；
步骤三、ringqueue模块是时一个环形消息队列，ringqueue模块启动了 cpu个数对应的环形消息队列，split模块将收到的日志分按照顺序平均分发 到各个环形消息队列中缓存起来，供process模块处理。其中每个环形消息 队列有512个buffer来存储日志；
步骤四、process模块启动了cpu个数对应的线程，每个process线程 从对应的环形消息队列中取得syslog日志后将该日志写到process线程存 储日志目录的日志文件中。process线程存储日志的目录暂时定；
步骤五、parse模块启动了cpu个数对应的线程，每个parse线程读取 process线程产生的日志文件，按照相应的字段解析出每个字段的详细信息， 然后缓存到内存中；
步骤六、insert模块启动了cpu个数对应的线程数量，每个线程定时 (30秒)会将parse线程缓存解析好的信息拼装sql语句，然后插入到数据 库中，在多核cpu情况下，多个insert线程会产生竞态，这里采用互斥锁机 制来避免竞态，保证同一时刻只有一个线程来执行插入动作。
优选的，所述步骤二中进行的同时，split模块还会定时的去监测 message文件的大小，当message文件超过200MB的时候，就会清空message 文件，防止message文件占用过大的磁盘空间。
优选的，所述步骤三中每个环形消息队列有512个buffer来存储日志。
优选的，所述步骤四中data/log/sub_logxx目录，该目录中最多缓存100 个日志文件，每个日志文件最大200MB。
优选的，所述步骤五中最多缓存3000条供后续insert模块使用，insert 模块会定时的来处理process缓存起来的日志。
优选的，所述的insert模块在处理完成时，process线程会将缓存的日 志清空，提供给后续处理的日志使用。
优选的，所述的一个标准syslog日志的字符串为Jun 13 16:47:32FW-64 kernel:[104742.735750]；iptables_dropIN＝br12；OUT＝br12；PHYSIN＝eth3 PHYSOUT＝eth2；MAC＝ff:ff:ff:ff:ff:ff:74:d4:35:99:d6:3e:08:00 SRC＝10.0.0.170 DST＝10.255.255.255 LEN＝78；TOS＝0x00；PREC＝0x00TTL＝64 ID＝649；PROTO＝UDP；SPT＝137；DPT＝137；LEN＝58。
优选的，所述的MAC”字段可以获取源MAC地址为ff:ff:ff:ff:ff:ff目 的MAC地址为74:d4:35:99:d6:3e，并且以太网类型为0x0800，所述的 “SRC”字段可以获取源IP地址为10.0.0.170，“DST”字段可以获取目的IP 地址为10.255.255.255，“PROTO”字段可以获取协议是UDP，“SPT”字段 获取源端口号为137，“DPT”可以获取目的端口号为137。
优选的，所述的当前cpu是个4核cpu，process模块就含有4个线程分 别是process_thread1、procees_thread2、process_thread3以及 process_thread4每一个线程绑定在不用的cpu核心上，将接收到syslog日 志存储到/var/log/message文件中。
本申请的有益效果是：process模块和parse模块，采用了多线程机制， 并且每个线程绑定到固定的cpu核心上，这样可以减少cpu调度的开销，最 大限度的提高性能；
拆分算法采用关键字字符串匹配，这样能够做到拆分细致准确，并且本 发明采用C语言实现，处理速度更快；
split模块和process模块会频繁的竞争syslog日志数据，如果采用传 统的锁机制，必定会造成cpu资源的浪费，采用了环形消息队列机制，既保 证了不会产生竞争，又避免了cpu资源的浪费。
具体实施方式
下面将，对本申请实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本 申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本申请保护的范围。
实施例一：
一种基于syslog日志拆分系统，所述基于syslog日志拆分系统包括以 下几个模块：split模块、ringqueue模块、process模块、parse模块、insert 模块，所述split模块与ringqueue模块电性连接，所述process模块通过 cpu控制电路与parse模块电性连接，所述insert模块与cpu电性连接。
进一步地，一种基于syslog日志拆分系统的操作方法，其特征在于：所 述具体操作方法如下步骤：
步骤一、获取当前cpu核心数量，确定每一个模块启动的线程个数；
步骤二、split模块实时读取message文件获取最新接收到的syslog日 志，将接收到的日志分发给ringqueue模块；
步骤三、ringqueue模块是时一个环形消息队列，ringqueue模块启动了 cpu个数对应的环形消息队列，split模块将收到的日志分按照顺序平均分发 到各个环形消息队列中缓存起来，供process模块处理。其中每个环形消息 队列有512个buffer来存储日志；
步骤六、insert模块启动了cpu个数对应的线程数量，每个线程定时 (30秒)会将parse线程缓存解析好的信息拼装sql语句，然后插入到数据 库中，在多核cpu情况下，多个insert线程会产生竞态，这里采用互斥锁机 制来避免竞态，保证同一时刻只有一个线程来执行插入动作。
进一步地，所述步骤二中进行的同时，split模块还会定时的去监测 message文件的大小，当message文件超过200MB的时候，就会清空message 文件，防止message文件占用过大的磁盘空间。
进一步地，所述步骤三中每个环形消息队列有512个buffer来存储日志。
进一步地，所述步骤四中data/log/sub_logxx目录，该目录中最多缓存 100个日志文件，每个日志文件最大200MB。
进一步地，所述步骤五中最多缓存3000条供后续insert模块使用， insert模块会定时的来处理process缓存起来的日志。
进一步地，所述的insert模块在处理完成时，process线程会将缓存的 日志清空，提供给后续处理的日志使用。
进一步地，所述的一个标准syslog日志的字符串为Jun1316:47:32 FW-64kernel:[104742.735750]；iptables_dropIN＝br12；OUT＝br12； PHYSIN＝eth3PHYSOUT＝eth2；MAC＝ff:ff:ff:ff:ff:ff:74:d4:35:99:d6:3e:08:00SRC＝10.0.0.170 DST＝10.255.255.255LEN＝78；TOS＝0x00；PREC＝0x00TTL＝64ID＝649； PROTO＝UDP；SPT＝137；DPT＝137；LEN＝58。
进一步地，所述的MAC”字段可以获取源MAC地址为ff:ff:ff:ff:ff:ff 目的MAC地址为74:d4:35:99:d6:3e，并且以太网类型为0x0800。
进一步地，所述的“SRC”字段可以获取源IP地址为10.0.0.170， “DST”字段可以获取目的IP地址为10.255.255.255，“PROTO”字段可以获 取协议是UDP，“SPT”字段获取源端口号为137，“DPT”可以获取目的端口 号为137。
进一步地，所述的当前cpu是个4核cpu，process模块就含有4个线程 分别是process_thread1、procees_thread2、process_thread3以及process_thread4每一个线程绑定在不用的cpu核心上，将接收到syslog日 志存储到/var/log/message文件中。
该日志拆分系统有益之处在于：split模块和process模块会频繁的竞争 syslog日志数据，如果采用传统的锁机制，必定会造成cpu资源的浪费，采 用了环形消息队列机制，既保证了不会产生竞争，又避免了cpu资源的浪费。
实施例二：
一种基于syslog日志拆分系统，所述基于syslog日志拆分系统包括以 下几个模块：split模块、ringqueue模块、process模块、parse模块、insert 模块，所述split模块与ringqueue模块电性连接，所述process模块通过 cpu控制电路与parse模块电性连接，所述insert模块与cpu电性连接。
进一步地，一种基于syslog日志拆分系统的操作方法，其特征在于：所 述具体操作方法如下步骤：
步骤一、获取当前cpu核心数量，确定每一个模块启动的线程个数；
步骤四、process模块启动了cpu个数对应的线程，每个process线程 从对应的环形消息队列中取得syslog日志后将该日志写到process线程存 储日志目录的日志文件中。process线程存储日志的目录暂时定；
步骤五、parse模块启动了cpu个数对应的线程，每个parse线程读取 process线程产生的日志文件，按照相应的字段解析出每个字段的详细信息， 然后缓存到内存中；
步骤六、insert模块启动了cpu个数对应的线程数量，每个线程定时 (30秒)会将parse线程缓存解析好的信息拼装sql语句，然后插入到数据 库中，在多核cpu情况下，多个insert线程会产生竞态，这里采用互斥锁机 制来避免竞态，保证同一时刻只有一个线程来执行插入动作。
进一步地，所述步骤二中进行的同时，split模块还会定时的去监测 message文件的大小，当message文件超过200MB的时候，就会清空message 文件，防止message文件占用过大的磁盘空间。
进一步地，所述步骤三中每个环形消息队列有512个buffer来存储日志。
进一步地，所述步骤四中data/log/sub_logxx目录，该目录中最多缓存 100个日志文件，每个日志文件最大200MB。
进一步地，所述步骤五中最多缓存3000条供后续insert模块使用， insert模块会定时的来处理process缓存起来的日志。
进一步地，所述的insert模块在处理完成时，process线程会将缓存的 日志清空，提供给后续处理的日志使用。
进一步地，所述的一个标准syslog日志的字符串为Jun 13 16:47:32 FW-64kernel:[104742.735750]；iptables_dropIN＝br12；OUT＝br12； PHYSIN＝eth3 PHYSOUT＝eth2； MAC＝ff:ff:ff:ff:ff:ff:74:d4:35:99:d6:3e:08:00 SRC＝10.0.0.170 DST＝10.255.255.255 LEN＝78；TOS＝0x00；PREC＝0x00 TTL＝64 ID＝649； PROTO＝UDP；SPT＝137；DPT＝137；LEN＝58。
进一步地，所述的MAC”字段可以获取源MAC地址为ff:ff:ff:ff:ff:ff 目的MAC地址为74:d4:35:99:d6:3e，并且以太网类型为0x0800。
进一步地，所述的“SRC”字段可以获取源IP地址为10.0.0.170， “DST”字段可以获取目的IP地址为10.255.255.255，“PROTO”字段可以获 取协议是UDP，“SPT”字段获取源端口号为137，“DPT”可以获取目的端口 号为137。
进一步地，所述的当前cpu是个4核cpu，process模块就含有4个线程 分别是process_thread1、procees_thread2、process_thread3以及 process_thread4每一个线程绑定在不用的cpu核心上，将接收到syslog日 志存储到/var/log/message文件中。
该日志拆分系统有益之处在于：process模块和parse模块，采用了多线 程机制，并且每个线程绑定到固定的cpu核心上，这样可以减少cpu调度的 开销，最大限度的提高性能。
实施例三：
一种基于syslog日志拆分系统，所述基于syslog日志拆分系统包括以 下几个模块：split模块、ringqueue模块、process模块、parse模块、insert 模块，所述split模块与ringqueue模块电性连接，所述process模块通过 cpu控制电路与parse模块电性连接，所述insert模块与cpu电性连接。
进一步地，一种基于syslog日志拆分系统的操作方法，其特征在于：所 述具体操作方法如下步骤：：
步骤一、获取当前cpu核心数量，确定每一个模块启动的线程个数；
步骤二、split模块实时读取message文件获取最新接收到的syslog日 志，将接收到的日志分发给ringqueue模块；
步骤三、ringqueue模块是时一个环形消息队列，ringqueue模块启动了 cpu个数对应的环形消息队列，split模块将收到的日志分按照顺序平均分发 到各个环形消息队列中缓存起来，供process模块处理。其中每个环形消息 队列有512个buffer来存储日志；
步骤四、process模块启动了cpu个数对应的线程，每个process线程 从对应的环形消息队列中取得syslog日志后将该日志写到process线程存 储日志目录的日志文件中。process线程存储日志的目录暂时定；
步骤五、parse模块启动了cpu个数对应的线程，每个parse线程读取 process线程产生的日志文件，按照相应的字段解析出每个字段的详细信息， 然后缓存到内存中；
步骤六、insert模块启动了cpu个数对应的线程数量，每个线程定时 (30秒)会将parse线程缓存解析好的信息拼装sql语句，然后插入到数据 库中，在多核cpu情况下，多个insert线程会产生竞态，这里采用互斥锁机 制来避免竞态，保证同一时刻只有一个线程来执行插入动作。
进一步地，所述步骤二中进行的同时，split模块还会定时的去监测 message文件的大小，当message文件超过200MB的时候，就会清空message 文件，防止message文件占用过大的磁盘空间。
进一步地，所述步骤三中每个环形消息队列有512个buffer来存储日志。
进一步地，所述步骤四中data/log/sub_logxx目录，该目录中最多缓存 100个日志文件，每个日志文件最大200MB。
进一步地，所述步骤五中最多缓存3000条供后续insert模块使用， insert模块会定时的来处理process缓存起来的日志。
进一步地，所述的insert模块在处理完成时，process线程会将缓存的 日志清空，提供给后续处理的日志使用。
进一步地，所述的一个标准syslog日志的字符串为Jun 13 16:47:32 FW-64kernel:[104742.735750]；iptables_dropIN＝br12；OUT＝br12； PHYSIN＝eth3 PHYSOUT＝eth2； MAC＝ff:ff:ff:ff:ff:ff:74:d4:35:99:d6:3e:08:00 SRC＝10.0.0.170 DST＝10.255.255.255 LEN＝78；TOS＝0x00；PREC＝0x00 TTL＝64 ID＝649； PROTO＝UDP；SPT＝137；DPT＝137；LEN＝58。
进一步地，所述的MAC”字段可以获取源MAC地址为ff:ff:ff:ff:ff:ff 目的MAC地址为74:d4:35:99:d6:3e，并且以太网类型为0x0800。
进一步地，所述的“SRC”字段可以获取源IP地址为10.0.0.170， “DST”字段可以获取目的IP地址为10.255.255.255，“PROTO”字段可以获 取协议是UDP，“SPT”字段获取源端口号为137，“DPT”可以获取目的端口 号为137。
进一步地，所述的当前cpu是个4核cpu，process模块就含有4个线程 分别是process_thread1、procees_thread2、process_thread3以及process_thread4每一个线程绑定在不用的cpu核心上，将接收到syslog日 志存储到/var/log/message文件中。
该日志拆分系统有益之处在于：拆分算法采用关键字字符串匹配，这样 能够做到拆分细致准确，并且本发明采用C语言实现，处理速度更快。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节， 而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实 现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且 是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨 在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实 施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起 见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也 可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于syslog日志拆分系统，其特征在于：所述基于syslog日志拆分系统包括以下几个模块：split模块、ringqueue模块、process模块、parse模块、insert模块，所述split模块与ringqueue模块电性连接，所述process模块通过cpu控制电路与parse模块电性连接，所述insert模块与cpu电性连接。
2.根据权利要求1所述的一种基于syslog日志拆分系统得出一种基于syslog日志拆分系统的操作方法，其特征在于：所述具体操作方法如下步骤：
步骤一、获取当前cpu核心数量，确定每一个模块启动的线程个数；
步骤二、split模块实时读取message文件获取最新接收到的syslog日志，将接收到的日志分发给ringqueue模块；
步骤三、ringqueue模块是时一个环形消息队列，ringqueue模块启动了cpu个数对应的环形消息队列，split模块将收到的日志分按照顺序平均分发到各个环形消息队列中缓存起来，供process模块处理。其中每个环形消息队列有512个buffer来存储日志；
步骤四、process模块启动了cpu个数对应的线程，每个process线程从对应的环形消息队列中取得syslog日志后将该日志写到process线程存储日志目录的日志文件中。process线程存储日志的目录暂时定；
步骤五、parse模块启动了cpu个数对应的线程，每个parse线程读取process线程产生的日志文件，按照相应的字段解析出每个字段的详细信息，然后缓存到内存中；
步骤六、insert模块启动了cpu个数对应的线程数量，每个线程定时(30秒)会将parse线程缓存解析好的信息拼装sql语句，然后插入到数据库中，在多核cpu情况下，多个insert线程会产生竞态，这里采用互斥锁机制来避免竞态，保证同一时刻只有一个线程来执行插入动作。
3.根据权利要求2所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述步骤二中进行的同时，split模块还会定时的去监测message文件的大小，当message文件超过200MB的时候，就会清空message文件，防止message文件占用过大的磁盘空间。
4.根据权利要求2所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述步骤三中每个环形消息队列有512个buffer来存储日志。
5.根据权利要求1所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述步骤四中data/log/sub_logxx目录，该目录中最多缓存100个日志文件，每个日志文件最大200MB。
6.根据权利要求2所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述步骤五中最多缓存3000条供后续insert模块使用，insert模块会定时的来处理process缓存起来的日志。
7.根据权利要求6所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述的insert模块在处理完成时，process线程会将缓存的日志清空，提供给后续处理的日志使用。
8.根据权利要求7所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述的一个标准syslog日志的字符串为Jun 13 16:47:32FW-64kernel:[104742.735750]；iptables_dropIN＝br12；OUT＝br12；PHYSIN＝eth3PHYSOUT＝eth2；MAC＝ff:ff:ff:ff:ff:ff:74:d4:35:99:d6:3e:08:00SRC＝10.0.0.170DST＝10.255.255.255LEN＝78；TOS＝0x00；PREC＝0x00 TTL＝64ID＝649；PROTO＝UDP；SPT＝137；DPT＝137；LEN＝58。
9.根据权利要求8所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述的MAC”字段可以获取源MAC地址为ff:ff:ff:ff:ff:ff目的MAC地址为74:d4:35:99:d6:3e，并且以太网类型为0x0800，所述的“SRC”字段可以获取源IP地址为10.0.0.170，“DST”字段可以获取目的IP地址为10.255.255.255，“PROTO”字段可以获取协议是UDP，“SPT”字段获取源端口号为137，“DPT”可以获取目的端口号为137。
10.根据权利要求2所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述的当前cpu是个4核cpu，process模块就含有4个线程分别是process_thread1、procees_thread2、process_thread3以及process_thread4每一个线程绑定在不用的cpu核心上，将接收到syslog日志存储到/var/log/message文件中。
CN202110043129.0A 2021-01-13 2021-01-13 一种基于syslog日志拆分系统及操作方法 Pending CN112925762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110043129.0A CN112925762A (zh) 2021-01-13 2021-01-13 一种基于syslog日志拆分系统及操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110043129.0A CN112925762A (zh) 2021-01-13 2021-01-13 一种基于syslog日志拆分系统及操作方法

Publications (1)

Publication Number Publication Date
CN112925762A true CN112925762A (zh) 2021-06-08

Family

ID=76163207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110043129.0A Pending CN112925762A (zh) 2021-01-13 2021-01-13 一种基于syslog日志拆分系统及操作方法

Country Status (1)

Country Link
CN (1) CN112925762A (zh)

Similar Documents

Publication Publication Date Title
CN107040407B (zh) 一种高性能计算集群动态节点作业方法
CN112558948B (zh) 一种海量流量下报文识别的方法和装置
US9495201B2 (en) Management of bottlenecks in database systems
CN103200128B (zh) 一种网络包处理的方法、装置和系统
CN111459418B (zh) 一种基于rdma的键值存储系统传输方法
US8364635B2 (en) Temporary session data storage
US20040003085A1 (en) Active application socket management
US8589537B2 (en) Methods and computer program products for aggregating network application performance metrics by process pool
CN105138679B (zh) 一种基于分布式缓存的数据处理系统及处理方法
US20230086123A1 (en) Multi-shared directory tree-oriented control method and system
WO2023046141A1 (zh) 一种数据库网络负载性能的加速框架、加速方法及设备
US20080256078A1 (en) Secure distributed computing engine and database system
CN117997802B (zh) 一种网络抖动检测方法、装置、设备及介质
Sun et al. SKV: A SmartNIC-Offloaded Distributed Key-Value Store
CN112925762A (zh) 一种基于syslog日志拆分系统及操作方法
WO2023174151A1 (zh) 一种任务处理方法及装置
Bonelli et al. Enabling packet fan-out in the libpcap library for parallel traffic processing
WO2008121690A2 (en) Data and control plane architecture for network application traffic management device
CN111221642A (zh) 一种数据处理方法、装置、存储介质及终端
CN111324438B (zh) 请求的调度方法、装置、存储介质及电子设备
CN110968434B (zh) 一种管理机器的方法及相关装置
Xu et al. 3DS: An Efficient DPDK-based Data Distribution Service for Distributed Real-time Applications
US20240163213A1 (en) Expanding connection tables in smart switches in sdn networks
CN114944996B (zh) 一种数据采集方法、装置及计算机可读介质
CN111163158B (zh) 一种数据处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210608