CN115086296B - 一种日志传输系统、日志传输方法及相关装置 - Google Patents

一种日志传输系统、日志传输方法及相关装置 Download PDF

Info

Publication number
CN115086296B
CN115086296B CN202210593700.0A CN202210593700A CN115086296B CN 115086296 B CN115086296 B CN 115086296B CN 202210593700 A CN202210593700 A CN 202210593700A CN 115086296 B CN115086296 B CN 115086296B
Authority
CN
China
Prior art keywords
log
type
channel
user
logs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210593700.0A
Other languages
English (en)
Other versions
CN115086296A (zh
Inventor
陈杰
范哲
杨漫游
夏佐杰
史明伟
唐显斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210593700.0A priority Critical patent/CN115086296B/zh
Publication of CN115086296A publication Critical patent/CN115086296A/zh
Application granted granted Critical
Publication of CN115086296B publication Critical patent/CN115086296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本说明书一个或多个实施例公开了一种日志传输系统、日志传输方法及相关装置，该方案可基于日志传输系统中双通道结构，为满足不同条件的日志选择匹配的传输通道，这样，可以将第一类日志通过UDS通道传输，并通过日志处理装置上传给日志服务器，以及将第二类日志通过管道通道传输，并通过日志处理装置拆分处理后上传给日志服务器。从而，可实现双通道日志传输，避免额外拆分带来的开销，提升日志传输效率。

Description

一种日志传输系统、日志传输方法及相关装置
技术领域
本文件涉及计算机技术领域，尤其涉及一种日志传输系统、日志传输方法及相关装置。
背景技术
应用程序的日志，保存着应用程序运行过程中的多种信息，如运行时间、运行结果、错误类型等，因此，日志是程序调试和问题排查不可或缺的重要信息。
在使用Serverless平台时，由于用户不能登录服务器，需要将日志上传至日志平台，以便于后续可以从日志平台中调取日志进行调试定位。目前，日志上传日志平台时使用流式传输方式，默认按行切分，但对于堆栈信息等多行日志，会被非预期切分，例如，将一条日志误拆分为多条日志，不仅影响后期日志的调取使用，还额外增加了拆分开销。
发明内容
本说明书一个或多个实施例的目的是提供一种日志传输系统、日志传输方法及相关装置，以规避日志拆分操作带来的日志误读，避免拆分开销，提升日志传输效率。
为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
第一方面，提出了一种日志传输系统，所述日志传输系统包括：至少一个日志收集装置、日志处理装置、以及日志服务器，其中，至少一个日志收集装置与所述日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道；
所述日志收集装置，用于采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，所述第一类日志在UDS通道传输过程中保持日志边界；如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，所述第二类日志在管道通道中保持无边界传输；
所述日志处理装置，用于接收至少一个日志收集装置通过UDS通道传输的第一类日志，并上传至所述日志服务器，或者，用于接收至少一个日志收集装置通过管道通道传输的第二类日志，并对所述第二类日志进行拆分后上传至所述日志服务器。
第二方面，提出了一种日志传输系统，所述日志传输系统包括：至少一个日志收集装置、日志处理装置以及日志服务器，每个日志收集装置与所述日志处理装置均建立有本地套接口UDS通道；其中，
所述日志收集装置，用于采集本地应用集群内每个应用的用户日志，并将采集到的所述用户日志定至向所述UDS通道，以基于所述UDS通道将所述用户日志传输至所述日志处理装置；其中，所述用户日志在传输过程中保持日志边界；
所述日志处理装置，用于接收至少一个日志收集装置传输的用户日志，并上传至所述日志服务器。
第三方面，提出了一种日志传输方法，适用于包括至少一个日志收集装置、日志处理装置、以及日志服务器的日志传输系统；其中，至少一个日志收集装置与所述日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道；所述方法应用于日志收集装置侧，包括：
采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；
如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至所述日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；
如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至所述日志服务器，所述第二类日志在管道通道中保持无边界传输。
第四方面，提出了一种日志收集装置，所述日志收集装置与日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道，所述日志收集装置包括：
匹配模块，用于采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；
传输模块，用于如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至所述日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；
所述传输模块，还用于如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至日志服务器，所述第二类日志在管道通道中保持无边界传输。
第五方面，提出了一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第三方面所述的日志传输方法。
第六方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第三方面所述的日志传输方法。
由以上本说明书一个或多个实施例提供的技术方案可见，通过日志传输系统中双通道结构，为满足不同条件的日志选择匹配的传输通道，这样，可以将第一类日志通过UDS通道传输，并通过日志处理装置上传给日志服务器，以及将第二类日志通过管道通道传输，并通过日志处理装置拆分处理后上传给日志服务器。从而，可实现双通道日志传输，避免额外拆分带来的开销，提升日志传输效率。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对一个或多个实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的一种日志传输系统的结构示意图之一。
图2是本说明书实施例提供的一种日志传输系统的具体结构示意图之一。
图3是本说明书实施例提供的一种日志传输系统的结构示意图之二。
图4是本说明书实施例提供的一种日志传输系统的具体结构示意图之二。
图5是本说明书实施例提供的一种日志传输方法的步骤示意图。
图6是本说明书实施例提供的一种日志收集装置的结构示意图。
图7是本说明书的一个实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的一个或多个实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
用户使用Serverless平台时，由于用户不能登录服务器，日志是主要的调试定位手段，需要将日志上传至日志平台(即日志服务器)。但日志当前使用流式传输方式，上传至日志服务器时，默认按行切分；对于堆栈信息等多行日志，会被非预期切分，例如，将一条日志通过切分方式拆分成两条，影响用户体验。部分平台支持用户设定拆分规则，但需用户参与拆分规则的制定，使用门槛较高；而且日志的拆分会有额外的计算消耗，影响整体的日志传输效率。在此背景下，本说明书实施例提出了一种适应于Serverless场景的日志传输方案，通过在日志收集装置和日志处理装置之间建立UDS通道，将采集到的用户日志定向至UDS通道，可以基于该UDS通道将用户日志传输给日志处理装置，并通过日志处理装置上传给日志服务器，用户日志在UDS通道传输过程中可以保持日志边界，从而，避免额外拆分的计算消耗，规避日志拆分带来的误操作，提升日志传输效率。
其中，本说明书实施例中所涉及的Serverless，是指无服务器化；在实际应用场景中可以理解为一种无需用户关心服务器运营的研发运营新模式。而本说明书实施例中，由于所涉及的应用等资源是Serverless，因此，用户不能也不需要像已有的非Serverless平台应用那样，直接登录服务器进行日志调用等操作，而可以通过本说明书实施例中的日志传输系统，将Serverless架构下的所有应用等资源的日志都统一传输至日志服务器进行日志统一管理。
参照图1所示，为本说明书实施例提供的日志传输系统的结构示意图，该日志传输系统100可以包括：至少一个日志收集装置102、日志处理装置104、以及日志服务器106，其中，至少一个日志收集装置102与所述日志处理装置104之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道。
其中，UDS通道，全称为UNIX域套接字(unix domain socket，UDS)通道，该UDS通道是一种专用通道，可使用Seqpacket传输协议作为通道协议，而Seqpacket是一种可以保持消息传递顺序且以消息为单位的传输协议。管道通道，又称Pipe通道，一般可使用stream传输协议作为通道协议，该传输协议是一种保持顺序流式无边界传输协议。
针对每个日志收集装置102而言，可以用于采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置104，所述第一类日志在UDS通道传输过程中保持日志边界；如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置104，所述第二类日志在管道通道中保持无边界传输。
在本说明书实施例中，一个日志收集装置102可以对应本地应用集群内一个或多个应用，即这些应用所产出的日志可以统一由一个日志收集装置102收集；而在一个日志传输系统中，可以有多个日志收集装置102，每个日志收集装置可以对应不同应用集群，而这些应用集群都可以是Serverless平台的产品，因此，可以通过该日志传输系统统一收集用户日志到同一个或同一组日志服务器106。由此，该日志传输系统中日志服务器106的数量也可以随之扩增。
应理解，在本说明书实施例中，一条日志可以理解为是一个消息，当多条日志被顺序采集后可以视为一个用户日志，因此，该用户日志中可以包含一条或多条日志。在具体实现时，可以周期性或实时采集本地对应应用集群内应用的用户日志，每条日志都可以以消息为单位被单独定位至选择的传输通道。
考虑到日志收集装置102与日志处理装置104之间建立有两条传输通道，因此，在将用户日志传输给日志处理装置104之前，日志收集装置102首先需要根据用户日志的类型和/或大小，为用户日志选择相匹配的传输通道。具体可以参照以下两种匹配方式：
方式一
基于所述用户日志的类型和/或大小，判断所述用户日志是否满足预设约束条件；如果满足，则将所述用户日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道；否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；其中，所述预设约束条件为：所述用户日志中包含设定日志类型集合内至少一种日志类型对应的日志，和/或，所述用户日志中包含日志大小超过设定阈值的日志。
该方式一可以对采集到的用户日志进行条件判定，如果用户日志中包含设定日志类型集合中至少一种日志类型对应的日志，或者，用户日志中包含日志大小超过设定阈值的日志，或者，用户日志中既包含设定日志类型集合中至少一种日志类型对应的日志，又包含日志大小超过设定阈值的日志，那么，可以确定该用户日志为第一类日志，此时，即使用户日志中包含设定日志类型集合之外的其它日志类型对应的日志，或者，用户日志中包含日志大小并未超过设定阈值的日志，也不会做区别处理，而是将该用户日志中日志均确定为第一类日志，并为第一类日志选择UDS通道作为相匹配的传输通道。相反，如果用户日志并不满足预设约束条件，那么，将用户日志中日志均确定为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道。
方式二
基于所述用户日志的类型和/或大小，判断所述用户日志中是否有满足预设约束条件的日志；如果有，则将满足预设约束条件的日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道，以及将不满足预设约束条件的日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；其中，所述预设约束条件为：日志的类型属于设定日志类型集合中任一种，和/或，日志的大小超过设定阈值。
相比于方式一而言，方式二更为精准地对用户日志进行条件判定，将用户日志中满足以下约束条件的日志确定为第一类日志：日志的类型属于设定日志类型集合中任一种，或者，日志的大小超过设定阈值，或者，日志的类型属于设定日志类型集合中任一种且日志的大小超过设定阈值。相反，不满足这些条件的日志确定为第二类日志。同理，为第一类日志选择UDS通道作为相匹配的传输通道，为该第二类日志选择管道通道作为相匹配的传输通道。可见，该方式二会将满足预设约束条件的日志从用户日志中筛选出来作为第一类日志，而将用户日志中其它不满足预设约束条件的日志作为第二类日志。从而，对日志进行精准区分，以便于定向至相匹配的传输通道。
应理解，设定日志类型集合可以是基于日志类型确定的类型集合，可以包括能够通过UDS通道传输的日志类型，例如，查询日志、中继日志、错误日志等。另外，为日志大小设定的设定阈值可以是根据算法确定的该UDS通道可传输的最大数据量，例如，设定阈值可以是200KB。其实，这里所列举的日志类型集合以及设定阈值都只是举例说明，并不对其可支持的范围进行限定。
在本说明书实施例中，第一类日志包含满足预设约束条件的日志，这些日志如果通过管道通道传输，则可能会发生拆分错误导致的读取错误，最终影响日志上传日志服务器106的准确性以及效率。因此，可通过UDS通道对第一类日志进行传输，然后通过日志处理装置104上传给日志服务器106进行存储管理。第一类日志在UDS通道传输时可保持日志边界，不需要额外拆分处理，因此，可有效提升日志传输效率。
而对于不满足预设约束条件的第二类日志，可以通过管道通道传输，但是，在该管道通道中传输的日志之间无法保持各自的边界，因此，输出给日志处理装置104的用户日志并不是以消息边界隔开的，需要日志处理装置104对第二类日志进行拆分处理，然后将拆分后的日志以单个消息的方式上传至日志服务器106。
需要说明的是，在本说明书实施例中，所述至少一个日志收集装置102中每个日志收集装置102均可以基于容器技术实现。即参照图2所示，每个日志收集装置102均可以视为一个容器，该容器可通过标准输出Stdout将用户日志重定向至相匹配的传输通道。对于每个日志收集装置102而言，可以分别与不同的日志处理装置104建立传输通道，例如，日志收集装置102与第一日志处理装置1042建立UDS传输通道，与第二日志处理装置1044建立管道通道。而第一日志处理装置1042和第二日志处理装置1044又分别可以连接不同的日志服务器106，或者，连接同一个日志服务器106。在图2中，第二日志处理装置1044又进一步可以包括接收用户日志的日志接收模块，以及拆分用户日志的日志拆分模块。
由此，通过上述技术方案可知，基于图1所示的双通道结构，为满足不同条件的日志选择匹配的传输通道，这样，可以将第一类日志通过UDS通道传输，并通过日志处理装置上传给日志服务器，以及将第二类日志通过管道通道传输，并通过日志处理装置拆分处理后上传给日志服务器。从而，可实现双通道日志传输，避免额外拆分带来的开销，提升日志传输效率。
参照图3所示，为本说明书实施例提供的日志传输系统的结构示意图。该日志传输系统可以包括：至少一个日志收集装置302、日志处理装置304以及日志服务器306，每个日志收集装置302与所述日志处理装置304均建立有本地套接口UDS通道；其中，该UDS通道的原理与图1中类似，在此不做赘述。
所述日志收集装置302，用于采集本地应用集群内每个应用的用户日志，并将采集到的所述用户日志定向至所述UDS通道，以基于所述UDS通道将所述用户日志传输至所述日志处理装置304；其中，所述用户日志在传输过程中保持日志边界；所述日志处理装置304，用于接收至少一个日志收集装置传输的用户日志，并上传至所述日志服务器306。
其实，图3所示的日志传输系统与图1中日志传输系统的区别在于，图3中日志传输系统去除了管道通道，而保留了UDS通道，因此，用户日志可以通过建立的UDS通道定向传输给日志处理装置304，并上传给日志服务器306。
可选地，所述UDS通道基于Seqpacket传输协议保持被传输的用户日志的边界。
可选地，所述至少一个日志收集装置中每个日志收集装置均基于容器技术实现。参照图4所示，每个日志收集装置302均可以视为一个容器，该容器可通过标准输出Stdout将用户日志定向至UDS通道。对于每个日志收集装置302而言，可以分别与日志处理装置304建立UDS通道。
以上，通过上述技术方案可知，基于图3所示的日志传输系统，可以将用户日志定向至UDS通道传输，并通过日志处理装置上传给日志服务器，从而，避免额外拆分带来的开销，提升日志传输效率。经方案落地验证可知，通过上述图1或图3所示的日志传输系统，可减少50％以上的日志传输导致的计算开销。
参照图5所示，为本说明书实施例提供的一种日志传输方法的步骤示意图，应理解，该日志传输方法可以适用于包括至少一个日志收集装置、日志处理装置、以及日志服务器的日志传输系统，可参照图1；在该日志传输系统中，至少一个日志收集装置与所述日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道。该日志传输方法的执行主体可以是日志收集装置，具体可以包括以下步骤：
步骤502：采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；
步骤504：如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至所述日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；
步骤506：如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至所述日志服务器，所述第二类日志在管道通道中保持无边界传输。
一种可实现的方案，步骤502在根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道时，可以首先基于所述用户日志的类型和/或大小，判断所述用户日志是否满足预设约束条件；如果满足，则将所述用户日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道；否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；其中，所述预设约束条件为：所述用户日志中包含设定日志类型集合内至少一种日志类型对应的日志，和/或，所述用户日志中包含日志大小超过设定阈值的日志。
再一种可实现的方案，步骤502在根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道时，可以基于所述用户日志的类型和/或大小，判断所述用户日志中是否有满足预设约束条件的日志；如果有，则将满足预设约束条件的日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道，以及将不满足预设约束条件的日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；其中，所述预设约束条件为：日志的类型属于设定日志类型集合中任一种，和/或，日志的大小超过设定阈值。
通过上述技术方案可知，基于日志传输系统中双通道结构，为满足不同条件的日志选择匹配的传输通道，这样，可以将第一类日志通过UDS通道传输，并通过日志处理装置上传给日志服务器，以及将第二类日志通过管道通道传输，并通过日志处理装置拆分处理后上传给日志服务器。从而，可实现双通道日志传输，避免额外拆分带来的开销，提升日志传输效率。
参照图6所示，为本说明书实施例提供的日志收集装置，参照图1所示，所述日志收集装置与所述日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道，该装置600可以包括：
匹配模块602，用于采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；
传输模块604，用于如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至所述日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；
所述传输模块604，还用于如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至所述日志服务器，所述第二类日志在管道通道中保持无边界传输。
可选地，作为一个实施例，所述匹配模块602在根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道时，具体用于：
基于所述用户日志的类型和/或大小，判断所述用户日志是否满足预设约束条件；如果满足，则将所述用户日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道；否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；其中，所述预设约束条件为：所述用户日志中包含设定日志类型集合内至少一种日志类型对应的日志，和/或，所述用户日志中包含日志大小超过设定阈值的日志。
在本说明书实施例的一种具体实现方式中，所述匹配模块602在根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道时，具体用于：
基于所述用户日志的类型和/或大小，判断所述用户日志中是否有满足预设约束条件的日志；如果有，则将满足预设约束条件的日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道，以及将不满足预设约束条件的日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；其中，所述预设约束条件为：日志的类型属于设定日志类型集合中任一种，和/或，日志的大小超过设定阈值。
在本说明书实施例的再一种具体实现方式中，所述UDS通道基于Seqpacket传输协议保持被传输的用户日志的边界。
在本说明书实施例的再一种具体实现方式中，所述至少一个日志收集装置中每个日志收集装置均基于容器技术实现。
图7是本说明书的一个实施例电子设备的结构示意图。请参考图7，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成日志收集装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至所述日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至所述日志服务器，所述第二类日志在管道通道中保持无边界传输。
上述如本说明书图5所示实施例揭示的装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图5的方法，并实现相应装置在图5所示实施例的功能，本说明书实施例在此不再赘述。
当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图5所示实施例的方法，并具体用于执行以下方法：
采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至所述日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至所述日志服务器，所述第二类日志在管道通道中保持无边界传输。
总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
上述一个或多个实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (11)

1.一种日志传输系统，所述日志传输系统包括：至少一个日志收集装置、日志处理装置、以及日志服务器，其中，至少一个日志收集装置与所述日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道；
所述日志收集装置，用于采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，所述第一类日志在UDS通道传输过程中保持日志边界；如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，所述第二类日志在管道通道中保持无边界传输；其中，所述第一类日志为满足预设约束条件的日志，所述预设约束条件用于指示所述第一类日志不需要额外拆分处理，所述第二类日志为不满足预设约束条件的日志，所述第二类日志需要拆分处理，所述预设约束条件为：所述用户日志中包含设定日志类型集合内至少一种日志类型对应的日志，和/或，所述用户日志中包含日志大小不超过设定阈值的日志，或者，所述预设约束条件为：日志的类型属于设定日志类型集合中任一种，和/或，日志的大小不超过设定阈值；
所述日志处理装置，用于接收至少一个日志收集装置通过UDS通道传输的第一类日志，并上传至所述日志服务器，或者，用于接收至少一个日志收集装置通过管道通道传输的第二类日志，并对所述第二类日志进行拆分后上传至所述日志服务器。
2.如权利要求1所述的日志传输系统，所述日志收集装置在用于根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道时，具体用于：
基于所述用户日志的类型和/或大小，判断所述用户日志是否满足预设约束条件；
如果满足，则将所述用户日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道；
否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道。
3.如权利要求1所述的日志传输系统，所述日志收集装置在用于根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道时，具体用于：
基于所述用户日志的类型和/或大小，判断所述用户日志中是否有满足预设约束条件的日志；
如果有，则将满足预设约束条件的日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道，以及将不满足预设约束条件的日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；
否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道。
4.如权利要求1-3任一项所述的日志传输系统，所述UDS通道基于Seqpacket传输协议保持被传输的用户日志的边界。
5.如权利要求1-3任一项所述的日志传输系统，所述至少一个日志收集装置中每个日志收集装置均基于容器技术实现。
6.一种日志传输方法，适用于包括至少一个日志收集装置、日志处理装置、以及日志服务器的日志传输系统；其中，至少一个日志收集装置与所述日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道；所述方法应用于日志收集装置侧，包括：
采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；
如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至所述日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；其中，所述第一类日志为满足预设约束条件的日志，所述预设约束条件用于指示所述第一类日志不需要额外拆分处理,所述预设约束条件为：所述用户日志中包含设定日志类型集合内至少一种日志类型对应的日志，和/或，所述用户日志中包含日志大小不超过设定阈值的日志，或者，所述预设约束条件为：日志的类型属于设定日志类型集合中任一种，和/或，日志的大小不超过设定阈值；
如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至所述日志服务器，所述第二类日志在管道通道中保持无边界传输，所述第二类日志为不满足预设约束条件的日志，所述第二类日志需要拆分处理。
7.如权利要求6所述的日志传输方法，根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道，包括：
基于所述用户日志的类型和/或大小，判断所述用户日志是否满足预设约束条件；
如果满足，则将所述用户日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道；
否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道。
8.如权利要求6所述的日志传输方法，根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道，包括：
基于所述用户日志的类型和/或大小，判断所述用户日志中是否有满足预设约束条件的日志；
如果有，则将满足预设约束条件的日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道，以及将不满足预设约束条件的日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；
否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道。
9.一种日志收集装置，所述日志收集装置与日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道，所述日志收集装置包括：
匹配模块，用于采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；
传输模块，用于如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；其中，所述第一类日志为满足预设约束条件的日志，所述预设约束条件用于指示所述第一类日志不需要额外拆分处理，所述预设约束条件为：所述用户日志中包含设定日志类型集合内至少一种日志类型对应的日志，和/或，所述用户日志中包含日志大小不超过设定阈值的日志，或者，所述预设约束条件为：日志的类型属于设定日志类型集合中任一种，和/或，日志的大小不超过设定阈值；
所述传输模块，还用于如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至日志服务器，所述第二类日志在管道通道中保持无边界传输，所述第二类日志为不满足预设约束条件的日志，所述第二类日志需要拆分处理。
10.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求6-8任一项所述的日志传输方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求6-8任一项所述的日志传输方法。
CN202210593700.0A 2022-05-27 2022-05-27 一种日志传输系统、日志传输方法及相关装置 Active CN115086296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210593700.0A CN115086296B (zh) 2022-05-27 2022-05-27 一种日志传输系统、日志传输方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210593700.0A CN115086296B (zh) 2022-05-27 2022-05-27 一种日志传输系统、日志传输方法及相关装置

Publications (2)

Publication Number Publication Date
CN115086296A CN115086296A (zh) 2022-09-20
CN115086296B true CN115086296B (zh) 2024-04-05

Family

ID=83250176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210593700.0A Active CN115086296B (zh) 2022-05-27 2022-05-27 一种日志传输系统、日志传输方法及相关装置

Country Status (1)

Country Link
CN (1) CN115086296B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003096646A1 (en) * 2002-05-08 2003-11-20 Bell Globemedia Inc. File transfer method and apparatus
CN101969386A (zh) * 2010-11-09 2011-02-09 道有道(北京)科技有限公司 一种日志采集装置和日志采集方法
CN102378965A (zh) * 2009-04-17 2012-03-14 诺基亚公司 用于经由进程间通信共享资源的方法、装置和计算机程序产品
CN103530417A (zh) * 2013-10-29 2014-01-22 北京视博数字电视科技有限公司 文件解包方法和装置
CN105045681A (zh) * 2015-07-10 2015-11-11 上海爱数软件有限公司 一种Oracle多通道并行备份及恢复方法
CN106571960A (zh) * 2016-11-03 2017-04-19 北京农信互联科技有限公司 日志收集管理系统及方法
CN106802857A (zh) * 2017-01-11 2017-06-06 郑州云海信息技术有限公司 一种用于解析希捷硬盘smart日志的方法
CN106899643A (zh) * 2015-12-21 2017-06-27 阿里巴巴集团控股有限公司 一种用户日志存储方法及设备
CN107025222A (zh) * 2016-01-29 2017-08-08 五八同城信息技术有限公司 一种分布式日志采集方法及装置
CN108153653A (zh) * 2018-01-23 2018-06-12 郑州云海信息技术有限公司 一种bmc日志管理方法、系统、装置及计算机存储介质
CN112449750A (zh) * 2019-06-28 2021-03-05 京东方科技集团股份有限公司 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统
CN113179302A (zh) * 2021-04-19 2021-07-27 杭州海康威视系统技术有限公司 日志系统以及日志数据的收集方法和收集装置
CN114296947A (zh) * 2022-03-09 2022-04-08 四川大学 一种面向复杂场景的多计算模型管理方法
CN114363320A (zh) * 2021-12-30 2022-04-15 格美安(北京)信息技术有限公司 一种跨网数据回传方法、存储介质和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555559B2 (en) * 2003-02-28 2009-06-30 Onion Networks, KK Parallel data transfer over multiple channels with data order prioritization
WO2016060910A1 (en) * 2014-10-14 2016-04-21 Seven Bridges Genomics Inc. Systems and methods for smart tools in sequence pipelines
US10514962B2 (en) * 2015-11-02 2019-12-24 Box, Inc. Web comm channel system and method

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003096646A1 (en) * 2002-05-08 2003-11-20 Bell Globemedia Inc. File transfer method and apparatus
CN102378965A (zh) * 2009-04-17 2012-03-14 诺基亚公司 用于经由进程间通信共享资源的方法、装置和计算机程序产品
CN101969386A (zh) * 2010-11-09 2011-02-09 道有道(北京)科技有限公司 一种日志采集装置和日志采集方法
CN103530417A (zh) * 2013-10-29 2014-01-22 北京视博数字电视科技有限公司 文件解包方法和装置
CN105045681A (zh) * 2015-07-10 2015-11-11 上海爱数软件有限公司 一种Oracle多通道并行备份及恢复方法
CN106899643A (zh) * 2015-12-21 2017-06-27 阿里巴巴集团控股有限公司 一种用户日志存储方法及设备
CN107025222A (zh) * 2016-01-29 2017-08-08 五八同城信息技术有限公司 一种分布式日志采集方法及装置
CN106571960A (zh) * 2016-11-03 2017-04-19 北京农信互联科技有限公司 日志收集管理系统及方法
CN106802857A (zh) * 2017-01-11 2017-06-06 郑州云海信息技术有限公司 一种用于解析希捷硬盘smart日志的方法
CN108153653A (zh) * 2018-01-23 2018-06-12 郑州云海信息技术有限公司 一种bmc日志管理方法、系统、装置及计算机存储介质
CN112449750A (zh) * 2019-06-28 2021-03-05 京东方科技集团股份有限公司 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统
CN113179302A (zh) * 2021-04-19 2021-07-27 杭州海康威视系统技术有限公司 日志系统以及日志数据的收集方法和收集装置
CN114363320A (zh) * 2021-12-30 2022-04-15 格美安(北京)信息技术有限公司 一种跨网数据回传方法、存储介质和系统
CN114296947A (zh) * 2022-03-09 2022-04-08 四川大学 一种面向复杂场景的多计算模型管理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TCP/IP编程实现远程文件传输;唐军;;金融电子化(02);全文 *
入侵检测中对系统日志审计信息进行数据挖掘的研究;蒋嶷川, 田盛丰;计算机工程(01);全文 *
基于微内核的网络系统界面的实现;胡宁宁, 金志权, 谢立;软件学报;19990605(06);全文 *

Also Published As

Publication number Publication date
CN115086296A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN111131379B (zh) 一种分布式流量采集系统和边缘计算方法
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
CN106549878B (zh) 一种业务分流方法和装置
CN109286578A (zh) 消息处理方法、装置、网关设备及存储介质
EP3258653A1 (en) Message pushing method and device
US10484730B1 (en) Chunked transfer mode bandwidth estimation
CN108989101B (zh) 一种日志输出系统、方法及电子设备
CN112835885B (zh) 一种分布式表格存储的处理方法、装置及系统
CN114996260A (zh) 一种清洗ais数据的方法、装置、终端设备及存储介质
CN111405021A (zh) 一种对等节点的数据传输方法、装置、设备及存储介质
CN106570011B (zh) 一种分布式爬虫url种子分发方法、调度节点及抓取节点
CN115086296B (zh) 一种日志传输系统、日志传输方法及相关装置
CN107329832B (zh) 一种数据接收方法及装置
CN114124942A (zh) 核心网资源调度方法、装置及电子设备
CN110581826B (zh) 一种核心网通信方法、装置及系统
CN112579639A (zh) 数据处理方法、装置、电子设备及存储介质
CN113746920B (zh) 一种数据转发方法、装置、电子设备及计算机可读存储介质
US7424653B2 (en) System and method for error capture and logging in computer systems
CN113779021B (zh) 数据处理方法、装置、计算机系统及可读存储介质
CN113572695B (zh) 链路聚合方法、装置、计算设备及计算机存储介质
CN210804421U (zh) 一种服务器系统
US9479579B2 (en) Grouping processing method and system
CN104468674A (zh) 数据迁移方法及装置
CN113630422B (zh) 一种基于边缘节点的网络安全数据处理方法和系统
CN113986955B (zh) 业务链的确定方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant