CN107347062A - 一种日志数据处理的方法、电子设备和可读存储介质 - Google Patents

一种日志数据处理的方法、电子设备和可读存储介质 Download PDF

Info

Publication number
CN107347062A
CN107347062A CN201710465744.4A CN201710465744A CN107347062A CN 107347062 A CN107347062 A CN 107347062A CN 201710465744 A CN201710465744 A CN 201710465744A CN 107347062 A CN107347062 A CN 107347062A
Authority
CN
China
Prior art keywords
daily record
record data
target journaling
server
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710465744.4A
Other languages
English (en)
Inventor
熊梓锴
刘丰
唐旭
郑志钰
李人则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kai Technology Co Ltd
Original Assignee
Beijing Kai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kai Technology Co Ltd filed Critical Beijing Kai Technology Co Ltd
Priority to CN201710465744.4A priority Critical patent/CN107347062A/zh
Publication of CN107347062A publication Critical patent/CN107347062A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种日志数据处理的方法、电子设备和可读存储介质,该方法包括:持续监听第一操作系统所在的第一服务器下的目标日志文件,根据目标日志文件的列表、目标日志文件的字节数的变化来判断是否有新的日志数据产生;如果有,读取新的日志数据,在新的日志数据中添加第一服务器的代码和配置标识以形成待传输日志数据,并将待传输日志数据转化为系统日志协议的格式;通过套接字将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。本发明提供的一种日志数据处理的方法、电子设备和可读存储介质,能够监控多源日志文件,并实现多源日志数据的跨系统转发,提高业务灵活性和扩展性。

Description

一种日志数据处理的方法、电子设备和可读存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种日志数据处理的方法、电子设备和可读存储介质。
背景技术
随着大数据时代的到来,诸如智能设备、云计算和物联网等的课题革新成为互联网技术行业新的技术革命。其中,日志数据作为各种智能设备的信息输出,是人与机器之间联系的重要渠道。
随着计算机技术的迅猛发展,各类应用系统产生的日志数据呈现指数式的增长,如何从海量的日志数据中及时发现有价值的信息已经成为当前研究的重要课题。
目前,处理海量数据的技术不断成长和创新,但是主要的技术手段仍集中在Linux操作系统下,Linux操作系统是基于UNIX操作系统发展而来的系统,相比之下,Windows系统的分布更为广泛,所包括的应用程序及生成的日志规模也更为巨大,对Windows系统的日志的分析具有更重大的价值和意义。但是,对于Windows系统来说,日志数据分析存在跨操作系统的障碍,如何实现高效的跨系统收集日志数据是进行日志数据分析的前提。
系统日志(英文:Syslog)协议是在网络之间互连协议(英文:Internet Protocol,缩写:IP)网络中转发系统日志数据的工业标准协议。日志工具Rsyslog作为日志采集工具,扩展了Syslog协议,可用于监控本地日志并通过网络转发数据。基于此,本发明的发明人发现,Rsyslog只能处理单一日志文件,不能监控多源日志文件,在大量的日志管理任务场景下缺乏灵活性和扩展性。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
有鉴于此,本发明要解决的技术问题是,如何提供一种日志数据处理的方法、电子设备和可读存储介质能够监控多源日志文件,并实现多源日志数据的跨系统转发,提高业务的灵活性和扩展性。
为解决以上技术问题,本发明在第一方面提供一种日志数据处理的方法,包括:
持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生;
当有新的日志数据产生时,读取所述新的日志数据,在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式;
通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
在一种可能的实现方式中,所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括:
同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹,对所述多个目标文件夹作并行处理,并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。
在一种可能的实现方式中,所述读取所述新的日志数据包括:
获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置;
从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据,直到所述新的日志数据产生的目标日志文件的本次终止位置。
在一种可能的实现方式中,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,动态设定socket重联的启动时间,所述
socket重联的启动时间随所述错误的次数增加而增加。
在一种可能的实现方式中,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,返回到错误发生前的所述转化后的待传输日志数据的数据终止节点,并从所述数据终止节点开始,重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
由此,本发明提供的一种日志数据处理的方法能够监控多源日志文件,并实现多源日志数据的跨系统转发,提高业务灵活性和扩展性,为快速发现操作系统和应用程序问题、提升服务效率提供可行的解决方案。
为解决以上技术问题,本发明在第二方面提供一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行:
持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生;
当有新的日志数据产生时,读取所述新的日志数据,在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式;
通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
在一种可能的实现方式中,所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括:
同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹,对所述多个目标文件夹作并行处理,并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。
在一种可能的实现方式中,所述读取所述新的日志数据包括:
获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置;
从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据,直到所述新的日志数据产生的目标日志文件的本次终止位置。
在一种可能的实现方式中,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,动态设定socket重联的启动时间,所述socket重联的启动时间随所述错误的次数增加而增加。
在一种可能的实现方式中,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,返回到错误发生前的所述转化后的待传输日志数据的数据终止节点,并从所述数据终止节点开始,重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
由此,本发明提供的一种电子设备能够监控多源日志文件,并实现多源日志数据的跨系统转发,提高业务灵活性和扩展性,为快速发现操作系统和应用程序问题、提升服务效率提供可行的解决方案。
为解决以上技术问题,本发明在第三方面提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于:
持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生;
当有新的日志数据产生时,读取所述新的日志数据,在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式;
通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
在一种可能的实现方式中,所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括:
同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹,对所述多个目标文件夹作并行处理,并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。
在一种可能的实现方式中,所述读取所述新的日志数据包括:
获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置;
从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据,直到所述新的日志数据产生的目标日志文件的本次终止位置。
在一种可能的实现方式中,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,动态设定socket重联的启动时间,所述
socket重联的启动时间随所述错误的次数增加而增加。
在一种可能的实现方式中,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,返回到错误发生前的所述转化后的待传输日志数据的数据终止节点,并从所述数据终止节点开始,重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
由此,本发明提供的非暂态计算机可读存储介质能够监控多源日志文件,并实现多源日志数据的跨系统转发,提高业务灵活性和扩展性,为快速发现操作系统和应用程序问题、提升服务效率提供可行的解决方案。
根据下面参考附图对示例性实施例的详细说明,本发明的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面,并且用于解释本发明的原理。
图1示出本发明实施例提供的一种日志数据处理的方法的流程图;
图2示出本发明实施例提供的一种日志数据处理的方法的流程图;
图3示出本发明实施例提供的一种日志数据处理的方法的流程图;
图4示出本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式进行详细描述,但应当理解本发明的保护范围并不受具体实施方式的限制。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另有其它明确表示,否则在整个说明书和权利要求书中,术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分,而并未排除其它元件或其它组成部分。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本发明同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件未作详细描述,以便于凸显本发明的主旨。
实施例1
图1示出本发明实施例提供的一种日志数据处理的方法的流程图,该方法可以由电子设备执行,例如终端设备或服务端设备。换言之,所述方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于:单台服务器、服务器集群等。如图所示,该方法包括:
步骤S1、持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生。
步骤S2、当有新的日志数据产生时,读取所述新的日志数据。
步骤S3、在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式。
步骤S4、通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
套接字(英文:socket)是支持TCP/IP的网络通信的基本操作单元,可以看做是不同主机之间的进程进行双向通信的端点,简单的说就是通信的两方的一种约定,用套接字中的相关函数来完成通信过程。
由此,本发明实施例提供的一种日志数据处理的方法,能够监控多源日志文件,并实现多源日志数据的跨系统转发,提高业务灵活性和扩展性,为快速发现操作系统和应用程序问题、提升服务效率提供可行的解决方案。
实施例2
图2示出本发明实施例提供的一种日志数据处理的方法的流程图,如图所示,该方法包括:
步骤S1、持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生。本步骤可以具体包括:
步骤S11、同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹,对所述多个目标文件夹作并行处理,并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。
定期扫描文件内容,记录当前监听的文件列表、各文件的字节数和文件终止位置。由此,能够在不同类型的日志文件中过滤指定的日志文件类型。
步骤S12、当有新的日志数据产生时,文件夹字节数将发生变化,当最新扫描记录的字节数与记录的历史最新字节数不同时,表示有新的日志数据产生。
所述的新日志数据包括目标文件夹里新生成的日志文件或已有日志文件中新生成的日志记录。
步骤S2、当有新的日志数据产生时,读取所述新的日志数据。
在一种可能的实现方式中,本步骤可以具体包括:
步骤S21、获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置。
步骤S22、从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据,直到所述新的日志数据产生的目标日志文件的本次终止位置。
步骤S3、在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式。
在一种可能的实现方式中,可以在所述新的日志数据中添加所述第一服务器的代码、配置标识和日志数据格式以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式。其中,配置标识用于区分所述第一服务器下用于不同目标的日志,可用信息摘要算法5(英文:Message-Digest Algorithm 5,缩写:md5)的方式生成唯一标识符,日志数据格式,用于进行格式校验和日志解析。
步骤S4、通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
在一种可能的实现方式中,本步骤可以具体包括:
步骤S41、当数据传输发生错误时,动态设定socket重联的启动时间,所述socket重联的启动时间随所述错误的次数增加而增加。
步骤S42、当数据传输发生错误时,返回到错误发生前的所述转化后的待传输日志数据的数据终止节点,并从所述数据终止节点开始,重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。由此,设置socket组件的断线重联机制,保证数据传输的完整性和一致性。
由此,本发明实施例提供的一种日志数据处理的方法,能够监控多源日志文件,并实现多源日志数据的跨系统转发,提高业务灵活性和扩展性,能够在不同类型的日志文件中过滤指定的日志文件类型,并且能够设置socket组件的断线重联机制,保证数据传输的完整性和一致性。
实施例3
图3示出本发明实施例提供的一种日志数据处理的方法的流程图,如图所示,该方法包括:
步骤S1、持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生。
在一种可能的实现方式中,第一操作系统可以为Windows操作系统。
日志数据收集系统配指定所需监听的Windows系统所在的服务器A下的目标日志文件夹和文件类型。
在一种可能的实现方式中,可以在服务器A下启动监听模块,监听模块定期扫描配置好的目标日志文件,记录监听的文件列表,文件字节数和文件终止位置,存储为info_latest。info_latest包含3列信息,分别是文件ID(file_id),文件字节数(file_bytes),文件终止位置(file_endlocation)。
监听模块对比上次扫描的记录结果info_last与本次扫描结果info_latest,按下述方式生成新日志数据的文件信息info_new,info_new中包含3列信息,分别是file_id,file_last_endlocation,file_latest_endlocation。
步骤S2、当有新的日志数据产生时,读取所述新的日志数据。
info_new的生成方式可以包括:
当某一监听文件(file_id=X)同时在info_last和info_latest中且info_latest中该文件的字节数大于info_last中记录的字节数时,info_new将记录该文件的信息,其中file_id=X,file_last_endlocation是info_last中文件X的file_endlocation,file_latest_endlocation是info_latest中文件X的file_endlocation。
当某一监听文件(file_id=Y)仅出现在info_latest中时,info_new将记录该文件的信息,其中file_id=Y,file_last_endlocation是0,file_latest_endlocation是info_latest中文件Y的file_endlocation。
对于其他情况,系统视为日志文件未发生变化,info_new不记录。
当监听模块探知指定的监听文件发生变化时,启动数据读取模块,同时监听模块将info_new传送给数据读取模块,并更新系统中记录的监听信息至最新状态,即用info_latest替换info_last。
步骤S3、在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式。
数据读取模块对info_new中的任一文件Z,从文件Z上次扫描记录的终止位置(file_last_endlocation)逐行读取数据直到本次扫描记录的文件终止位置(file_latest_endlocation)。对每行日志数据,数据读取模块将添加服务器主机名和配置的标识到原始日志数据,把日志数据转化为syslog格式。对于新生成的日志文件,数据读取模块将从文件的起始位置开始读取。
步骤S4、通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
本发明实施例设置了socket组件的断线重联机制。当socket数据传输过程发生错误时,系统将获取该错误信息,并启动socket重联机制。Socket重联的启动时间根据系统的机制会随着socket错误的次数增加而增加。
当socket出现错误重联时,系统会回到错误发生前的数据终止节点,并从该数据节点开始重新开始数据传输,保证数据的完整性和一致性。
步骤S5、在接收数据的第二服务器上,启动数据接收模块,通过flume监听socket发送数据的目标端口,实时接收数据传输模块所发送的日志数据。
Flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据。在接收数据的第二服务器上,启动数据接收模块,通过flume监听socket发送数据的目标端口,实时接收数据传输模块所发送的日志数据,在一种可能的实现方式中,还可以根据接收的日志格式对日志数据进行相应的解析。
在一种可能的实现方式中,接收数据的第二服务器可以为Linux系统所在的服务器。本实施例以第一操作系统为Windows系统,第二操作系统为Linux系统为例进行说明,但本发明的实现方式并不限于此,本发明的实现方式也可以包括诸如第一操作系统为Linux系统,第二操作系统为Windows系统等多种实现方式。
由此,本发明实施例提供的一种日志数据处理的方法,能够监控多源日志文件,并实现多源日志数据的跨系统转发,提高业务灵活性和扩展性,为快速发现操作系统和应用程序问题、提升服务效率提供可行的解决方案。
实施例4
图4示出本发明实施例提供的电子设备的硬件结构示意图,如图4所示,该设备包括:一个或多个处理器410以及存储器420,图4中以一个处理器410为例。该电子设备还可以包括:输入装置430和输出装置440。处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接,图4中以通过总线连接为例。输入装置430可接收输入的数字或字符信息,以及产生与功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器420中,当被所述一个或者多个处理器410执行时,执行:持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生;当有新的日志数据产生时,读取所述新的日志数据,在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式;通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
在一种可能的实现方式中,所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括:同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹,对所述多个目标文件夹作并行处理,并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。
在一种可能的实现方式中,所述读取所述新的日志数据包括:获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置;从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据,直到所述新的日志数据产生的目标日志文件的本次终止位置。
在一种可能的实现方式中,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:当数据传输发生错误时,动态设定socket重联的启动时间,所述socket重联的启动时间随所述错误的次数增加而增加。
在一种可能的实现方式中,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:当数据传输发生错误时,返回到错误发生前的所述转化后的待传输日志数据的数据终止节点,并从所述数据终止节点开始,重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
实施例5
本发明实施例提供了一种非暂态(非易失性)计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的方法并实现相应的效果。
以上所描述的实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

Claims (15)

1.一种日志数据处理的方法,其特征在于,包括:
持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生;
当有新的日志数据产生时,读取所述新的日志数据,在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式;
通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
2.根据权利要求1所述的方法,其特征在于,所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括:
同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹,对所述多个目标文件夹作并行处理,并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。
3.根据权利要求1所述的方法,其特征在于,所述读取所述新的日志数据包括:
获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置;
从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据,直到所述新的日志数据产生的目标日志文件的本次终止位置。
4.根据权利要求1所述的方法,其特征在于,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,动态设定socket重联的启动时间,所述socket重联的启动时间随所述错误的次数增加而增加。
5.根据权利要求1所述的方法,其特征在于,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,返回到错误发生前的所述转化后的待传输日志数据的数据终止节点,并从所述数据终止节点开始,重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
6.一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行:
持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生;
当有新的日志数据产生时,读取所述新的日志数据,在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式;
通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
7.根据权利要求6所述的电子设备,其特征在于,所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括:
同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹,对所述多个目标文件夹作并行处理,并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。
8.根据权利要求6所述的电子设备,其特征在于,所述读取所述新的日志数据包括:
获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置;
从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据,直到所述新的日志数据产生的目标日志文件的本次终止位置。
9.根据权利要求6所述的电子设备,其特征在于,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,动态设定socket重联的启动时间,所述socket重联的启动时间随所述错误的次数增加而增加。
10.根据权利要求6所述的电子设备,其特征在于,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,返回到错误发生前的所述转化后的待传输日志数据的数据终止节点,并从所述数据终止节点开始,重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
11.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于:
持续监听第一操作系统所在的第一服务器下的目标日志文件,根据所述目标日志文件的列表、所述目标日志文件的字节数的变化来判断是否有新的日志数据产生;
当有新的日志数据产生时,读取所述新的日志数据,在所述新的日志数据中添加所述第一服务器的代码和配置标识以形成待传输日志数据,并将所述待传输日志数据转化为系统日志syslog协议的格式;
通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
12.根据权利要求11所述的非暂态计算机可读存储介质,其特征在于,所述持续监听第一操作系统所在的第一服务器下的目标日志文件包括:
同时独立监听第一操作系统所在的第一服务器下的多个目标文件夹,对所述多个目标文件夹作并行处理,并根据配置监听所述多个目标文件夹中特定类型的目标日志文件。
13.根据权利要求11所述的非暂态计算机可读存储介质,其特征在于,所述读取所述新的日志数据包括:
获取新的日志数据产生的目标日志文件的列表、所述新的日志数据产生的目标日志文件的上次终止位置和所述新的日志数据产生的目标日志文件的本次终止位置;
从所述新的日志数据产生的目标日志文件的上次终止位置逐行读取日志数据,直到所述新的日志数据产生的目标日志文件的本次终止位置。
14.根据权利要求11所述的非暂态计算机可读存储介质,其特征在于,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,动态设定socket重联的启动时间,所述socket重联的启动时间随所述错误的次数增加而增加。
15.根据权利要求11所述的非暂态计算机可读存储介质,其特征在于,所述通过套接字socket将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口包括:
当数据传输发生错误时,返回到错误发生前的所述转化后的待传输日志数据的数据终止节点,并从所述数据终止节点开始,重新将转化后的待传输日志数据发送至第二操作系统所在的第二服务器的指定端口。
CN201710465744.4A 2017-06-19 2017-06-19 一种日志数据处理的方法、电子设备和可读存储介质 Pending CN107347062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710465744.4A CN107347062A (zh) 2017-06-19 2017-06-19 一种日志数据处理的方法、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710465744.4A CN107347062A (zh) 2017-06-19 2017-06-19 一种日志数据处理的方法、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN107347062A true CN107347062A (zh) 2017-11-14

Family

ID=60253313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710465744.4A Pending CN107347062A (zh) 2017-06-19 2017-06-19 一种日志数据处理的方法、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN107347062A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280020A (zh) * 2018-01-23 2018-07-13 广州视源电子科技股份有限公司 计算机设备的监控方法、装置、终端及计算机存储介质
CN108459932A (zh) * 2018-03-02 2018-08-28 郑州云海信息技术有限公司 一种管理raid卡的方法、装置以及设备
CN110825711A (zh) * 2019-10-17 2020-02-21 上海易点时空网络有限公司 基于Flume快速分区传输数据的方法以及装置
CN111158995A (zh) * 2019-11-29 2020-05-15 武汉物易云通网络科技有限公司 基于skywalking、ELK平台实现跨系统日志跟踪查询的方法及系统
CN111258964A (zh) * 2018-12-03 2020-06-09 北京京东尚科信息技术有限公司 日志处理方法及装置、存储介质、电子设备
CN111967850A (zh) * 2020-08-19 2020-11-20 支付宝(杭州)信息技术有限公司 一种数据报送监测方法、装置及电子设备
CN112564959A (zh) * 2020-12-01 2021-03-26 上海恒生聚源数据服务有限公司 一种日志采集方法、装置、设备及可读存储介质
CN113141582A (zh) * 2021-04-25 2021-07-20 深圳市元征科技股份有限公司 日志导出方法、装置、计算机设备以及存储介质
CN117076161A (zh) * 2023-10-16 2023-11-17 湖南于一科技有限公司 通过选取框选内容的方式获取和写入数据的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005542A1 (en) * 2010-07-01 2012-01-05 LogRhythm Inc. Log collection, structuring and processing
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN103824069A (zh) * 2014-03-19 2014-05-28 北京邮电大学 一种基于多主机日志关联的入侵检测方法
CN104486107A (zh) * 2014-12-05 2015-04-01 曙光信息产业(北京)有限公司 一种日志采集装置及方法
CN105488187A (zh) * 2015-12-02 2016-04-13 北京四达时代软件技术股份有限公司 多源异构数据增量抽取的方法及装置
CN105701122A (zh) * 2014-11-28 2016-06-22 深圳市腾讯计算机系统有限公司 一种日志收集方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120005542A1 (en) * 2010-07-01 2012-01-05 LogRhythm Inc. Log collection, structuring and processing
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN103824069A (zh) * 2014-03-19 2014-05-28 北京邮电大学 一种基于多主机日志关联的入侵检测方法
CN105701122A (zh) * 2014-11-28 2016-06-22 深圳市腾讯计算机系统有限公司 一种日志收集方法、装置及系统
CN104486107A (zh) * 2014-12-05 2015-04-01 曙光信息产业(北京)有限公司 一种日志采集装置及方法
CN105488187A (zh) * 2015-12-02 2016-04-13 北京四达时代软件技术股份有限公司 多源异构数据增量抽取的方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280020A (zh) * 2018-01-23 2018-07-13 广州视源电子科技股份有限公司 计算机设备的监控方法、装置、终端及计算机存储介质
CN108280020B (zh) * 2018-01-23 2021-09-14 广州视源电子科技股份有限公司 计算机设备的监控方法、装置、终端及计算机存储介质
CN108459932A (zh) * 2018-03-02 2018-08-28 郑州云海信息技术有限公司 一种管理raid卡的方法、装置以及设备
CN111258964A (zh) * 2018-12-03 2020-06-09 北京京东尚科信息技术有限公司 日志处理方法及装置、存储介质、电子设备
CN110825711A (zh) * 2019-10-17 2020-02-21 上海易点时空网络有限公司 基于Flume快速分区传输数据的方法以及装置
CN111158995A (zh) * 2019-11-29 2020-05-15 武汉物易云通网络科技有限公司 基于skywalking、ELK平台实现跨系统日志跟踪查询的方法及系统
CN111158995B (zh) * 2019-11-29 2020-12-29 武汉物易云通网络科技有限公司 基于skywalking、ELK平台实现跨系统日志跟踪查询的方法及系统
CN111967850A (zh) * 2020-08-19 2020-11-20 支付宝(杭州)信息技术有限公司 一种数据报送监测方法、装置及电子设备
CN112564959A (zh) * 2020-12-01 2021-03-26 上海恒生聚源数据服务有限公司 一种日志采集方法、装置、设备及可读存储介质
CN113141582A (zh) * 2021-04-25 2021-07-20 深圳市元征科技股份有限公司 日志导出方法、装置、计算机设备以及存储介质
CN117076161A (zh) * 2023-10-16 2023-11-17 湖南于一科技有限公司 通过选取框选内容的方式获取和写入数据的方法
CN117076161B (zh) * 2023-10-16 2023-12-29 湖南于一科技有限公司 通过选取框选内容的方式获取和写入数据的方法

Similar Documents

Publication Publication Date Title
CN107347062A (zh) 一种日志数据处理的方法、电子设备和可读存储介质
US10110671B2 (en) Method, system, and device for managing server hardware resources in a cloud scheduling environment
CN1988535B (zh) 文件存储同步方法、系统及客户端
CN104054316B (zh) 用于对sms中心进行负载平衡和建立虚拟专用网络的系统和方法
US8954494B2 (en) Method and system for synchronizing operations of multiple groups
CN111736775A (zh) 多源存储方法、装置、计算机系统及存储介质
CN103067257B (zh) 在社会性网络服务中实现数据互通的方法、服务器及系统
CN112738791B (zh) 基于5g核心网的用户信息关联回填方法、装置、设备和介质
EP2835938A1 (en) Message publishing and subscribing method and apparatus
US10698890B2 (en) Dual overlay query processing
CN107133231B (zh) 一种数据获取方法和装置
TW201432469A (zh) 檔案同步的方法及相關電子裝置
US20200382396A1 (en) Data packet loss detection
US9762667B2 (en) Distributed server election with imperfect clock synchronization
CN113127307A (zh) 溯源请求的处理方法、相关装置、系统及存储介质
CN104348848A (zh) 管理图片的方法、终端设备和服务器
CN110460668B (zh) 一种文件上传方法、装置、计算机设备和存储介质
US8826026B2 (en) Systems and methods for tracking electronic files in computer networks using electronic signatures
CN117194562A (zh) 数据同步方法和装置、电子设备和计算机可读介质
CN111405018A (zh) 一种文件传输方法、装置、电子设备及存储介质
EP4280561A1 (en) Information flow identification method, network chip, and network device
US9917738B2 (en) Intelligent device data router
JP2015064636A (ja) 情報処理システム、分散処理方法、及び、プログラム
EP3580914B1 (en) Localizing traffic using network topology
CN112181929A (zh) 云管平台日志处理方法、装置、电子装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171114