CN113064869A - 日志处理方法、装置、发送端、接收端设备及存储介质 - Google Patents

日志处理方法、装置、发送端、接收端设备及存储介质 Download PDF

Info

Publication number
CN113064869A
CN113064869A CN202110317277.7A CN202110317277A CN113064869A CN 113064869 A CN113064869 A CN 113064869A CN 202110317277 A CN202110317277 A CN 202110317277A CN 113064869 A CN113064869 A CN 113064869A
Authority
CN
China
Prior art keywords
log data
log
processing
target
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110317277.7A
Other languages
English (en)
Other versions
CN113064869B (zh
Inventor
范长杰
冯阳
吴剑飞
刘柏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202110317277.7A priority Critical patent/CN113064869B/zh
Publication of CN113064869A publication Critical patent/CN113064869A/zh
Application granted granted Critical
Publication of CN113064869B publication Critical patent/CN113064869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种日志处理方法、装置、发送端、接收端设备及存储介质，涉及数据处理技术领域。包括：在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由日志处理链路上的下一处理模块对多条日志数据流进行处理；其中，每条日志数据流中的每个日志数据包括：发送端设备中的一个日志线程的标识；在日志处理链路上的最后一个处理模块对多条日志数据流均处理完成之后，存储最后一个处理模块输出的目标日志数据。确保每个处理模块的日志数据不丢失、处理更准确，而且，基于多个日志数据中的日志线程标识进行去重处理，提高了日志去重的准确性，避免日志的丢失，使得收集的日志更加可靠，还提高了日志收集的效率。

Description

日志处理方法、装置、发送端、接收端设备及存储介质
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种日志处理方法、装置、发送端、接收端设备及存储介质。
背景技术
日志可以记录用户在使用应用程序过程中的操作行为，通过对日志进行分析可以对用户的状态、行为进行分析，挖掘出有价值的信息；也能够对应用程序中所存在的问题进行定位，因此，对于日志的收集也变得越来越重要。
相关技术中，采用发送端设备对原始日志进行分析，继而去重处理，以确保收集到的日志不重复。
但是，相关技术中，采用发送端设备进行去重处理，容易造成日志的丢失，导致收集的日志不可靠的问题。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种日志处理方法、装置、发送端、接收端设备及存储介质，以便解决相关技术中采用发送端设备进行去重处理，容易造成日志的丢失，导致收集的日志不可靠的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种日志处理方法，应用于接收端设备，所述接收端设备的日志处理链路的多个处理模块中包括去重处理模块，所述方法包括：
在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；每条日志数据流中的每个日志数据包括：所述发送端设备中的一个日志线程的标识；
在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；
其中，所述去重处理模块用于根据所述日志数据中的日志线程标识，对所述每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。
可选的，所述存储所述最后一个处理模块输出的目标日志数据，包括：
对所述目标日志数据进行缓存；
将缓存的所述目标日志数据写入所述接收端设备的本地磁盘。
可选的，所述将缓存的所述目标日志数据写入所述接收端设备的本地磁盘，包括：
根据所述目标日志数据的缓存速率、预设的消费速率，生成至少一个消费实例；
采用所述至少一个消费实例，以所述消费速率，将缓存的所述目标日志数据写入所述本地磁盘。
可选的，所述方法还包括：
根据所述目标日志数据所包括的日志种类数，在所述本地磁盘中为每个所述消费实例创建所述日志种类数对应的多个文件；
所述将缓存的所述目标日志数据写入所述本地磁盘，包括：
根据所述目标日志数据中日志数据的类型，将所述目标日志数据中各类型的日志数据分别写入所述磁盘中所述每个消费实例对应的所述多个文件中。
可选的，所述方法还包括：
对所述多个处理模块的处理状态信息进行存储；
若所述目标日志数据中存在存储失败的日志数据，从所述处理状态信息中确定存储成功的已存储日志数据的状态信息；
根据所述已存储日志数据的状态信息，删除已存储的所述已存储日志数据之后存储的所有日志数据；
根据所述已存储日志数据的状态信息，确定所述已存储日志数据对应的元数据；
依次采用所述多个处理模块对所述元数据进行处理，得到处理后的日志数据。
可选的，所述从所述处理状态信息中确定存储成功的已存储日志数据的状态信息，包括：
从所述处理状态信息中确定最后一次存储成功的日志数据的状态信息。
可选的，所述每条日志数据流的末端还包括保障点，所述由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理，包括：
在所述下一处理模块获取到所述多条日志数据流中的保障点后，对所述多条日志数据流进行处理。
可选的，所述方法还包括：
对所述每个消费实例对应的所述多个文件中写入的日志数据添加所述每个消费实例的标识信息，得到多个待上传日志数据；
向分布式文件系统上传所述多个待上传日志数据。
可选的，所述向分布式文件系统上传所述多个文件中的待上传日志数据，包括：
运行打包程序，分别对所述多个待上传日志数据进行打包，得到多个打包文件；
运行所述多个打包文件对应的上传程序，以分别向所述分布式文件系统上传所述多个打包文件。
可选的，所述运行所述多个打包文件对应的上传程序，以分别向所述分布式文件系统上传所述多个打包文件包括：
运行所述多个打包文件对应的上传程序的过程中，若检测到所述多个打包文件的目标打包文件中存在错误日志数据，则停止上传所述目标打包文件，并删除已上传的所述目标打包文件的日志数据；
重新运行所述目标打包文件对应的上传程序，以重新上传所述目标打包文件。
可选的，所述方法还包括：
每上传完成一个打包文件，打印所述一个打包文件对应的一个结束标记信息；
根据所述结束标记信息的数量，判断所述多个打包文件是否均上传至所述分布式文件系统中。
可选的，所述方法还包括：
若目标上传程序的运行时长大于预设时长，则停止运行所述目标上传程序；
重新运行所述目标上传程序，以重新上传所述目标上传程序对应的打包文件。
第二方面，本发明实施例提供了一种日志处理方法，应用于发送端设备，所述方法包括：
获取多个待发送日志数据，每个待发送日志数据包括所述发送端设备中的一个日志线程的标识；
将所述多个待发送日志数据，以多条日志数据流发送至接收端设备，以使所述接收端设备的日志处理链路上的一个处理模块对所述多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；其中，所述日志处理链路上的去重处理模块用于根据日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除；每条日志数据流中包括所述多个待发送日志数据中的至少两个日志数据。
可选的，所述方法还包括：
接收到所述接收端设备发送的响应信息；
若所述响应信息指示一待发送日志数据发送失败，则重新发送所述一待发送日志数据；
若所述响应信息指示所述一待发送日志数据发送成功，则发送下一待发送日志数据。
第三方面，本发明实施例提供了一种日志处理装置，应用于接收端设备，所述接收端设备的日志处理链路的多个处理模块中包括去重处理模块，所述装置包括：
处理模块，用于在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；每条日志数据流中的每个日志数据包括：所述发送端设备中的一个日志线程的标识；
存储模块，用于在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；其中，所述去重处理模块用于根据所述日志数据中的日志线程标识，对所述每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。
可选的，所述存储模块，还用于对所述目标日志数据进行缓存；将缓存的所述目标日志数据写入所述接收端设备的本地磁盘。
可选的，所述存储模块，还用于根据所述目标日志数据的缓存速率、预设的消费速率，生成至少一个消费实例；采用所述至少一个消费实例，以所述消费速率，将缓存的所述目标日志数据写入所述本地磁盘。
可选的，所述装置还包括：
创建模块，用于根据所述目标日志数据所包括的日志种类数，在所述本地磁盘中为每个所述消费实例创建所述日志种类数对应的多个文件；
所述存储模块，还用于根据所述目标日志数据中日志数据的类型，将所述目标日志数据中各类型的日志数据分别写入所述磁盘中所述每个消费实例对应的所述多个文件中。
可选的，所述装置还包括：
第一存储模块，用于对所述多个处理模块的处理状态信息进行存储；
第一确定模块，用于若所述目标日志数据中存在存储失败的日志数据，从所述处理状态信息中确定存储成功的已存储日志数据的状态信息；
删除模块，用于根据所述已存储日志数据的状态信息，删除已存储的所述已存储日志数据之后存储的所有日志数据；
第二确定模块，用于根据所述已存储日志数据的状态信息，确定所述已存储日志数据对应的元数据；
获取模块，用于依次采用所述多个处理模块对所述元数据进行处理，得到处理后的日志数据。
可选的，所述第一确定模块，还用于从所述处理状态信息中确定最后一次存储成功的日志数据的状态信息。
可选的，所述每条日志数据流的末端还包括保障点，所述处理模块还用于在所述下一处理模块获取到所述多条日志数据流中的保障点后，对所述多条日志数据流进行处理。
可选的，所述装置还包括：
添加模块，用于对所述每个消费实例对应的所述多个文件中写入的日志数据添加所述每个消费实例的标识信息，得到多个待上传日志数据；
上传模块，用于向分布式文件系统上传所述多个待上传日志数据。
可选的，所述上传模块，还用于运行打包程序，分别对所述多个待上传日志数据进行打包，得到多个打包文件；运行所述多个打包文件对应的上传程序，以分别向所述分布式文件系统上传所述多个打包文件。
可选的，所述上传模块，还用于运行所述多个打包文件对应的上传程序的过程中，若检测到所述多个打包文件的目标打包文件中存在错误日志数据，则停止上传所述目标打包文件，并删除已上传的所述目标打包文件的日志数据；重新运行所述目标打包文件对应的上传程序，以重新上传所述目标打包文件。
可选的，所述装置还包括：
打印模块，用于每上传完成一个打包文件，打印所述一个打包文件对应的一个结束标记信息；
判断模块，用于根据所述结束标记信息的数量，判断所述多个打包文件是否均上传至所述分布式文件系统中。
可选的，所述装置还包括：
停止模块，用于若目标上传程序的运行时长大于预设时长，则停止运行所述目标上传程序；
重新上传模块，用于重新运行所述目标上传程序，以重新上传所述目标上传程序对应的打包文件。
第四方面，本发明实施例提供了一种日志处理装置，应用于发送端设备，所述装置包括：
获取模块，用于获取多个待发送日志数据，每个待发送日志数据包括所述发送端设备中的一个日志线程的标识；
发送模块，用于将所述多个待发送日志数据，以多条日志数据流发送至接收端设备，以使所述接收端设备的日志处理链路上的一个处理模块对所述多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；其中，所述日志处理链路上的去重处理模块用于根据日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除；每条日志数据流中包括所述多个待发送日志数据中的至少两个日志数据。
所述装置还包括：
接收模块，用于接收到所述接收端设备发送的响应信息；
重新发送模块，用于若所述响应信息指示一待发送日志数据发送失败，则重新发送所述一待发送日志数据；
第一发送模块，用于若所述响应信息指示所述一待发送日志数据发送成功，则发送下一待发送日志数据。
第五方面，本发明实施例提供了一种接收端设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的日志处理方法。
第六方面，本发明实施例提供了一种发送端设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第二方面所述的日志处理方法。
第七方面，本发明实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面、第二方面任一项所述的日志处理方法。
本发明的有益效果是：本申请实施例提供一种日志处理方法，包括：在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由日志处理链路上的下一处理模块对多条日志数据流进行处理；其中，每条日志数据流中的每个日志数据包括：发送端设备中的一个日志线程的标识；在日志处理链路上的最后一个处理模块对多条日志数据流均处理完成之后，存储最后一个处理模块输出的目标日志数据。去重处理模块用于根据多个日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。在一处理模块对来自发送端设备的多条日志数据流均处理完成后，才采用下一处理模块进行处理，可以确保每个处理模块的日志数据不丢失、处理更准确，而且，基于多个日志数据中的日志线程标识进行去重处理，提高了日志去重的准确性，避免日志的丢失，使得收集的日志更加可靠，还提高了日志收集的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种日志处理系统的结构示意图；
图2为本发明实施例提供的一种日志处理方法的流程示意图；
图3为本发明实施例提供的一种日志处理方法的流程示意图；
图4为本发明实施例提供的一种日志处理方法的流程示意图；
图5为本发明实施例提供的一种日志处理方法的流程示意图；
图6为本发明实施例提供的一种日志处理方法的流程示意图；
图7为本发明实施例提供的一种日志处理方法的流程示意图；
图8为本发明实施例提供的一种日志处理方法的流程示意图；
图9为本发明实施例提供的一种日志处理方法的流程示意图；
图10为本发明实施例提供的一种日志处理方法的流程示意图；
图11为本发明实施例提供的一种日志处理方法的流程示意图；
图12为本发明实施例提供的一种日志处理装置的结构示意图；
图13为本发明实施例提供的一种日志处理装置的结构示意图；
图14为本发明实施例提供的一种接收端设备的结构示意图；
图15为本发明实施例提供的一种发送端设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
图1为本发明实施例提供的一种日志处理系统的结构示意图，如图1所示，该日志处理系统可以包括：接收端设备101和发送端设备102。
其中，接收端设备101和发送端设备102通信连接，接收端设备101的日志处理链路的多个处理模块中包括去重处理模块。
在一些实施方式中，发送端设备102可以获取多个待发送日志数据，并将多个待发送日志数据，以多条日志数据流发送至接收端设备101；接收端设备101可以接收多条日志数据流，在一个处理模块对多条日志数据流均处理完成之后，由下一处理模块对多条日志数据流进行处理，在日志处理链路上的最后一个处理模块对多条日志数据流均处理完成之后，存储最后一个处理模块输出的目标日志数据。
需要说明的是，去重处理模块用于根据多个日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。
另外，接收端设备101可以为接收端终端或者接收端服务器，发送端设备102可以为发送端终端或者发送端服务器，当然，接收端设备101和接收端设备101还可以为其他类型具备处理功能的设备。例如，接收端服务器可以为游戏服务器。
在实际应用中，发送端设备102的数量可以为至少一个，如图1所示，发送端设备102的数量可以为2个，当然，本申请实施例对于发送端设备102的数量不进行具体限制。
以下以接收端设备101为执行主体，对本申请实施例提供的日志处理方法进行解释说明。
图2为本发明实施例提供的一种日志处理方法的流程示意图，接收端设备的日志处理链路的多个处理模块中包括去重处理模块，如图2所示，该方法可以包括：
S201、在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由日志处理链路上的下一处理模块对多条日志数据流进行处理。
其中，每条日志数据流中的每个日志数据包括：发送端设备中的一个日志线程的标识。可选的，同一发送端设备对应的日志线程的标识可以相同，不同发送端设备对应的日志线程的标识可以不同。
在一些实施方式中，接收端设备可以接收至少一个发送端设备发送的多条日志数据流，继而依次采用一处理模块对多条日志数据流均处理完成后，采用日志处理链路上的下一处理模块对多条日志数据流进行处理，在下一处理模块对多条日志数据流均处理完成后，依次采用又一处理模块对多条日志数据流进行处理，直至日志处理链路上的最后一个处理模块对多条日志数据流均处理完成。
需要说明的是，在一处理模块对来自发送端设备的多条日志数据流均处理完成后，才采用下一处理模块进行处理，可以确保每个处理模块的日志数据不丢失、处理更准确，继而可以确保整个日志处理链路的日志数据不丢失、处理更准确。
S202、在日志处理链路上的最后一个处理模块对多条日志数据流均处理完成之后，存储最后一个处理模块输出的目标日志数据。
其中，目标日志数据中为不丢失且不重复的日志。
在本申请实施例中，去重处理模块用于根据日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。
在一些实施方式中，接收端设备可以采用日志处理链路上的去重处理模块；判断多个日志数据中是否存在相同的日志数据；若存在，判断相同的日志数据对应的日志线程标识是否相同；若相同，对日志线程标识相同，且，日志数据相同的日志数据进行去重处理。
另外，对于日志数据相同，但是日志线程标识不同的日志数据可以不进行重复处理。
综上所述，本申请实施例提供一种日志处理方法，包括：在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由日志处理链路上的下一处理模块对多条日志数据流进行处理；其中，每条日志数据流中的每个日志数据包括：发送端设备中的一个日志线程的标识；在日志处理链路上的最后一个处理模块对多条日志数据流均处理完成之后，存储最后一个处理模块输出的目标日志数据。去重处理模块用于根据多个日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。在一处理模块对来自发送端设备的多条日志数据流均处理完成后，才采用下一处理模块进行处理，可以确保每个处理模块的日志数据不丢失、处理更准确，而且，基于多个日志数据中的日志线程标识进行去重处理，提高了日志去重的准确性，避免日志的丢失，使得收集的日志更加可靠，还提高了日志收集的效率。
可选的，图3为本发明实施例提供的一种日志处理方法的流程示意图，如图3所示，上述S102中存储最后一个处理模块输出的目标日志数据的过程，可以包括：
S301、对目标日志数据进行缓存。
S302、将缓存的目标日志数据写入接收端设备的本地磁盘。
其中，接收端设备可以采用预设写入方式，将缓存的目标日志数据写入接收端设备的本地磁盘。
需要说明的是，接收端设备可以将多个目标日志数据同时写入接收端设备的本地磁盘，也可以将多个目标日志数据分批写入接收端设备的本地磁盘，还可以采用其他方式进行写入，本申请实施例对此不进行具体限制。
可选的，图4为本发明实施例提供的一种日志处理方法的流程示意图，如图4所示，上述S302中将缓存的目标日志数据写入接收端设备的本地磁盘的过程，可以包括：
S401、根据目标日志数据的缓存速率、预设的消费速率，生成至少一个消费实例。
其中，目标日志数据的缓存速率也可以成为目标日志数据的生产效率，预设的消费速率可以为预设的目标日志数据的写入效率。
在一种可能的实施方式中，接收端设备采用预设计算公式，根据目标日志数据的缓存速率和预设的消费速率确定消费实例的数量，继而生成相应数量的消费实例。
需要说明的是，预设的消费速率可以为aMB/s(兆比特每秒)，目标日志数据的缓存速率可以为bMB/s(兆比特每秒)，则所需的消费实例的数量可以为(b/a+1)。
S402、采用至少一个消费实例，以消费速率，将缓存的目标日志数据写入本地磁盘。
在本申请实施例中，根据目标日志数据的缓存速率的大小动态生成消费实例，可以提高消费速率以及资源的利用率。在目标日志数据的缓存速率降低时，可以根据实际速率动态生产层消费实例，提高了资源的利用率。
可选的，该方法还包括：
根据目标日志数据所包括的日志种类数，在本地磁盘中为每个消费实例创建日志种类数对应的多个文件。
在本申请实施例中，每个消费实例可以对应创建至少一个文件，每个消费实例对应的文件的数量可以为日志种类数，每个文件夹用于存在存放一种日志数据，每个消费实例所对应的至少一个文件可以存在不同种类的日志数据。
上述S302中将缓存的目标日志数据写入本地磁盘的过程，可以包括：
根据目标日志数据中日志数据的类型，将目标日志数据中各类型的日志数据分别写入磁盘中每个消费实例对应的多个文件中。
其中，接收端设备可以采用追加写入的方式，将目标日志数据中各类型的日志数据分别写入磁盘中每个消费实例对应的多个文件中。
例如，一个消费实例对应的多个文件可以为文件a、文件b、文件c，其中，文件a用于存在A类日志数据，文件b用于存在B类日志数据，文件c用于存在C类日志数据。若目标日志数据中包括：第一目标日志数据和第二目标日志数据，确定第一目标日志数据为A类日志数据，第二目标日志数据为B类日志数据，则可以将第一目标日志数据写入文件a中，将第二目标数据写入文件b。
可选的，图5为本发明实施例提供的一种日志处理方法的流程示意图，如图5所示，该方法还可以包括：
S501、对多个处理模块的处理状态信息进行存储。
其中，接收端设备可以预设有保障恢复数据存储模块，接收端设备可以采用保障恢复数据存储模块，对多个处理模块的处理状态信息进行存储。
在一些实施方式中，当日志数据流的保障点到达保障恢复数据存储模块时，可以将日志处理链路的元数据信息打包放入分别分布式文档系统，并进行存档。例如，存档可以为AS1、AS2…CS3。
S502、若目标日志数据中存在存储失败的日志数据，从处理状态信息中确定存储成功的已存储日志数据的状态信息。
在本申请实施例中，处理状态信息可以间隔预设时长进行多次存储。接收端设备可以从处理状态信息中，确定第预设次数次存储成功的已存储日志数据的状态信息。
需要说明的是，预设次数可以为倒数第二次，可以为最后一次，还可以为其他次数，本申请实施例对此不进行具体限制。
S503、根据已存储日志数据的状态信息，删除已存储的已存储日志数据之后存储的所有日志数据。
S504、根据已存储日志数据的状态信息，确定已存储日志数据对应的元数据。
其中，已存储日志数据对应的元数据可以为已存储日志数据的保障点对应的元数据。
可选的，接收端设备可以根据已存储日志数据的状态信息，从分布式文档系统中确定已存储日志数据对应的元数据。
S505、依次采用多个处理模块对元数据进行处理，得到处理后的日志数据。
在本申请实施例中，处理后的日志数据可以为恢复的日志数据，可以对处理后的日志数据进行缓存，继而将处理后的日志数据写入接收端设备的本地磁盘。
另外，接收端设备可以预设有数据消费处理模块，接收端设备可以采用消费处理模块，执行上述S401至S402的过程，以及S502至S505的过程。确保消费的数据无重复以及无丢失，不会重复消费日志数据，也并不会遗漏丢失日志数据。
可选的，从处理状态信息中确定存储成功的已存储日志数据的状态信息，包括：
从处理状态信息中确定最后一次存储成功的日志数据的状态信息。
其中，最后一次存储成功的日志数据的状态信息，可以对应已存储日志数据最近保障点对应的元数据。
需要说明的是，基于最后一次存储成功的日志数据的状态信息，进行日志数据的恢复，得到处理后的日志数据，在确保处理后的日志数据重新写入的同时，还可以提高恢复以及写入的效率。
可选的，每条日志数据流的末端还包括保障点，由日志处理链路上的下一处理模块对多条日志数据流进行处理，包括：
在下一处理模块获取到多条日志数据流中的保障点后，对多条日志数据流进行处理。
在一种可能的实施方式中，接收端设备中可以引入对应的保障点同步模块，接收端设备可以通过保障点同步模块，判断多条日志数据流中的保障点是否已经全部到达，在确定到达后，对多条日志数据流进行处理。
另外，日志数据流中的保障点可以设置在日志数据流的末端，在获取到日主数据流的保障点后，可以确定获取到整个日志数据流。
可选的，图6为本发明实施例提供的一种日志处理方法的流程示意图，如图6所示，该方法还可以包括：
S601、对每个消费实例对应的多个文件中写入的日志数据添加每个消费实例的标识信息，得到多个待上传日志数据。
其中，消费实例的标识信息可以为文件头。
在一些实施方式中，接收端设备可以为每个消费实例对应的多个文件中写入的日志数据添加文件头，得到多个待上传日志数据，可以放置不同消费实例的日志数据的覆盖。
可以的，接收端设备可以为消费实例的宿主机的IP(Internet Protocol，网际互连协议)，也可以为其他的唯一标识，本申请实施例对此不进行具体限制。
S602、向分布式文件系统上传多个待上传日志数据。
在本申请实施例中，接收端设备可以每个消费实例正在消费的日志数据流的业务时间，判断是否达到上传时间点，若到达上传时间点，向分布式文件系统上传多个待上传日志数据；若未到达上传时间点，则间隔预设时长轮询检查校验，直至满足上传条件。
其中，接收端设备可以采用后台校验程序间隔预设时长轮询检查校验。
例如，预设时长可以为5分钟，也可以3分钟，还可以根据实际需求或者经验值进行设定，本申请实施例对此不进行具体限制。
可选的，图7为本发明实施例提供的一种日志处理方法的流程示意图，如图7所示，上述S602中向分布式文件系统上传多个文件中的待上传日志数据的过程，可以包括：
S701、运行打包程序，分别对多个待上传日志数据进行打包，得到多个打包文件。
其中，每个待上传日志数据可以对应一个打包程序。
在一些实施方式中，接收端设备可以并行启动多个打包程序，以并行对多个待上传日志数据进行打包，得到多个打包文件，在打包程序运行完之后，才能运行上传程序。
S702、运行多个打包文件对应的上传程序，以分别向分布式文件系统上传多个打包文件。
其中，每个打包文件可以对应一个上传程序。可选的，接收端设备可以并行启动多个上传程序，以并行向分布式文件系统上传多个打包文件。
可选的，图8为本发明实施例提供的一种日志处理方法的流程示意图，如图8所示，上述S702中运行多个打包文件对应的上传程序，以分别向分布式文件系统上传多个打包文件的过程，可以包括：
S801、运行多个打包文件对应的上传程序的过程中，若检测到多个打包文件的目标打包文件中存在错误日志数据，则停止上传目标打包文件，并删除已上传的目标打包文件的日志数据。
S802、重新运行目标打包文件对应的上传程序，以重新上传目标打包文件。
在一些实施方式中，接收端设备在上传的过程中，可以实时打印日志数据，并开启后台监控程序，采用后台监控程序监控检测到多个打包文件中是否存在错误日志数据。
需要说明的是，执行上述S801至S802的过程，可以保障数据完成无误的上传到分布式文件系统中。
可选的，图9为本发明实施例提供的一种日志处理方法的流程示意图，如图9所示，该方法还可以包括：
S901、每上传完成一个打包文件，打印一个打包文件对应的一个结束标记信息。
S902、根据结束标记信息的数量，判断多个打包文件是否均上传至分布式文件系统中。
其中，接收端设备可以采用监控程序，根据结束标记信息的数量，判断多个打包文件是否均上传至分布式文件系统中。
在本申请实施例中，可以判断结束标记信息的数量是否小于预设数量；若结束标记信息的数量小于预设数量，则采用监控程序继续等待轮询；在结束标记信息的数量是等于预设数量，可以向下游的用户设备发送成功上传的邮件。
可选的，方法还包括：
若目标上传程序的运行时长大于预设时长，则停止运行目标上传程序；
重新运行目标上传程序，以重新上传目标上传程序对应的打包文件。
其中，在目标上传程序的运行时长大于预设时长时，可以确定目标上传程序执行缓慢，因此，需要强制停止该上传程序，然后从头开始上传。
在本申请实施例中，接收端设备可以预设有数据打包上传模块，可以采用数据打包上传模块执行上述图6至9所述的方法实施例，实现日志数据的分散消费处理，最后由有数据打包上传模块将分散的数据归档在同一个位置，同时为下游的数据使用方提供数据使用接口。
以下以接收端设备为执行主体，对本申请实施例提供的日志处理方法进行解释说明。
可选的，图10为本发明实施例提供的一种日志处理方法的流程示意图，如图10所示，该方法可以包括：
S1001、获取多个待发送日志数据，每个待发送日志数据包括发送端设备中的一个日志线程的标识。
在一些实施方式中，发送端设备可以根据发送端设备的MAC(Media AccessControl Address，直译为媒体存取控制位址)地址确定待发送日志数据的日志线程标识，并根据预设的日志发送格式，将日志线程的标识嵌入日志数据中，得到待发送日志数据。
S1002、将多个待发送日志数据，以多条日志数据流发送至接收端设备，以使接收端设备的日志处理链路上的一个处理模块对多条日志数据流均处理完成之后，由日志处理链路上的下一处理模块对多条日志数据流进行处理；在日志处理链路上的最后一个处理模块对多条日志数据流均处理完成之后，存储最后一个处理模块输出的目标日志数据；其中，日志处理链路上的去重处理模块用于根据日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除；每条日志数据流中包括多个待发送日志数据中的至少两个日志数据。
其中，待发送日志数据中包含日志线程的标识，可以确保唯一性。可选的，发送端设备可以预设有日志采集发送模块，可以采用日志采集发送模块执行上述S1001至S1002的过程。
需要说明的是，S1002的过程可以参考上述S202的相关描述，此处不再赘述。
综上所述，本申请实施例提供的日志处理方法，在一处理模块对来自发送端设备的多条日志数据流均处理完成后，才采用下一处理模块进行处理，可以确保每个处理模块的日志数据不丢失、处理更准确，而且，基于多个日志数据中的日志线程标识进行去重处理，提高了日志去重的准确性，避免日志的丢失，使得收集的日志更加可靠，还提高了日志收集的效率。
下述对用以执行本申请所提供的日志处理方法的日志处理装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述日志处理方法的相关内容，下述不再赘述。
可选的，图11为本发明实施例提供的一种日志处理方法的流程示意图，如图11所示，该方法还可以包括：
S1101、接收到接收端设备发送的响应信息。
其中，接收端设备可以向发送端设备发送响应信息，相应的，接收端设备可以接收接收端设备发送的响应信息。
在一些实施方式中，发送端设备可以在接收端设备注册发送端成功失败校验接口，发送端设备可以接收成功失败校验接口返回响应信息。
可选的，若接收端设备的备份数据大于预设阈值了，则表明接收端设备接收成功；若接收端设备的备份数据小于或者等于预设阈值了，则表明接收端设备接收失败。例如，预设阈值可以为总备份数据的三分之二。
S1102、若响应信息指示一待发送日志数据发送失败，则重新发送一待发送日志数据。
其中，重新发送一待发送日志数据时，发送端设备还可以将一待发送日志数据编号较上一待发送日志数据进行加一处理。
S1103、若响应信息指示一待发送日志数据发送成功，则发送下一待发送日志数据。
综上所述，本申请实施例提供的日志处理方法，对日志数据进行无重复操作处理，可以有效地避免日志数据重复，下游不用对日志数据额外去重等耗费服务器资源的工作，也可以避免日志数据丢失的风险，并且处理好的日志数据可以马上用于生产开发，同时提高了效率，能够高效地对外提供日志服务。可以将上游的日志数据无重复且无丢失的接入到下游，快速地提供日志数据服务。
图12为本发明实施例提供的一种日志处理装置的结构示意图，如图12所示，该装置应用于接收端设备，接收端设备的日志处理链路的多个处理模块中包括去重处理模块，装置包括：
处理模块1201，用于在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由日志处理链路上的下一处理模块对多条日志数据流进行处理；每条日志数据流中的每个日志数据包括：发送端设备中的一个日志线程的标识；
存储模块1202，用于在日志处理链路上的最后一个处理模块对多条日志数据流均处理完成之后，存储最后一个处理模块输出的目标日志数据；其中，去重处理模块用于根据日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。
可选的，存储模块1202，还用于对目标日志数据进行缓存；将缓存的目标日志数据写入接收端设备的本地磁盘。
可选的，存储模块1202，还用于根据目标日志数据的缓存速率、预设的消费速率，生成至少一个消费实例；采用至少一个消费实例，以消费速率，将缓存的目标日志数据写入本地磁盘。
可选的，装置还包括：
创建模块，用于根据目标日志数据所包括的日志种类数，在本地磁盘中为每个消费实例创建日志种类数对应的多个文件；
存储模块1202，还用于根据目标日志数据中日志数据的类型，将目标日志数据中各类型的日志数据分别写入磁盘中每个消费实例对应的多个文件中。
可选的，装置还包括：
第一存储模块，用于对多个处理模块的处理状态信息进行存储；
第一确定模块，用于若目标日志数据中存在存储失败的日志数据，从处理状态信息中确定存储成功的已存储日志数据的状态信息；
删除模块，用于根据已存储日志数据的状态信息，删除已存储的已存储日志数据之后存储的所有日志数据；
第二确定模块，用于根据已存储日志数据的状态信息，确定已存储日志数据对应的元数据；
获取模块，用于依次采用多个处理模块对元数据进行处理，得到处理后的日志数据。
可选的，第一确定模块，还用于从处理状态信息中确定最后一次存储成功的日志数据的状态信息。
可选的，每条日志数据流的末端还包括保障点，处理模块1101还用于在下一处理模块获取到多条日志数据流中的保障点后，对多条日志数据流进行处理。
可选的，装置还包括：
添加模块，用于对每个消费实例对应的多个文件中写入的日志数据添加每个消费实例的标识信息，得到多个待上传日志数据；
上传模块，用于向分布式文件系统上传多个待上传日志数据。
可选的，上传模块，还用于运行打包程序，分别对多个待上传日志数据进行打包，得到多个打包文件；运行多个打包文件对应的上传程序，以分别向分布式文件系统上传多个打包文件。
可选的，上传模块，还用于运行多个打包文件对应的上传程序的过程中，若检测到多个打包文件的目标打包文件中存在错误日志数据，则停止上传目标打包文件，并删除已上传的目标打包文件的日志数据；重新运行目标打包文件对应的上传程序，以重新上传目标打包文件。
可选的，装置还包括：
打印模块，用于每上传完成一个打包文件，打印一个打包文件对应的一个结束标记信息；
判断模块，用于根据结束标记信息的数量，判断多个打包文件是否均上传至分布式文件系统中。
可选的，装置还包括：
停止模块，用于若目标上传程序的运行时长大于预设时长，则停止运行目标上传程序；
重新上传模块，用于重新运行目标上传程序，以重新上传目标上传程序对应的打包文件。
图13为本发明实施例提供的一种日志处理装置的结构示意图，如图13所示，该装置包括：获取模块1301，用于获取多个待发送日志数据，每个待发送日志数据包括发送端设备中的一个日志线程的标识；
发送模块1302，用于将多个待发送日志数据，以多条日志数据流发送至接收端设备，以使接收端设备的日志处理链路上的一个处理模块对多条日志数据流均处理完成之后，由日志处理链路上的下一处理模块对多条日志数据流进行处理；在日志处理链路上的最后一个处理模块对多条日志数据流均处理完成之后，存储最后一个处理模块输出的目标日志数据；其中，日志处理链路上的去重处理模块用于根据日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除；每条日志数据流中包括多个待发送日志数据中的至少两个日志数据。
装置还包括：
接收模块，用于接收到接收端设备发送的响应信息；
重新发送模块，用于若响应信息指示一待发送日志数据发送失败，则重新发送一待发送日志数据；
第一发送模块，用于若响应信息指示一待发送日志数据发送成功，则发送下一待发送日志数据。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图14为本发明实施例提供的一种接收端设备的结构示意图，该接收端设备可以包括：处理器1401、存储器1402。存储器1402用于存储程序，处理器1401调用存储器1402存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
图15为本发明实施例提供的一种发送端设备的结构示意图，该发送端设备可以包括：处理器1501、存储器1502。存储器1502用于存储程序，处理器1501调用存储器1502存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种日志处理方法，其特征在于，应用于接收端设备，所述接收端设备的日志处理链路的多个处理模块中包括去重处理模块，所述方法包括：
在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；每条日志数据流中的每个日志数据包括：所述发送端设备中的一个日志线程的标识；
在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；
其中，所述去重处理模块用于根据所述日志数据中的日志线程标识，对所述每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。
2.根据权利要求1所述的方法，其特征在于，所述存储所述最后一个处理模块输出的目标日志数据，包括：
对所述目标日志数据进行缓存；
将缓存的所述目标日志数据写入所述接收端设备的本地磁盘。
3.根据权利要求2所述的方法，其特征在于，所述将缓存的所述目标日志数据写入所述接收端设备的本地磁盘，包括：
根据所述目标日志数据的缓存速率、预设的消费速率，生成至少一个消费实例；
采用所述至少一个消费实例，以所述消费速率，将缓存的所述目标日志数据写入所述本地磁盘。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述目标日志数据所包括的日志种类数，在所述本地磁盘中为每个消费实例创建所述日志种类数对应的多个文件；
所述将缓存的所述目标日志数据写入所述本地磁盘，包括：
根据所述目标日志数据中日志数据的类型，将所述目标日志数据中各类型的日志数据分别写入所述磁盘中所述每个消费实例对应的所述多个文件中。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述多个处理模块的处理状态信息进行存储；
若所述目标日志数据中存在存储失败的日志数据，从所述处理状态信息中确定存储成功的已存储日志数据的状态信息；
根据所述已存储日志数据的状态信息，删除已存储的所述已存储日志数据之后存储的所有日志数据；
根据所述已存储日志数据的状态信息，确定所述已存储日志数据对应的元数据；
依次采用所述多个处理模块对所述元数据进行处理，得到处理后的日志数据。
6.根据权利要求5所述的方法，其特征在于，所述从所述处理状态信息中确定存储成功的已存储日志数据的状态信息，包括：
从所述处理状态信息中确定最后一次存储成功的日志数据的状态信息。
7.根据权利要求1所述的方法，其特征在于，所述每条日志数据流的末端还包括保障点，所述由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理，包括：
在所述下一处理模块获取到所述多条日志数据流中的保障点后，对所述多条日志数据流进行处理。
8.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对每个消费实例对应的所述多个文件中写入的日志数据添加所述每个消费实例的标识信息，得到多个待上传日志数据；
向分布式文件系统上传所述多个待上传日志数据。
9.根据权利要求8所述的方法，其特征在于，所述向分布式文件系统上传所述多个文件中的待上传日志数据，包括：
运行打包程序，分别对所述多个待上传日志数据进行打包，得到多个打包文件；
运行所述多个打包文件对应的上传程序，以分别向所述分布式文件系统上传所述多个打包文件。
10.根据权利要求9所述的方法，其特征在于，所述运行所述多个打包文件对应的上传程序，以分别向所述分布式文件系统上传所述多个打包文件包括：
运行所述多个打包文件对应的上传程序的过程中，若检测到所述多个打包文件的目标打包文件中存在错误日志数据，则停止上传所述目标打包文件，并删除已上传的所述目标打包文件的日志数据；
重新运行所述目标打包文件对应的上传程序，以重新上传所述目标打包文件。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：
每上传完成一个打包文件，打印所述一个打包文件对应的一个结束标记信息；
根据所述结束标记信息的数量，判断所述多个打包文件是否均上传至所述分布式文件系统中。
12.根据权利要求9所述的方法，其特征在于，所述方法还包括：
若目标上传程序的运行时长大于预设时长，则停止运行所述目标上传程序；
重新运行所述目标上传程序，以重新上传所述目标上传程序对应的打包文件。
13.一种日志处理方法，其特征在于，应用于发送端设备，所述方法包括：
获取多个待发送日志数据，每个待发送日志数据包括所述发送端设备中的一个日志线程的标识；
将所述多个待发送日志数据，以多条日志数据流发送至接收端设备，以使所述接收端设备的日志处理链路上的一个处理模块对所述多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；其中，所述日志处理链路上的去重处理模块用于根据日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除；每条日志数据流中包括所述多个待发送日志数据中的至少两个日志数据。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
接收到所述接收端设备发送的响应信息；
若所述响应信息指示一待发送日志数据发送失败，则重新发送所述一待发送日志数据；
若所述响应信息指示所述一待发送日志数据发送成功，则发送下一待发送日志数据。
15.一种日志处理装置，其特征在于，应用于接收端设备，所述接收端设备的日志处理链路的多个处理模块中包括去重处理模块，所述装置包括：
处理模块，用于在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；每条日志数据流中的每个日志数据包括：所述发送端设备中的一个日志线程的标识；
存储模块，用于在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；其中，所述去重处理模块用于根据所述日志数据中的日志线程标识，对所述每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。
16.一种日志处理装置，其特征在于，应用于发送端设备，所述装置包括：
获取模块，用于获取多个待发送日志数据，每个待发送日志数据包括所述发送端设备中的一个日志线程的标识；
发送模块，用于将所述多个待发送日志数据，以多条日志数据流发送至接收端设备，以使所述接收端设备的日志处理链路上的一个处理模块对所述多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；其中，所述日志处理链路上的去重处理模块用于根据日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除；每条日志数据流中包括所述多个待发送日志数据中的至少两个日志数据。
17.一种接收端设备，其特征在于，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-12任一项所述的日志处理方法。
18.一种发送端设备，其特征在于，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求13或14所述的日志处理方法。
19.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-14任一项所述的日志处理方法。
CN202110317277.7A 2021-03-23 2021-03-23 日志处理方法、装置、发送端、接收端设备及存储介质 Active CN113064869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110317277.7A CN113064869B (zh) 2021-03-23 2021-03-23 日志处理方法、装置、发送端、接收端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110317277.7A CN113064869B (zh) 2021-03-23 2021-03-23 日志处理方法、装置、发送端、接收端设备及存储介质

Publications (2)

Publication Number Publication Date
CN113064869A true CN113064869A (zh) 2021-07-02
CN113064869B CN113064869B (zh) 2023-06-13

Family

ID=76561992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110317277.7A Active CN113064869B (zh) 2021-03-23 2021-03-23 日志处理方法、装置、发送端、接收端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113064869B (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183377A (zh) * 2007-12-10 2008-05-21 华中科技大学 一种基于消息中间件的高可用性数据库集群
CN101950293A (zh) * 2010-08-11 2011-01-19 东软集团股份有限公司 日志萃取方法及装置
CN104933010A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种重复数据删除方法和装置
CN105589856A (zh) * 2014-10-21 2016-05-18 阿里巴巴集团控股有限公司 日志数据处理方法及系统
CN106294357A (zh) * 2015-05-14 2017-01-04 阿里巴巴集团控股有限公司 数据处理方法和流计算系统
CN107229660A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 一种数据去重的方法和设备
CN110019071A (zh) * 2017-11-15 2019-07-16 北大方正集团有限公司 数据处理方法及装置
CN110048899A (zh) * 2019-05-29 2019-07-23 北京奇艺世纪科技有限公司 一种日志检测方法、装置、终端及服务器
CN110209656A (zh) * 2019-04-26 2019-09-06 北京互金新融科技有限公司 数据处理方法及装置
CN110249314A (zh) * 2016-12-21 2019-09-17 斯瑞特斯塔克股份有限公司 用于基于云的操作系统事件和数据访问监视的系统和方法
US20190340263A1 (en) * 2018-05-02 2019-11-07 International Business Machines Corporation Utilization of tail portions of a fixed size block in a deduplication environment by deduplication chunk virtualization
CN110727568A (zh) * 2019-09-18 2020-01-24 国云科技股份有限公司 一种云环境下的多源日志数据处理系统及方法
CN111078510A (zh) * 2018-10-18 2020-04-28 北京国双科技有限公司 一种任务处理进度的记录方法及装置
CN111680008A (zh) * 2020-08-12 2020-09-18 广州市玄武无线科技股份有限公司 日志处理方法、系统、可读存储介质及智能设备
US20200341848A1 (en) * 2019-04-26 2020-10-29 EMC IP Holding Company LLC Time Addressable Storage In a Content Addressable Storage System
CN111880844A (zh) * 2020-06-14 2020-11-03 苏州浪潮智能科技有限公司 一种高效多线程并发标记执行方法与系统
CN111953551A (zh) * 2020-08-27 2020-11-17 网易（杭州）网络有限公司 日志数据的传输方法、装置、电子设备及存储介质
US20200401562A1 (en) * 2019-06-24 2020-12-24 Western Digital Technologies, Inc. Parallel processing of filtered transaction logs
CN112333291A (zh) * 2021-01-06 2021-02-05 北京东方通软件有限公司 一种文件防重传方法
CN112527816A (zh) * 2020-12-03 2021-03-19 平安科技（深圳）有限公司 数据血缘关系解析方法、系统、计算机设备及存储介质
CN112527746A (zh) * 2020-12-18 2021-03-19 平安科技（深圳）有限公司 日志存储方法、装置、设备及存储介质

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183377A (zh) * 2007-12-10 2008-05-21 华中科技大学 一种基于消息中间件的高可用性数据库集群
CN101950293A (zh) * 2010-08-11 2011-01-19 东软集团股份有限公司 日志萃取方法及装置
CN104933010A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种重复数据删除方法和装置
CN105589856A (zh) * 2014-10-21 2016-05-18 阿里巴巴集团控股有限公司 日志数据处理方法及系统
CN106294357A (zh) * 2015-05-14 2017-01-04 阿里巴巴集团控股有限公司 数据处理方法和流计算系统
CN107229660A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 一种数据去重的方法和设备
CN110249314A (zh) * 2016-12-21 2019-09-17 斯瑞特斯塔克股份有限公司 用于基于云的操作系统事件和数据访问监视的系统和方法
CN110019071A (zh) * 2017-11-15 2019-07-16 北大方正集团有限公司 数据处理方法及装置
US20190340263A1 (en) * 2018-05-02 2019-11-07 International Business Machines Corporation Utilization of tail portions of a fixed size block in a deduplication environment by deduplication chunk virtualization
CN111078510A (zh) * 2018-10-18 2020-04-28 北京国双科技有限公司 一种任务处理进度的记录方法及装置
CN110209656A (zh) * 2019-04-26 2019-09-06 北京互金新融科技有限公司 数据处理方法及装置
US20200341848A1 (en) * 2019-04-26 2020-10-29 EMC IP Holding Company LLC Time Addressable Storage In a Content Addressable Storage System
CN110048899A (zh) * 2019-05-29 2019-07-23 北京奇艺世纪科技有限公司 一种日志检测方法、装置、终端及服务器
US20200401562A1 (en) * 2019-06-24 2020-12-24 Western Digital Technologies, Inc. Parallel processing of filtered transaction logs
CN110727568A (zh) * 2019-09-18 2020-01-24 国云科技股份有限公司 一种云环境下的多源日志数据处理系统及方法
CN111880844A (zh) * 2020-06-14 2020-11-03 苏州浪潮智能科技有限公司 一种高效多线程并发标记执行方法与系统
CN111680008A (zh) * 2020-08-12 2020-09-18 广州市玄武无线科技股份有限公司 日志处理方法、系统、可读存储介质及智能设备
CN111953551A (zh) * 2020-08-27 2020-11-17 网易（杭州）网络有限公司 日志数据的传输方法、装置、电子设备及存储介质
CN112527816A (zh) * 2020-12-03 2021-03-19 平安科技（深圳）有限公司 数据血缘关系解析方法、系统、计算机设备及存储介质
CN112527746A (zh) * 2020-12-18 2021-03-19 平安科技（深圳）有限公司 日志存储方法、装置、设备及存储介质
CN112333291A (zh) * 2021-01-06 2021-02-05 北京东方通软件有限公司 一种文件防重传方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
廖海生;赵跃龙;: "基于MD5算法的重复数据删除技术的研究与改进", 计算机测量与控制 *
我是王大宝: "Kafka生产者与消费者详", 《HTTP://BLOG.CSDN.NET/BIGBAOCHEN/ARTICLE/DETAILS/103698895?SPM=1001.2101.3001.6661.1》 *
陈晓: "基于应用感知的重复数据删除存储系统的性能优化研究", 中国优秀硕士学位论文全文数据库_信息科技辑 *

Also Published As

Publication number Publication date
CN113064869B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US9552382B2 (en) Reference counter integrity checking
CN111555963B (zh) 消息推送方法、装置、电子设备及存储介质
US20100223446A1 (en) Contextual tracing
CN109597717A (zh) 一种数据备份、恢复方法、装置、电子设备及存储介质
CN106815254B (zh) 一种数据处理方法和装置
US9883006B2 (en) Techniques to transfer large collection containers
CN112822260B (zh) 文件传输方法及装置、电子设备、存储介质
CN109492049B (zh) 用于区块链网络的数据处理、区块生成及同步方法
CN104965835B (zh) 一种分布式文件系统的文件读写方法及装置
CN114048217A (zh) 增量数据的同步方法和装置、电子设备和存储介质
CN108205482B (zh) 文件挂载恢复方法
CN110278222B (zh) 分布式文件存储系统中数据管理的方法、系统以及相关设备
CN113064869A (zh) 日志处理方法、装置、发送端、接收端设备及存储介质
CN116107503A (zh) 数据传输方法、装置及电子设备
US20150088958A1 (en) Information Processing System and Distributed Processing Method
CN115987972A (zh) 文件传输方法、装置、电子设备及计算机可读存储介质
CN111143899A (zh) 存储数据的方法、装置、存储介质及电子装置
JP6471468B2 (ja) データ保存方法、および情報処理装置
WO2023287357A2 (en) Data transmission method, node and system
CN114138786A (zh) 一种联机交易消息去重方法、装置、介质、产品和设备
CN114281769A (zh) 磁盘上文件管理方法、装置、计算机设备及存储介质
CN113850664A (zh) 一种数据异常检测方法及数据上报服务
US20150249708A1 (en) System and method for asynchronous replication of a storage in a computing environment
CN113613063B (zh) 应用异常还原方法、设备及存储介质
JP5941823B2 (ja) 整合性確認方法およびシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant