CN110891087A - 一种日志传输方法、装置及电子设备和存储介质 - Google Patents

一种日志传输方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
CN110891087A
CN110891087A CN201911158823.6A CN201911158823A CN110891087A CN 110891087 A CN110891087 A CN 110891087A CN 201911158823 A CN201911158823 A CN 201911158823A CN 110891087 A CN110891087 A CN 110891087A
Authority
CN
China
Prior art keywords
log
transmitted
transmission
nodes
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911158823.6A
Other languages
English (en)
Other versions
CN110891087B (zh
Inventor
许国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201911158823.6A priority Critical patent/CN110891087B/zh
Publication of CN110891087A publication Critical patent/CN110891087A/zh
Application granted granted Critical
Publication of CN110891087B publication Critical patent/CN110891087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Abstract

本申请公开了一种日志传输方法、装置及一种电子设备和计算机可读存储介质，该方法包括：确定待传输日志的日志特征信息及对应的历史数据，基于历史数据预估待传输日志对应的第一日志量；获取用于提供日志传输服务的节点在当前时刻的负载量；利用第一日志量和负载量为每个待传输日志分配相应的节点，生成传输分配策略，以便基于传输分配策略对待传输日志进行传输。也即，本申请在需要传输日志时，将根据当前待传输日志的特征信息获取对应的历史数据，利用历史数据作为参考预估待传输日志对应的第一日志量，并获取传输节点的负载量，在为待传输日志分配节点时将结合上述节点负载量，能够有效实现日志传输的负载均衡，提高了日志传输的效率。

Description

一种日志传输方法、装置及电子设备和存储介质
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种日志传输方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
随着科技的发展进步，数据对业务提供的帮助越来越多，各个业务线为了更好的优化和监控业务，会上报多种日志，而日志的量级和大小会存在很大的差异。在利用日志传输资源对日志进行传输时，通常利用随机分配的方式将日志分配至日志传输资源，然而，在这种方式下，往往会导致为某些日志传输资源分配的日志量过大，为某些日志传输资源分配的日志量却很小，造成负载不均衡的情况。
发明内容
本申请的目的在于提供一种日志传输方法、装置及一种电子设备和一种计算机可读存储介质，能够有效实现日志传输的负载均衡，提高了日志传输的效率。
为实现上述目的，本申请提供了一种日志传输方法，包括：
确定待传输日志的日志特征信息；
根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量；所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；
获取用于提供日志传输服务的节点在当前时刻的负载量；
利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。
可选的，所述日志特征信息包括日志主题、业务类型和业务级别中任一项或任几项的组合。
可选的，所述根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量，包括：
获取所述预设历史时间段内的所有历史日志；
基于预设时间粒度对所述所有历史日志进行清洗，得到所述所有历史日志中每种日志特征对应的历史日志在各个时间粒度下对应的第二日志量；
结合当前所述日志特征对应的所述每个时间粒度对应的所述第二日志量预估得到所述待传输日志的第一日志量。
可选的，所述结合当前所述日志特征对应的所述每个时间粒度对应的所述第二日志量预估得到所述待传输日志的第一日志量，包括：
利用当前所述日志特征对应的所述每个时间粒度对应的所述第二日志量计算所述预设历史时间段内所述每种日志特征对应的95峰值或日志总量，将所述95峰值或所述日志总量确定为所述待传输日志的第一日志量。
可选的，所述利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，包括：
利用所述第一日志量确定每个所述待传输日志所需的节点数量，并确定对所述节点数量进行从大到小排序后得到的第一排序结果；
确定对所有所述节点对应的所述负载量进行从小到大排序后得到的第二排序结果；
基于所述第一排序结果顺序读取所述待传输日志的节点数量，并按照所述第二排序结果依次为所述待传输日志分配对应的节点，生成所述传输分配策略。
可选的，还包括：
基于所述第一排序结果生成日志列表，并基于所述第二排序结果生成节点列表；
相应的，所述基于所述第一排序结果顺序读取所述待传输日志的节点数量，并按照所述第二排序结果依次为所述待传输日志分配对应的节点，生成所述传输分配策略，包括：
将当前所述日志列表中第一个待传输日志确定为目标日志，并读取所述目标日志的节点数量；
根据所述节点数量从当前节点列表中获取对应数量的目标节点，记录为所述目标日志分配的节点信息，并修改所述目标节点对应的负载量；
将所述目标日志从所述日志列表中删除，得到更新后日志列表；
根据节点修改后的负载量对所述节点列表进行更新，得到更新后节点列表；
将所述更新后日志列表中第一个待传输日志确定为目标日志，并将所述更新后节点列表确定为所述当前节点列表，返回读取所述目标日志的节点数量的步骤，直至所述更新后日志列表为空。
可选的，所述利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略之后，还包括：
基于所述传输分配策略生成flume配置文件，以便利用flume传输服务根据所述传输分配策略对所述待传输日志进行分配及传输。
为实现上述目的，本申请提供了一种日志传输装置，包括：
特征确定模块，用于确定待传输日志的日志特征信息；
历史获取模块，用于根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量；所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；
负载获取模块，用于获取用于提供日志传输服务的节点在当前时刻的负载量；
策略生成模块，用于利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现前述公开的任一种日志传输方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述公开的任一种日志传输方法的步骤。
通过以上方案可知，本申请提供的一种日志传输方法，包括：确定待传输日志的日志特征信息；根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量；所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；获取用于提供日志传输服务的节点在当前时刻的负载量；利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。也即，本申请在需要传输日志时，将根据当前待传输日志的特征信息获取对应的历史数据，利用历史数据作为参考预估待传输日志对应的第一日志量，并获取传输节点的负载量，在为待传输日志分配节点时将结合上述节点负载量，能够有效实现日志传输的负载均衡，提高了日志传输的效率。
本申请还公开了一种日志传输装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种日志传输方法的流程图；
图2为本申请实施例公开的另一种日志传输方法的流程图；
图3为本申请实施例公开的又一种日志传输方法的流程图；
图4为本申请实施例公开的一种具体的日志传输方法的流程图；
图5为本申请实施例公开的一种日志传输装置的结构图；
图6为本申请实施例公开的一种电子设备的结构图；
图7为本申请实施例公开的另一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在现有技术中，在利用日志传输资源对日志进行传输时，通常利用随机分配的方式将日志分配至日志传输资源，然而，在这种方式下，往往会导致为某些日志传输资源分配的日志量过大，为某些日志传输资源分配的日志量却很小，造成负载不均衡的情况。
因此，本申请实施例公开了一种日志传输方法，有效实现了日志传输的负载均衡，提高日志传输的效率。
参见图1所示，本申请实施例公开的一种日志传输方法包括：
S101：确定待传输日志的日志特征信息；
本申请实施例中，在需要进行日志传输时，首先确定待传输日志的日志特征信息。具体地，上述日志特征信息可以包括但不限于日志主题、业务类型和业务级别，日志主题可用于表征该日志记录的内容，例如系统日志、访问日志、审计日志等；业务类型可用于表征该日志记录内容对应的业务类型，例如直播业务、点播业务；业务级别可用于表征该日志的业务重要性，例如可分为普通级别、VIP级别。
S102：根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量；所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；
本步骤中，根据上述确定的待传输日志对应的日志特征信息获取对应的历史数据，进而基于该历史数据预估待传输日志的第一日志量。
在具体实施中，上述根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量的过程可以具体包括：获取预设历史时间段内的所有历史日志；基于预设时间粒度对所有历史日志进行清洗，得到所有历史日志中每种日志特征对应的历史日志在各个时间粒度下对应的第二日志量；结合当前日志特征对应的每个时间粒度对应的第二日志量预估得到待传输日志的第一日志量。
需要指出的是，在结合当前日志特征对应的每个时间粒度的第二日志量预估得到待传输日志的第一日志量时，本实施例可以利用当前日志特征下每个时间粒度对应的第二日志量计算预设历史时间段内每种日志特征对应的95峰值或日志总量，从而将上述95峰值或日志总量确定为所述待传输日志的第一日志量。
S103：获取用于提供日志传输服务的节点在当前时刻的负载量；
本申请实施例中，还获取当前时刻下用于提供日志传输服务的节点的负载量，即当前时刻每个节点需传输多少日志。
S104：利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。
可以理解的是，在对待传输日志的日志量进行预估得到第一日志量，并获取到当前时刻下传输节点的负载量之后，将基于上述两种数据为每个待传输日志分配相应的节点，从而根据分配结果对待传输日志进行传输。
在具体实施中，当利用第一日志量和负载量为每个待传输日志分配相应的节点，生成传输分配策略之后，可以基于上述传输分配策略生成flume配置文件，以便利用flume传输服务根据该传输分配策略对待传输日志进行分配及传输。
通过以上方案可知，本申请提供的一种日志传输方法，包括：确定待传输日志的日志特征信息；根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量；所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；获取用于提供日志传输服务的节点在当前时刻的负载量；利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。也即，本申请在需要传输日志时，将根据当前待传输日志的特征信息获取对应的历史数据，利用历史数据作为参考预估待传输日志对应的第一日志量，并获取传输节点的负载量，在为待传输日志分配节点时将结合上述节点负载量，能够有效实现日志传输的负载均衡，提高了日志传输的效率。
本申请实施例公开了另一种日志传输方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2所示，具体的：
S201：确定待传输日志的日志特征信息；
S202：根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量；所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；
S203：获取用于提供日志传输服务的节点在当前时刻的负载量；
S204：利用所述第一日志量确定每个所述待传输日志所需的节点数量，并确定对所述节点数量进行从大到小排序后得到的第一排序结果；
S205：确定对所有所述节点对应的所述负载量进行从小到大排序后得到的第二排序结果；
S206：基于所述第一排序结果顺序读取所述待传输日志的节点数量，并按照所述第二排序结果依次为所述待传输日志分配对应的节点，生成传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。
在本申请实施例中，将根据待传输日志对应的第一日志量确定每个待传输日志所需的节点数量，并根据节点数量从大到小的顺序对待传输日志进行排序，以便在分配时基于节点数量从大到小的排序结果先为所需节点数量较大的待传输日志分配节点。另外，在获取传输节点当前时刻的负载量时，本实施例可以按照负载量从小到大的顺序对节点进行排序，以便在分配时基于负载量从小到大的排序结果先对负载量较小的节点进行分配，尽量保证负载的均衡性。
本申请实施例公开了又一种日志传输方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图3所示，具体的：
S301：确定待传输日志的日志特征信息；
S302：根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量；所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；
S303：获取用于提供日志传输服务的节点在当前时刻的负载量；
S304：利用所述第一日志量确定每个所述待传输日志所需的节点数量，并确定对所述节点数量进行从大到小排序后得到的第一排序结果，基于所述第一排序结果生成日志列表；
S305：确定对所有所述节点对应的所述负载量进行从小到大排序后得到的第二排序结果，基于所述第二排序结果生成节点列表；
S306：将当前所述日志列表中第一个待传输日志确定为目标日志，并读取所述目标日志的节点数量；
S307：根据所述节点数量从当前节点列表中获取对应数量的目标节点，记录为所述目标日志分配的节点信息，并修改所述目标节点对应的负载量；
S308：将所述目标日志从所述日志列表中删除，得到更新后日志列表；
S309：根据节点修改后的负载量对所述节点列表进行更新，得到更新后节点列表；
S310：将所述更新后日志列表中第一个待传输日志确定为目标日志，并将所述更新后节点列表确定为所述当前节点列表，返回读取所述目标日志的节点数量的步骤，直至所述更新后日志列表为空，生成对应的传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。
可以理解的是，本申请实施例在对节点数量进行从大到小排序得到第一排序结果，对负载量进行从小到大排序得到第二排序结果之后，将基于上述排序结果分别生成日志列表和节点列表，按照列表的顺序依次读取日志、依次进行节点分配。
进一步地，本申请实施例在为待传输的日志分配传输节点之后，将根据修改后节点的负载量对节点列表进行实时更新，也即，在某些节点负载量变化之后，节点负载量的排序结果也可能发生变化，通过对节点列表中节点负载量排序结果的实时更新，能够避免节点分配过程中节点的负载量已经发生变化却仍按照初始的负载量排序结果进行分配，从而进一步保证负载的均衡性。
下面利用一种具体的应用实例对本申请实施例提供的日志传输方法进行介绍。如图4所示，本实施例首先获取历史数据，具体获取保存8天以上的日志数据，并以1分钟为时间粒度，每天清洗计算得到日志的基本数据，可以具体包括业务类型、主题名称、业务分级、日志量等数据。进一步地，以分钟数据为基础，计算出各种维度下日志量的天95峰值、最大最小、日志总量等数据，上述各种维度可以包含业务类型、主题名称、业务分级、日志所属机房等多个维度。若当前待传输日志为新的日志主题，即没有历史数据作为参考，本实施例可以基于待传输日志的业务特性进行评估，得到日志的初始值，在后续过程中当前日志对应的日志主题有历史数据之后，再根据历史数据对应修正上述初始值。本实施例中，将获取历史数据中近1个星期的日志量，并取7天内最大值，可以理解的是，上述7天内最大值仅仅作为一种示例，在具体实施中可以根据业务特性进行相应调整，例如可取15天内的最大日值、95峰值等。结合新接入的日志主题的初始值预估出日志量数据，从而计算出所需的传输资源，例如传输节点数量、线程数量等。
进一步地，本实施例获取用于提供传输服务的节点列表，列表中可以包括节点的分组、传输业务等信息，对待传输日志的日志量进行从大到小排序，并对服务节点当前分配的日志量进行从小到大的排序，得到日志列表，取日志量排序结果中最大的待传输日志，根据该日志所需要的节点数N获取当前分配日志量最小的N个节点。进而将为该日志分配的节点信息进行记录，并累加节点的已分配日志量，从日志列表中移除该日志。重复上述过程，直至为所有日志分配完成，输出分配策略。
需要说明的是，本实施例可以支持多种日志源，包括但不限于文件、avro接口等。在一种具体的实施方式中，本实施例利用flume作为数据传输服务，根据上述分配策略生成flume配置文件，Log源可以直接将日志发送到flume传输服务，flume传输服务根据上述分配策略将日志发送到对应的服务节点。通过该分配策略，能够有效均衡各个节点接收到的日志，使各个日志合理地使用传输资源。
下面对本申请实施例提供的一种日志传输装置进行介绍，下文描述的一种日志传输装置与上文描述的一种日志传输方法可以相互参照。
参见图5所示，本申请实施例提供的一种日志传输装置包括：
特征确定模块401，用于确定待传输日志的日志特征信息；
历史获取模块402，用于根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量；所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；
负载获取模块403，用于获取用于提供日志传输服务的节点在当前时刻的负载量；
策略生成模块404，用于利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。
关于上述401至404模块的具体实施过程可参考前述实施例公开的相应内容，在此不再进行赘述。
本申请还提供了一种电子设备，参见图6所示，本申请实施例提供的一种电子设备包括：
存储器100，用于存储计算机程序；
处理器200，用于执行所述计算机程序时可以实现上述实施例所提供的步骤。
具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，为电子设备提供计算和控制能力，执行所述存储器100中保存的计算机程序时，可以实现前述任一种实施例公开的日志传输方法的步骤。
在上述实施例的基础上，作为优选实施方式，参见图7所示，所述电子设备还包括：
输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。
显示单元400，与处理器200相连，用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。
网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。
图7仅示出了具有组件100-500的电子设备，本领域技术人员可以理解的是，图7示出的结构并不构成对电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本申请还提供了一种计算机可读存储介质，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一种实施例公开的日志传输方法的步骤。
本申请在需要传输日志时，将根据当前待传输日志的特征信息获取对应的历史数据，利用历史数据作为参考预估待传输日志对应的第一日志量，并获取传输节点的负载量，在为待传输日志分配节点时将结合上述节点负载量，能够有效实现日志传输的负载均衡，提高了日志传输的效率。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种日志传输方法，其特征在于，包括：
确定待传输日志的日志特征信息；
根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量，所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；
获取用于提供日志传输服务的节点在当前时刻的负载量；
利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。
2.根据权利要求1所述的日志传输方法，其特征在于，所述日志特征信息包括日志主题、业务类型和业务级别中任一项或任几项的组合。
3.根据权利要求1所述的日志传输方法，其特征在于，所述根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量，包括：
获取所述预设历史时间段内的所有历史日志；
基于预设时间粒度对所述所有历史日志进行清洗，得到所述所有历史日志中每种日志特征对应的历史日志在各个时间粒度下对应的第二日志量；
结合当前所述日志特征对应的所述每个时间粒度对应的所述第二日志量预估得到所述待传输日志的第一日志量。
4.根据权利要求3所述的日志传输方法，其特征在于，所述结合当前所述日志特征对应的所述每个时间粒度对应的所述第二日志量预估得到所述待传输日志的第一日志量，包括：
利用当前所述日志特征对应的所述每个时间粒度对应的所述第二日志量计算所述预设历史时间段内所述每种日志特征对应的95峰值或日志总量，将所述95峰值或所述日志总量确定为所述待传输日志的第一日志量。
5.根据权利要求1至4任一项所述的日志传输方法，其特征在于，所述利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，包括：
利用所述第一日志量确定每个所述待传输日志所需的节点数量，并确定对所述节点数量进行从大到小排序后得到的第一排序结果；
确定对所有所述节点对应的所述负载量进行从小到大排序后得到的第二排序结果；
基于所述第一排序结果顺序读取所述待传输日志的节点数量，并按照所述第二排序结果依次为所述待传输日志分配对应的节点，生成所述传输分配策略。
6.根据权利要求5所述的日志传输方法，其特征在于，还包括：
基于所述第一排序结果生成日志列表，并基于所述第二排序结果生成节点列表；
相应的，所述基于所述第一排序结果顺序读取所述待传输日志的节点数量，并按照所述第二排序结果依次为所述待传输日志分配对应的节点，生成所述传输分配策略，包括：
将当前所述日志列表中第一个待传输日志确定为目标日志，并读取所述目标日志的节点数量；
根据所述节点数量从当前节点列表中获取对应数量的目标节点，记录为所述目标日志分配的节点信息，并修改所述目标节点对应的负载量；
将所述目标日志从所述日志列表中删除，得到更新后日志列表；
根据节点修改后的负载量对所述节点列表进行更新，得到更新后节点列表；
将所述更新后日志列表中第一个待传输日志确定为目标日志，并将所述更新后节点列表确定为所述当前节点列表，返回读取所述目标日志的节点数量的步骤，直至所述更新后日志列表为空。
7.根据权利要求5所述的日志传输方法，其特征在于，所述利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略之后，还包括：
基于所述传输分配策略生成flume配置文件，以便利用flume传输服务根据所述传输分配策略对所述待传输日志进行分配及传输。
8.一种日志传输装置，其特征在于，包括：
特征确定模块，用于确定待传输日志的日志特征信息；
历史获取模块，用于根据所述日志特征信息获取对应的历史数据，并基于所述历史数据预估所述待传输日志对应的第一日志量；所述历史数据为根据预设历史时间段内当前所述日志特征信息对应的历史日志数据；
负载获取模块，用于获取用于提供日志传输服务的节点在当前时刻的负载量；
策略生成模块，用于利用所述第一日志量和所述负载量为每个所述待传输日志分配相应的节点，生成传输分配策略，以便基于所述传输分配策略对所述待传输日志进行传输。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述日志传输方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述日志传输方法的步骤。
CN201911158823.6A 2019-11-22 2019-11-22 一种日志传输方法、装置及电子设备和存储介质 Active CN110891087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911158823.6A CN110891087B (zh) 2019-11-22 2019-11-22 一种日志传输方法、装置及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158823.6A CN110891087B (zh) 2019-11-22 2019-11-22 一种日志传输方法、装置及电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110891087A true CN110891087A (zh) 2020-03-17
CN110891087B CN110891087B (zh) 2022-10-25

Family

ID=69748494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158823.6A Active CN110891087B (zh) 2019-11-22 2019-11-22 一种日志传输方法、装置及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110891087B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756646A (zh) * 2020-07-08 2020-10-09 腾讯科技（深圳）有限公司 网络传输控制方法、装置、计算机设备及存储介质
CN113873045A (zh) * 2021-11-11 2021-12-31 深圳市云语科技有限公司 一种基于能力协商的文件多节点传输方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060259621A1 (en) * 2005-05-16 2006-11-16 Parthasarathy Ranganathan Historical data based workload allocation
CN105897838A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 一种网络服务节点选择方法及装置
CN106534257A (zh) * 2016-09-29 2017-03-22 国家电网公司 一种多层次集群式架构的多源安全日志采集系统及方法
CN106790409A (zh) * 2016-11-30 2017-05-31 哈尔滨学院 基于电商平台用户历史数据处理的负载均衡方法及其系统
CN109688207A (zh) * 2018-12-11 2019-04-26 北京云中融信网络科技有限公司 日志传输方法、装置及服务器
CN109981744A (zh) * 2019-02-28 2019-07-05 东软集团股份有限公司 数据的分发方法、装置、存储介质及电子设备
CN110191159A (zh) * 2019-05-09 2019-08-30 网宿科技股份有限公司 一种资源服务器的负载调节方法及系统、设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060259621A1 (en) * 2005-05-16 2006-11-16 Parthasarathy Ranganathan Historical data based workload allocation
CN105897838A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 一种网络服务节点选择方法及装置
CN106534257A (zh) * 2016-09-29 2017-03-22 国家电网公司 一种多层次集群式架构的多源安全日志采集系统及方法
CN106790409A (zh) * 2016-11-30 2017-05-31 哈尔滨学院 基于电商平台用户历史数据处理的负载均衡方法及其系统
CN109688207A (zh) * 2018-12-11 2019-04-26 北京云中融信网络科技有限公司 日志传输方法、装置及服务器
CN109981744A (zh) * 2019-02-28 2019-07-05 东软集团股份有限公司 数据的分发方法、装置、存储介质及电子设备
CN110191159A (zh) * 2019-05-09 2019-08-30 网宿科技股份有限公司 一种资源服务器的负载调节方法及系统、设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756646A (zh) * 2020-07-08 2020-10-09 腾讯科技（深圳）有限公司 网络传输控制方法、装置、计算机设备及存储介质
CN111756646B (zh) * 2020-07-08 2023-09-29 腾讯科技（深圳）有限公司 网络传输控制方法、装置、计算机设备及存储介质
CN113873045A (zh) * 2021-11-11 2021-12-31 深圳市云语科技有限公司 一种基于能力协商的文件多节点传输方法
CN113873045B (zh) * 2021-11-11 2023-09-12 深圳市云语科技有限公司 一种基于能力协商的文件多节点传输方法

Also Published As

Publication number Publication date
CN110891087B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN110049130B (zh) 一种基于边缘计算的服务部署和任务调度方法及装置
US10572285B2 (en) Method and apparatus for elastically scaling virtual machine cluster
CN109254842B (zh) 分布式流式系统的资源管理方法、装置及可读存储介质
CN108055264A (zh) 推流服务器的调度装置、方法及计算机可读存储介质
CN107404541B (zh) 一种对等网络传输邻居节点选择的方法及系统
CN105900064A (zh) 调度数据流任务的方法和装置
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
CN111414070B (zh) 一种机箱功耗管理方法、系统及电子设备和存储介质
CN111770157B (zh) 一种业务处理方法、装置及电子设备和存储介质
CN105791254B (zh) 网络请求处理方法、装置及终端
US20140040895A1 (en) Electronic device and method for allocating resources for virtual machines
CN110716796A (zh) 智能任务调度方法及装置、存储介质、电子设备
CN103763343A (zh) 一种业务访问处理方法及装置
CN110209348B (zh) 数据存储方法、装置、电子设备及存储介质
CN110891087B (zh) 一种日志传输方法、装置及电子设备和存储介质
CN112148468B (zh) 一种资源调度方法、装置、电子设备及存储介质
CN110545450B (zh) 一种节点分配方法、系统及电子设备和存储介质
CN111178581B (zh) 一种电力需求响应分配方法及装置
CN111176840A (zh) 分布式任务的分配优化方法和装置、存储介质及电子装置
JP2017027448A (ja) デマンドレスポンス要請方法、デマンドレスポンス要請サーバ、及びデマンドレスポンス要請システム
CN104202305A (zh) 一种转码处理方法、装置及服务器
CN117271100B (zh) 算法芯片集群调度方法、装置、计算机设备和存储介质
CN109347982A (zh) 一种数据中心的调度方法及装置
CN110347546B (zh) 监控任务动态调整方法、装置、介质及电子设备
CN114844791B (zh) 基于大数据的云服务自动管理分配方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant