CN109412966B - 一种大规模日志传输方法、装置及系统 - Google Patents

一种大规模日志传输方法、装置及系统 Download PDF

Info

Publication number
CN109412966B
CN109412966B CN201811520697.XA CN201811520697A CN109412966B CN 109412966 B CN109412966 B CN 109412966B CN 201811520697 A CN201811520697 A CN 201811520697A CN 109412966 B CN109412966 B CN 109412966B
Authority
CN
China
Prior art keywords
transmission
log
transmission channel
indirect
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811520697.XA
Other languages
English (en)
Other versions
CN109412966A (zh
Inventor
孙璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN201811520697.XA priority Critical patent/CN109412966B/zh
Publication of CN109412966A publication Critical patent/CN109412966A/zh
Application granted granted Critical
Publication of CN109412966B publication Critical patent/CN109412966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0864—Round trip delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/103—Active monitoring, e.g. heartbeat, ping or trace-route with adaptive polling, i.e. dynamically adapting the polling rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/263—Rate modification at the source after receiving feedback
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种大规模日志传输方法、装置及系统，其中方法包括：发送端将当前传输任务按照第一传输速率通过直接传输通道进行传输，其中，直接传输通道包括发送端至日志记录服务器的链路；发送端按照第一预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第一反馈信息；判断第一反馈信息的延时符合预设评估结果时，按照第二预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第二反馈信息，其中第二预设频率大于第一预设频率；判断第二反馈信息的延时大于第一反馈信息的延时，则生成拥塞警报，确定分组多路均衡传输方案；将当前传输任务按照分组多路均衡传输方案传输至日志记录服务器。

Description

一种大规模日志传输方法、装置及系统
技术领域
本发明涉及计算机互联网领域，尤其涉及一种大规模日志传输方法、装置及系统。
背景技术
在现代互联网应用领域，越来越重视用户行为和应用使用模式，都导致日志回传规模的快速增加，需要日志传输系统的有效支撑。传统日志传输方法往往是通过多台前端业务服务器汇集，再传至一台后端服务器进行统一日志处理，通常采用开源日志传输系统，包括Flume和Scribe等，通过清晰的部署方式和业务逻辑将分散的日志逐步汇总，实现日志的快速传输。
然而在互联网应用系统运维过程中，由于前后端之间网络链路资源有限，以及除日志模块的其他业务模块回传数据的现象日益普遍，经常会出现网络链路局部拥塞，业务数据回传不及时的情况，严重影响了系统可用性。因此，要求日志回传在避免影响业务数据回传的情况下保障传输效率。而开源日志传输系统通常采用“采集-汇聚-合并”的传输模式，有时为了实现日志传输的高效性，还会采用多线程提速，最终将导致网络链路上数据传输的压力逐步增加，增大网络链路局部拥塞的风险。
可见，目前的日志传输方法不能在大规模日志传输过程中，根据网络链路情况有效优化和调整传输策略，避免网络链路局部的拥塞和对整体业务数据回传的影响。
发明内容
本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的大规模日志传输方法、装置及系统。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明的一个方面提供了一种大规模日志传输方法，包括：发送端将当前传输任务按照第一传输速率通过直接传输通道进行传输，其中，直接传输通道包括发送端至日志记录服务器的链路；发送端按照第一预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第一反馈信息；发送端判断第一反馈信息的延时符合预设评估结果时，按照第二预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第二反馈信息，其中第二预设频率大于第一预设频率；发送端判断第二反馈信息的延时大于第一反馈信息的延时，则生成拥塞警报，确定分组多路均衡传输方案；发送端将当前传输任务按照分组多路均衡传输方案传输至日志记录服务器。
其中，确定分组多路均衡传输方案包括：发送端获取具有连通性状态的转发辅助节点，并从具有连通性状态的转发辅助节点中选择一个可用节点，建立间接传输通道，其中，间接传输通道包括发送端至可用节点至日志记录服务器的链路；发送端负载均衡当前传输任务中剩余需要传输的日志文件，按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，其中，第二传输速率小于第一传输速率。
其中，确定分组多路均衡传输方案还包括：发送端判断当前传输任务是否结束，并监测拥塞报警情况；如果当前传输任务未结束，拥塞警报解除，则按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，直至当前传输任务结束，释放间接传输通道；如果当前传输任务未结束，拥塞警报未解除，则执行建立新的间接传输通道的操作，负载均衡当前传输任务中剩余需要传输的日志文件，按照第三传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道和新的间接传输通道进行传输，直至当前传输任务结束，其中，建立新的间接传输通道的操作包括：从具有连通性状态的转发辅助节点中选择另一个可用节点，建立新的间接传输通道，第三传输速率小于第二传输速率。
其中，确定分组多路均衡传输方案还包括：如果当前传输任务未结束，拥塞警报未解除，则关闭直接传输通道，继续执行建立新的间接传输通道的操作，直至具有连通性状态的全部转发辅助节点均建立了间接传输通道，按照第一传输速率通过全部间接传输通道进行传输，直至当前传输任务结束。
其中，确定分组多路均衡传输方案还包括：如果当前传输任务未结束，拥塞警报未解除，则发送端评估当前传输任务中的日志文件的优先级，按照日志文件的优先级将日志文件利用全部间接传输通道进行传输。
本发明另一方面提供了一种大规模日志传输装置，包括：传输模块，用于将当前传输任务按照第一传输速率通过直接传输通道进行传输，其中，直接传输通道包括发送端至日志记录服务器的链路；监测模块，用于按照第一预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第一反馈信息；判断模块，用于判断第一反馈信息的延时是否符合预设评估结果；监测模块，还用于在判断模块判断第一反馈信息的延时符合预设评估结果时，按照第二预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第二反馈信息，其中第二预设频率大于第一预设频率；判断模块，还用于判断第二反馈信息的延时是否大于第一反馈信息的延时；确定模块，用于在判断模块判断第二反馈信息的延时大于第一反馈信息的延时时，则生成拥塞警报，确定分组多路均衡传输方案；传输模块，还用于将当前传输任务按照分组多路均衡传输方案传输至日志记录服务器。
其中，确定模块具体用于：获取具有连通性状态的转发辅助节点，并从具有连通性状态的转发辅助节点中选择一个可用节点，建立间接传输通道，其中，间接传输通道包括发送端至可用节点至日志记录服务器的链路；负载均衡当前传输任务中剩余需要传输的日志文件，按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，其中，第二传输速率小于第一传输速率。
其中，确定模块具体用于：判断当前传输任务是否结束，并监测拥塞报警情况；如果当前传输任务未结束，拥塞警报解除，则按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，直至当前传输任务结束，释放间接传输通道；如果当前传输任务未结束，拥塞警报未解除，则执行建立新的间接传输通道的操作，负载均衡当前传输任务中剩余需要传输的日志文件，按照第三传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道和新的间接传输通道进行传输，直至当前传输任务结束，其中，建立新的间接传输通道的操作包括：从具有连通性状态的转发辅助节点中选择另一个可用节点，建立新的间接传输通道，第三传输速率小于第二传输速率。
其中，确定模块具体用于：如果当前传输任务未结束，拥塞警报未解除，则关闭直接传输通道，继续执行建立新的间接传输通道的操作，直至具有连通性状态的全部转发辅助节点均建立了间接传输通道，按照第一传输速率通过全部间接传输通道进行传输，直至当前传输任务结束。
其中，确定模块具体用于：如果当前传输任务未结束，拥塞警报未解除，则发送端评估当前传输任务中的日志文件的优先级，按照日志文件的优先级将日志文件利用全部间接传输通道进行传输。
本发明又一方面提供了一种大规模日志传输系统，包括：上述的发送端、转发辅助节点以及日志记录服务器。
由此可见，通过本发明提供的大规模日志传输方法、装置及系统，用以在实时日志传输过程中，能够避免网络链路局部拥塞，并且还能够及时通过扩展新的传输链路保障日志回传效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的大规模日志传输系统的结构示意图；
图2为本发明实施例提供的大规模日志传输系统的具体结构示意图；
图3为本发明实施例提供的大规模日志传输方法的流程图；
图4为本发明实施例提供的大规模日志传输装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明需要先设置如图1所示的大规模日志传输系统，该系统包括发送端1、转发辅助节点2和日志记录服务器3。其中，发送端可以为多个、转发辅助节点可以为多个、日志记录服务器可以为至少一个。发送端和日志记录服务器之间通过网络实时传输日志信息，既可以直接点对点传输，也可以通过基于转发辅助节点支撑跳转的网络链路进行间接转发。本发明中的日志传输方式基于TCP/IP协议，由发送端利用socket向日志记录服务器发送日志消息。
具体地，发送端，可以用于收集和发送当前服务器上的多个应用系统的日志文件；可以直接通过直接传输通道将日志文件发送至日志记录服务器为，可以基于主动拨测的方式监控直接传输通道的链路传输状态以及监控到指定转发辅助节点的链路传输性能，并制定符合当前传输负载需求的分组多路均衡传输方案；以及控制每条链路上的日志文件传输速率。
转发辅助节点，可以用于向指定日志记录服务器转发所接收的日志文件；记录当前日志传输任务数量和持续时间，并在日志发送端拨测过程中向其反馈。
日志记录服务器，可以用于接收各链路上的日志文件，并进行合并、归类和入库。
具体应用时，结合图2可知，发送端可以包括日志直接发送模块、链路拨测模块、传输方案构造模块以及日志间接发送模块。其中：日志直接发送模块负责通过点到点的方式直接将日志文件传输至指定的日志记录服务器，中间没有任何转发，通过单一socket实现；链路拨测模块负责向各转发辅助节点进行拨测，获取链路延时数据和转发辅助节点状态；传输方案构造模块负责选择当前适合承担传输任务的链路和转发辅助节点，并指定多条链路间的负载均衡和传输速率；日志间接发送模块负责协同转发辅助节点，向目的日志记录服务器发送当前需要传输的日志文件集合。
转发辅助节点可以包括：链路维护模块、负载管理模块、拨测反馈模块以及日志转发模块。其中：链路维护模块负责监测转发辅助节点到各发送端和日志记录服务器的链路连通性，更新链路列表；负载管理模块负责记录各条链路上的日志传输任务的数量、规模、速率、持续时长等业务负载信息；拨测反馈模块负责回复发送端拨测请求，并将本节点的业务负载情况和链路情况一并反馈给发送端；日志转发模块负载将接收的日志文件按照其目的ip信息重新封装，点对点传输给指定日志记录服务器。
日志记录服务器可以包括日志接收模块，日志合并及归类模块，日志入库模块。其中：日志接收模块可以接收发送端直接发送的日志文件，或者接收转发辅助节点转发的日志文件；日志合并及归类模块用于对接收到的日志文件进行合并和归类；日志入库模块用于对日志文件进行入库。
其中，日志直接发送模块可以将日志文件直接发送至日志记录服务器的日志接收模块(参见图2所示的步骤5)，链路拨测模块可以以主动拨测的方式监控转发辅助节点的链路传输性能，通过转发辅助节点的拨测反馈模块进行反馈(参见图2所示的步骤4)，日志间接发送模块可以利用转发辅助节点的日志转发模块将日志文件间接传输至日志记录服务器的日志接收模块中(参见图2所示的步骤6)。
图3示出了本发明实施例提供的大规模日志传输方法的流程图，参见图3，本发明实施例提供的大规模日志传输方法，包括：
S101，发送端将当前传输任务按照第一传输速率通过直接传输通道进行传输，其中，直接传输通道包括发送端至日志记录服务器的链路；
S102，发送端按照第一预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第一反馈信息；
S103，发送端判断第一反馈信息的延时符合预设评估结果时，按照第二预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第二反馈信息，其中第二预设频率大于第一预设频率；
S104，发送端判断第二反馈信息的延时大于第一反馈信息的延时，则生成拥塞警报，确定分组多路均衡传输方案；
S105，发送端将当前传输任务按照分组多路均衡传输方案传输至日志记录服务器。
具体地，通过本发明实施例提供的大规模日志传输方法，可以预先发现局部网络拥塞趋势：发送端在按照第一传输速率(可以为正常传输速率)发送日志文件的同时，按照指定频率进行周期性链路拨测，通过主动拨测实时监测从发送端到日志记录服务器的链路传输状态，并与各转发辅助节点进行连通性保活通讯。
其中，作为本发明实施例的一个可选实施方式，发送端获取日志记录服务器发送的第一反馈信息，根据第一反馈信息来判断第一反馈信息的延时是否符合预设评估结果，该预设评估结果可以包括当遇到第一反馈信息的延时超过前一反馈信息延时的预设百分比，例如可以为当遇到反馈信息的延时超过前一反馈信息延时的10％以上，则表示符合预设评估结果，此时按照第二预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第二反馈信息，其中第二预设频率大于第一预设频率，例如将第二预设频率为第一预设频率的两倍，即将拨测周期缩短一半，由此来加强链路状态监控。
作为本发明实施例的一个可选实施方式，发送端会按照第二预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第二反馈信息，如果第二反馈信息的延时小于等于第一反馈的延时，则表示链路状态总体可用，此时，发送端可以按照第一预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第一反馈信息，即延时在一段时间后回落，则代表链路状态总体可用，可以将拨测周期回复到原有时长；如果第二反馈信息的延时大于第一反馈信息的延时，即延时持续增加，则表明链路拥塞，生成拥塞警报，可以发出报警，具体报警分为三级：可能拥塞、拥塞、非常拥塞。
发送端探测到可能有拥塞警报后，处理方式是确定分组多路均衡传输方案，并按照分组多路均衡传输方案将当前任务发送至日志记录服务器。
其中，作为本发明实施例的一个可选实施方式，确定分组多路均衡传输方案包括：
发送端获取具有连通性状态的转发辅助节点，并从具有连通性状态的转发辅助节点中选择一个可用节点，建立间接传输通道，其中，间接传输通道包括发送端至可用节点至日志记录服务器的链路；
发送端负载均衡当前传输任务中剩余需要传输的日志文件，按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，其中，第二传输速率小于第一传输速率。
具体地，发送端从具备连通性状态的转发辅助节点中选择一个可用节点，搭建一条到日志记录服务器的间接传输通道；负载均衡剩余需要传输的日志文件，分别从直接传输通道和间接传输通道进行传输；同时，可以降低直接传输通道的传输速率，即按照第二传输速率通过直接传输通道进行传输，例如将直接传输通道的传输速率减低10％，而间接传输通道按照正常速率(例如第一传输速率)进行传输。由此可以有效利用间接传输通道进行日志传输。
作为本发明实施例的一个可选实施方式，确定分组多路均衡传输方案进一步还包括：发送端判断当前传输任务是否结束，并监测拥塞报警情况；如果当前传输任务未结束，拥塞警报解除，则按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，直至当前传输任务结束，释放间接传输通道；如果当前传输任务未结束，拥塞警报未解除，则执行建立新的间接传输通道的操作，负载均衡当前传输任务中剩余需要传输的日志文件，按照第三传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道和新的间接传输通道进行传输，直至当前传输任务结束，其中，建立新的间接传输通道的操作包括：从具有连通性状态的转发辅助节点中选择另一个可用节点，建立新的间接传输通道，第三传输速率小于第二传输速率。
具体地，在传输一定时间间隔后，监测拥塞报警情况，如果拥塞警报解除，则持续保持此时传输方式，直到传输任务完成，而后续传输任务将释放间接传输通道，并恢复为只采用直接传输通道；如果还持续收到可能拥塞警报，则继续增加间接传输通道、降低直接传输通道传输速率，和负载均衡剩余日志文件通过直接传输通道和间接传输通道进行传输。由此进一步利用多条间接传输通道进行日志传输。
作为本发明实施例的一个可选实施方式，确定分组多路均衡传输方案进一步还包括：如果当前传输任务未结束，拥塞警报未解除，则关闭直接传输通道，继续执行建立新的间接传输通道的操作，直至具有连通性状态的全部转发辅助节点均建立了间接传输通道，按照第一传输速率通过全部间接传输通道进行传输，直至当前传输任务结束。
具体地，如果持续收到拥塞警报，则关闭直接传输通道，持续增加间接传输通道，直至没有可用的转发辅助节点，之后负载均衡剩余日志文件通过全部的间接传输通道进行传输。在极度拥塞时，可以舍弃直接传输通道，利用全部间接传输通道进行日志传输。
作为本发明实施例的一个可选实施方式，确定分组多路均衡传输方案进一步还包括：如果当前传输任务未结束，拥塞警报未解除，则发送端评估当前传输任务中的日志文件的优先级，按照日志文件的优先级将日志文件利用全部间接传输通道进行传输。
具体地，发送端最差的传输状态是探测到非常拥塞警报，代表不止链路存在拥塞，日志记录服务器的处理能力也由于任务过多而出现计算不足的现象。此时发送端将全局调整日志回传进度，具体方式是：基于优先级调整日志回传进度。具体可以利用如下方式：
评估发送端所有回传数据的重要程度，主要基于各项回传数据业务的优先级。其中，各类日志文件也根据系统应用需求也进行优先级划分，例如运行维护日志的优先级将交易订单日志的优先级。按照优先级从高到低的方式，在已建立的传输通道上回传包括日志在内的各项数据。在传输一定时间间隔后，监测拥塞报警情况，如果警报将为拥塞警报，发送端将持续当前回传方式；如果警报将为可能拥塞警报，则解除优先级限制，各类数据开始同步回传。
由此可见，通过本技术方案的实施，可保证在大规模日志传输过程中及时缓解突发的局部网络拥塞问题，并有效利用其它空闲链路实现稳定的日志传输。进一步，针对前后端交互数据较多的互联网应用，还可在业务繁忙的时候，通过降低重要性不高的日志文件的传输速率，保障核心业务数据的及时传输。此外，由于本技术方案依赖于前后端网络进行分布式传输，所以具有极强的扩展性。扩张转发辅助节点规模，增加前后端网络链路数量，都将快速提高整个日志传输能力的效率和健壮性，具备较好的维护和优化机制。
作为本发明实施例的一个可选实施方式，监测拥塞报警情况可以利用链路拨测流程实现，该链路拨测流程可以由发送端发起，转发辅助节点配合，通过主动拨测实时监测网络链路性能。具体步骤如下：
步骤1：发送端向各辅助节点发出ping请求，并记录响应结果中的可达性和延时；
步骤2：发送端更新转发辅助节点列表，并向各可达的转发辅助节点发出状态查询请求；
步骤3：转发辅助节点收到请求，反馈当前可达日志记录服务器ip集合和业务负载情况。其中，业务负载的内容包括：日志记录服务器ip、相应已开展的日志传输任务信息(任务标识、持续时长和传输速率)、以及剩余转发带宽。
步骤4：发送端向转发辅助节点回复信息查询结果已收到，并结束拨测。
作为本发明实施例的一个可选实施方式，发送端通过直接传输通道进行日志传输时可以利用日志直接传输流程，该日志直接传输流程可以由发送端发起，向日志记录服务器传输的日志文件，日志记录服务器完成日志归档、分类和入库。具体步骤如下：
步骤1：发送端向日志记录服务器发起文件传输socket请求；
步骤2：日志记录服务器反馈，并建立socket连接；
步骤3：发送端开启文件传输过程。
步骤4：日志记录服务器收取日志文件及xml形式的日志描述信息，按照日志描述信息，将日志文件归档、分类和入库。
作为本发明实施例的一个可选实施方式，发送端通过间接传输通道进行日志传输时可以利用日志间接传输流程，该日志间接传输流程可以由发送端基于收集的链路数据进行负载均衡，构建多条链路定速的日志传输方案，由转发辅助节点配合完成分布式日志传输；同时日志记录服务器接收多条链路传输的日志文件，并完成日志归档、分类和入库。具体步骤如下：
步骤1：发送端依据拨测收集的转发辅助节点信息进行链路选择。首先过滤出可达日志记录服务器ip集合中包含目的日志记录服务器ip的各转发辅助节点；然后过滤出对应剩余转发带宽高于50％的转发辅助节点，并将这些节点相同链路作为日志间接传输链路。
步骤2：评估需要传输的日志文件的大小和数量，发送端在各日志间接传输链路间进行负载均衡，并根据日志文件的重要程度设置各链路传输速率。
步骤3：发送端按照以上步骤形成的传输方案发送日志文件。
步骤4：转发辅助节点接收日志文件和xml形式的日志描述信息，根据日志描述信息向目的日志记录服务器发送该日志文件和日志描述信息；同时，更新本节点的业务负载情况。
步骤5：日志记录服务器收取日志文件及xml形式的日志描述信息，按照日志描述信息，将日志文件归档、分类和入库。
另外，以下提供了本发明的一种具体的一种大规模日志传输方法，但本发明并不局限于此，包括如下步骤：
(1)日志发送端周期性拨测各转发辅助节点，监控各链路的延时和转发辅助节点的负载情况。
(2)面对日志回传需求，日志发送端向日志记录服务器直接端到端传输，并接收日志记录服务器的反馈。当遇到反馈信息的延时超过前一反馈信息延时的10％以上并有持续增加趋势后，停止向日志记录服务器直接传输日志文件。
(3)日志发送端结合当前拨测结果选择出负载不超过50％的转发辅助节点，构成多条传输链路，并对日志文件集合进行负载均衡，按照指定传输速率传输。
(4)日志记录服务器将接收到的日志文件按照传输任务编号进行合并、归类和入库。
(5)在多链路转发的过程中，日志发送端周期性拨测日志记录服务器，当反馈显示正常后，后续日志文件恢复向日志记录服务器的点到点传输。
由此可见，相对于现有技术中采用的多层汇聚定点传送方案，由于在本发明实施例提供的技术方案中，实时监测链路状态，可及时停止向有拥塞倾向的链路中传输数据，避免了局部链路拥塞风险的进一步增加；同时，还有效利用了空闲链路资源，保障了日志文件的及时回传。因此本发明的技术方案不但能够满足日志回传的实时性要求，也能在数据量增加时能够及时均衡网络链路负载。
图4示出了本发明实施例提供的大规模日志传输装置的结构示意图，该大规模日志传输装置应用在上述系统中的发送端，采用上述方法，以下仅对大规模日志传输装置的结构进行简单说明，其他未尽事宜，请参照上述大规模日志传输方法中的相关描述，参见图2，本发明实施例提供的大规模日志传输装置，包括：
传输模块101，用于将当前传输任务按照第一传输速率通过直接传输通道进行传输，其中，直接传输通道包括发送端至日志记录服务器的链路；
监测模块102，用于按照第一预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第一反馈信息；
判断模块103，用于判断第一反馈信息的延时是否符合预设评估结果；
监测模块102，还用于在判断模块判断第一反馈信息的延时符合预设评估结果时，按照第二预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第二反馈信息，其中第二预设频率大于第一预设频率；
判断模块103，还用于判断第二反馈信息的延时是否大于第一反馈信息的延时；
确定模块104，用于在判断模块判断第二反馈信息的延时大于第一反馈信息的延时时，则生成拥塞警报，确定分组多路均衡传输方案；
传输模块101，还用于将当前传输任务按照分组多路均衡传输方案传输至日志记录服务器。
由此可见，通过本技术方案的实施，可保证在大规模日志传输过程中及时缓解突发的局部网络拥塞问题，并有效利用其它空闲链路实现稳定的日志传输。
作为本发明实施例的一个可选实施方式，确定模块104具体用于：获取具有连通性状态的转发辅助节点，并从具有连通性状态的转发辅助节点中选择一个可用节点，建立间接传输通道，其中，间接传输通道包括发送端至可用节点至日志记录服务器的链路；负载均衡当前传输任务中剩余需要传输的日志文件，按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，其中，第二传输速率小于第一传输速率。由此可以有效利用间接传输通道进行日志传输。
作为本发明实施例的一个可选实施方式，确定模块104具体用于：判断当前传输任务是否结束，并监测拥塞报警情况；如果当前传输任务未结束，拥塞警报解除，则按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，直至当前传输任务结束，释放间接传输通道；如果当前传输任务未结束，拥塞警报未解除，则执行建立新的间接传输通道的操作，负载均衡当前传输任务中剩余需要传输的日志文件，按照第三传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道和新的间接传输通道进行传输，直至当前传输任务结束，其中，建立新的间接传输通道的操作包括：从具有连通性状态的转发辅助节点中选择另一个可用节点，建立新的间接传输通道，第三传输速率小于第二传输速率。由此进一步利用多条间接传输通道进行日志传输。
作为本发明实施例的一个可选实施方式，确定模块104具体用于：如果当前传输任务未结束，拥塞警报未解除，则关闭直接传输通道，继续执行建立新的间接传输通道的操作，直至具有连通性状态的全部转发辅助节点均建立了间接传输通道，按照第一传输速率通过全部间接传输通道进行传输，直至当前传输任务结束。在极度拥塞时，可以舍弃直接传输通道，利用全部间接传输通道进行日志传输。
作为本发明实施例的一个可选实施方式，确定模块104具体用于：如果当前传输任务未结束，拥塞警报未解除，则发送端评估当前传输任务中的日志文件的优先级，按照日志文件的优先级将日志文件利用全部间接传输通道进行传输。针对前后端交互数据较多的互联网应用，还可在业务繁忙的时候，通过降低重要性不高的日志文件的传输速率，保障核心业务数据的及时传输。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种大规模日志传输方法，其特征在于，
发送端将当前传输任务按照第一传输速率通过直接传输通道进行传输，其中，所述直接传输通道包括所述发送端至日志记录服务器的链路；
所述发送端按照第一预设频率周期性拨测所述直接传输通道的链路传输状态，并获取所述日志记录服务器发送的第一反馈信息；
所述发送端判断所述第一反馈信息的延时符合预设评估结果时，按照第二预设频率周期性拨测所述直接传输通道的链路传输状态，并获取所述日志记录服务器发送的第二反馈信息，其中所述第二预设频率大于所述第一预设频率；
所述发送端判断所述第二反馈信息的延时大于所述第一反馈信息的延时，则生成拥塞警报，确定分组多路均衡传输方案；
所述发送端将所述当前传输任务按照所述分组多路均衡传输方案传输至日志记录服务器；
所述确定分组多路均衡传输方案包括：
所述发送端获取具有连通性状态的转发辅助节点，并从所述具有连通性状态的转发辅助节点中选择一个可用节点，建立间接传输通道，其中，所述间接传输通道包括所述发送端至所述可用节点至所述日志记录服务器的链路；
所述发送端负载均衡所述当前传输任务中剩余需要传输的日志文件，按照第二传输速率通过所述直接传输通道进行传输，并按照所述第一传输速率通过所述间接传输通道进行传输，其中，所述第二传输速率小于所述第一传输速率。
2.根据权利要求1所述的方法，其特征在于，所述确定分组多路均衡传输方案还包括：
所述发送端判断所述当前传输任务是否结束，并监测拥塞报警情况；
如果所述当前传输任务未结束，所述拥塞警报解除，则按照第二传输速率通过所述直接传输通道进行传输，并按照所述第一传输速率通过所述间接传输通道进行传输，直至所述当前传输任务结束，释放所述间接传输通道；
如果所述当前传输任务未结束，所述拥塞警报未解除，则执行建立新的间接传输通道的操作，负载均衡所述当前传输任务中剩余需要传输的日志文件，按照第三传输速率通过所述直接传输通道进行传输，并按照所述第一传输速率通过所述间接传输通道和所述新的间接传输通道进行传输，直至所述当前传输任务结束，其中，建立新的间接传输通道的操作包括：从所述具有连通性状态的转发辅助节点中选择另一个可用节点，建立新的间接传输通道，所述第三传输速率小于所述第二传输速率。
3.根据权利要求2所述的方法，其特征在于，所述确定分组多路均衡传输方案还包括：
如果所述当前传输任务未结束，所述拥塞警报未解除，则关闭所述直接传输通道，继续执行建立新的间接传输通道的操作，直至具有连通性状态的全部转发辅助节点均建立了间接传输通道，按照所述第一传输速率通过全部间接传输通道进行传输，直至所述当前传输任务结束。
4.根据权利要求3所述的方法，其特征在于，所述确定分组多路均衡传输方案还包括：
如果所述当前传输任务未结束，所述拥塞警报未解除，则所述发送端评估所述当前传输任务中的日志文件的优先级，按照所述日志文件的优先级将所述日志文件利用全部间接传输通道进行传输。
5.一种大规模日志传输装置，其特征在于，包括：
传输模块，用于将当前传输任务按照第一传输速率通过直接传输通道进行传输，其中，所述直接传输通道包括发送端至日志记录服务器的链路；
监测模块，用于按照第一预设频率周期性拨测所述直接传输通道的链路传输状态，并获取所述日志记录服务器发送的第一反馈信息；
判断模块，用于判断所述第一反馈信息的延时是否符合预设评估结果；
所述监测模块，还用于在所述判断模块判断所述第一反馈信息的延时符合预设评估结果时，按照第二预设频率周期性拨测所述直接传输通道的链路传输状态，并获取所述日志记录服务器发送的第二反馈信息，其中所述第二预设频率大于所述第一预设频率；
所述判断模块，还用于判断所述第二反馈信息的延时是否大于所述第一反馈信息的延时；
确定模块，用于在所述判断模块判断所述第二反馈信息的延时大于所述第一反馈信息的延时时，则生成拥塞警报，确定分组多路均衡传输方案；
所述传输模块，还用于将所述当前传输任务按照所述分组多路均衡传输方案传输至日志记录服务器；
所述确定模块具体用于：获取具有连通性状态的转发辅助节点，并从所述具有连通性状态的转发辅助节点中选择一个可用节点，建立间接传输通道，其中，所述间接传输通道包括所述发送端至所述可用节点至所述日志记录服务器的链路；负载均衡所述当前传输任务中剩余需要传输的日志文件，按照第二传输速率通过所述直接传输通道进行传输，并按照所述第一传输速率通过所述间接传输通道进行传输，其中，所述第二传输速率小于所述第一传输速率。
6.根据权利要求5所述的装置，其特征在于，所述确定模块具体用于：判断所述当前传输任务是否结束，并监测拥塞报警情况；如果所述当前传输任务未结束，所述拥塞警报解除，则按照第二传输速率通过所述直接传输通道进行传输，并按照所述第一传输速率通过所述间接传输通道进行传输，直至所述当前传输任务结束，释放所述间接传输通道；如果所述当前传输任务未结束，所述拥塞警报未解除，则执行建立新的间接传输通道的操作，负载均衡所述当前传输任务中剩余需要传输的日志文件，按照第三传输速率通过所述直接传输通道进行传输，并按照所述第一传输速率通过所述间接传输通道和所述新的间接传输通道进行传输，直至所述当前传输任务结束，其中，建立新的间接传输通道的操作包括：从所述具有连通性状态的转发辅助节点中选择另一个可用节点，建立新的间接传输通道，所述第三传输速率小于所述第二传输速率。
7.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于：如果所述当前传输任务未结束，所述拥塞警报未解除，则关闭所述直接传输通道，继续执行建立新的间接传输通道的操作，直至具有连通性状态的全部转发辅助节点均建立了间接传输通道，按照所述第一传输速率通过全部间接传输通道进行传输，直至所述当前传输任务结束。
8.根据权利要求7所述的装置，其特征在于，所述确定模块具体用于：如果所述当前传输任务未结束，所述拥塞警报未解除，则所述发送端评估所述当前传输任务中的日志文件的优先级，按照所述日志文件的优先级将所述日志文件利用全部间接传输通道进行传输。
9.一种大规模日志传输系统，其特征在于，包括：如上述权利要求5-8任一项所述的发送端、转发辅助节点以及日志记录服务器。
CN201811520697.XA 2018-12-12 2018-12-12 一种大规模日志传输方法、装置及系统 Active CN109412966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811520697.XA CN109412966B (zh) 2018-12-12 2018-12-12 一种大规模日志传输方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811520697.XA CN109412966B (zh) 2018-12-12 2018-12-12 一种大规模日志传输方法、装置及系统

Publications (2)

Publication Number Publication Date
CN109412966A CN109412966A (zh) 2019-03-01
CN109412966B true CN109412966B (zh) 2022-08-23

Family

ID=65458778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811520697.XA Active CN109412966B (zh) 2018-12-12 2018-12-12 一种大规模日志传输方法、装置及系统

Country Status (1)

Country Link
CN (1) CN109412966B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111740860B (zh) * 2020-06-15 2023-06-09 中国工商银行股份有限公司 日志数据传输链路监控方法及装置
CN111953551B (zh) * 2020-08-27 2023-05-16 网易（杭州）网络有限公司 日志数据的传输方法、装置、电子设备及存储介质
CN112134764B (zh) * 2020-09-27 2022-08-09 中国银行股份有限公司 测试环境连通性的确定方法及装置
CN112306874A (zh) * 2020-10-30 2021-02-02 广州朗国电子科技有限公司 一种软件的远程维护系统、方法、装置及存储介质
CN112612673B (zh) * 2020-12-24 2022-12-06 青岛海尔科技有限公司 拨测日志的分析方法及装置、存储介质及电子装置
CN112860431B (zh) * 2021-01-20 2024-03-15 重庆六花网络科技有限公司 微服务节点的连接方法、系统、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115397A (ja) * 2004-10-18 2006-04-27 Nec Corp ログ収集方法、ログ収集システム、ログ情報通知用プログラム、ログ情報収集用プログラム及び記録媒体
CN101729589B (zh) * 2008-10-14 2012-07-18 北京大学 一种提高端到端数据传输速率的方法及系统
CN103139070B (zh) * 2013-01-29 2016-03-02 大唐移动通信设备有限公司 一种数据发送的路径选择方法及装置
CN103248581A (zh) * 2013-05-20 2013-08-14 杭州华三通信技术有限公司 聚合链路负载分担方法和装置
CN108494700B (zh) * 2018-02-02 2022-11-01 百度在线网络技术（北京）有限公司 跨链路数据传输方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109412966A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109412966B (zh) 一种大规模日志传输方法、装置及系统
US10057150B2 (en) Managing communication congestion for internet of things devices
US9923821B2 (en) Managing communication congestion for internet of things devices
US10097379B2 (en) Managing communication congestion for internet of things devices
CN109308221B (zh) 一种基于WebSocket长连接的Nginx动态负载均衡方法
US20210051210A1 (en) Method and device for transmitting data traffic
CN102281190B (zh) 负载均衡装置组网方法以及服务器、客户端接入方法
US20110320870A1 (en) Collecting network-level packets into a data structure in response to an abnormal condition
WO2017218473A1 (en) Dynamic acceleration in content delivery network
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
JP2014529366A (ja) カテゴリ情報の送信
CN107872457B (zh) 一种基于网络流量预测进行网络操作的方法及系统
CN110809060B (zh) 一种应用服务器集群的监控系统及监控方法
CN113472900B (zh) 报文处理方法、设备、存储介质及计算机程序产品
US9736235B2 (en) Computer system, computer, and load balancing method
CN111600807A (zh) 一种基于api网关设备的流量控制方法和系统
CN113364701B (zh) 基于rtt的结合比例积分微分控制的拥塞控制方法及设备
CN114598701B (zh) Cdn调度方法、系统、计算设备及存储介质
WO2022152230A1 (zh) 信息流识别方法、网络芯片及网络设备
CN116781717A (zh) 一种混合云数据同步的方法及系统
CN113726677A (zh) 一种网络拥塞控制方法及设备
CN110300153B (zh) 与MySQL建立链接的方法、装置、代理服务器及存储介质
US20160105352A1 (en) File system, control program of file system management device, and method of controlling file system
CN113709044B (zh) 数据转发方法、装置、电子设备和存储介质
EP3113024A1 (en) Network element monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant