CN111404713B - 一种网络资源调整方法、装置和存储介质 - Google Patents

一种网络资源调整方法、装置和存储介质 Download PDF

Info

Publication number
CN111404713B
CN111404713B CN201910001447.3A CN201910001447A CN111404713B CN 111404713 B CN111404713 B CN 111404713B CN 201910001447 A CN201910001447 A CN 201910001447A CN 111404713 B CN111404713 B CN 111404713B
Authority
CN
China
Prior art keywords
network
request
data
prediction data
network request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910001447.3A
Other languages
English (en)
Other versions
CN111404713A (zh
Inventor
张世俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910001447.3A priority Critical patent/CN111404713B/zh
Publication of CN111404713A publication Critical patent/CN111404713A/zh
Application granted granted Critical
Publication of CN111404713B publication Critical patent/CN111404713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络资源调整方法、装置和存储介质，用于在调整网络资源的过程中，有效提高用户感知。所述网络资源调整方法，包括：统计当前周期内的日志数据，确定满足第一预设条件的网络请求；针对确定出的网络请求，根据日志数据中记录的、该网络请求在当前周期内的网络指标数据，预测该网络请求在下一周期的第一网络指标预测数据；如果确定第一网络指标预测数据满足第二预设条件，则将该网络请求发送给网络拨测系统；以及接收网络拨测系统针对该网络请求进行模拟拨测获得的用户感知数据；根据网络指标数据和所述用户感知数据，预测该网络请求在下一周期内的服务指标预测数据；根据服务指标预测数据，通知主服务器调整下一周期内的网络资源。

Description

一种网络资源调整方法、装置和存储介质
技术领域
本发明涉及计算机网络技术领域，尤其涉及一种网络资源调整方法、装置和存储介质。
背景技术
互联网上现有的用户访问量越来越大，请求数据越来越多，各个从服务器上通常采用多层级的架构，当前静态数据多通过CDN(Content Delivery Network，内容分发网络)进行缓冲，通过CDN，用户可直接从边缘节点访问各种图片、视频资源，避免直接访问源站。这对于降低访问延时、提升体验有很大帮助，也有助于源站降低负载，容应对流量高峰，保证服务的稳定。
用户在从服务器上发起请求时，从服务器会记录当前请求的各种请求数据。从服务器日志数据内容包括访问时间、访问IP、响应时间、访问链接，Cache命中状态，http状态和响应数据大小等。通过统计这些日志数据，可以进行从服务器当前的服务状态是否正常分析、异常来源分析、流量分析和用户行为分析等等，并据此进行网络资源调整。
然而从服务器日志数据反映的是从服务器的网络指标，其并不能真正反映从服务器的业务质量，因此，据此进行的网络资源调整无法有效提高用户感知。
发明内容
本发明实施例提供一种网络资源调整方法、装置和存储介质，用于在调整网络资源的过程中，有效提高用户感知。
第一方面，提供一种网络资源调整方法，包括：
统计当前周期内的日志数据，确定满足第一预设条件的网络请求，所述日志数据为各个从服务器记录的；
针对确定出的网络请求，根据所述日志数据中记录的、该网络请求在当前周期内的网络指标数据，预测该网络请求在下一周期的第一网络指标预测数据；
如果确定所述第一网络指标预测数据满足第二预设条件，则将该网络请求发送给所述网络拨测系统；以及
接收所述网络拨测系统针对该网络请求进行模拟拨测获得的用户感知数据；
根据所述网络指标数据和所述用户感知数据，预测该网络请求在下一周期内的服务指标预测数据，所述服务指标预测数据包括第二网络指标预测数据和用户感知预测数据；
根据所述服务指标预测数据，通知主服务器调整下一周期内的网络资源。
可选地，所述网络指标数据包括以下至少一项：在当前周期内，针对所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；所述用户感知数据包括以下至少一项：所述网络请求对应的首包响应时间、平均下载速度、最大下载速度、视频初始缓冲时长、视频播放卡顿时长及次数。
可选地，所述第一网络指标预测数据包括以下至少一项：所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；以及
按照以下方法确定所述第一网络指标预测数据满足第二预设条件：
根据所述第一网络指标预测数据，确定所述网络请求的请求次数继续增加；和/或
根据所述第一网络指标预测数据，确定所述网络请求的响应时长继续增加。
可选地，统计当前周期内的日志数据，确定满足第一预设条件的网络请求，具体包括：
针对当前周期内的日志数据中包含的每一网络请求，分别统计该网络请求对应的请求次数和平均响应时长；
确定请求次数超过预设的请求次数阈值和/或平均响应时长超过预设的响应时长阈值的网络请求为满足第一预设条件的网络请求。
可选地，如果根据所述服务指标预测数据确定下一周期内、所述网络请求的服务质量下降时，则调整下一周期内的网络资源，具体包括：
通知主服务器在更多从服务器上缓存所述网络请求；或者
通知主服务器将缓存该网络请求对应链接的从服务器上、除了该网络请求以外的其他网络请求分配给其他从服务器或者调度给其他服务器集群。
第二方面，提供一种网络资源调整装置，包括：
第一确定单元，用于统计当前周期内的日志数据，确定满足第一预设条件的网络请求，所述日志数据为各个从服务器记录的；
第一预测单元，用于针对确定出的网络请求，根据所述日志数据中记录的、该网络请求在当前周期内的网络指标数据，预测该网络请求在下一周期的第一网络指标预测数据；
发送单元，用于如果确定所述第一网络指标预测数据满足第二预设条件，则将该网络请求发送给所述网络拨测系统；
接收单元，用于接收所述网络拨测系统针对该网络请求进行模拟拨测获得的用户感知数据；
第二预测单元，用于根据所述网络指标数据和所述用户感知数据，预测该网络请求在下一周期内的服务指标预测数据，所述服务指标预测数据包括第二网络指标预测数据和用户感知预测数据；
通知单元，用于根据所述服务指标预测数据，通知主服务器调整下一周期内的网络资源。
可选地，所述网络指标数据包括以下至少一项：在当前周期内，针对所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；所述用户感知数据包括以下至少一项：所述网络请求对应的首包响应时间、平均下载速度、最大下载速度、视频初始缓冲时长、视频播放卡顿时长及次数。
可选地，所述第一网络指标预测数据包括以下至少一项：所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；以及
所述发送单元，用于根据所述第一网络指标预测数据，确定所述网络请求的请求次数继续增加，则确定所述第一网络指标预测数据满足第二预设条件；和/或根据所述第一网络指标预测数据，确定所述网络请求的响应时长继续增加，则确定所述第一网络指标预测数据满足第二预设条件。
可选地，第一确定单元，用于针对当前周期内的日志数据中包含的每一网络请求，分别统计该网络请求对应的请求次数和平均响应时长；确定请求次数超过预设的请求次数阈值和/或平均响应时长超过预设的响应时长阈值的网络请求为满足第一预设条件的网络请求。
可选地，所述通知单元，具体用于如果根据所述服务指标预测数据确定下一周期内、所述网络请求的服务质量下降时，通知主服务器在更多从服务器上缓存所述网络请求；或者通知主服务器将缓存该网络请求对应链接的从服务器上、除了该网络请求以外的其他网络请求分配给其他从服务器或者调度给其他服务器集群。
第三方面，提供一种计算装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一网络资源调整方法的任一步骤。
第四方面，提供一种计算机可读介质，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行上述任一网络资源调整方法的任一步骤。
本发明实施例提供的网络资源调整方法、装置和存储介质，针对满足第一预设条件的网络请求，根据当前周期内统计的网络指标数据，预测该网络请求下一周期的第一网络指标预测数据，如果判断出该第一网络指标预测数据满足第二预设条件，则将该网络请求发送给网络拨测系统，请求针对该网络请求进行模拟拨测得到该网络请求的用户感知数据，进而根据该网络请求在当前周期内对应的网络指标数据和模拟拨测得到的用户感知数据，预测该网络请求在下一周期内的服务指标预测数据，并据此通知主服务器调整下一周期的网络资源，上述过程中，结合该网络请求在当前周期内对应的网络指标数据和模拟拨测得到的用户感知数据进行网络资源的调整，从而能够有效提高用户感知。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例的应用场景示意图；
图2为根据本发明实施方式的网络资源调整方法的实施流程示意图；
图3为本发明实施例中，LSTM的示意图；
图4为本发明实施例中，强化学习示意图；
图5为本发明实施例中，Q-learning流程示意图；
图6为本发明实施例中，网络资源调整装置的结构示意图；
图7为根据本发明实施方式的计算装置的结构示意图。
具体实施方式
为了在网络资源调整过程中，有效提高用户感知，本发明实施例提供了一种网络资源调整方法、装置和存储介质。
首先，对本发明实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
本发明中的终端设备可以是个人电脑(英文全称：PersonalComputer，PC)、平板电脑、个人数字助理(PersonalDigita l Assistant，PDA)、个人通信业务(英文全称：PersonalCommunication Service，PCS)电话、笔记本和手机等终端设备，也可以是具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们能够向用户提供语音和/或数据连通性的设备，以及与无线接入网交换语言和/或数据。
另外，本发明实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明实施例提供的方法，本发明实施例中，利用机器学习的方法，使用服务器日志数据动态分析当前网络状况，预测后续网络上各种请求的变化情况，使用网络拨测系统验证获取当前请求对用户感知的影响，预测未来时间段内特定请求的变化和对用户体验的影响，动态调整网络资源。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
如图1所示，其为本发明实施例的应用场景示意图，其为本发明实施例提供的网络资源调整方法的应用场景示意图。用户通过终端设备中安装的客户端访问服务器，其中，客户端可以为网页的浏览器，也可以为安装于终端设备，如手机，平板电脑等中的应用客户端。
终端设备与服务器之间通过网络进行通信连接，该网络可以为局域网、蜂窝网和广域网等。终端设备可以为便携设备(例如：手机、平板、笔记本电脑等)，也可以为个人电脑(PC，PersonalComputer)，服务器可以为任何能够提供互联网服务的设备。
本发明实施例中，服务器包括主服务器和从服务器，主服务器负责根据客户端的请求调度配置请求，完成负载均衡的功能，如把某个客户端的请求分配到指定的从服务器上，如从服务器1。服务器收到用户请求后，完成对用户的响应，并通过日志数据当前访问的各类详细数据，包括某个访问的请求时间，http请求类型、http返回状态、媒体类型、服务器的首字节响应时间以及整个响应时间等。同时各个从服务器也把其记载的日志传输到日志服务器上。日志服务器收到各个从服务器传过来的日志数据进行汇总后，完成日志存储，并把相应数据传送给各分析服务器。分析服务器完成日志的统计分析，从日志数据可以统计某个时间段请求最多的连接和请求次数，响应时间最长的链接和请求次数、http返回错误状态的链接和次数，其中，一个链接对应一个网络请求。同时还可以统计某台从服务器上的某个时间段的平均响应时间，平均上行和下行数据吞吐量等。同时分析服务器发送给主服务器进行相应的网络调整需求。网络拨测系统根据分析服务器的通知，对特定链接进行拨测模拟，同时把拨测结果反馈给分析服务器。
本发明实施例中，分析服务器通过机器学习的方法对接收到的日志数据进行分析，如图2所示，其为分析服务器实施本发明实施例提供的网络资源调整方法的实施流程示意图，包括以下步骤：
S21、统计当前周期内的日志数据，确定满足第一预设条件的网络请求。
其中，日志数据为各个从服务器记录的。
具体实施时，分析服务器针对当前周期内的日志数据中包含的每一网络请求，分别统计该网络请求对应的请求次数和平均响应时长；确定请求次数超过预设的请求次数阈值和/或平均响应时长超过预设的响应时长阈值的网络请求为满足第一预设条件的网络请求。例如，分析服务器可以选择出请求次数最多和平均响应时间最长的网络请求。
S22、针对确定出的网络请求，根据日志数据中记录的、该网络请求在当前周期内的网络指标数据，预测该网络请求在下一周期的第一网络指标预测数据。
其中，所述网络指标数据可以包括以下至少一项：在当前周期内，针对所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；第一网络指标预测数据包括以下至少一项：所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小。
基于此，分析服务器针对确定出的网络请求，根据日志数据中记录的、该网络请求在当前周期内的网络指标数据，使用基于LSTM(Long Short Term Memory networks，长短期记忆网络)的时序预测方法预测该网络请求在下一周期内的第一网络指标预测数据。
如图3所示，其为LSTM的示意图，xt即为当前周期的模型输入参数，ht即为当前周期模型的输出参数。输入参数xt包括当前周期内的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包平均大小等。输出参数ht为下一周期的预测参数，即本发明实施例中的第一网络指标预测数据，包括预测的下一周期的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包平均大小等。
S23、如果确定第一网络指标预测数据满足第二预设条件，则将该网络请求发送给网络拨测系统。
在步骤S22中预测得到该网络请求在下一周期的第一网络指标预测数据之后，分析服务器判断第一网络指标预测数据是否满足第二预设条件，具体地，可以判断根据第一网络指标预测数据，确定该网络请求的请求次数继续增加；和/或根据第一网络指标预测数据，确定该网络请求的响应时长继续增加。即通过对输出的第一网络指标预测数据进行分析，如果预测到该网络请求的响应时间和/或请求次数继续增加，则分析服务器通知网络拨测系统针对该网络请求进行模拟拨测。
S24、接收网络拨测系统针对该网络请求进行模拟拨测获得的用户感知数据。
具体实施时，网络拨测系统接收到分析服务器的通知之后，按照一定频率(如每一分钟)对该网络请求进行模拟拨测，在网络拨测系统上获取该网络请求对应的用户感知数据，包括以下至少一项：首包响应时间，平均下载速度，最大下载速度。如果该网络请求为视频，则还可以包括视频初始缓冲时长和视频播放卡顿时长及次数。网络拨测系统把拨测结果反馈给分析服务器。
这样，分析服务器获得了某个网络请求在当前周期的状态(state)，包括上述统计得到的该请求当前周期的网络指标数据，例如在服务器的请求次数、响应时间，以及网络拨测系统针对该网络请求的拨测结果，包括网络拨测系统的响应时间、下载速度、拨测模块的缓冲时间等等。
S25、根据网络指标数据和用户感知数据，预测该网络请求在下一周期内的服务指标预测数据。
其中，所述服务指标预测数据包括第二网络指标预测数据和用户感知预测数据。
本步骤中，分析服务器根据该网络请求在当前周期内的网络指标数据和用户感知数据，使用基于LSTM(Long Short Term Memory networks，长短期记忆网络)的时序预测方法预测该网络请求在下一周期内的服务指标预测数据，例如，该网络请求的网络指标数据和用户感知数据，如响应时间、用户下载速度以及视频播放缓冲时长、卡段时长及次数等播放情况。
具体地，LSTM的输入参数xt包括当前周期确定出的网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包平均大小以及针对该网络请求进行模拟拨测得到的首包响应时间，平均下载速度，最大下载速度、视频初始缓冲时长和播放卡顿时长及次数等。输出参数ht为下一周期的服务指标预测数据，包括预测的下一周期该网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、平均每个响应数据包大小、用户播放或下载的首包响应时间，平均下载速度，最大下载速度、视频初始缓冲时长和播放卡顿时长及次数等。
S26、根据预测得到的服务指标预测数据，通知主服务器调整下一周期内的网络资源。
具体实施时，如果分析服务器根据服务指标预测数据确定下一周期内、确定出的网络请求的服务质量下降时，则通知主服务器在更多从服务器上缓存所述网络请求；或者通知主服务器将缓存该网络请求对应链接的从服务器上、除了该网络请求以外的其他网络请求分配给其他从服务器或者调度给其他服务器集群。
例如，分析服务器根据预测得到的服务指标预测数据，如果在下一周期针对该网络请求的下载速度低于某个设定阈值，或者视频播放的体验mos(Mean Object Score)分低于用户可接受的程度，例如，为3分，则认为该网络请求在下一周期服务质量下降，用户体验可能会严重降低到可接受的程度，分析服务器通知主服务器对网络资源进行调整。
主服务器对某个网络请求的资源调整内容包括使用更多的从服务器缓存这个网络请求，当有请求到来时，主服务器把请求重定向到其他服务器；也可以把源分配到当前缓存该链接的服务器上的其他请求分配到其他服务器。具体实施时，如果整个服务器集群整个负载较大，也可以请求调度到其他服务器集群上处理。长时间调整可以包括整个服务器集群升级，包括增加服务器数量和配置，扩大出口带宽等等。
拨测结果分析和服务器网络资源调整是一个强化学习不断改进的过程，如图4所示，通过一段时间内网络资源的调整达到用户对某个网络请求的下载或者播放满足用户体验。分析服务器获取当前请求的状态(state)，然后通知主服务器进行调整，可视为一种action，服务器调整完成后，分析服务器通知网络拨测系统对该网络请求进行拨测，获取当前拨测结果，即为reward(奖励)，分析当前周期用户体验和上一周期拨测的用户感知数据差别，如果调整对用户体验改善满足要求，则停止调整；反之，则根据拨测结果请求主服务器进一步进行网络调整action。
具体实施时，可使用Q-learning方法来作为选择调整网络调整策略的方法，Q为动作效用函数(action-utility function)，用于评价在特定状态下采取网络某个调整部署的优劣，它有两个输入：「状态state」和「动作action」。它将返回在该状态下执行该动作的未来奖励期望，具体实现如图5所示，其中，S表示状态state，A表示动作action。
本发明实施例提供的网络资源调整方法中，结合服务器记录的某一网络请求的日志数据与网络拨测系统针对该网络请求进行模拟拨测得到的拨测结果，先通过日志数据预测该网络请求在下一周期的请求次数和响应时间的变化，再利用网络拨测系统针对未来负荷更大的流(响应时间或请求次数继续增加)进行拨测，利用拨测结果和当前日志数据来预测该网络请求的用户体验。若预期用户体验降低到不可接受，使用强化学习的方法对网络进行动态资源调整，从而，在网络资源调整过程中，有效提高用户体验。
基于同一发明构思，本发明实施例中还提供了一种网络资源调整装置，由于上述装置解决问题的原理与网络资源调整方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图6所示，其为本发明实施例提供的网络资源调整装置的结构示意图，包括：
第一确定单元61，用于统计当前周期内的日志数据，确定满足第一预设条件的网络请求，所述日志数据为各个从服务器记录的；
第一预测单元62，用于针对确定出的网络请求，根据所述日志数据中记录的、该网络请求在当前周期内的网络指标数据，预测该网络请求在下一周期的第一网络指标预测数据；
发送单元63，用于如果确定所述第一网络指标预测数据满足第二预设条件，则将该网络请求发送给所述网络拨测系统；
接收单元64，用于接收所述网络拨测系统针对该网络请求进行模拟拨测获得的用户感知数据；
第二预测单元65，用于根据所述网络指标数据和所述用户感知数据，预测该网络请求在下一周期内的服务指标预测数据，所述服务指标预测数据包括第二网络指标预测数据和用户感知预测数据；
通知单元66，用于根据所述服务指标预测数据，通知主服务器调整下一周期内的网络资源。
可选地，所述网络指标数据包括以下至少一项：在当前周期内，针对所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；所述用户感知数据包括以下至少一项：所述网络请求对应的首包响应时间、平均下载速度、最大下载速度、视频初始缓冲时长、视频播放卡顿时长及次数。
可选地，所述第一网络指标预测数据包括以下至少一项：所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；以及
所述发送单元，用于根据所述第一网络指标预测数据，确定所述网络请求的请求次数继续增加，则确定所述第一网络指标预测数据满足第二预设条件；和/或根据所述第一网络指标预测数据，确定所述网络请求的响应时长继续增加，则确定所述第一网络指标预测数据满足第二预设条件。
可选地，第一确定单元，用于针对当前周期内的日志数据中包含的每一网络请求，分别统计该网络请求对应的请求次数和平均响应时长；确定请求次数超过预设的请求次数阈值和/或平均响应时长超过预设的响应时长阈值的网络请求为满足第一预设条件的网络请求。
可选地，所述通知单元，具体用于如果根据所述服务指标预测数据确定下一周期内、所述网络请求的服务质量下降时，通知主服务器在更多从服务器上缓存所述网络请求；或者通知主服务器将缓存该网络请求对应链接的从服务器上、除了该网络请求以外的其他网络请求分配给其他从服务器或者调度给其他服务器集群。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本发明示例性实施方式的网络资源调整方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的计算装置。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本发明的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述描述的根据本发明各种示例性实施方式的网络资源调整方法中的步骤。例如，所述处理器可以执行如图2中所示的步骤S21、统计当前周期内的日志数据，确定满足第一预设条件的网络请求，和步骤S22、针对确定出的网络请求，根据日志数据中记录的、该网络请求在当前周期内的网络指标数据，预测该网络请求在下一周期的第一网络指标预测数据；以及步骤S23、如果确定第一网络指标预测数据满足第二预设条件，则将该网络请求发送给网络拨测系统；步骤S24、接收网络拨测系统针对该网络请求进行模拟拨测获得的用户感知数据；步骤S25、根据网络指标数据和用户感知数据，预测该网络请求在下一周期内的服务指标预测数据；S26、根据预测得到的服务指标预测数据，通知主服务器调整下一周期内的网络资源。
下面参照图7来描述根据本发明的这种实施方式的计算装置70。图7显示的计算装置70仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算装置70以通用计算设备的形式表现。计算装置70的组件可以包括但不限于：上述至少一个处理器71、上述至少一个存储器72、连接不同系统组件(包括存储器72和处理器71)的总线73。
总线73表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器72可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)721和/或高速缓存存储器722，还可以进一步包括只读存储器(ROM)723。
存储器72还可以包括具有一组(至少一个)程序模块724的程序/实用工具725，这样的程序模块724包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置70也可以与一个或多个外部设备74(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置70交互的设备通信，和/或与使得该计算装置70能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口75进行。并且，计算装置70还可以通过网络适配器76与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器76通过总线73与用于计算装置70的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置70使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本发明提供的网络资源调整方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的网络资源调整方法中的步骤，例如，所述计算机设备可以执行如图2中所示的步骤S21、统计当前周期内的日志数据，确定满足第一预设条件的网络请求，和步骤S22、针对确定出的网络请求，根据日志数据中记录的、该网络请求在当前周期内的网络指标数据，预测该网络请求在下一周期的第一网络指标预测数据；以及步骤S23、如果确定第一网络指标预测数据满足第二预设条件，则将该网络请求发送给网络拨测系统；步骤S24、接收网络拨测系统针对该网络请求进行模拟拨测获得的用户感知数据；步骤S25、根据网络指标数据和用户感知数据，预测该网络请求在下一周期内的服务指标预测数据；S26、根据预测得到的服务指标预测数据，通知主服务器调整下一周期内的网络资源。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的用于网络资源调整的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或从服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种网络资源调整方法，其特征在于，包括：
统计当前周期内的日志数据，确定满足第一预设条件的网络请求，所述日志数据为各个从服务器记录的；
针对确定出的网络请求，根据所述日志数据中记录的、该网络请求在当前周期内的网络指标数据，预测该网络请求在下一周期的第一网络指标预测数据；
如果确定所述第一网络指标预测数据满足第二预设条件，则将该网络请求发送给网络拨测系统；以及
接收所述网络拨测系统针对该网络请求进行模拟拨测获得的用户感知数据；
根据所述网络指标数据和所述用户感知数据，预测该网络请求在下一周期内的服务指标预测数据，所述服务指标预测数据包括第二网络指标预测数据和用户感知预测数据；
根据所述服务指标预测数据，通知主服务器调整下一周期内的网络资源。
2.如权利要求1所述的方法，其特征在于，所述网络指标数据包括以下至少一项：在当前周期内，针对所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；所述用户感知数据包括以下至少一项：所述网络请求对应的首包响应时间、平均下载速度、最大下载速度、视频初始缓冲时长、视频播放卡顿时长及次数。
3.如权利要求2所述的方法，其特征在于，所述第一网络指标预测数据包括以下至少一项：所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；以及
按照以下方法确定所述第一网络指标预测数据满足第二预设条件：
根据所述第一网络指标预测数据，确定所述网络请求的请求次数继续增加；和/或
根据所述第一网络指标预测数据，确定所述网络请求的响应时长继续增加。
4.如权利要求1所述的方法，其特征在于，统计当前周期内的日志数据，确定满足第一预设条件的网络请求，具体包括：
针对当前周期内的日志数据中包含的每一网络请求，分别统计该网络请求对应的请求次数和平均响应时长；
确定请求次数超过预设的请求次数阈值和/或平均响应时长超过预设的响应时长阈值的网络请求为满足第一预设条件的网络请求。
5.如权利要求1～4任一权利要求所述的方法，其特征在于，如果根据所述服务指标预测数据确定下一周期内、所述网络请求的服务质量下降时，则调整下一周期内的网络资源，具体包括：
通知主服务器在更多从服务器上缓存所述网络请求；或者
通知主服务器将缓存该网络请求对应链接的从服务器上、除了该网络请求以外的其他网络请求分配给其他从服务器或者调度给其他服务器集群。
6.一种网络资源调整装置，其特征在于，包括：
第一确定单元，用于统计当前周期内的日志数据，确定满足第一预设条件的网络请求，所述日志数据为各个从服务器记录的；
第一预测单元，用于针对确定出的网络请求，根据所述日志数据中记录的、该网络请求在当前周期内的网络指标数据，预测该网络请求在下一周期的第一网络指标预测数据；
发送单元，用于如果确定所述第一网络指标预测数据满足第二预设条件，则将该网络请求发送给网络拨测系统；
接收单元，用于接收所述网络拨测系统针对该网络请求进行模拟拨测获得的用户感知数据；
第二预测单元，用于根据所述网络指标数据和所述用户感知数据，预测该网络请求在下一周期内的服务指标预测数据，所述服务指标预测数据包括第二网络指标预测数据和用户感知预测数据；
通知单元，用于根据所述服务指标预测数据，通知主服务器调整下一周期内的网络资源。
7.如权利要求6所述的装置，其特征在于，所述网络指标数据包括以下至少一项：在当前周期内，针对所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；所述用户感知数据包括以下至少一项：所述网络请求对应的首包响应时间、平均下载速度、最大下载速度、视频初始缓冲时长、视频播放卡顿时长及次数。
8.如权利要求7所述的装置，其特征在于，所述第一网络指标预测数据包括以下至少一项：所述网络请求的请求次数、响应失败次数、首字节响应时间、整个请求响应时间、每个响应数据包的平均大小；以及
所述发送单元，用于根据所述第一网络指标预测数据，确定所述网络请求的请求次数继续增加，则确定所述第一网络指标预测数据满足第二预设条件；和/或根据所述第一网络指标预测数据，确定所述网络请求的响应时长继续增加，则确定所述第一网络指标预测数据满足第二预设条件。
9.如权利要求6所述的装置，其特征在于，
第一确定单元，用于针对当前周期内的日志数据中包含的每一网络请求，分别统计该网络请求对应的请求次数和平均响应时长；确定请求次数超过预设的请求次数阈值和/或平均响应时长超过预设的响应时长阈值的网络请求为满足第一预设条件的网络请求。
10.如权利要求6～9任一权利要求所述的装置，其特征在于，
所述通知单元，具体用于如果根据所述服务指标预测数据确定下一周期内、所述网络请求的服务质量下降时，通知主服务器在更多从服务器上缓存所述网络请求；或者通知主服务器将缓存该网络请求对应链接的从服务器上、除了该网络请求以外的其他网络请求分配给其他从服务器或者调度给其他服务器集群。
11.一种计算装置，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～5任一权利要求所述方法的步骤。
12.一种计算机可读介质，其特征在于，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行权利要求1～5任一所述方法的步骤。
CN201910001447.3A 2019-01-02 2019-01-02 一种网络资源调整方法、装置和存储介质 Active CN111404713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910001447.3A CN111404713B (zh) 2019-01-02 2019-01-02 一种网络资源调整方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910001447.3A CN111404713B (zh) 2019-01-02 2019-01-02 一种网络资源调整方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111404713A CN111404713A (zh) 2020-07-10
CN111404713B true CN111404713B (zh) 2022-12-13

Family

ID=71413221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910001447.3A Active CN111404713B (zh) 2019-01-02 2019-01-02 一种网络资源调整方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111404713B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513800B (zh) * 2020-11-17 2023-06-20 辰芯科技有限公司 资源选择方法、装置、设备及介质
CN112583667B (zh) * 2020-12-11 2022-02-11 上海哔哩哔哩科技有限公司 内容分发网络链路评估方法及装置
CN112596985B (zh) * 2020-12-30 2023-11-10 绿盟科技集团股份有限公司 一种it资产探测方法、装置、设备和介质
CN113076192B (zh) * 2021-03-05 2023-09-01 深圳前海微众银行股份有限公司 一种负载均衡方法及装置、设备、存储介质
CN113098710B (zh) * 2021-03-26 2022-07-12 北京赛博云睿智能科技有限公司 网络资源运行参数自调整与优化方法及装置
CN114531489A (zh) * 2022-01-14 2022-05-24 北京字节跳动网络技术有限公司 一种请求响应方法及装置
CN117336521A (zh) * 2022-06-27 2024-01-02 腾讯科技（深圳）有限公司 视频流传输的控制方法及装置、设备、介质
CN115801583A (zh) * 2022-11-16 2023-03-14 天翼数字生活科技有限公司 链路情况感知方法、装置及计算机设备
CN117938840A (zh) * 2024-03-21 2024-04-26 北京火山引擎科技有限公司 内容分发网络中的数据传输的方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791034A (zh) * 2016-05-15 2016-07-20 北京联合大学 一种浏览类业务感知分析方法
CN106302211A (zh) * 2016-07-18 2017-01-04 网易无尾熊（杭州）科技有限公司 一种网络资源的请求量控制方法和装置
CN106792879A (zh) * 2016-12-28 2017-05-31 成都网丁科技有限公司 一种业务质量的主动拨测方法
CN107330620A (zh) * 2017-06-30 2017-11-07 北京富通东方科技有限公司 基于业务与性能关联分析及动态感知进行资源调整的方法
CN108901036A (zh) * 2018-07-04 2018-11-27 广东海格怡创科技有限公司 小区网络参数的调整方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791034A (zh) * 2016-05-15 2016-07-20 北京联合大学 一种浏览类业务感知分析方法
CN106302211A (zh) * 2016-07-18 2017-01-04 网易无尾熊（杭州）科技有限公司 一种网络资源的请求量控制方法和装置
CN106792879A (zh) * 2016-12-28 2017-05-31 成都网丁科技有限公司 一种业务质量的主动拨测方法
CN107330620A (zh) * 2017-06-30 2017-11-07 北京富通东方科技有限公司 基于业务与性能关联分析及动态感知进行资源调整的方法
CN108901036A (zh) * 2018-07-04 2018-11-27 广东海格怡创科技有限公司 小区网络参数的调整方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111404713A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111404713B (zh) 一种网络资源调整方法、装置和存储介质
Xu et al. PROTEUS: network performance forecast for real-time, interactive mobile applications
US8271646B2 (en) Network scoring system and method
CN107592345B (zh) 交易限流装置、方法及交易系统
US11671332B2 (en) Adjusting triggers for automatic scaling of virtual network functions
US11523287B2 (en) Machine-learning framework for spectrum allocation
CN113163002B (zh) 一种服务器切换方法、装置及存储介质
Raca et al. Empowering video players in cellular: Throughput prediction from radio network measurements
KR20150013183A (ko) 전송을 위한 비디오들의 점진적 증가 준비
CN110809167A (zh) 一种视频播放方法、装置、电子设备及存储介质
US20150326694A1 (en) Method, apparatus and computer program for providing a data object from a content server to a client device over a radio access network (ran)
Aguilar-Armijo et al. Space: Segment prefetching and caching at the edge for adaptive video streaming
US10110445B2 (en) Closed control loops for data centers
CN110798496A (zh) 一种cdn调度系统、方法及装置
CN113709032A (zh) 信息处理方法、系统、电子设备及计算机可读介质
Silva et al. Content-aware prefetching in over-the-top wireless networks
Al-Abbasi A quantitative framework for cdn-based over-the-top video streaming systems
KR102448702B1 (ko) 엣지 서비스 증설 제어 시스템 및 그 제어방법
US11930390B2 (en) Intent-driven network analytics for predictive network slice management
US20230132786A1 (en) Artificial intelligence based power consumption optimization
Theera-Ampornpunt Improving Failure Management Through Cooperation Between Mobile Devices and Cellular Network
Hung et al. An Effective Segment Pre-Fetching for Short-Form Video Streaming
Bagchi et al. TANGO: Performance and Fault Management in Cellular Networks through Cooperation between Devices and Edge Computing Nodes
CN117972360A (zh) Ai大模型的优化方法、装置、终端设备和存储介质
CN115941611A (zh) 流量控制方法、装置、设备和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant