CN110661727B - 数据传输优化方法、装置、计算机设备和存储介质 - Google Patents

数据传输优化方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110661727B
CN110661727B CN201910747835.6A CN201910747835A CN110661727B CN 110661727 B CN110661727 B CN 110661727B CN 201910747835 A CN201910747835 A CN 201910747835A CN 110661727 B CN110661727 B CN 110661727B
Authority
CN
China
Prior art keywords
data
data transmission
frequency threshold
initial
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910747835.6A
Other languages
English (en)
Other versions
CN110661727A (zh
Inventor
林泽全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN201910747835.6A priority Critical patent/CN110661727B/zh
Publication of CN110661727A publication Critical patent/CN110661727A/zh
Application granted granted Critical
Publication of CN110661727B publication Critical patent/CN110661727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/52—Queue scheduling by attributing bandwidth to queues
    • H04L47/522—Dynamic queue service slot or variable bandwidth allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/29—Flow control; Congestion control using a combination of thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及数据同步技术领域，尤其涉及一种数据传输优化方法、装置、计算机设备和存储介质，包括：获取待传输的初始数据数量，根据所述初始数据数量设定数据传输的初始频率阈值；获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，建立动态频率阈值曲线；修正动态频率阈值曲线后，得到数据传输最优频率值；将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成数据传输频率阈值模型；根据所述数据传输频率阈值模型的输出结果进行数据传输。本申请达到实时对数据传输量进行调整，以实现充分利用带宽的效果。

Description

数据传输优化方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据同步技术领域，尤其涉及一种数据传输优化方法、装置、计算机设备和存储介质。
背景技术
随着通讯技术的发展，数据传输交换的规模越来越大，数量呈线性增长，如何高效地传输大量的运行状态数据和快速地进行呈现页面的刷新就显得十分重要。
业界在数据传输和页面刷新上通常采用的方法是：把查询到的所有状态数据进行全部传输，例如，服务器和客户端同步显示时，服务器检测到用户基于客户端的刷新请求时，服务器将数据进行全部的重新发送。这样的数据传输效率降低，浪费网络资源。在服务器和客户端之间的带宽又非常有限的情况下，大数据量的数据传输和页面刷新会导致服务器和客户端之间的数据传输效率降低，造成客户端卡死甚至数据传输失败等不同的情况。
虽然，目前已经有将页面信息进行拆解后进行数据传输的技术方案，但是，在进行数据传输时，每一次传输的数据量不能有效控制，因而会造成带宽的浪费。
发明内容
基于此，有必要针对多次数据传输数据量不能有效控制达到最优化使用带宽的问题，提供一种数据传输优化方法、装置、计算机设备和存储介质。
一种数据传输优化方法，包括如下步骤：
获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值；
获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线；
根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值；
将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型；
根据所述数据传输频率阈值模型的输出结果进行数据传输。
在其中一个可能的实施例中，所述获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值，包括：
获取数据传输发起端的待传输页面信息和数据传输接收端的页面信息，抽取上述两个页面信息中的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量；
获取所述初始数据数量传输的历史数据和当前带宽，根据所述初始数据数量传输的历史数据和当前带宽计算得到所述历史数据的平均值，根据所述当前带宽对所述历史数据的平均值进行修正后得到所述初始频率阈值。
在其中一个可能的实施例中，所述获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线，包括：
获取数据传输的历史数据，根据数据传输的历史数据设置数个统计数据传输情况的时间节点，当所述时间节点到来时，统计所述数据传输发起端的剩余的数据量，得到所述数据传输发起端已经发送的数据量；
获取所述数据传输接收端根据接收到的数据对页面进行渲染后的页面信息，根据所述页面信息得到所述数据传输接收端得到的数据量；
将所述数据传输发起端已经发送的数据量与所述数据传输接收端得到的数据量做差得到数据损失差值，将数据损失差值入参到迭代函数中进行修正后得到实时频率阈值；
将所述实时频率阈值按照时间顺序排列，以时间为纵坐标，实时频率阈值的数值为横坐标，建立一动态频率阈值曲线。
在其中一个可能的实施例中，所述根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值，包括：
获取所述动态频率阈值曲线中的异常值，去除所述异常值后得到去除异常值的动态频率阈值曲线；
获取所述去除异常值的动态频率阈值曲线中任意两个相邻动态阈值，计算所述任意两个相邻动态阈值的平均值；
将所述任意两个相邻动态阈值的平均值入参到一次平滑算法公式中进行最优值预测，公式为：
Sj＝ayj+(1-a)Sj-1，
式中，Sj为时间j的最优值；yj为时间j的实际值；
Sj-1为时间j-1的最优值；a为平滑常数，其取值范围为[0，1]；
以时间为横坐标，最优值的数值为纵坐标建立一最优值曲线，根据最小二乘法得到所述最优值曲线的趋势线，根据所述趋势线在不同时间段的截距得到不同时间段的数据传输最优频率值。
在其中一个可能的实施例中，所述将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型，包括：
将所述样本的参数入参到深度学习模型的AdaGrad算法中，进行降梯度处理，其公式为：
Figure GDA0003741120690000041
式中：
Figure GDA0003741120690000042
表示第i个参数的梯度，t代表每一次迭代，Gi,t表示前t步参数θi梯度的累加，ε是一个极小值，作用是防止分母为0，θi,t表示样本的参数，η表示效率参数；
将梯度处理后的所述样本的参数入参到深度学习模型中的卷积神经网络模型进行卷积后得到训练好的样本参数，其公式为：
Figure GDA0003741120690000043
式中：b(θi,t)表示训练好的样本参数，a(θi,t)表示第i个卷积输出，N表示卷积核的数量，n表示近邻的卷积核个数，k,α,β是卷积参数，数值范围为0～1；
获取所述训练好的样本参数对应的数据传输量，根据所述数据传输量对所述样本参数进行编号后形成一数据传输频率阈值模型。
在其中一个可能的实施例中，所述获取数据传输发起端的待传输页面信息和数据传输接收端的页面信息，抽取上述两个页面信息中的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量，包括：
获取数据传输发起端的待传输页面上的特征元素；
遍历数据传输接收端的初始页面，获取所述初始页面上与所述待传输页面上的特征元素相同的特征元素；
统计所述初始页面上不存在的特征元素，根据所述初始页面上不存在的特征元素建立待传输特征元素集，将所述待传输特征元素集进行二值化处理后得到所述待传输页面和所述初始页面的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量。
在其中一个可能的实施例中，所述获取所述初始数据数量传输的历史数据和当前带宽，根据所述初始数据数量传输的历史数据和当前带宽计算得到所述历史数据的平均值，根据所述当前带宽对所述历史数据的平均值进行修正后得到所述初始频率阈值，包括：
获取所述初始数据数量传输的历史数据，去除所述历史数据中的最大值和最小值后计算得到所述历史数据的平均值；
发送带宽测试信息分别至所述数据传输发起端和所述数据传输接收端，所述带宽测试信息包括带宽测试的开始时刻和结束时刻；
获取从所述开始时刻到所述结束时刻之间的所述数据传输发起端反馈的第一测试报文数和所述数据传输接收端反馈的第二测试报文数，计算所述第一测试报文数和所述第二测试报文数的平均值得到当前带宽；
以所述当前带宽为参数对所述历史数据进行修正后得到所述初始频率阈值。
一种数据传输优化装置，包括如下模块：
初始频率阈值模块，设置为获取待传输的初始数据数量，根据所述初始数据数量设定得到数据传输的初始频率阈值；
动态频率阈值曲线模块，设置为获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线；
最优频率值模块，设置为根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值；
频率阈值模型模块，设置为将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的样本模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型；
数据传输模块，设置为根据所述数据传输频率阈值模型的输出结果进行数据传输。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述基数据传输优化方法的步骤。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述数据传输优化的步骤。
与现有机制相比，本申请具有以下优点：
(1)通过设立动态阈值，并建立动态阈值模型，以实现充分利用带宽的效果；
(2)通过对带宽和历史数据进行分析，从而精准的得到初始频率阈值，便于对数据传输的阈值进行有效分析；
(3)通过对数据传输过程进行迭代分析，建立动态频率阈值曲线，从而便于对数据传输过程中的阈值进行限定；
(4)通过平滑算法和最小二乘法有效的对动态频率阈值曲线进行修正，从而获得最优频率值。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。
图1为本申请在一个实施例中的一种数据传输优化方法的整体流程图；
图2为本申请在一个实施例中的一种数据传输优化方法中的初始频率阈值确定过程示意图；
图3为本申请在一个实施例中的一种数据传输优化方法中的动态频率阈值曲线生成过程示意图；
图4为本申请在一个实施例中的一种数据传输优化方法中的最优频率值选定过程示意图；
图5为本申请在一个实施例中的一种数据传输优化装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本申请在一个实施例中的一种数据传输优化方法的整体流程图，如图1所示，一种数据传输优化方法，包括以下步骤：
S1、获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值；
具体的，在数据传输过程中，由于数据传输发起端和数据接收端的数据可能出现重复出现的情况，因此需要先确定待传输的初始数据数量。而初始频率阈值一般是根据历史数据获得的。一般初始频率阈值可以是多个值，比如初始数据数量为989KB，那么遍历各个初始频率阈值，计算初始频率阈值与初始数据数量的差值，若这个差值小于预设的误差阈值，如在本例子中误差阈值为50KB，那么989KB对应的初始频率阈值为1000KB。初始频率阈值在本实施例中，通常是以100KB为间隔设置，即初始频率阈值为100KB、200KB...1000KB。
S2、获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线；
具体的，在进行数据传输过程中，由于带宽等原因造成数据传输发起端上传1000KB数据时，在数据传输接收端可能只接收到900KB的数据，这就会产生100KB的差值。若这个差值超出预设的差值阈值，则需要对传输的频率阈值进行调整，形成实时的动态频率阈值，以时间为横坐标，频率阈值为纵坐标，连接这些动态频率阈值后就可以形成动态频率阈值曲线。
S3、根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值；
具体的，预设的修正方案包括去除异常值和曲线平滑处理等方式，具体采用的修正方式可以根据动态频率阈值曲线的各处曲率半径来决定。即，若在动态频率阈值曲线上某处的曲率大于1，则需要进行去除异常点。
S4、将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型。
具体的，所选用的神经网络模型可以是卷积神经网络模型，也可以是模糊神经网络模型，在进行样本训练时，可以将样本分为测试组和验证组，然后根据两组数据的训练结果对神经网络模型进行调整。
S5、根据所述数据传输频率阈值模型的输出结果进行数据传输。
本步骤中，在进行数据传输时，只需要得到数据传输量，然后将该数据量入参到数据传输频率阈值模型就可以得到对应的数据传输方式。比如，一次传输还是分批次进行传输等。也就是说，在进行数据传输的过程中只需要根据数据传输量计算机就可以根据数据传输频率阈值模型的输出结果自动选定合适的数据传输方式，如实时输出结果为100KB小于带宽，则采用一次传输，若为1000KB大于带宽，则分两次进行传输，传输的时间间隔为1s。
本实施例，通过设立动态阈值，并建立动态阈值模型，以实现充分利用带宽的效果。
图2为本申请在一个实施例中的一种数据传输优化方法中的初始频率阈值确定过程示意图，如图所示，所述S1、获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值，包括：
S11、获取数据传输发起端的待传输页面信息和数据传输接收端的页面信息，抽取上述两个页面信息中的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量；
具体的，在进行差异数据抽取时，可以将两个页面均分割成数个子块，然后在子块之间进行像素点比较，根据比较结果即可以得到差异数据。比如,待传输页面上有一个篮球，而在数据传输接收端的页面没有这个篮球，则需要获得“篮球”对应的像素点，通过像素点得到“篮球”这一图像的数据量是AkB，那么需要传输的数据量为AKB。
S12、获取所述初始数据数量传输的历史数据和当前带宽，根据所述初始数据数量传输的历史数据和当前带宽计算得到所述历史数据的平均值，根据所述当前带宽对所述历史数据的平均值进行修正后得到所述初始频率阈值。
具体的，在获取历史数据时，可以根据历史数据距离现在时刻的远近赋予不同历史数据以不同的权重，即距离现在时刻越近的历史数据的权重越大，距离现在时刻越远的历史数据权重越小。然后再加权求平均值得到历史数据的平均值。例如，历史数据的平均值是在带宽为3.2GB/s条件下获得的，而当前带宽为1.6GB/s，那么对于数据传输的历史数据就需要将传输量除以2，得到修正后的初始频率阈值。
本实施例，通过对带宽和历史数据进行分析，从而精准的得到初始频率阈值，便于对数据传输的阈值进行有效分析。
图3为本申请在一个实施例中的一种数据传输优化方法中的动态频率阈值曲线生成过程示意图，如图所示，所述S2、获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线，包括：
S21、获取数据传输的历史数据，根据数据传输的历史数据设置数个统计数据传输情况的时间节点，当所述时间节点到来时，统计所述数据传输发起端的剩余的数据量，得到所述数据传输发起端已经发送的数据量；
其中，时间节点的设置需要根据历史数据中的数据量和带宽情况。
S22、获取所述数据传输接收端根据接收到的数据对页面进行渲染后的页面信息，根据所述页面信息得到所述数据传输接收端得到的数据量；
具体的，获取所述数据传输接收端根据接收到的数据对页面进行渲染后的特征元素；其中，数据传输接收端在得到对页面进行更新的更新数据后，将更新数据与当前页面进行比较，若当前页面中已经存在更新数据对应的特征元素，则忽略所述更新数据，否则对所述更新数据进行代码解析，得到所述更新数据对应的页面特征元素。根据所述渲染后的特征元素对应的数据量，确定所述数据传输接收端得到的数据量。比如，在页面上添加一个滚动条对应的数据量为30KB，则认为在统计的时间段内，数据传输接收端得到30kB的数据量。
S23、将所述数据传输发起端已经发送的数据量与所述数据传输接收端得到的数据量做差得到数据损失差值，将数据损失差值入参到迭代函数中进行修正后得到实时频率阈值；
其中，迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点,让计算机对一组指令(或一定步骤)进行重复执行,在每次执行这组指令(或这些步骤)时,都从变量的原值推出它的一个新值。在数学中，迭代函数是在碎形和动力系统中深入研究的对象。迭代函数是重复的与自身复合的函数，这个过程叫做迭代。
迭代函数用于对损失差值进行迭代计算从而数据损失差值逐渐减小，从而准确的获得实时频率阈值。
迭代函数可以使用牛顿迭代函数、欧几里得算法等所有现有的进行迭代的算法。
S24、将所述实时频率阈值按照时间顺序排列，以时间为纵坐标，实时频率阈值的数值为横坐标，建立一动态频率阈值曲线。
本实施例，通过对数据传输过程进行迭代分析，建立动态频率阈值曲线，从而便于对数据传输过程中的阈值进行限定。
图4为本申请在一个实施例中的一种数据传输优化方法中的最优频率值选定过程示意图，如图所示，所述S3、根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值，包括：
S31、获取所述动态频率阈值曲线中的异常值，去除所述异常值后得到去除异常值的动态频率阈值曲线；
具体的，根据预设的动态频率阈值曲线分段时间节点，将所述动态频率阈值曲线分割成数个子曲线段；其中，预设的动态频率曲线分段时间节点可以根据动态频率阈值曲线的时间长度进行平均分割，初始分割时可以取的颗粒度大一些。获取任一所述子曲线段的曲率，若所述曲率大于预设的曲率阈值，则将所述子曲线段分割成数个次级子曲线段，使每一个所述次级子曲线段中仅包含有一个所述动态频率阈值，获取任一所述次级子曲线段的子曲率，若所述次级子曲率大于所述曲率阈值，则说明所述次级子曲线段中包含有异常值，则将所述子曲线段删除，否则保留；其中，删除子曲线段的过程就是将异常点删除。将去除所述子曲线段后的各动态阈值，重新连接成一动态频率阈值曲线得到所述去异动态频率阈值曲线。
S32、获取所述去除异常值的动态频率阈值曲线中任意两个相邻动态阈值，计算所述任意两个相邻动态阈值的平均值；
S33、将所述任意两个相邻动态阈值的平均值入参到一次平滑算法公式中进行最优值预测，公式为：
Sj＝ayj+(1-a)Sj-1，
式中，Sj为时间j的最优值；yj为时间j的实际值；
Sj-1为时间j-1的最优值；a为平滑常数，其取值范围为[0，1]；j为动态频率阈值曲线的横坐标轴。
S34、以时间为横坐标，最优值的数值为纵坐标建立一最优值曲线，根据最小二乘法得到所述最优值曲线的趋势线，根据所述趋势线在不同时间段的截距得到不同时间段的数据传输最优频率值。
其中，根据不同时间段的截距除以时间段的长度可以得到在这一时间段内的平均动态频率阈值，也就是在这一时间段内的最优频率值。
本实施例，通过平滑算法和最小二乘法有效的对动态频率阈值曲线进行修正，从而获得最优频率值。
在一个实施例中，所述S4、将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型，包括：
S41、将所述样本的参数入参到深度学习模型的AdaGrad算法中，进行降梯度处理，其公式为：
Figure GDA0003741120690000131
式中：
Figure GDA0003741120690000132
表示第i个参数的梯度，t代表每一次迭代，Gi,t表示前t步参数θi梯度的累加，ε是一个极小值，作用是防止分母为0，θi,t表示样本的参数，η表示效率参数；
将梯度处理后的所述样本的参数入参到深度学习模型中的卷积神经网络模型进行卷积后得到训练好的样本参数，其公式为
Figure GDA0003741120690000133
式中：b(θi,t)表示训练好的样本参数，a(θi,t)表示第i个卷积输出，N表示卷积核的数量，n表示近邻的卷积核个数，k,α,β是卷积参数，数值范围为0～1；
其中，样本的参数为最优频率值的在动态频率阈值曲线上的时间值。
S43、获取所述训练好的样本参数对应的数据传输量，根据所述数据传输量对所述样本参数进行编号后形成一数据传输频率阈值模型。
其中，在进行样本训练前就可以对样本进行数据量进行编号，以便于在进行训练后得到数据传输率阈值模型中能够进行数据追踪，在进行训练时所述编号作为标记在训练过程中始终保留。
本实施例，通过深度学习模型对数据传输阈值进行有效训练后得到数据传输频率阈值模型，从而便于在不同的工况下获得最佳的数据传输频率。
在一个实施例中，所述S11、获取数据传输发起端的待传输页面信息和数据传输接收端的页面信息，抽取上述两个页面信息中的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量，包括：
获取数据传输发起端的待传输页面上的特征元素；
其中，特征元素是指页面上的搜索框，列表框和滚动条等。
遍历数据传输接收端的初始页面，获取所述初始页面上与所述待传输页面上的特征元素相同的特征元素；
其中，本步骤中相同的特征元素是指，外观相同和位置相同。即在发起端的左上角，以页面的左上角为坐标原点，坐标为(0,1)处有一个邮件连接标识，则在初始页面上的同样位置也有一个邮件连接标识。
统计所述初始页面上不存在的特征元素，根据所述初始页面上不存在的特征元素建立待传输特征元素集，将所述待传输特征元素集进行二值化处理后得到所述待传输页面和所述初始页面的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量。
其中，在建立待传输特征元素集时，根据特征元素所处的位置进行排列，并将每一个特征元素进行标号，根据特征元素的大小将其进行二值化化处理，例如，一个搜索条的大小为2KB，则对应的二值化数值为10。使用二值化处理便于得到数据传输量。
本实施例，通过对初始页面上特征元素的识别，从而准确把握需要进行传输的数据。
在一个实施例中，所述S12、获取所述初始数据数量传输的历史数据和当前带宽，根据所述初始数据数量传输的历史数据和当前带宽计算得到所述历史数据的平均值，根据所述当前带宽对所述历史数据的平均值进行修正后得到所述初始频率阈值，包括：
获取所述初始数据数量传输的历史数据，去除所述历史数据中的最大值和最小值后计算得到所述历史数据的平均值；
其中，在进行历史数据的统计时，并不是根据实际的初始数据传输量，而是将历史数据中的数据量划分成数个子区间，比如，初始数据量为1985KB，则获取的历史数据是1900KB～2000KB数据在进行传输时的传输频率数据。
发送带宽测试信息分别至所述数据传输发起端和所述数据传输接收端，所述带宽测试信息包括带宽测试的开始时刻和结束时刻；
具体的，在从带宽测试信息中获取开始时刻和结束时刻时可以从带宽测试信息中抽取出数据信息，然后对数据信息进行格式匹配，符合预设的时间格式则可以确定为开始时刻或者结束时刻。比如，时间格式为00:00，从带宽测试信息“测试开始时间19:00，测试结束时间19:30，监听端口信息为20000ud端口”中的数字中获得与00:00具有相同格式的数字就可以得到开始时刻或者结束时刻。
获取从所述开始时刻到所述结束时刻之间的所述数据传输发起端反馈的第一测试报文数和所述数据传输接收端反馈的第二测试报文数，计算所述第一测试报文数和所述第二测试报文数的平均值得到当前带宽；
其中，测试报文数是传输数据情况的反馈。即在开始进行带宽统计后得到的测试报告数量。
以所述当前带宽为参数对所述历史数据进行修正后得到所述初始频率阈值。
具体的，将当前带宽与历史数据所使用的带宽做比值，根据这个比值对历史数据进行修正后得到所述初始频率阈值。例如，在进行历史数据统计时所使用的带宽为2Mbps，而当前带宽为1Mbps，则需要将历史数据除以2得到初始频率阈值。
本实施例，通过带宽对数据传输的频率进行有效修正，从而使数据传输更加的顺畅。
在一个实施例中，提出了一种数据传输优化装置，如图5所示，包括如下模块：
初始频率阈值模块51，设置为获取待传输的初始数据数量，根据所述初始数据数量设定得到数据传输的初始频率阈值；
动态频率阈值曲线模块52，设置为获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线；
最优频率值模块53，设置为根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值；
频率阈值模型模块54，设置为将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的样本模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型；
数据传输模块55，设置为根据所述数据传输频率阈值模型的输出结果进行数据传输。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述数据传输优化方法的步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中的所述数据传输优化方法的步骤。其中，所述存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请一些示例性实施例，其中描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据传输优化方法，其特征在于，包括：
获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值；
获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线；
根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值；
将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型；
根据所述数据传输频率阈值模型的输出结果进行数据传输。
2.根据权利要求1所述的数据传输优化方法，其特征在于，所述获取待传输的初始数据数量，根据所述初始数据数量得到数据传输的初始频率阈值，包括：
获取数据传输发起端的待传输页面信息和数据传输接收端的页面信息，抽取上述两个页面信息中的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量；
获取所述初始数据数量传输的历史数据和当前带宽，根据所述初始数据数量传输的历史数据和当前带宽计算得到所述历史数据的平均值，根据所述当前带宽对所述历史数据的平均值进行修正后得到所述初始频率阈值。
3.根据权利要求1所述的数据传输优化方法，其特征在于，所述获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线，包括：
获取数据传输的历史数据，根据数据传输的历史数据设置数个统计数据传输情况的时间节点，当所述时间节点到来时，统计所述数据传输发起端的剩余的数据量，得到所述数据传输发起端已经发送的数据量；
获取所述数据传输接收端根据接收到的数据对页面进行渲染后的页面信息，根据所述页面信息得到所述数据传输接收端得到的数据量；
将所述数据传输发起端已经发送的数据量与所述数据传输接收端得到的数据量做差得到数据损失差值，将数据损失差值入参到迭代函数中进行修正后得到实时频率阈值；
将所述实时频率阈值按照时间顺序排列，以时间为纵坐标，实时频率阈值的数值为横坐标，建立一动态频率阈值曲线。
4.根据权利要求3所述的数据传输优化方法，其特征在于，所述根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值，包括：
获取所述动态频率阈值曲线中的异常值，去除所述异常值后得到去除异常值的动态频率阈值曲线；
获取所述去除异常值的动态频率阈值曲线中任意两个相邻动态阈值，计算所述任意两个相邻动态阈值的平均值；
将所述任意两个相邻动态阈值的平均值入参到一次平滑算法公式中进行最优值预测，公式为：
Sj＝ayj+(1-a)Sj-1，
式中，Sj为时间j的最优值；yj为时间j的实际值；
Sj-1为时间j-1的最优值；a为平滑常数，其取值范围为[0，1]；
以时间为横坐标，最优值的数值为纵坐标建立一最优值曲线，根据最小二乘法得到所述最优值曲线的趋势线，根据所述趋势线在不同时间段的截距得到不同时间段的数据传输最优频率值。
5.根据权利要求2所述的数据传输优化方法，其特征在于，所述将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型，包括：
将所述样本的参数入参到深度学习模型的AdaGrad算法中，进行降梯度处理，其公式为：
Figure FDA0003741120680000031
式中：
Figure FDA0003741120680000032
表示第i个参数的梯度，t代表每一次迭代，Gi,t表示前t步参数θi梯度的累加，ε是一个极小值，作用是防止分母为0，θi,t表示样本的参数，η表示效率参数；
将所述样本的参数入参到深度学习模型中的卷积神经网络模型进行卷积后得到训练好的样本参数，其公式为：
Figure FDA0003741120680000033
式中：b(θi,t)表示训练好的样本参数，a(θi,t)表示第i个卷积输出，N表示卷积核的数量，n表示近邻的卷积核个数，k,α,β是卷积参数，数值范围为0～1；
获取所述训练好的样本参数对应的数据传输量，根据所述数据传输量对所述样本参数进行编号后形成一数据传输频率阈值模型。
6.根据权利要求2述的数据传输优化方法，其特征在于，所述获取数据传输发起端的待传输页面信息和数据传输接收端的页面信息，抽取上述两个页面信息中的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量，包括：
获取数据传输发起端的待传输页面上的特征元素；
遍历数据传输接收端的初始页面，获取所述初始页面上与所述待传输页面上的特征元素相同的特征元素；
统计所述初始页面上不存在的特征元素，根据所述初始页面上不存在的特征元素建立待传输特征元素集，将所述待传输特征元素集进行二值化处理后得到所述待传输页面和所述初始页面的差异数据，统计所述差异数据的数据数量得到待传输的初始数据数量。
7.根据权利要求2所述的数据传输优化方法，其特征在于，所述获取所述初始数据数量传输的历史数据和当前带宽，根据所述初始数据数量传输的历史数据和当前带宽计算得到所述历史数据的平均值，根据所述当前带宽对所述历史数据的平均值进行修正后得到所述初始频率阈值，包括：
获取所述初始数据数量传输的历史数据，去除所述历史数据中的最大值和最小值后计算得到所述历史数据的平均值；
发送带宽测试信息分别至所述数据传输发起端和所述数据传输接收端，所述带宽测试信息包括带宽测试的开始时刻和结束时刻；
获取从所述开始时刻到所述结束时刻之间的所述数据传输发起端反馈的第一测试报文数和所述数据传输接收端反馈的第二测试报文数，计算所述第一测试报文数和所述第二测试报文数的平均值得到当前带宽；
以所述当前带宽为参数对所述历史数据进行修正后得到所述初始频率阈值。
8.一种数据传输优化装置，其特征在于，包括以下模块：
初始频率阈值模块，设置为获取待传输的初始数据数量，根据所述初始数据数量设定得到数据传输的初始频率阈值；
动态频率阈值曲线模块，设置为获取数据传输发起端的实时传输数据数量和数据传输接收端的实时接收数据量，根据所述实时传输数据数量和所述实时接收数据量的数据损失差值对所述初始频率阈值进行调整后，建立动态频率阈值曲线；
最优频率值模块，设置为根据预设的修正方案，修正所述动态频率阈值曲线后，得到数据传输最优频率值；
频率阈值模型模块，设置为将多个所述数据传输最优频率值作为样本入参到神经网络模型进行训练，将训练好的样本模型按照对应的数据传输量进行编号后形成一数据传输频率阈值模型；
数据传输模块，设置为根据所述数据传输频率阈值模型的输出结果进行数据传输。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述数据传输优化方法的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述数据传输优化方法的步骤。
CN201910747835.6A 2019-08-14 2019-08-14 数据传输优化方法、装置、计算机设备和存储介质 Active CN110661727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910747835.6A CN110661727B (zh) 2019-08-14 2019-08-14 数据传输优化方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910747835.6A CN110661727B (zh) 2019-08-14 2019-08-14 数据传输优化方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110661727A CN110661727A (zh) 2020-01-07
CN110661727B true CN110661727B (zh) 2022-09-30

Family

ID=69037384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910747835.6A Active CN110661727B (zh) 2019-08-14 2019-08-14 数据传输优化方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110661727B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111262791A (zh) * 2020-01-08 2020-06-09 江苏满运软件科技有限公司 一种流量管控方法、装置、电子设备及存储介质
CN112152759B (zh) * 2020-10-14 2022-10-21 平安科技（深圳）有限公司 一种数据传输方法、数据传输系统、设备及存储介质
CN114020137A (zh) * 2021-10-29 2022-02-08 西安超越申泰信息科技有限公司 一种自适应调整cpu频率控制系统功耗的方法
CN117909660A (zh) * 2022-10-19 2024-04-19 华为技术有限公司 数据处理方法、设备、系统及可读存储介质
CN116522386B (zh) * 2023-04-25 2023-12-29 速易购电子商务有限公司 一种应用人工智能的电商数据防护方法及服务器
CN116170770B (zh) * 2023-04-25 2024-04-12 杭州镭湖科技有限公司 基于物联网实现传感器的自动感应方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107276850A (zh) * 2017-06-26 2017-10-20 中国电力科学研究院 一种用电信息采集系统统一接口测试并发传输方法及系统
CN109145431A (zh) * 2018-08-10 2019-01-04 国家电网公司西南分部 一种监控电力二次系统运行状态的建模方法及装置
CN109255308A (zh) * 2018-11-02 2019-01-22 陕西理工大学 存在阵列误差的神经网络到达角估计方法
CN109558298A (zh) * 2018-10-12 2019-04-02 平安科技（深圳）有限公司 基于深度学习模型的告警执行频率优化方法及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2200347T3 (da) * 2008-12-22 2013-04-15 Oticon As Fremgangsmåde til drift af et høreinstrument baseret på en estimering af den aktuelle kognitive belastning af en bruger og et høreapparatsystem og tilsvarende anordning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107276850A (zh) * 2017-06-26 2017-10-20 中国电力科学研究院 一种用电信息采集系统统一接口测试并发传输方法及系统
CN109145431A (zh) * 2018-08-10 2019-01-04 国家电网公司西南分部 一种监控电力二次系统运行状态的建模方法及装置
CN109558298A (zh) * 2018-10-12 2019-04-02 平安科技（深圳）有限公司 基于深度学习模型的告警执行频率优化方法及相关设备
CN109255308A (zh) * 2018-11-02 2019-01-22 陕西理工大学 存在阵列误差的神经网络到达角估计方法

Also Published As

Publication number Publication date
CN110661727A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110661727B (zh) 数据传输优化方法、装置、计算机设备和存储介质
JP6890607B2 (ja) 自動多閾値特徴フィルタリング方法及び装置
EP3407562A1 (en) Coflow recognition method and system, and server using method
CN110968426B (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN111091199A (zh) 一种基于差分隐私的联邦学习方法、装置及存储介质
CN113052334A (zh) 一种联邦学习实现方法、系统、终端设备及可读存储介质
CN109362084B (zh) 通信业务质量优化的方法、装置、设备和介质
CN109903191B (zh) 基于机器学习的旅行推荐方法、装置、存储介质及终端
CN113422695A (zh) 一种提高物联网拓扑结构鲁棒性能的优化方法
CN107623924A (zh) 一种验证影响关键质量指标kqi相关的关键性能指标kpi的方法和装置
CN109754135B (zh) 信用行为数据处理方法、装置、存储介质和计算机设备
CN115296984A (zh) 异常网络节点的检测方法及装置、设备、存储介质
CN115409153A (zh) 一种基于注意力lstm的畜牧指标预测方法及预测系统
Shin et al. FedVar: Federated learning algorithm with weight variation in clients
CN112269937B (zh) 一种计算用户相似度的方法、系统及装置
CN110457387B (zh) 一种应用于网络中用户标签确定的方法及相关装置
CN110866043A (zh) 数据预处理方法及装置、存储介质、终端
CN111313998A (zh) 一种统计信道模型验证方法及装置
CN110929849B (zh) 一种基于神经网络模型压缩的视频检测方法和装置
CN109981325B (zh) 一种告警阈值的设定方法、装置、计算设备及介质
CN107784363A (zh) 数据处理方法、装置及系统
CN109558839A (zh) 自适应人脸识别方法和实现该方法的设备及系统
CN113806691B (zh) 一种分位数的获取方法、设备及存储介质
CN116778363B (zh) 一种基于联邦学习的低通信量库区水环境风险识别方法
CN115941499B (zh) 基于自组织网络特性的网络拓扑推断系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant