CN117896319A - 一种基于大数据的数据流量管控方法及系统 - Google Patents
一种基于大数据的数据流量管控方法及系统 Download PDFInfo
- Publication number
- CN117896319A CN117896319A CN202410245245.4A CN202410245245A CN117896319A CN 117896319 A CN117896319 A CN 117896319A CN 202410245245 A CN202410245245 A CN 202410245245A CN 117896319 A CN117896319 A CN 117896319A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- probability
- same
- devices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 76
- 230000002159 abnormal effect Effects 0.000 claims abstract description 69
- 230000005540 biological transmission Effects 0.000 claims abstract description 61
- 239000013074 reference sample Substances 0.000 claims abstract description 30
- 230000005856 abnormality Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000556 factor analysis Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
Abstract
本发明公开了一种基于大数据的数据流量管控方法及系统,涉及流量管控技术领域,包括流量参数采集模块、流量参数分析模块、参考模型建立模块和数据流量管控模块;流量参数采集模块用于采集设备连接历史信息、设备运行历史信息以及设备传输数据时的历史异常数据;流量参数分析模块用于分析以往需要选择不同管控方式进行数据流量管控时的参考样本数据;参考模型建立模块用于依据参考样本数据建立需要选择不同管控方式进行数据流量管控的选择参考模型;数据流量管控模块用于代入当前设备数据至模型中,依据输出结果选择不同的管控方式进行当前的数据流量管控,在利用数据流量管控解决异常情况的前提下降低了数据流量管控的牵连影响效应。
Description
技术领域
本发明涉及流量管控技术领域,具体是一种基于大数据的数据流量管控方法及系统。
背景技术
设备在运行过程中需要利用网络来传输数据,网络拥塞这一异常情况是引发流量管控的主要原因之一,出现网络拥塞的原因可能是大量设备同时连接了同一个网络节点,即大量设备使用网络,会导致数据传输十分拥挤,从而容易造成数据传输的延迟和丢失,除此之外,若部分设备出现运行同一程序且在程序运行过程中传输大数据量的数据,也会容易造成网络拥塞,因此,在未判断网络拥塞原因的前提下随机选择不当的流量管控方式来进行数据流量管控,可能会使得与造成网络拥塞无关的设备传输数据时受到无端影响,不利于减少数据流量管控造成的负面影响。
所以,人们急需一种基于大数据的数据流量管控方法及系统来解决上述技术问题。
发明内容
本发明的目的在于提供一种基于大数据的数据流量管控方法及系统,以解决现有技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于大数据的数据流量管控系统,包括:流量参数采集模块、流量参数分析模块、参考模型建立模块和数据流量管控模块;
所述流量参数采集模块的输出端连接所述流量参数分析模块的输入端,所述流量参数分析模块的输出端连接所述参考模型建立模块的输入端,所述参考模型建立模块的输出端连接所述数据流量管控模块的输入端;
所述流量参数采集模块用于采集设备连接历史信息、设备运行历史信息以及设备传输数据时的历史异常数据;
所述流量参数分析模块用于分析以往需要选择不同管控方式进行数据流量管控时的参考样本数据;
所述参考模型建立模块用于依据参考样本数据建立需要选择不同管控方式进行数据流量管控的选择参考模型;
所述数据流量管控模块用于代入当前设备数据至模型中,依据输出结果选择不同的管控方式进行当前的数据流量管控。
进一步的,所述流量参数采集模块包括连接数据采集单元、运行数据采集单元和历史异常数据采集单元;
所述连接数据采集单元用于采集以往出现过同时连接同一网络节点的设备数量信息;
所述运行数据采集单元用于采集以往同时运行同一程序的设备数量以及运行数据量信息;
所述历史异常数据采集单元用于采集以往相同数量的设备同时连接同一网络节点时,出现网络拥堵的次数;
所述历史异常数据采集单元还用于采集以往出现不同运行情况时网络拥堵的次数,不同运行情况表示同时运行同一程序的设备数量不同且运行数据量不同的情况。
进一步的,所述流量参数分析模块包括第一概率分析单元、负载系数分析单元和第二概率分析单元;
所述第一概率分析单元的输入端连接所述连接数据采集单元和历史异常数据采集单元的输出端,所述负载系数分析单元的输入端连接所述运行数据采集单元的输出端,所述第二概率分析单元的输入端连接所述负载系数分析单元和历史异常数据采集单元的输出端;
所述第一概率分析单元用于将以往相同数量的设备同时连接同一网络节点时出现网络拥堵的次数除以相同数量的设备同时连接同一网络节点的总次数,得到因设备同时连接同一网络节点导致数据传输异常的第一概率;
所述负载系数分析单元用于依据以往同时运行同一程序的设备数量以及运行数据量信息分析设备传输数据时的负载系数;
所述第二概率分析单元用于分析不同负载系数下对应的因设备同时运行同一程序导致数据传输异常的第二概率。
进一步的,所述参考模型建立模块包括第一模型建立单元和第二模型建立单元;
所述第一模型建立单元的输入端连接所述第一概率分析单元的输出端,所述第二模型建立单元的输入端连接所述第二概率分析单元的输出端;
所述第一模型建立单元用于建立因设备同时连接同一网络节点导致数据传输异常的概率分析第一模型;
所述第二模型建立单元用于建立用于因设备同时运行同一程序导致数据传输异常的概率分析第二模型。
进一步的,所述数据流量管控模块包括数据输入单元和管控方式选择单元;
所述数据输入单元连接所述第一模型建立单元和第二模型建立单元的输出端,所述数据输入单元的输出端连接所述管控方式选择单元的输入端;
所述数据输入单元用于获取当前情况下同时连接同一网络节点的设备数量,将设备数量代入概率分析第一模型后预测当前因设备同时连接同一网络节点导致数据传输异常的第一概率,获取当前情况下运行同一程序的设备传输数据时的负载系数,将负载系数代入概率分析第二模型后预测当前因设备同时运行同一程序导致数据传输异常的第二概率;
所述管控方式选择单元用于比较预测得到的第一概率和第二概率:若第一概率大于第二概率,选择整体管控方式来进行数据流量管控:限制当前同时连接同一网络节点的设备传输数据的带宽;若第一概率小于第二概率,选择局部管控方式来进行数据流量管控:对当前运行同一程序的设备传输数据的流量进行限制;若第一概率等于第二概率,任意选择一种管控方式来进行数据流量管控。
一种基于大数据的数据流量管控方法,包括以下步骤:
S1:采集设备连接历史信息、设备运行历史信息以及设备传输数据时的历史异常数据;
S2:分析以往需要选择不同管控方式进行数据流量管控时的参考样本数据;
S3:依据参考样本数据建立需要选择不同管控方式进行数据流量管控的选择参考模型;
S4:代入当前设备数据至模型中,依据输出结果选择不同的管控方式进行当前的数据流量管控。
进一步的,在S1中:采集到以往出现过同时连接同一网络节点的设备数量集合为J={J1,J2,…,Jm},其中,m表示以往出现过设备同时连接同一网络节点的次数,采集到以往同时运行同一程序的设备数量集合为K={K1,K2,…,Kf},其中,f表示以往出现设备同时运行同一程序的次数,获取到随机一次出现设备同时运行同一程序时,每个设备在运行程序过程中传输的数据量集合为B={B1,B2,…,Bn},采集到以往共有R次同时连接同一网络节点的设备数量为J1,同时连接同一网络节点的设备数量为J1时出现网络拥堵的次数为r,根据公式得到随机一次出现设备同时运行同一程序时的运行数据量bi,通过相同计算方式得到以往f次出现设备同时运行同一程序时的运行数据量集合为b={b1,b2,…,bi,…,bf},其中,Bj表示随机一次出现设备同时运行同一程序时,第j个设备在运行程序过程中传输的数据量,n表示随机一次出现设备同时运行同一程序时,运行同一程序的设备数量,采集到同时运行同一程序的设备数量为K1且运行数据量为b1时网络拥堵的次数为N1,得到以往出现不同运行情况时网络拥堵的次数集合为N={N1,N2,…,Nf};
通过大数据技术采集以往数据传输异常,即网络拥堵时的历史数据,网络拥堵的原因可能是多个设备同时连接了同一网络节点,也可能是部分设备同时运行了同一个程序使得传输的数据量过大,若网络拥堵的原因是部分设备同时运行了同一个程序使得传输的数据量过大,那么采取整体管控方式,即对所有设备传输数据的带宽进行限制显然是不当的,会导致除部分因运行大数据量程序导致网络拥堵的设备外的其余设备数据传输无故受到影响,通过采集历史数据来判断以往因不同原因导致网络拥堵的概率数据,将其作为判断数据,有利于为后续结合实际情况选择恰当的流量管控方式提供更加准确的参考依据。
进一步的,在S2中:得到同时连接同一网络节点的设备数量为J1时,因设备同时连接同一网络节点导致数据传输异常的第一概率为P1,,通过相同计算方式计算得到同时连接同一网络节点的设备数量为集合J中的不同设备数量时,因设备同时连接同一网络节点导致数据传输异常的第一概率集合为P={P1,P2,…,Pm},根据公式/>计算得到在同时运行同一程序的设备数量K1且运行数据量b1的运行情况下,设备传输数据时的负载系数为W1,通过相同方式计算得到不同运行情况下设备传输数据时的负载系数集合为W={W1,W2,…,Wf},得到不同负载系数下对应的因设备同时运行同一程序导致数据传输异常的第二概率集合为p={p1,p2,…,pf},其中,/>,p1表示负载系数W1对应的因设备同时运行同一程序导致数据传输异常的第二概率,即运行情况为同时运行同一程序的设备数量K1且运行数据量b1时对应的因设备同时运行同一程序导致数据传输异常的第二概率,/>,生成第一参考样本为{(J1,P1),(J2,P2),…,(Jm,Pm)},第二参考样本为{(W1,p1),(W2,p2),…,(Wf,pf)}。
进一步的,在S3中:分别对第一参考样本和第二参考样本进行数据拟合,建立因设备同时连接同一网络节点导致数据传输异常的概率分析第一模型:,建立因设备同时运行同一程序导致数据传输异常的概率分析第二模型:/>,其中,/>和/>表示概率分析第一模型的拟合系数,/>和/>表示概率分析第二模型的拟合系数,根据下列公式分别求解/>和/>:
;
;
其中,Je表示集合J内的第e项元素,Pe表示同时连接同一网络节点的设备数量为Je时因设备同时连接同一网络节点导致数据传输异常的第一概率,和/>的求解方式分别与和/>的求解方式相同:/>,/>。
进一步的,在S4中:获取到当前同时连接同一网络节点的设备数量为L,当前运行同一程序的设备传输数据时的负载系数G,将L和G分别代入概率分析第一模型和概率分析第二模型中:令x=L、X=G,预测得到当前因设备同时连接同一网络节点导致数据传输异常的第一概率为:,预测得到当前因设备同时运行同一程序导致数据传输异常的第二概率为:,比较/>和/>:若/>,选择整体管控方式来进行数据流量管控:限制当前同时连接同一网络节点的设备传输数据的带宽;若/>,选择局部管控方式来进行数据流量管控:对当前运行同一程序的设备传输数据的流量进行限制;若/>,从整体管控方式和局部管控方式中任意选择一种管控方式来进行数据流量管控;
依据采集到的历史数据生成不同原因导致网络拥堵这一异常情况的参考样本数据,通过将参考样本进行数据拟合的方式建立不同原因导致网络拥堵异常情况的概率分析模型,将当前的实际数据代入两个概率分析模块中,预测当前出现网络拥堵的原因,从而有利于帮助选择恰当的流量管控方式进行数据流量管控,选择恰当的流量管控方式既能够有效地解决网络拥堵的问题,同时也能减少因不当管控方式造成对其余与造成网络拥堵异常情况无关的设备无故受到影响的概率,在利用数据流量管控解决异常情况的前提下降低了数据流量管控的牵连影响效应。
与现有技术相比,本发明的有益效果是:
通过大数据技术采集以往数据传输异常,即网络拥堵时的历史数据,依据历史数据来判断以往因不同原因导致网络拥堵的概率数据,将其作为判断数据,有利于为后续结合实际情况选择恰当的流量管控方式提供更加准确的参考依据;
依据采集到的历史数据生成不同原因导致网络拥堵这一异常情况的参考样本数据,通过将参考样本进行数据拟合的方式建立不同原因导致网络拥堵异常情况的概率分析模型,将当前的实际数据代入两个概率分析模块中,预测当前出现网络拥堵的原因,从而有利于帮助选择恰当的流量管控方式进行数据流量管控,选择恰当的流量管控方式既能够有效地解决网络拥堵的问题,同时也能减少因不当管控方式造成对其余与造成网络拥堵异常情况无关的设备无故受到影响的概率,在利用数据流量管控解决异常情况的前提下降低了数据流量管控的牵连影响效应。
附图说明
图1为本发明一种基于大数据的数据流量管控系统的结构示意图;
图2为本发明一种基于大数据的数据流量管控方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1~图2所示,本发明提供以下技术方案:一种基于大数据的数据流量管控系统,包括:流量参数采集模块、流量参数分析模块、参考模型建立模块和数据流量管控模块;流量参数采集模块用于采集设备连接历史信息、设备运行历史信息以及设备传输数据时的历史异常数据;流量参数分析模块用于分析以往需要选择不同管控方式进行数据流量管控时的参考样本数据;参考模型建立模块用于依据参考样本数据建立需要选择不同管控方式进行数据流量管控的选择参考模型;数据流量管控模块用于代入当前设备数据至模型中,依据输出结果选择不同的管控方式进行当前的数据流量管控。
流量参数采集模块包括连接数据采集单元、运行数据采集单元和历史异常数据采集单元;连接数据采集单元用于采集以往出现过同时连接同一网络节点的设备数量信息;运行数据采集单元用于采集以往同时运行同一程序的设备数量以及运行数据量信息;历史异常数据采集单元用于采集以往相同数量的设备同时连接同一网络节点时,出现网络拥堵的次数;历史异常数据采集单元还用于采集以往出现不同运行情况时网络拥堵的次数,不同运行情况表示同时运行同一程序的设备数量不同且运行数据量不同的情况。
流量参数分析模块包括第一概率分析单元、负载系数分析单元和第二概率分析单元;第一概率分析单元用于将以往相同数量的设备同时连接同一网络节点时出现网络拥堵的次数除以相同数量的设备同时连接同一网络节点的总次数,得到因设备同时连接同一网络节点导致数据传输异常的第一概率;负载系数分析单元用于依据以往同时运行同一程序的设备数量以及运行数据量信息分析设备传输数据时的负载系数;第二概率分析单元用于分析不同负载系数下对应的因设备同时运行同一程序导致数据传输异常的第二概率。
参考模型建立模块包括第一模型建立单元和第二模型建立单元;第一模型建立单元用于建立因设备同时连接同一网络节点导致数据传输异常的概率分析第一模型;第二模型建立单元用于建立用于因设备同时运行同一程序导致数据传输异常的概率分析第二模型。
数据流量管控模块包括数据输入单元和管控方式选择单元;数据输入单元用于获取当前情况下同时连接同一网络节点的设备数量,将设备数量代入概率分析第一模型后预测当前因设备同时连接同一网络节点导致数据传输异常的第一概率,获取当前情况下运行同一程序的设备传输数据时的负载系数,将负载系数代入概率分析第二模型后预测当前因设备同时运行同一程序导致数据传输异常的第二概率;管控方式选择单元用于比较预测得到的第一概率和第二概率:若第一概率大于第二概率,选择整体管控方式来进行数据流量管控:限制当前同时连接同一网络节点的设备传输数据的带宽;若第一概率小于第二概率,选择局部管控方式来进行数据流量管控:对当前运行同一程序的设备传输数据的流量进行限制;若第一概率等于第二概率,任意选择一种管控方式来进行数据流量管控。
一种基于大数据的数据流量管控方法,包括以下步骤:
S1:采集设备连接历史信息、设备运行历史信息以及设备传输数据时的历史异常数据,采集到以往出现过同时连接同一网络节点的设备数量集合为J={J1,J2,…,Jm},其中,m表示以往出现过设备同时连接同一网络节点的次数,采集到以往同时运行同一程序的设备数量集合为K={K1,K2,…,Kf},其中,f表示以往出现设备同时运行同一程序的次数,获取到随机一次出现设备同时运行同一程序时,每个设备在运行程序过程中传输的数据量集合为B={B1,B2,…,Bn},采集到以往共有R次同时连接同一网络节点的设备数量为J1,同时连接同一网络节点的设备数量为J1时出现网络拥堵的次数为r,根据公式得到随机一次出现设备同时运行同一程序时的运行数据量bi,通过相同计算方式得到以往f次出现设备同时运行同一程序时的运行数据量集合为b={b1,b2,…,bi,…,bf},其中,Bj表示随机一次出现设备同时运行同一程序时,第j个设备在运行程序过程中传输的数据量,n表示随机一次出现设备同时运行同一程序时,运行同一程序的设备数量,采集到同时运行同一程序的设备数量为K1且运行数据量为b1时网络拥堵的次数为N1,得到以往出现不同运行情况时网络拥堵的次数集合为N={N1,N2,…,Nf};
S2:分析以往需要选择不同管控方式进行数据流量管控时的参考样本数据,得到同时连接同一网络节点的设备数量为J1时,因设备同时连接同一网络节点导致数据传输异常的第一概率为P1,,通过相同计算方式计算得到同时连接同一网络节点的设备数量为集合J中的不同设备数量时,因设备同时连接同一网络节点导致数据传输异常的第一概率集合为P={P1,P2,…,Pm},根据公式/>计算得到在同时运行同一程序的设备数量K1且运行数据量b1的运行情况下,设备传输数据时的负载系数为W1,通过相同方式计算得到不同运行情况下设备传输数据时的负载系数集合为W={W1,W2,…,Wf},得到不同负载系数下对应的因设备同时运行同一程序导致数据传输异常的第二概率集合为p={p1,p2,…,pf},其中,/>,p1表示负载系数W1对应的因设备同时运行同一程序导致数据传输异常的第二概率,即运行情况为同时运行同一程序的设备数量K1且运行数据量b1时对应的因设备同时运行同一程序导致数据传输异常的第二概率,/>,生成第一参考样本为{(J1,P1),(J2,P2),…,(Jm,Pm)},第二参考样本为{(W1,p1),(W2,p2),…,(Wf,pf)};
S3:依据参考样本数据建立需要选择不同管控方式进行数据流量管控的选择参考模型,分别对第一参考样本和第二参考样本进行数据拟合,建立因设备同时连接同一网络节点导致数据传输异常的概率分析第一模型:,建立因设备同时运行同一程序导致数据传输异常的概率分析第二模型:/>,其中,/>和/>表示概率分析第一模型的拟合系数,/>和/>表示概率分析第二模型的拟合系数,根据公式和/>分别求解/>和/>,其中,Je表示集合J内的第e项元素,Pe表示同时连接同一网络节点的设备数量为Je时因设备同时连接同一网络节点导致数据传输异常的第一概率,/>和/>的求解方式分别与/>和的求解方式相同:/>,/>;
S4:代入当前设备数据至模型中,依据输出结果选择不同的管控方式进行当前的数据流量管控,获取到当前同时连接同一网络节点的设备数量为L,当前运行同一程序的设备传输数据时的负载系数G,将L和G分别代入概率分析第一模型和概率分析第二模型中:令x=L、X=G,预测得到当前因设备同时连接同一网络节点导致数据传输异常的第一概率为:,预测得到当前因设备同时运行同一程序导致数据传输异常的第二概率为:,比较/>和/>:若/>,选择整体管控方式来进行数据流量管控:限制当前同时连接同一网络节点的设备传输数据的带宽;若/>,选择局部管控方式来进行数据流量管控:对当前运行同一程序的设备传输数据的流量进行限制;若/>,从整体管控方式和局部管控方式中任意选择一种管控方式来进行数据流量管控。
实施例1:生成第一参考样本为{(J1,P1),(J2,P2),(J3,P3),(J4,P4),(J5,P5)}={(15,0.51),(19,0.60),(40,0.82),(14,0.22),(37,0.76)},第二参考样本为{(W1,p1),(W2,p2),(W3,p3),(W4,p4),(W5,p5)}={(128,0.26),(1280,0.85),(244,0.32),(968,0.65),(456,0.50)}建立因设备同时连接同一网络节点导致数据传输异常的概率分析第一模型:,建立因设备同时运行同一程序导致数据传输异常的概率分析第二模型:/>,获取到当前同时连接同一网络节点的设备数量为L=35,当前运行同一程序的设备传输数据时的负载系数G=1000,当前运行同一程序的设备传输数据时的负载系数计算方式与以往不同运行情况下设备传输数据时的负载系数计算方式相同,令x=L=35、X=G=1000,预测得到当前因设备同时连接同一网络节点导致数据传输异常的第一概率为0.78,预测得到当前因设备同时运行同一程序导致数据传输异常的第二概率为0.71,0.78>0.71,预测当前出现网络拥堵的原因是:过多设备同时连接同一网络节点,选择整体管控方式来进行数据流量管控:限制当前同时连接同一网络节点的设备传输数据的带宽。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种基于大数据的数据流量管控系统,其特征在于,包括:流量参数采集模块、流量参数分析模块、参考模型建立模块和数据流量管控模块;
所述流量参数采集模块的输出端连接所述流量参数分析模块的输入端,所述流量参数分析模块的输出端连接所述参考模型建立模块的输入端,所述参考模型建立模块的输出端连接所述数据流量管控模块的输入端;
所述流量参数采集模块用于采集设备连接历史信息、设备运行历史信息以及设备传输数据时的历史异常数据;
所述流量参数分析模块用于分析以往需要选择不同管控方式进行数据流量管控时的参考样本数据;
所述参考模型建立模块用于依据参考样本数据建立需要选择不同管控方式进行数据流量管控的选择参考模型;
所述数据流量管控模块用于代入当前设备数据至模型中,依据输出结果选择不同的管控方式进行当前的数据流量管控。
2.根据权利要求1所述的一种基于大数据的数据流量管控系统,其特征在于:所述流量参数采集模块包括连接数据采集单元、运行数据采集单元和历史异常数据采集单元;
所述连接数据采集单元用于采集以往出现过同时连接同一网络节点的设备数量信息;
所述运行数据采集单元用于采集以往同时运行同一程序的设备数量以及运行数据量信息;
所述历史异常数据采集单元用于采集以往相同数量的设备同时连接同一网络节点时,出现网络拥堵的次数;
所述历史异常数据采集单元还用于采集以往出现不同运行情况时网络拥堵的次数。
3.根据权利要求2所述的一种基于大数据的数据流量管控系统,其特征在于:所述流量参数分析模块包括第一概率分析单元、负载系数分析单元和第二概率分析单元;
所述第一概率分析单元的输入端连接所述连接数据采集单元和历史异常数据采集单元的输出端,所述负载系数分析单元的输入端连接所述运行数据采集单元的输出端,所述第二概率分析单元的输入端连接所述负载系数分析单元和历史异常数据采集单元的输出端;
所述第一概率分析单元用于将以往相同数量的设备同时连接同一网络节点时出现网络拥堵的次数除以相同数量的设备同时连接同一网络节点的总次数,得到因设备同时连接同一网络节点导致数据传输异常的第一概率;
所述负载系数分析单元用于依据以往同时运行同一程序的设备数量以及运行数据量信息分析设备传输数据时的负载系数;
所述第二概率分析单元用于分析不同负载系数下对应的因设备同时运行同一程序导致数据传输异常的第二概率。
4.根据权利要求3所述的一种基于大数据的数据流量管控系统,其特征在于:所述参考模型建立模块包括第一模型建立单元和第二模型建立单元;
所述第一模型建立单元的输入端连接所述第一概率分析单元的输出端,所述第二模型建立单元的输入端连接所述第二概率分析单元的输出端;
所述第一模型建立单元用于建立因设备同时连接同一网络节点导致数据传输异常的概率分析第一模型;
所述第二模型建立单元用于建立用于因设备同时运行同一程序导致数据传输异常的概率分析第二模型。
5.根据权利要求4所述的一种基于大数据的数据流量管控系统,其特征在于:所述数据流量管控模块包括数据输入单元和管控方式选择单元;
所述数据输入单元连接所述第一模型建立单元和第二模型建立单元的输出端,所述数据输入单元的输出端连接所述管控方式选择单元的输入端;
所述数据输入单元用于获取当前情况下同时连接同一网络节点的设备数量,将设备数量代入概率分析第一模型后预测当前因设备同时连接同一网络节点导致数据传输异常的第一概率,获取当前情况下运行同一程序的设备传输数据时的负载系数,将负载系数代入概率分析第二模型后预测当前因设备同时运行同一程序导致数据传输异常的第二概率;
所述管控方式选择单元用于比较预测得到的第一概率和第二概率:若第一概率大于第二概率,选择整体管控方式来进行数据流量管控:限制当前同时连接同一网络节点的设备传输数据的带宽;若第一概率小于第二概率,选择局部管控方式来进行数据流量管控:对当前运行同一程序的设备传输数据的流量进行限制;若第一概率等于第二概率,任意选择一种管控方式来进行数据流量管控。
6.一种基于大数据的数据流量管控方法,其特征在于:包括以下步骤:
S1:采集设备连接历史信息、设备运行历史信息以及设备传输数据时的历史异常数据;
S2:分析以往需要选择不同管控方式进行数据流量管控时的参考样本数据;
S3:依据参考样本数据建立需要选择不同管控方式进行数据流量管控的选择参考模型;
S4:代入当前设备数据至模型中,依据输出结果选择不同的管控方式进行当前的数据流量管控。
7.根据权利要求6所述的一种基于大数据的数据流量管控方法,其特征在于:在S1中:采集到以往出现过同时连接同一网络节点的设备数量集合为J={J1,J2,…,Jm},其中,m表示以往出现过设备同时连接同一网络节点的次数,采集到以往同时运行同一程序的设备数量集合为K={K1,K2,…,Kf},其中,f表示以往出现设备同时运行同一程序的次数,获取到随机一次出现设备同时运行同一程序时,每个设备在运行程序过程中传输的数据量集合为B={B1,B2,…,Bn},采集到以往共有R次同时连接同一网络节点的设备数量为J1,同时连接同一网络节点的设备数量为J1时出现网络拥堵的次数为r,根据公式得到随机一次出现设备同时运行同一程序时的运行数据量bi,通过相同计算方式得到以往f次出现设备同时运行同一程序时的运行数据量集合为b={b1,b2,…,bi,…,bf},其中,Bj表示随机一次出现设备同时运行同一程序时,第j个设备在运行程序过程中传输的数据量,n表示随机一次出现设备同时运行同一程序时,运行同一程序的设备数量,采集到同时运行同一程序的设备数量为K1且运行数据量为b1时网络拥堵的次数为N1,得到以往出现不同运行情况时网络拥堵的次数集合为N={N1,N2,…,Nf}。
8.根据权利要求7所述的一种基于大数据的数据流量管控方法,其特征在于:在S2中:得到同时连接同一网络节点的设备数量为J1时,因设备同时连接同一网络节点导致数据传输异常的第一概率为P1,,通过相同计算方式计算得到同时连接同一网络节点的设备数量为集合J中的不同设备数量时,因设备同时连接同一网络节点导致数据传输异常的第一概率集合为P={P1,P2,…,Pm},根据公式/>计算得到在同时运行同一程序的设备数量K1且运行数据量b1的运行情况下,设备传输数据时的负载系数为W1,通过相同方式计算得到不同运行情况下设备传输数据时的负载系数集合为W={W1,W2,…,Wf},得到不同负载系数下对应的因设备同时运行同一程序导致数据传输异常的第二概率集合为p={p1,p2,…,pf},其中,/>,生成第一参考样本为{(J1,P1),(J2,P2),…,(Jm,Pm)},第二参考样本为{(W1,p1),(W2,p2),…,(Wf,pf)}。
9.根据权利要求7所述的一种基于大数据的数据流量管控方法,其特征在于:在S3中:分别对第一参考样本和第二参考样本进行数据拟合,建立因设备同时连接同一网络节点导致数据传输异常的概率分析第一模型:,建立因设备同时运行同一程序导致数据传输异常的概率分析第二模型:/>,其中,/>和/>表示概率分析第一模型的拟合系数,/>和/>表示概率分析第二模型的拟合系数,根据下列公式分别求解/>和/>:
;
;
其中,Je表示集合J内的第e项元素,Pe表示同时连接同一网络节点的设备数量为Je时因设备同时连接同一网络节点导致数据传输异常的第一概率,和/>的求解方式分别与和/>的求解方式相同。
10.根据权利要求9所述的一种基于大数据的数据流量管控方法,其特征在于:在S4中:获取到当前同时连接同一网络节点的设备数量为L,当前运行同一程序的设备传输数据时的负载系数G,将L和G分别代入概率分析第一模型和概率分析第二模型中:令x=L、X=G,预测得到当前因设备同时连接同一网络节点导致数据传输异常的第一概率为:,预测得到当前因设备同时运行同一程序导致数据传输异常的第二概率为:/>,比较/>和/>:若/>,选择整体管控方式来进行数据流量管控:限制当前同时连接同一网络节点的设备传输数据的带宽;若,选择局部管控方式来进行数据流量管控:对当前运行同一程序的设备传输数据的流量进行限制;若/>,从整体管控方式和局部管控方式中任意选择一种管控方式来进行数据流量管控。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410245245.4A CN117896319A (zh) | 2024-03-05 | 2024-03-05 | 一种基于大数据的数据流量管控方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410245245.4A CN117896319A (zh) | 2024-03-05 | 2024-03-05 | 一种基于大数据的数据流量管控方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117896319A true CN117896319A (zh) | 2024-04-16 |
Family
ID=90644976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410245245.4A Pending CN117896319A (zh) | 2024-03-05 | 2024-03-05 | 一种基于大数据的数据流量管控方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117896319A (zh) |
-
2024
- 2024-03-05 CN CN202410245245.4A patent/CN117896319A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200287814A1 (en) | Training method and apparatus for service quality assessment model | |
CN111741073B (zh) | 基于5g通信网络的电力数据传输系统 | |
US20200244355A1 (en) | Method, Apparatus and Device for Predicting Fault of Optical Module | |
CN112929187B (zh) | 网络切片管理方法、装置和系统 | |
CN110224427B (zh) | 一种基于微电网能量控制策略的信息物理系统建模方法 | |
CN113422690A (zh) | 一种业务质量劣化预测方法及系统 | |
CN114629802A (zh) | 一种基于业务感知的电力通信骨干网络质量评估方法 | |
CN114666224A (zh) | 业务资源容量动态分配方法、装置、设备及存储介质 | |
CN116937575A (zh) | 一种网格系统用的能源监控管理系统 | |
CN111123223A (zh) | 用于雷达健康管理的通用开发平台、管理系统及方法 | |
CN110941558B (zh) | 一种智慧办公远程运维的方法及系统 | |
CN114283590A (zh) | 车流量高峰预测方法及装置、电子设备 | |
CN117896319A (zh) | 一种基于大数据的数据流量管控方法及系统 | |
CN116362522B (zh) | 基于多点分布模型的数字能源氮气站数据处理方法及系统 | |
CN112734054A (zh) | 一种基于物联网的设备远程诊断运维方法及系统 | |
CN111654413B (zh) | 一种网络流量有效测量点的选取方法、设备及存储介质 | |
CN115271129A (zh) | 应用于输电线路的故障维修方法、装置、设备和介质 | |
CN114760341A (zh) | 一种工业互联网设备智能管控远程运维平台及方法 | |
CN117395198B (zh) | 一种电力通信网络拥塞报警方法及系统 | |
WO2024066720A1 (zh) | 指标阈值的确定方法、装置、存储介质及电子装置 | |
CN116819025B (zh) | 一种基于物联网的水质监测系统及方法 | |
CN117440026B (zh) | 基于电力物联网的终端连接与数据交互管控方法和系统 | |
CN116980284A (zh) | 一种基于物联网的光缆分纤箱运维信息传输方法和系统 | |
CN117097634A (zh) | 性能测量方法及装置、设备、计算机可读存储介质 | |
CN117856435A (zh) | 一种用于数据分析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |