CN112653636A - 一种网络数据智能分发服务系统 - Google Patents

一种网络数据智能分发服务系统 Download PDF

Info

Publication number
CN112653636A
CN112653636A CN202011509846.XA CN202011509846A CN112653636A CN 112653636 A CN112653636 A CN 112653636A CN 202011509846 A CN202011509846 A CN 202011509846A CN 112653636 A CN112653636 A CN 112653636A
Authority
CN
China
Prior art keywords
distribution
instruction
time
module
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011509846.XA
Other languages
English (en)
Other versions
CN112653636B (zh
Inventor
陈海林
张蓬
赵绪龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trueland Information Technology Shanghai Co ltd
Original Assignee
Trueland Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trueland Information Technology Shanghai Co ltd filed Critical Trueland Information Technology Shanghai Co ltd
Priority to CN202011509846.XA priority Critical patent/CN112653636B/zh
Publication of CN112653636A publication Critical patent/CN112653636A/zh
Application granted granted Critical
Publication of CN112653636B publication Critical patent/CN112653636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/62Queue scheduling characterised by scheduling criteria
    • H04L47/625Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • H04L67/5651Reducing the amount or size of exchanged application data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种网络数据智能分发服务系统,包括分布式消息队列服务器、指令输入模块、指令分析模块、数据分发模块、评估模块和消息管理模块;指令分析模块用于数据分发指令进行分析,获取得到数据分发指令的优处值;能够根据优处值对同时请求的数据分发指令进行优先级别的判断,进而进行分批处理;消息管理模块用于对分布式消息队列服务器中缓存的消息进行管理,减轻分布式消息队列服务器的缓存压力,从而提高数据分发效率;当数据分发模块接收到数据分发指令时生成分发信号并将分发信号传输至评估模块;评估模块用于接收分发信号并进行分析,获取得到分发估值;方便管理人员对系统的分发情况有一个直观的了解。

Description

一种网络数据智能分发服务系统
技术领域
本发明涉及智能分发技术领域,尤其涉及一种网络数据智能分发服务系统。
背景技术
随着国家经济技术的发展和人们生活水平的提高,数据共享和分发技术已应用到信息领域的各方面;传统的数据分发需要终端设备实时接收数据,由于信息传播技术的发展,待分发的数据海量化的情况越来越严重,若仍然采用传统的数据分发技术,在连接较多终端设备时,数据分发设备存在没有对同时请求的分发指令进行优先级别的判断,进而进行分批处理的问题,使得数据分发将会占用大量的网络带宽,这样会大大降低数据的传输速度;且对整个系统的数据分发情况没有良好评价。
发明内容
针对现有技术存在的不足,本发明目的是提供一种网络数据智能分发服务系统。本发明能够根据优处值对同时请求的数据分发指令进行优先级别的判断,进而进行分批处理,提高数据分发效率;同时通过分发估值对整个系统的数据分发情况进行一个有效评价,方便管理人员直观了解。
本发明的目的可以通过以下技术方案实现:
一种网络数据智能分发服务系统,包括数据采集模块、分布式消息队列服务器、指令输入模块、指令分析模块、数据分发模块、设备分析模块、指令监测模块、评估模块、存储模块、显示模块和消息管理模块;
所述数据采集模块用于采集网络数据并将采集的网络数据作为消息发送到分布式消息队列服务器;所述分布式消息队列服务器用于将接收到的网络数据作为消息缓存在一个或多个消息队列中;并对所接收到的消息进行过滤,以获得有效数据;
所述指令输入模块用于用户通过移动终端输入数据分发指令,并将数据分发指令发送至指令分析模块;所述指令分析模块用于接收数据分发指令并对数据分发指令进行分析,获取得到数据分发指令的优处值;
所述指令分析模块将数据分发指令按照优处值大小进行排序,生成数据分发指令的处理优先表,反馈该数据分发指令在处理优先表所处的序列位置至分布式消息队列服务器;所述分布式消息队列服务器按照反馈的序列位置对该数据分发指令进行处理;
所述分布式消息队列服务器根据数据分发指令从消息队列中获取对应消息,并将数据分发指令和对应消息传输至数据分发模块,所述数据分发模块用于根据数据分发指令将对应消息分发传输至用户的移动终端;
所述消息管理模块用于对分布式消息队列服务器中缓存的消息进行管理。
进一步地,所述指令分析模块的具体分析步骤为:
步骤一:用户通过移动终端输入数据分发指令;将移动终端标记为j;
将用户输入数据分发指令的时刻标记为指令输入时刻;将指令输入时刻与系统当前时间进行时间差计算获取得到数据分发指令的等待时长,并标记为T1;
步骤二:获取移动终端发送数据分发指令的总次数,并将总次数标记为C1;
获取移动终端数据分发指令执行失败的次数,将执行失败的次数除以总次数获取的移动终端的指令失败率,并将指令失败率标记为C2;
步骤三:向移动终端发送位置获取指令获取移动终端的实时位置,并将移动终端的实时位置与分布式消息队列服务器的位置进行距离差计算获取得到分发距离,并标记为C3;
步骤四:获取移动终端的设备值并标记为D1;
步骤五:将等待时长、总次数、指令失败率、分发距离和设备值进行归一化处理并取其数值;
利用公式YC=T1×b1+C1×b2-C2×b3+1/C3×b4+D1×b5获取得到数据分发指令的优处值YC;其中b1、b2、b3、b4、b5均为比例系数。
进一步地,所述设备分析模块用于获取移动终端的注册信息并进行分析得到移动终端的设备值,所述注册信息包括姓名、年龄、终端号码、会员等级、购买时间和总存储空间;具体分析步骤为:
V1:设备分析模块向移动终端发送内存获取指令和套餐获取指令并获取移动终端的剩余存储空间和剩余流量,将剩余存储空间和剩余流量分别标记为D2和D3;将移动终端的总存储空间标记为D4;
V2:获取移动终端的会员等级,并将移动终端的会员等级值标记为DE,其中,会员等级划分为钻石会员、铂金会员、黄金会员和普通会员;钻石会员的会员等级值为X4,铂金会员的会员等级值为X3,黄金会员的会员等级值为X2,普通会员的会员等级值为X1,且X4>X3>X2>X1;
V3:将移动终端的购买时间与系统当前时刻进行时间差计算获取得到移动终端的购买时长并标记为T2;
设定移动终端的维修次数为C4;
V4:利用公式D1=(D2×d1+D3×d2+D4×d3+DE×d4)/(T2×d5+C4×d6)获取得到移动终端的设备值D1,其中d1、d2、d3、d4、d5、d6均为比例系数。
进一步地,所述指令监测模块与数据分发模块通信连接;所述指令监测模块用于进行数据分发指令监测,当数据分发模块接收到数据分发指令时,所述指令监测模块生成分发信号并将分发信号传输至评估模块;
所述评估模块用于接收分发信号并进行分析,具体分析步骤为:
SS1:当监测到分发信号时,记录分发信号执行信息,所述分发信号执行信息包括分发信号产生时间、分发信号结束时间;所述分发信号结束时间为数据分发指令执行结束时间;
SS2:在监测到产生分发信号时自动倒计时,倒计时时长为T3时间,T3为预设值;在倒计时阶段继续对数据分发指令进行监测,若产生新的分发信号,则倒计时自动归为原值,重新按照T3进行倒计时;否则倒计时归零,停止计时;
SS3:获取到所有的分发信号执行信息;
将每一次分发信号执行信息中的分发信号结束时间与分发信号产生时间进行时间差计算得到单次分发时长;
将所有的单次分发时长进行求和并取均值得到平均分发时长并标记为Ts;
SS4:按照分发信号产生时间将分发信号执行信息标记为Gi,i=1,...,m,Gm为最后一个分发信号执行信息;
SS5:获取到G1的产生时间和Gm的产生时间,并将G1的产生时间和Gm的产生时间进行时间差计算得到执行时长,并将执行时长标记为Cg;
根据m值得到产生分发信号的次数为m次;
结合分发信号的次数、执行时长,获取得到分发频率Pg,具体计算公式为:Pg=m/Cg;
SS6:当监测到分发信号时,每间隔R2时间采集一次实时网络访问速度,将该网络访问速度标记为F1;其中,R2为预设值;
将网络访问速度F1与访问阈值进行对比;
若网络访问速度F1<访问阈值,则将该网络访问速度标记为影响访问速度;
统计影响访问速度出现的次数并标记为F2,将影响访问速度与访问阈值进行差值计算得到低速值,将所有的低速值进行求和获取得到低速总值,并标记为F3;
SS7:利用公式GD=1/Ts×A1+Pg×A2-F2×A3-F3×A4获取得到分发估值GD;其中A1、A2、A3、A4均为比例系数;
所述评估模块用于将分发估值GD打上时间戳传输到存储模块进行实时存储;所述存储模块用于将分发估值GD传输至显示模块实时显示。
进一步地,所述消息管理模块包括缓存采集单元、缓存管理单元和删除单元;所述缓存采集单元用于采集消息在分布式消息队列服务器中的缓存数据并将缓存数据发送至缓存管理单元,其中缓存数据包括消息的大小、消息的类型、缓存开始时刻、分发次数和分发时间;缓存管理单元接收到缓存数据并进行缓存分析,具体为:
S1:将缓存开始时刻与系统当前时间进行时间差计算获取得到缓存时长并标记为L1;将消息的大小标记为L2,将消息的分发次数标记为L3;
S2:获取消息的类型,设定每种消息类型均有一个对应的预设值,将该消息的类型与所有的消息类型进行匹配获取得到该消息对应的预设值,并标记为L4;
S3:将缓存时长、消息的大小、分发次数和预设值进行归一化处理并取其数值;利用公式GL=(L3×a1+L4×a2)/(L2×a3)-L1×a4获取得到消息的缓存值GL;其中a1、a2、a3、a4均为比例系数;
S4:将缓存值GL与缓存阈值相比较;
当缓存值GL≤缓存阈值时,则处于待验证状态;
S5:当处于待验证状态时,获取该消息的分发时间,将分发时间按照时间顺序进行排序,获取该消息最近一次的分发时间,并标记为极近时间;将极近时间与系统当前时间进行时间差计算获取得到缓冲时长,并标记为L5;
S6:将缓冲时长L5与缓冲时长阈值相比较;
当缓冲时长L5≥缓冲时长阈值时,则生成消息的删除指令并将删除指令发送删除单元;
所述删除单元接收到消息的删除指令后将该消息从分布式消息队列服务器中的消息队列删除。
本发明的有益效果是:本发明中指令分析模块用于接收数据分发指令并对数据分发指令进行分析,获取数据分发指令的等待时长、移动终端的指令失败率和分发距离;结合等待时长、总次数、指令失败率、分发距离和设备值,计算得到数据分发指令的优处值;能够根据优处值对同时请求的数据分发指令进行优先级别的判断,进而进行分批处理,提高数据分发效率;当数据分发模块接收到数据分发指令时生成分发信号;评估模块用于接收分发信号并进行分析;当监测到分发信号时,记录分发信号执行信息,计算得到平均分发时长、分发频率;当监测到分发信号时,每间隔R2时间采集一次实时网络访问速度,将网络访问速度与访问阈值进行对比;若网络访问速度F1<访问阈值,则将该网络访问速度标记为影响访问速度;统计影响访问速度出现的次数;将影响访问速度与访问阈值进行差值计算得到低速值,将所有的低速值进行求和获取得到低速总值;利用公式获取得到分发估值GD;将分发估值GD传输至显示模块实时显示,方便管理人员直观了解;同时消息管理模块用于对分布式消息队列服务器中缓存的消息进行管理,减轻分布式消息队列服务器的缓存压力,从而提高数据分发效率。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,一种网络数据智能分发服务系统,包括数据采集模块、分布式消息队列服务器、指令输入模块、指令分析模块、数据分发模块、设备分析模块、指令监测模块、评估模块、存储模块、显示模块和消息管理模块;
所述数据采集模块用于采集网络数据并将采集的网络数据作为消息发送到分布式消息队列服务器;所述分布式消息队列服务器用于将接收到的网络数据作为消息缓存在一个或多个消息队列中;并对所接收到的消息进行过滤,以获得有效数据;
所述指令输入模块用于用户通过移动终端输入数据分发指令,并将数据分发指令发送至指令分析模块;所述指令分析模块用于接收数据分发指令并对数据分发指令进行分析,获取得到数据分发指令的优处值;具体步骤为:
步骤一:用户通过移动终端输入数据分发指令;将移动终端标记为j;
将用户输入数据分发指令的时刻标记为指令输入时刻;将指令输入时刻与系统当前时间进行时间差计算获取得到数据分发指令的等待时长,并标记为T1;
步骤二:获取移动终端发送数据分发指令的总次数,并将总次数标记为C1;
获取移动终端数据分发指令执行失败的次数,将执行失败的次数除以总次数获取的移动终端的指令失败率,并将指令失败率标记为C2;
步骤三:向移动终端发送位置获取指令获取移动终端的实时位置,并将移动终端的实时位置与分布式消息队列服务器的位置进行距离差计算获取得到分发距离,并标记为C3;
步骤四:获取移动终端的设备值并标记为D1;
步骤五:将等待时长、总次数、指令失败率、分发距离和设备值进行归一化处理并取其数值;
利用公式YC=T1×b1+C1×b2-C2×b3+1/C3×b4+D1×b5获取得到数据分发指令的优处值YC;其中b1、b2、b3、b4、b5均为比例系数,例如b1取值0.35,b2取值0.41,b3取值0.99,b4取值1.17,b5取值0.11;
所述指令分析模块将数据分发指令按照优处值大小进行排序,生成数据分发指令的处理优先表,反馈该数据分发指令在处理优先表所处的序列位置至分布式消息队列服务器;所述分布式消息队列服务器按照反馈的序列位置对该数据分发指令进行处理;
所述分布式消息队列服务器根据数据分发指令从消息队列中获取对应消息,并将数据分发指令和对应消息传输至数据分发模块,所述数据分发模块用于根据数据分发指令将对应消息分发传输至用户的移动终端;
所述设备分析模块用于获取移动终端的注册信息并进行分析得到移动终端的设备值,所述注册信息包括姓名、年龄、终端号码、会员等级、购买时间和总存储空间;具体分析步骤为:
V1:设备分析模块向移动终端发送内存获取指令和套餐获取指令并获取移动终端的剩余存储空间和剩余流量,将剩余存储空间和剩余流量分别标记为D2和D3;将移动终端的总存储空间标记为D4;
V2:获取移动终端的会员等级,并将移动终端的会员等级值标记为DE,其中,会员等级划分为钻石会员、铂金会员、黄金会员和普通会员;钻石会员的会员等级值为X4,铂金会员的会员等级值为X3,黄金会员的会员等级值为X2,普通会员的会员等级值为X1,且X4>X3>X2>X1;
V3:将移动终端的购买时间与系统当前时刻进行时间差计算获取得到移动终端的购买时长并标记为T2;
设定移动终端的维修次数为C4;
V4:利用公式D1=(D2×d1+D3×d2+D4×d3+DE×d4)/(T2×d5+C4×d6)获取得到移动终端的设备值D1,其中d1、d2、d3、d4、d5、d6均为比例系数;例如d1取值0.55,d2取值0.81,d3取值0.95,d4取值0.48,d5取值1.21,d6取值0.88;
所述指令监测模块与数据分发模块通信连接;
所述指令监测模块用于进行数据分发指令监测,当数据分发模块接收到数据分发指令时,所述指令监测模块生成分发信号并将分发信号传输至评估模块;所述评估模块用于接收分发信号并进行分析,具体分析步骤为:
SS1:当监测到分发信号时,记录分发信号执行信息,所述分发信号执行信息包括分发信号产生时间、分发信号结束时间;所述分发信号结束时间为数据分发指令执行结束时间;
SS2:在监测到产生分发信号时自动倒计时,倒计时时长为T3时间,T3为预设值;在倒计时阶段继续对数据分发指令进行监测,若产生新的分发信号,则倒计时自动归为原值,重新按照T3进行倒计时;否则倒计时归零,停止计时;
SS3:获取到所有的分发信号执行信息;
将每一次分发信号执行信息中的分发信号结束时间与分发信号产生时间进行时间差计算得到单次分发时长;
将所有的单次分发时长进行求和并取均值得到平均分发时长并标记为Ts;
SS4:按照分发信号产生时间将分发信号执行信息标记为Gi,i=1,...,m,Gm为最后一个分发信号执行信息;
SS5:获取到G1的产生时间和Gm的产生时间,并将G1的产生时间和Gm的产生时间进行时间差计算得到执行时长,并将执行时长标记为Cg;
根据m值得到产生分发信号的次数为m次;
结合分发信号的次数、执行时长,获取得到分发频率Pg,具体计算公式为:Pg=m/Cg;
SS6:当监测到分发信号时,每间隔R2时间采集一次实时网络访问速度,将该网络访问速度标记为F1;其中,R2为预设值;
将网络访问速度F1与访问阈值进行对比;
若网络访问速度F1<访问阈值,则将该网络访问速度标记为影响访问速度;
统计影响访问速度出现的次数并标记为F2,将影响访问速度与访问阈值进行差值计算得到低速值,将所有的低速值进行求和获取得到低速总值,并标记为F3;
SS7:利用公式GD=1/Ts×A1+Pg×A2-F2×A3-F3×A4获取得到分发估值GD;其中A1、A2、A3、A4均为比例系数,例如A1取值1.21,A2取值0.59,A3取值0.21,A4取值0.65;
所述评估模块用于将分发估值GD打上时间戳传输到存储模块进行实时存储;所述存储模块用于将分发估值GD传输至显示模块实时显示,方便管理人员直观了解;
所述消息管理模块用于对分布式消息队列服务器中缓存的消息进行管理,所述消息管理模块包括缓存采集单元、缓存管理单元和删除单元;所述缓存采集单元用于采集消息在分布式消息队列服务器中的缓存数据并将缓存数据发送至缓存管理单元,其中缓存数据包括消息的大小、消息的类型、缓存开始时刻、分发次数和分发时间;缓存管理单元接收到缓存数据并进行缓存分析,具体为:
S1:将缓存开始时刻与系统当前时间进行时间差计算获取得到缓存时长并标记为L1;
将消息的大小标记为L2,将消息的分发次数标记为L3;
S2:获取消息的类型,设定每种消息类型均有一个对应的预设值,将该消息的类型与所有的消息类型进行匹配获取得到该消息对应的预设值,并标记为L4;
S3:将缓存时长、消息的大小、分发次数和预设值进行归一化处理并取其数值;
利用公式GL=(L3×a1+L4×a2)/(L2×a3)-L1×a4获取得到消息的缓存值GL;其中a1、a2、a3、a4均为比例系数;例如a1取值0.3,a2取值0.5,a3取值0.6,a4取值0.2;
S4:将缓存值GL与缓存阈值相比较;
当缓存值GL≤缓存阈值时,则处于待验证状态;
S5:当处于待验证状态时,获取该消息的分发时间,将分发时间按照时间顺序进行排序,获取该消息最近一次的分发时间,并标记为极近时间;
将极近时间与系统当前时间进行时间差计算获取得到缓冲时长,并标记为L5;
S6:将缓冲时长L5与缓冲时长阈值相比较;
当缓冲时长L5≥缓冲时长阈值时,则生成消息的删除指令并将删除指令发送删除单元;
所述删除单元接收到消息的删除指令后将该消息从分布式消息队列服务器中的消息队列删除。
本发明的工作原理是:
一种网络数据智能分发服务系统,在工作时,指令输入模块用于用户通过移动终端输入数据分发指令;指令分析模块用于接收数据分发指令并对数据分发指令进行分析,将指令输入时刻与系统当前时间进行时间差计算获取得到数据分发指令的等待时长;获取移动终端数据分发指令执行失败的次数,将执行失败的次数除以总次数获取的移动终端的指令失败率;将移动终端的实时位置与分布式消息队列服务器的位置进行距离差计算获取得到分发距离;结合等待时长、总次数、指令失败率、分发距离和设备值,计算得到数据分发指令的优处值;能够根据优处值对同时请求的数据分发指令进行优先级别的判断,进而进行分批处理,提高数据分发效率;
所述指令监测模块用于进行数据分发指令监测,当数据分发模块接收到数据分发指令时,所述指令监测模块生成分发信号并将分发信号传输至评估模块;所述评估模块用于接收分发信号并进行分析;当监测到分发信号时,记录分发信号执行信息,在监测到产生分发信号时自动倒计时,在倒计时阶段继续对数据分发指令进行监测,若产生新的分发信号,则倒计时自动归为原值,重新按照T3进行倒计时;否则倒计时归零,停止计时;获取到所有的分发信号执行信息;计算得到平均分发时长、分发频率;当监测到分发信号时,每间隔R2时间采集一次实时网络访问速度,将网络访问速度与访问阈值进行对比;若网络访问速度F1<访问阈值,则将该网络访问速度标记为影响访问速度;统计影响访问速度出现的次数;将影响访问速度与访问阈值进行差值计算得到低速值,将所有的低速值进行求和获取得到低速总值;利用公式GD=1/Ts×A1+Pg×A2-F2×A3-F3×A4获取得到分发估值GD;所述评估模块用于将分发估值GD打上时间戳传输到存储模块进行实时存储;所述存储模块用于将分发估值GD传输至显示模块实时显示,方便管理人员直观了解;
所述消息管理模块用于对分布式消息队列服务器中缓存的消息进行管理,将缓存开始时刻与系统当前时间进行时间差计算获取得到缓存时长并标记为L1;将消息的大小标记为L2,将消息的分发次数标记为L3;获取消息的类型,设定每种消息类型均有一个对应的预设值,将该消息的类型与所有的消息类型进行匹配获取得到该消息对应的预设值,并标记为L4利用公式GL=(L3×a1+L4×a2)/(L2×a3)-L1×a4获取得到消息的缓存值GL;将缓存值GL与缓存阈值相比较;当缓存值GL≤缓存阈值时,则处于待验证状态;当处于待验证状态时,获取该消息的分发时间,将分发时间按照时间顺序进行排序,获取该消息最近一次的分发时间,并标记为极近时间;将极近时间与系统当前时间进行时间差计算获取得到缓冲时长,当缓冲时长L5≥缓冲时长阈值时,则生成消息的删除指令并将删除指令发送删除单元;所述删除单元接收到消息的删除指令后将该消息从分布式消息队列服务器中的消息队列删除;减轻分布式消息队列服务器的缓存压力,从而提高数据分发效率。
上述公式和比例系数均是由采集大量数据进行软件模拟及相应专家进行参数设置处理,得到与真实结果符合的公式和比例系数。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种网络数据智能分发服务系统,其特征在于,包括数据采集模块、分布式消息队列服务器、指令输入模块、指令分析模块、数据分发模块、设备分析模块、指令监测模块、评估模块、存储模块、显示模块和消息管理模块;
所述数据采集模块用于采集网络数据并将采集的网络数据作为消息发送到分布式消息队列服务器;所述分布式消息队列服务器用于将接收到的网络数据作为消息缓存在一个或多个消息队列中;并对所接收到的消息进行过滤,以获得有效数据;
所述指令输入模块用于用户通过移动终端输入数据分发指令,并将数据分发指令发送至指令分析模块;所述指令分析模块用于接收数据分发指令并对数据分发指令进行分析,获取得到数据分发指令的优处值;
所述指令分析模块将数据分发指令按照优处值大小进行排序,生成数据分发指令的处理优先表,反馈该数据分发指令在处理优先表所处的序列位置至分布式消息队列服务器;所述分布式消息队列服务器按照反馈的序列位置对该数据分发指令进行处理;
所述分布式消息队列服务器根据数据分发指令从消息队列中获取对应消息,并将数据分发指令和对应消息传输至数据分发模块,所述数据分发模块用于根据数据分发指令将对应消息分发传输至用户的移动终端;
所述消息管理模块用于对分布式消息队列服务器中缓存的消息进行管理。
2.根据权利要求1所述的一种网络数据智能分发服务系统,其特征在于,所述指令分析模块的具体分析步骤为:
步骤一:用户通过移动终端输入数据分发指令;将移动终端标记为j;
将用户输入数据分发指令的时刻标记为指令输入时刻;将指令输入时刻与系统当前时间进行时间差计算获取得到数据分发指令的等待时长,并标记为T1;
步骤二:获取移动终端发送数据分发指令的总次数,并将总次数标记为C1;
获取移动终端数据分发指令执行失败的次数,将执行失败的次数除以总次数获取的移动终端的指令失败率,并将指令失败率标记为C2;
步骤三:向移动终端发送位置获取指令获取移动终端的实时位置,并将移动终端的实时位置与分布式消息队列服务器的位置进行距离差计算获取得到分发距离,并标记为C3;
步骤四:获取移动终端的设备值并标记为D1;
步骤五:将等待时长、总次数、指令失败率、分发距离和设备值进行归一化处理并取其数值;
利用公式YC=T1×b1+C1×b2-C2×b3+1/C3×b4+D1×b5获取得到数据分发指令的优处值YC;其中b1、b2、b3、b4、b5均为比例系数。
3.根据权利要求1所述的一种网络数据智能分发服务系统,其特征在于,所述设备分析模块用于获取移动终端的注册信息并进行分析得到移动终端的设备值,所述注册信息包括姓名、年龄、终端号码、会员等级、购买时间和总存储空间;具体分析步骤为:
V1:设备分析模块向移动终端发送内存获取指令和套餐获取指令并获取移动终端的剩余存储空间和剩余流量,将剩余存储空间和剩余流量分别标记为D2和D3;将移动终端的总存储空间标记为D4;
V2:获取移动终端的会员等级,并将移动终端的会员等级值标记为DE,其中,会员等级划分为钻石会员、铂金会员、黄金会员和普通会员;钻石会员的会员等级值为X4,铂金会员的会员等级值为X3,黄金会员的会员等级值为X2,普通会员的会员等级值为X1,且X4>X3>X2>X1;
V3:将移动终端的购买时间与系统当前时刻进行时间差计算获取得到移动终端的购买时长并标记为T2;
设定移动终端的维修次数为C4;
V4:利用公式D1=(D2×d1+D3×d2+D4×d3+DE×d4)/(T2×d5+C4×d6)获取得到移动终端的设备值D1,其中d1、d2、d3、d4、d5、d6均为比例系数。
4.根据权利要求1所述的一种网络数据智能分发服务系统,其特征在于,所述指令监测模块与数据分发模块通信连接;所述指令监测模块用于进行数据分发指令监测,当数据分发模块接收到数据分发指令时,所述指令监测模块生成分发信号并将分发信号传输至评估模块;
所述评估模块用于接收分发信号并进行分析,具体分析步骤为:
SS1:当监测到分发信号时,记录分发信号执行信息,所述分发信号执行信息包括分发信号产生时间、分发信号结束时间;所述分发信号结束时间为数据分发指令执行结束时间;
SS2:在监测到产生分发信号时自动倒计时,倒计时时长为T3时间,T3为预设值;在倒计时阶段继续对数据分发指令进行监测,若产生新的分发信号,则倒计时自动归为原值,重新按照T3进行倒计时;否则倒计时归零,停止计时;
SS3:获取到所有的分发信号执行信息;
将每一次分发信号执行信息中的分发信号结束时间与分发信号产生时间进行时间差计算得到单次分发时长;
将所有的单次分发时长进行求和并取均值得到平均分发时长并标记为Ts;
SS4:按照分发信号产生时间将分发信号执行信息标记为Gi,i=1,...,m,Gm为最后一个分发信号执行信息;
SS5:获取到G1的产生时间和Gm的产生时间,并将G1的产生时间和Gm的产生时间进行时间差计算得到执行时长,并将执行时长标记为Cg;
根据m值得到产生分发信号的次数为m次;
结合分发信号的次数、执行时长,获取得到分发频率Pg,具体计算公式为:Pg=m/Cg;
SS6:当监测到分发信号时,每间隔R2时间采集一次实时网络访问速度,将该网络访问速度标记为F1;其中,R2为预设值;
将网络访问速度F1与访问阈值进行对比;
若网络访问速度F1<访问阈值,则将该网络访问速度标记为影响访问速度;
统计影响访问速度出现的次数并标记为F2,将影响访问速度与访问阈值进行差值计算得到低速值,将所有的低速值进行求和获取得到低速总值,并标记为F3;
SS7:利用公式GD=1/Ts×A1+Pg×A2-F2×A3-F3×A4获取得到分发估值GD;其中A1、A2、A3、A4均为比例系数;
所述评估模块用于将分发估值GD打上时间戳传输到存储模块进行实时存储;所述存储模块用于将分发估值GD传输至显示模块实时显示。
5.根据权利要求1所述的一种网络数据智能分发服务系统,其特征在于,所述消息管理模块包括缓存采集单元、缓存管理单元和删除单元;所述缓存采集单元用于采集消息在分布式消息队列服务器中的缓存数据并将缓存数据发送至缓存管理单元,其中缓存数据包括消息的大小、消息的类型、缓存开始时刻、分发次数和分发时间;缓存管理单元接收到缓存数据并进行缓存分析,具体为:
S1:将缓存开始时刻与系统当前时间进行时间差计算获取得到缓存时长并标记为L1;将消息的大小标记为L2,将消息的分发次数标记为L3;
S2:获取消息的类型,设定每种消息类型均有一个对应的预设值,将该消息的类型与所有的消息类型进行匹配获取得到该消息对应的预设值,并标记为L4;
S3:将缓存时长、消息的大小、分发次数和预设值进行归一化处理并取其数值;利用公式GL=(L3×a1+L4×a2)/(L2×a3)-L1×a4获取得到消息的缓存值GL;其中a1、a2、a3、a4均为比例系数;
S4:将缓存值GL与缓存阈值相比较;
当缓存值GL≤缓存阈值时,则处于待验证状态;
S5:当处于待验证状态时,获取该消息的分发时间,将分发时间按照时间顺序进行排序,获取该消息最近一次的分发时间,并标记为极近时间;将极近时间与系统当前时间进行时间差计算获取得到缓冲时长,并标记为L5;
S6:将缓冲时长L5与缓冲时长阈值相比较;
当缓冲时长L5≥缓冲时长阈值时,则生成消息的删除指令并将删除指令发送删除单元;
所述删除单元接收到消息的删除指令后将该消息从分布式消息队列服务器中的消息队列删除。
CN202011509846.XA 2020-12-19 2020-12-19 一种网络数据智能分发服务系统 Active CN112653636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011509846.XA CN112653636B (zh) 2020-12-19 2020-12-19 一种网络数据智能分发服务系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011509846.XA CN112653636B (zh) 2020-12-19 2020-12-19 一种网络数据智能分发服务系统

Publications (2)

Publication Number Publication Date
CN112653636A true CN112653636A (zh) 2021-04-13
CN112653636B CN112653636B (zh) 2022-09-20

Family

ID=75355137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011509846.XA Active CN112653636B (zh) 2020-12-19 2020-12-19 一种网络数据智能分发服务系统

Country Status (1)

Country Link
CN (1) CN112653636B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422734A (zh) * 2021-06-16 2021-09-21 北京百度网讯科技有限公司 资源分发方法、装置、电子设备以及存储介质
CN113487278A (zh) * 2021-07-02 2021-10-08 钦州云之汇大数据科技有限公司 一种基于物联网的企业协同办公系统
CN113506178A (zh) * 2021-07-27 2021-10-15 中国工商银行股份有限公司 交易引流数据统计分析方法、装置、设备、介质和程序产品
CN113742400A (zh) * 2021-09-10 2021-12-03 哈尔滨工业大学(威海) 一种基于自适应约束条件的网络数据获取系统及方法
CN113836457A (zh) * 2021-09-29 2021-12-24 德州职业技术学院(德州市技师学院) 一种基于信息识别分析的移动互联网终端缓存管理方法、系统及存储介质
CN114221939A (zh) * 2021-11-08 2022-03-22 中通服和信科技有限公司 一种物联网视频流媒体边缘计算网关
CN115761142A (zh) * 2022-12-06 2023-03-07 上海瞰融信息技术发展有限公司 一种基于多gpu协同的高性能实景建模方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5944788A (en) * 1997-03-26 1999-08-31 Unisys Corporation Message transfer system and control method for multiple sending and receiving modules in a network supporting hardware and software emulated modules
JP2004212754A (ja) * 2003-01-07 2004-07-29 Sharp Corp コンテンツ配信サーバ、コンテンツ受信端末及びコンテンツ配信システム
CN103024014A (zh) * 2012-12-03 2013-04-03 北京京东世纪贸易有限公司 通过消息队列的海量数据分发处理的方法和系统
WO2014075716A1 (en) * 2012-11-14 2014-05-22 Telefonaktiebolaget L M Ericsson (Publ) Content based overload protection
CN106790678A (zh) * 2017-01-23 2017-05-31 南威软件股份有限公司 一种保证重要数据优先传输消费的传输系统及方法
US20180335968A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Techniques for managing storage space allocation within a storage device
CN110460541A (zh) * 2019-07-30 2019-11-15 秒针信息技术有限公司 应用于web服务器的限流方法及装置
CN111340538A (zh) * 2020-02-21 2020-06-26 珍岛信息技术(上海)股份有限公司 一种基于营销大数据的企业信息化管理云平台
WO2020164363A1 (zh) * 2019-02-15 2020-08-20 浙江吉利汽车研究院有限公司 一种实时消息总线系统及处理装置
CN112015810A (zh) * 2020-08-04 2020-12-01 珍岛信息技术(上海)股份有限公司 基于互联网的分布式数据库信息查询管理系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5944788A (en) * 1997-03-26 1999-08-31 Unisys Corporation Message transfer system and control method for multiple sending and receiving modules in a network supporting hardware and software emulated modules
JP2004212754A (ja) * 2003-01-07 2004-07-29 Sharp Corp コンテンツ配信サーバ、コンテンツ受信端末及びコンテンツ配信システム
WO2014075716A1 (en) * 2012-11-14 2014-05-22 Telefonaktiebolaget L M Ericsson (Publ) Content based overload protection
CN103024014A (zh) * 2012-12-03 2013-04-03 北京京东世纪贸易有限公司 通过消息队列的海量数据分发处理的方法和系统
CN106790678A (zh) * 2017-01-23 2017-05-31 南威软件股份有限公司 一种保证重要数据优先传输消费的传输系统及方法
US20180335968A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Techniques for managing storage space allocation within a storage device
WO2020164363A1 (zh) * 2019-02-15 2020-08-20 浙江吉利汽车研究院有限公司 一种实时消息总线系统及处理装置
CN110460541A (zh) * 2019-07-30 2019-11-15 秒针信息技术有限公司 应用于web服务器的限流方法及装置
CN111340538A (zh) * 2020-02-21 2020-06-26 珍岛信息技术(上海)股份有限公司 一种基于营销大数据的企业信息化管理云平台
CN112015810A (zh) * 2020-08-04 2020-12-01 珍岛信息技术(上海)股份有限公司 基于互联网的分布式数据库信息查询管理系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
唐定勇等: "基于灰色预测模型的优先级队列缓存管理策略", 《计算机工程》 *
李雪源等: "航电数据分发服务器的设计与实现", 《航空计算技术》 *
杜松江等: "基于数据块优先级的无线多跳Mesh网络数据分发算法", 《现代电子技术》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422734A (zh) * 2021-06-16 2021-09-21 北京百度网讯科技有限公司 资源分发方法、装置、电子设备以及存储介质
CN113422734B (zh) * 2021-06-16 2022-08-26 北京百度网讯科技有限公司 资源分发方法、装置、电子设备以及存储介质
CN113487278A (zh) * 2021-07-02 2021-10-08 钦州云之汇大数据科技有限公司 一种基于物联网的企业协同办公系统
CN113487278B (zh) * 2021-07-02 2023-05-09 深圳市顿泽慧科技有限公司 一种基于物联网的企业协同办公系统
CN113506178A (zh) * 2021-07-27 2021-10-15 中国工商银行股份有限公司 交易引流数据统计分析方法、装置、设备、介质和程序产品
CN113742400A (zh) * 2021-09-10 2021-12-03 哈尔滨工业大学(威海) 一种基于自适应约束条件的网络数据获取系统及方法
CN113742400B (zh) * 2021-09-10 2023-09-19 哈尔滨工业大学(威海) 一种基于自适应约束条件的网络数据获取系统及方法
CN113836457A (zh) * 2021-09-29 2021-12-24 德州职业技术学院(德州市技师学院) 一种基于信息识别分析的移动互联网终端缓存管理方法、系统及存储介质
CN114221939A (zh) * 2021-11-08 2022-03-22 中通服和信科技有限公司 一种物联网视频流媒体边缘计算网关
CN115761142A (zh) * 2022-12-06 2023-03-07 上海瞰融信息技术发展有限公司 一种基于多gpu协同的高性能实景建模方法
CN115761142B (zh) * 2022-12-06 2023-11-28 上海瞰融信息技术发展有限公司 一种基于多gpu协同的高性能实景建模方法

Also Published As

Publication number Publication date
CN112653636B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN112653636B (zh) 一种网络数据智能分发服务系统
US5946302A (en) System and method for response time measurement in high speed data transmission networks
CN105281981B (zh) 网络服务的数据流量监控方法和装置
CN110620699B (zh) 消息到达率确定方法、装置、设备和计算机可读存储介质
CN103488449B (zh) 可动态设定传输组态的传输系统及其控制方法
CN108512727A (zh) 一种中央处理器利用率的确定方法及装置
WO2023147731A1 (zh) 异常数据的处理方法、装置及电子设备
CN101826999A (zh) 一种在线报文流量监测及带宽补偿的方法和装置
CN110138603A (zh) 一种监控物联网设备的方法及装置
CN114444096B (zh) 一种基于数据分析的网络数据储存加密检测系统
CN117176802B (zh) 一种业务请求的全链路监控方法、装置、电子设备及介质
CN110533848A (zh) 截取并口收银机打印数据并追打附加信息的方法及系统
CN116260738B (zh) 设备监控方法及相关设备
CN108900244B (zh) 一种fc光接口数据及其相关数据监控与测试的方法
US5778172A (en) Enhanced real-time topology analysis system or high speed networks
CN115883626A (zh) 一种基于互联网的多功能信息技术咨询服务系统
CN108345650A (zh) 电子发票业务实时监控预警方法及系统
CN101106444A (zh) 数据传输电路中误码等级实时测试的方法
CN112260905A (zh) 一种区块链网络共识加速器用共识效率控制系统
CN112965810B (zh) 一种基于共享网络通道的多内核浏览器数据整合方法
CN100499515C (zh) 网络监视系统及方法
CN110865567A (zh) 一种加油机液晶屏数据采集与流水生成方法
CN116052404B (zh) 一种基于5g通信技术的电网数据交互系统
CN108874938A (zh) 数据滚动方法、装置、前端设备、后台服务器和介质
CN213186306U (zh) 水表抄表系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant