一种基于数据分析的智能网关用智能流控管理系统
技术领域
本发明属于数据网关流控技术领域,具体是一种基于智能网关数据分析用智能流控管理系统。
背景技术
智能网关是网络设备,是局域网络智能化的关键,一般支持虚拟网络接入、wifi接入、有线宽带接入等,通过它可实现对局域网内各传感器、网络设备、摄像头以及主机等设备的信息采集、信息输入、信息输出、集中控制、远程控制、联动控制等功能。
在进行数据分析处理过程中,需采用智能网关对数据流量进行管控处理,在进行管控处理时,未对数据进行处理,导致数据容量较大,在进行数据缓存时,不仅占用大量的缓存空间,同时也严重影响缓存效率,同时数据进行传输时,传输速率较低,便严重影响整体的传输速率,导致数据流控管理效果不佳。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一;为此,本发明提出了一种基于智能网关数据分析用智能流控管理系统,用于解决因未对数据进行有效处理,导致数据的缓存效率以及传输速率无法进行提升的技术问题。
为实现上述目的,根据本发明的第一方面的实施例提出一种基于智能网关数据分析用智能流控管理系统,包括基站、智能流控端以及云存储端;
所述基站用于对传输数据进行发送或接收;
所述云存储端内部存储有共有数据,共有数据包括IP地址信息、MAC地址信息以及实名信息;
所述智能流控端包括数据采集端、分级传输端、数据处理中心以及限流中心,数据采集端用于对传输数据的数据容量以及基站的数据处理速率进行获取采集,数据处理中心对传输数据进行处理,剔除传输数据内部的共有数据并将处理后的数据捆绑生成整体数据包,分级传输端对不同的整体数据包采用不同带宽的网络通道进行传输,限流中心对整体数据包进行限流处理,限流处理后的整体数据包再通过网络通道进行传输。
优选的,所述数据处理中心对传输数据进行处理的步骤如下:
对传输数据进行采集获取,并将采集获取的数据传输至数据处理中心内,数据处理中心直接提取数据内部的共有数据,将共有数据进行捆绑,生成捆绑数据包,并标记为GY;
数据处理中心对云存储端内部的存储数据进行提取,将共有数据GY与存储数据进行比对,查看存储数据内是否存储有共有数据GY,当存储有共有数据GY时,直接剔除共有数据GY,再对存储数据库内部的共有数据标记为GY,若不存储对应的共有数据GY,将共有数据GY存储于云存储端内,存储完毕后,对共有数据GY剔除;
根据不同共有数据的节点位置,对传输数据进行切割,切割为多组数据流,并将多组数据流捆绑为捆绑数据包,将不同的捆绑数据包采用正整数标记进行显现,显现方式为1、2、3、4、5、6、……、n,若共有数据GY为对应的3、5、7,则直接将共有数据GY进行剔除,采用标记GYk进行标记,同时对云存储端内部相对应的共有数据标记为GYk,其中k代表不同的标记,则显现方式为1、2、GY1、4、GY2、6、GY3、……、n;
数据处理中心内部设置有对应的记忆单元,记忆单元用于对共有数据的位置GYk进行记忆;
将经过处理后的数据进行获取,并生成整体数据包,整体数据包传输完毕后,通过整体数据包内部的标记GYk,直接对云存储端内部带有相同标记GYk的存储数据进行提取,再根据标记GYk前后两侧的下标,查询到共有数据的节点位置,将所提取的存储数据穿插至传输数据内,完成整体数据的传输工作。
优选的,所述记忆单元的记忆方式为:
对第一组标记GYk的前后两组数据包标记2、4进行获取,对标记GYk进行下标处理,表现形式为2GYk4,将多组共有数据标记GYk均进行处理后,此时的表现形式为:1、2、2GY14、4、4GY26、6、6GY38、……、n。
优选的,所述分级传输端对不同的整体数据包采用不同带宽的网络通道进行传输的方式为:
将不同整体数据包的容量标记为SJi,其中i代表不同的数据;
分级传输端内部设置有两组容量点值X1以及X2,当SJi≤X1时,分级传输端直接将对应的数据采用带宽为5Kbit/s的网络通道进行数据传输;
当X1<SJi≤X2时,分级传输端采用带宽为8Kbit/s的网络通道进行数据传输;
当SJi>X2时,分级传输端采用带宽为10Kbit/s的网络通道进行数据传输,数据在传输之前,需通过数据处理中心进行数据处理。
优选的,限流中心对整体数据包进行限流处理的方式为:
对整体数据包容量SJi进行获取,并通过数据内部的IP地址查询到对应的基站,通过数据采集端,对基站内部的数据处理速率进行采集获取,并标记为CL;
采用
得到限流值Vc,其中C1和C2均为预设的固定系数因子;
限流中心将处理所得的限流值Vc传输至数据处理中心内,数据处理中心根据限流值Vc对传输数据进行限流处理。
与现有技术相比,本发明的有益效果是:数据采集端预先对传输数据进行获取,将所获取的传输数据输送值处理中心内,处理中心对传输数据内部的共有数据进行提取并进行标记,再将所提取的共有数据与云存储端内部所存储的数据进行比对,查看是否进行了存储,根据处理结果,对传输数据内部的共有数据进行剔除,并在剔除节点位置处进行标记,使对应的标记穿插于对应节点处,云存储端内部对应的共有数据同时进行标记,并将进行处理后的传输数据整合为整体数据包,剔除原始传输数据内部的共有数据,不仅可以节省传输流量,同时还可释放缓存空间,缩减数据容量,加快传输速率;
使不同的整体数据包通过不同通道的传输方式,保证整体数据包的传输速率;
根据对应基站的接收速率,对整体数据包的传输过程进行限流,避免基站接收数据过多,造成基站内部CPU无法处理,导致数据混乱,提升流控管理效果。
附图说明
图1为本发明原理框架示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本申请提供了一种基于智能网关数据分析用智能流控管理系统,包括基站、智能流控端以及云存储端,所述基站与智能流控端之间双向连接,所述智能流控端与云存储端之间双向连接;
所述智能流控端内部包括有数据采集端、分级传输端、数据处理中心以及限流中心;
所述数据采集端输出端与数据处理中心输入端电性连接,所述分级传输端与数据处理中心之间双向连接,所述数据处理中心与限流中心之间双向连接;
基站,为外部网络数据基站,用于对网络数据进行发送或接收;
数据采集端,用于对基站的数据处理速率进行获取采集,并对传输数据的容量进行采集,智能流控端内部设置有时间标尺,时间标尺对数据流量进行统计生成数据容量;
云存储端,内部存储有共有数据,共有数据包括IP地址信息、MAC地址信息以及实名信息,数据处理中心对进行传输的数据进行处理,并将内部的共有数据传输至云存储端进行存储;
数据处理中心,对需进行传输的数据进行处理,其中处理步骤为:
S1、对传输数据进行采集获取,并将采集获取的数据传输至数据处理中心内,数据处理中心直接提取数据内部的共有数据,将共有数据进行捆绑,生成捆绑数据包,并标记为GY;
S2、数据处理中心对云存储端内部的存储数据进行提取,将共有数据GY与存储数据进行比对,查看存储数据内是否存储有共有数据GY,当存储有共有数据GY时,直接剔除共有数据GY,再对存储数据库内部的共有数据标记为GY,若不存储对应的共有数据GY,将共有数据GY存储于云存储端内,存储完毕后,对共有数据GY剔除;
S3、根据共有数据的节点位置,对传输数据进行切割,切割为多组数据流,并将多组数据流捆绑为捆绑数据包,将不同的捆绑数据包采用正整数标记进行显现,显现方式为1、2、3、4、5、6、……、n,若共有数据GY为对应的3、5、7,则直接将共有数据GY进行剔除,采用标记GYk进行标记,同时对云存储端内部相对应的共有数据标记为GYk,其中k代表不同的标记,则显现方式为1、2、GY1、4、GY2、6、GY3、……、n,此时的1代表第一组数据流;
S4、数据处理中心内部设置有对应的记忆单元,记忆单元用于对共有数据的位置GYk进行记忆,其中记忆方式为:
S41、对第一组标记GYk的前后两组数据包标记2、4进行获取,对标记GYk进行下标处理,表现形式为2GYk4,将多组共有数据标记GYk均进行处理后,此时的表现形式为:1、2、2GY14、4、4GY26、6、6GY38、……、n;
S5、将经过处理后的数据进行获取,并生成整体数据包,整体数据包传输完毕后,通过整体数据包内部的标记GYk,直接对云存储端内部带有相同标记GYk的存储数据进行提取,再根据标记GYk前后两侧的下标,查询到共有数据的节点位置,将所提取的存储数据穿插至传输数据内,完成整体数据的传输工作。
分级传输端,用于对数据处理中心所生成的整体数据包进行分级传输,保证数据的传输速率,其中分级传输的步骤为:
将不同整体数据包的容量标记为SJi,其中i代表不同的数据;
分级传输端内部设置有两组容量点值X1以及X2,当SJi≤X1时,分级传输端直接将对应的数据采用带宽为5Kbit/s的网络通道进行数据传输;
当X1<SJi≤X2时,分级传输端采用带宽为8Kbit/s的网络通道进行数据传输;
当SJi>X2时,分级传输端采用带宽为10Kbit/s的网络通道进行数据传输,数据在传输之前,需通过数据处理中心进行数据处理。
限流中心,对整体数据包进行限流处理,避免数据传输过多,导致基站无法处理,使基站系统内部数据混乱,限流中心,对数据进行限流处理的步骤为:
W1、对整体数据包容量SJi进行获取,并通过数据内部的IP地址查询到对应的基站,通过数据采集端,对基站内部的数据处理速率进行采集获取,并标记为CL;
W2、采用
得到限流值Vc,其中C1和C2均为预设的固定系数因子;
W3、限流中心将处理所得的限流值Vc传输至数据处理中心内,数据处理中心根据限流值Vc对传输数据进行限流处理。
上述公式中的部分数据均是去除量纲取其数值计算,公式是由采集的大量数据经过软件模拟得到最接近真实情况的一个公式;公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获得。
本发明的工作原理:数据采集端预先对传输数据进行获取,将所获取的传输数据输送值处理中心内,处理中心对传输数据内部的共有数据进行提取并进行标记,再将所提取的共有数据与云存储端内部所存储的数据进行比对,查看是否进行了存储,根据处理结果,对传输数据内部的共有数据进行剔除,并在剔除节点位置处进行标记,使对应的标记穿插于对应节点处,云存储端内部对应的共有数据同时进行标记,并将进行处理后的传输数据整合为整体数据包,剔除原始传输数据内部的共有数据,不仅可以节省传输流量,同时还可释放缓存空间,缩减数据容量,加快传输速率;
使不同的整体数据包通过不同通道的传输方式,保证整体数据包的传输速率;
根据对应基站的接收速率,对整体数据包的传输过程进行限流,避免基站接收数据过多,造成基站内部CPU无法处理,导致数据混乱,提升流控管理效果。
以上实施例仅用以说明本发明的技术方法而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方法进行修改或等同替换,而不脱离本发明技术方法的精神和范围。