CN111654446A - 一种大数据流量控制方法、装置及流量服务器 - Google Patents

一种大数据流量控制方法、装置及流量服务器 Download PDF

Info

Publication number
CN111654446A
CN111654446A CN202010455350.2A CN202010455350A CN111654446A CN 111654446 A CN111654446 A CN 111654446A CN 202010455350 A CN202010455350 A CN 202010455350A CN 111654446 A CN111654446 A CN 111654446A
Authority
CN
China
Prior art keywords
data
flow
traffic
information
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010455350.2A
Other languages
English (en)
Other versions
CN111654446B (zh
Inventor
李云祥
刘章应
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Urban Construction Intelligent Control Technology Co ltd
Beijing Zhanyun Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010455350.2A priority Critical patent/CN111654446B/zh
Publication of CN111654446A publication Critical patent/CN111654446A/zh
Application granted granted Critical
Publication of CN111654446B publication Critical patent/CN111654446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种大数据流量控制方法、装置及流量服务器。在应用上述方案时,通过对数据流量信息包进行流量分析,得到数据流量的特征信息,进一步对特征信息分别进行信息过滤和流量监控,基于信息过滤和流量监控采用预设的流量传输线程对待监测数据流量进行传输模拟,得到数据传输速率。进一步在数据库查中与数据传输速率相匹配的目标数据传输速率,得到当前查找结果,根据当前查找结果获得待监测数据流量与所述数据访问流量之间的占比,基于占比以及关键信息,对当前查找结果进行行冗余处理,得到目标数据访问流量,并将目标数据访问流量发送给服务器。这样,在进行数据流量的传输和接收时,能够避免传输延时以及接收不及时而造成数据丢失。

Description

一种大数据流量控制方法、装置及流量服务器
技术领域
本公开涉及大数据流量控制技术领域,特别涉及一种大数据流量控制方法、装置及流量服务器。
背景技术
随着互联网的快速发展以及网络技术的进步,大数据流量的种类和数量都在急剧增长。与此同时,越来越多的大数据流量需要进行控制,而现有的大数据流量控制无法进行控制,而是将所有的数据进行统一处理,这样,会造成数据堆积,同时在进行数据流量的传输和接收时,很容易出现传输延时以及接收不及时而造成数据丢失。
,发明内容
为改善相关技术中存在的技术问题,本公开提供了一种大数据流量控制方法、装置及流量服务器。
本发明提供了一种大数据流量控制方法,所述方法包括:
对至少一组数据流量信息包进行流量分析,通过多次重叠流量分析提取出至少一组数据流量的特征信息;
对所述至少一组特征信息进行信息过滤,得到所述数据流量信息包的信息过滤轨迹,所述信息过滤轨迹用于表征数据流量的趋势特征;
对所述至少一组特征信息进行流量监控,得到所述数据流量信息包的流量监控曲线图,所述流量监控曲线图用于表征数据流量的波动特征;
当所述数据流量信息包包括至少两组待监测数据流量时,对于所述数据流量信息包中的每一组待监测数据流量,基于所述信息过滤轨迹以及所述流量监控曲线图,采用预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率;
在预设的数据库查找与所述数据传输速率相匹配的目标数据传输速率,得到当前查找结果;
对于所述当前查找结果中包括的每一组数据访问流量,获取所述数据流量信息包中包括的待监测数据流量与所述数据访问流量之间的占比;
获取所述数据流量信息包中包括的待监测数据流量在所述数据访问流量中的关键数据信息;
基于与所述每一组数据访问流量匹配的占比以及关键数据信息,对与所述每一组待监测数据流量匹配的当前查找结果进行冗余处理,得到与所述数据流量信息包匹配的目标数据访问流量,将所述目标数据访问流量发送给服务器。
在一种可替代的实施方式中,对至少一组数据流量信息包进行流量分析,通过多次重叠流量分析提取出至少一组数据流量的特征信息,具体包括:
从至少一组数据流量信息包中确定出至少一组可分析的第一流量分析列表和每个所述第一流量分析列表对应的处理节点;
从多个可分析的第一流量分析列表中筛选出多个与预设的流量列表库相匹配的流量分析列表,获得多个第二流量分析列表;
基于所述多个第二流量分析列表将所述数据流量信息包分为多个信息节点;逐个提取每个信息节点的数据流量信息包的流量状态信息,对每个信息节点的所述流量状态信息进行重叠处理,得到当前流量状态信息;
逐个提取每个信息节点的数据流量信息包的流量质量信息,对每个信息节点的所述流量质量信息进行重叠处理,得到当前流量质量信息,并对所述当前流量状态信息以及所述当前流量质量信息进行多维度修正,得到至少一组数据流量的特征信息。
在一种可替代的实施方式中,基于所述信息过滤轨迹以及所述流量监控曲线图,采用预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率,具体包括:
基于所述信息过滤轨迹以及所述流量监控曲线图,识别所述待监测数据流量的访问类型;其中,所述访问类型用于表征所述待监测数据流量的初始传输路径;
按照所述初始传输路径确定所述待监测数据流量对应的敏感关键词,基于所述敏感关键词确定所述待监测数据流量的访问权限;其中,所述敏感关键词用于表征所述待监测数据流量的传输方向;
确定覆盖所述敏感关键词的多个传输方向;其中,各所述传输方向分别覆盖至少一个敏感关键词;
当所述多个传输方向与目标传输方向相匹配时,根据所述多个传输方向中的至少一个传输方向确定所述待监测数据流量中的目标传输路径;
根据所述访问权限、所述目标传输路径以及预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率。
在一种可替代的实施方式中,获取所述数据流量信息包中包括的待监测数据流量在所述数据访问流量中的关键数据信息,具体包括:
确定所述数据流量信息包中包含的所述待监测数据流量中的数据访问流量分别对应的流量访问值和数据流量延时值;
基于所述数据流量信息包中的流量访问值,确定所述数据访问流量在终端设备上的访问时间,包括:在所述数据访问流量中,选择一个数据访问流量作为目标访问流量,获取所述目标访问流量对应的访问标识、访问网速以及访问环境参数;将所述目标访问流量对应的访问标识作为所述目标访问流量在终端设备中的流量值,并根据所述目标访问流量对应的访问网速和访问环境参数,确定所述目标访问流量在终端设备中的反馈值,并将所述目标访问流量的流量值和反馈值作为所述目标访问流量的监测数据;
基于所述监测数据以及所述数据流量信息包中的数据流量延时值统计出所述待监测数据流量在所述数据访问流量中的关键数据信息。
在一种可替代的实施方式中,基于与所述每一组数据访问流量匹配的占比以及关键数据信息,对与所述每一组待监测数据流量匹配的当前查找结果进行冗余处理,得到与所述数据流量信息包匹配的目标数据访问流量,具体包括:
基于与所述每一组数据访问流量匹配的占比以及关键数据信息,将所述每一组待监测数据流量匹配的当前查找结果作为目标处理对象,所述待监测数据流量中均包含多组数据流量;
根据所述目标处理对象在所述待监测数据流量中的匹配关系以及历史处理对象中除所述目标处理对象以外的其他数据流量的匹配关系确定目标处理对象集合;其中,所述目标处理对象集合包括所述历史处理对象中需要标注的数据流量;
对所述目标处理对象以及所述目标处理对象集合进行冗余处理,对冗余处理的结果进行筛选,得到第一数据流量和第二数据流量;其中,所述第一数据流量的优先级小于所述第二数据流量的优先级;
按照预设的控制策略对所述第一数据流量和所述第二数据流量进行过滤以丢弃部分第一数据流量,将剩余的第一数据流量以及所述第二数据流量与所述数据流量信息包进行匹配,得到与所述数据流量信息包匹配的目标数据访问流量。
本发明提供了一种大数据流量控制装置,所述装置包括:
流量分析模块,用于对至少一组数据流量信息包进行流量分析,通过多次重叠流量分析提取出至少一组数据流量的特征信息;
信息过滤模块,用于对所述至少一组特征信息进行信息过滤,得到所述数据流量信息包的信息过滤轨迹,所述信息过滤轨迹用于表征数据流量的趋势特征;
流量监控模块,用于对所述至少一组特征信息进行流量监控,得到所述数据流量信息包的流量监控曲线图,所述流量监控曲线图用于表征数据流量的波动特征;
流量传输模块,用于当所述数据流量信息包包括至少两组待监测数据流量时,对于所述数据流量信息包中的每一组待监测数据流量,基于所述信息过滤轨迹以及所述流量监控曲线图,采用预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率;
结果查找模块,用于在预设的数据库查找与所述数据传输速率相匹配的目标数据传输速率,得到当前查找结果;
占比获取模块,用于对于所述当前查找结果中包括的每一组数据访问流量,获取所述数据流量信息包中包括的待监测数据流量与所述数据访问流量之间的占比;
信息获取模块,用于获取所述数据流量信息包中包括的待监测数据流量在所述数据访问流量中的关键数据信息;
结果处理模块,用于基于与所述每一组数据访问流量匹配的占比以及关键数据信息,对与所述每一组待监测数据流量匹配的当前查找结果进行冗余处理,得到与所述数据流量信息包匹配的目标数据访问流量,将所述目标数据访问流量发送给服务器。
在一种可替代的实施方式中,所述流量分析模块,具体用于:
从至少一组数据流量信息包中确定出至少一组可分析的第一流量分析列表和每个所述第一流量分析列表对应的处理节点;
从多个可分析的第一流量分析列表中筛选出多个与预设的流量列表库相匹配的流量分析列表,获得多个第二流量分析列表;
基于所述多个第二流量分析列表将所述数据流量信息包分为多个信息节点;逐个提取每个信息节点的数据流量信息包的流量状态信息,对每个信息节点的所述流量状态信息进行重叠处理,得到当前流量状态信息;
逐个提取每个信息节点的数据流量信息包的流量质量信息,对每个信息节点的所述流量质量信息进行重叠处理,得到当前流量质量信息,并对所述当前流量状态信息以及所述当前流量质量信息进行多维度修正,得到至少一组数据流量的特征信息。
在一种可替代的实施方式中,所述流量传输模块,具体用于:
基于所述信息过滤轨迹以及所述流量监控曲线图,识别所述待监测数据流量的访问类型;其中,所述访问类型用于表征所述待监测数据流量的初始传输路径;
按照所述初始传输路径确定所述待监测数据流量对应的敏感关键词,基于所述敏感关键词确定所述待监测数据流量的访问权限;其中,所述敏感关键词用于表征所述待监测数据流量的传输方向;
确定覆盖所述敏感关键词的多个传输方向;其中,各所述传输方向分别覆盖至少一个敏感关键词;
当所述多个传输方向与目标传输方向相匹配时,根据所述多个传输方向中的至少一个传输方向确定所述待监测数据流量中的目标传输路径;
根据所述访问权限、所述目标传输路径以及预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率。
在一种可替代的实施方式中,所述信息获取模块,具体用于:
确定所述数据流量信息包中包含的所述待监测数据流量中的数据访问流量分别对应的流量访问值和数据流量延时值;
基于所述数据流量信息包中的流量访问值,确定所述数据访问流量在终端设备上的访问时间,包括:在所述数据访问流量中,选择一个数据访问流量作为目标访问流量,获取所述目标访问流量对应的访问标识、访问网速以及访问环境参数;将所述目标访问流量对应的访问标识作为所述目标访问流量在终端设备中的流量值,并根据所述目标访问流量对应的访问网速和访问环境参数,确定所述目标访问流量在终端设备中的反馈值,并将所述目标访问流量的流量值和反馈值作为所述目标访问流量的监测数据;
基于所述监测数据以及所述数据流量信息包中的数据流量延时值统计出所述待监测数据流量在所述数据访问流量中的关键数据信息。
在一种可替代的实施方式中,所述结果处理模块,具体用于:
基于与所述每一组数据访问流量匹配的占比以及关键数据信息,将所述每一组待监测数据流量匹配的当前查找结果作为目标处理对象,所述待监测数据流量中均包含多组数据流量;
根据所述目标处理对象在所述待监测数据流量中的匹配关系以及历史处理对象中除所述目标处理对象以外的其他数据流量的匹配关系确定目标处理对象集合;其中,所述目标处理对象集合包括所述历史处理对象中需要标注的数据流量;
对所述目标处理对象以及所述目标处理对象集合进行冗余处理,对冗余处理的结果进行筛选,得到第一数据流量和第二数据流量;其中,所述第一数据流量的优先级小于所述第二数据流量的优先级;
按照预设的控制策略对所述第一数据流量和所述第二数据流量进行过滤以丢弃部分第一数据流量,将剩余的第一数据流量以及所述第二数据流量与所述数据流量信息包进行匹配,得到与所述数据流量信息包匹配的目标数据访问流量。
本公开的实施例提供的技术方案可以包括以下有益效果。
本公开提供了一种大数据流量控制方法、装置及流量服务器,通过对数据流量信息包进行流量分析,得到数据流量的特征信息,进一步对特征信息分别进行信息过滤和流量监控,基于信息过滤和流量监控采用预设的流量传输线程对待监测数据流量进行传输模拟,得到数据传输速率。进一步在数据库查中与数据传输速率相匹配的目标数据传输速率,得到当前查找结果,根据当前查找结果获得待监测数据流量与所述数据访问流量之间的占比,基于占比以及关键信息,对当前查找结果进行行冗余处理,得到目标数据访问流量,并将目标数据访问流量发送给服务器。这样,在进行数据流量的传输和接收时,能够避免传输延时以及接收不及时而造成数据丢失。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是本发明实施例提供的一种大数据流量控制方法的流程图。
图2是本发明实施例提供的一种大数据流量控制装置的框图。
图3是本发明实施例提供的一种流量服务器的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据本公开所涉及的一种大数据流量控制方法的流程图,该方法可以包括以下内容。
步骤S210,对至少一组数据流量信息包进行流量分析,通过多次重叠流量分析提取出至少一组数据流量的特征信息。
步骤S220,对所述至少一组特征信息进行信息过滤,得到所述数据流量信息包的信息过滤轨迹,所述信息过滤轨迹用于表征数据流量的趋势特征。
步骤S230,对所述至少一组特征信息进行流量监控,得到所述数据流量信息包的流量监控曲线图,所述流量监控曲线图用于表征数据流量的波动特征。
步骤S240,当所述数据流量信息包包括至少两组待监测数据流量时,对于所述数据流量信息包中的每一组待监测数据流量,基于所述信息过滤轨迹以及所述流量监控曲线图,采用预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率。
步骤S250,在预设的数据库查找与所述数据传输速率相匹配的目标数据传输速率,得到当前查找结果。
步骤S260,对于所述当前查找结果中包括的每一组数据访问流量,获取所述数据流量信息包中包括的待监测数据流量与所述数据访问流量之间的占比。
步骤S270,获取所述数据流量信息包中包括的待监测数据流量在所述数据访问流量中的关键数据信息。
步骤S280,基于与所述每一组数据访问流量匹配的占比以及关键数据信息,对与所述每一组待监测数据流量匹配的当前查找结果进行冗余处理,得到与所述数据流量信息包匹配的目标数据访问流量,将所述目标数据访问流量发送给服务器。
通过执行上述步骤S210-步骤S280,通过对数据流量信息包进行流量分析,得到数据流量的特征信息,进一步对特征信息分别进行信息过滤和流量监控,基于信息过滤和流量监控采用预设的流量传输线程对待监测数据流量进行传输模拟,得到数据传输速率。
进一步在数据库查中与数据传输速率相匹配的目标数据传输速率,得到当前查找结果,根据当前查找结果获得待监测数据流量与所述数据访问流量之间的占比,基于占比以及关键信息,对当前查找结果进行行冗余处理,得到目标数据访问流量,并将目标数据访问流量发送给服务器。这样,在进行数据流量的传输和接收时,能够避免传输延时以及接收不及时而造成数据丢失。
在实际实施时,为了能够实现对各个节点的流量进行统一分析以及修正,步骤S210所描述的内容,具体可以包括以下子步骤。
步骤S2101,从至少一组数据流量信息包中确定出至少一组可分析的第一流量分析列表和每个所述第一流量分析列表对应的处理节点。
步骤S2102,从多个可分析的第一流量分析列表中筛选出多个与预设的流量列表库相匹配的流量分析列表,获得多个第二流量分析列表。
步骤S2103,基于所述多个第二流量分析列表将所述数据流量信息包分为多个信息节点;逐个提取每个信息节点的数据流量信息包的流量状态信息,对每个信息节点的所述流量状态信息进行重叠处理,得到当前流量状态信息。
步骤S2104,逐个提取每个信息节点的数据流量信息包的流量质量信息,对每个信息节点的所述流量质量信息进行重叠处理,得到当前流量质量信息,并对所述当前流量状态信息以及所述当前流量质量信息进行多维度修正,得到至少一组数据流量的特征信息。
通过执行上述步骤S2101-步骤S2104,将数据流量信息包分成多个节点处理,逐个提取每个节点的流量状态信息以及流量质量信息,并进行重叠处理,对重叠处理后分别得到的当前流量状态信息和当前流量质量信息进行多维度修正,得到至少一组数据流量的特征信息。这样,能够实现对各个节点的流量进行统一分析以及修正,进而能够精准控制各节点的数据流量。
在实际实施时,数据流量在传输过程中时常出现传输速率低下的问题,为了解决上述问题,步骤S240所描述的内容,具体可以包括以下子步骤。
步骤S2401,基于所述信息过滤轨迹以及所述流量监控曲线图,识别所述待监测数据流量的访问类型;其中,所述访问类型用于表征所述待监测数据流量的初始传输路径。
步骤S2402,按照所述初始传输路径确定所述待监测数据流量对应的敏感关键词,基于所述敏感关键词确定所述待监测数据流量的访问权限;其中,所述敏感关键词用于表征所述待监测数据流量的传输方向。
步骤S2403,确定覆盖所述敏感关键词的多个传输方向;其中,各所述传输方向分别覆盖至少一个敏感关键词。
步骤S2404,当所述多个传输方向与目标传输方向相匹配时,根据所述多个传输方向中的至少一个传输方向确定所述待监测数据流量中的目标传输路径。
步骤S2405,根据所述访问权限、所述目标传输路径以及预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率。
通过执行步骤S2401-步骤S2405,通过敏感关键词确定待监测数据流量的访问权限以及访问路径,进而进行监测数据流量的传输,这样能够解决现有技术存在的传输过程中出现传输速率低下的问题。
在实际实施时,为了能够精准可靠的获取关键数据信息,步骤S270所描述的内容,具体可以包括以下内容。
步骤S2701,确定所述数据流量信息包中包含的所述待监测数据流量中的数据访问流量分别对应的流量访问值和数据流量延时值。
步骤S2702,基于所述数据流量信息包中的流量访问值,确定所述数据访问流量在终端设备上的访问时间,包括:在所述数据访问流量中,选择一个数据访问流量作为目标访问流量,获取所述目标访问流量对应的访问标识、访问网速以及访问环境参数;将所述目标访问流量对应的访问标识作为所述目标访问流量在终端设备中的流量值,并根据所述目标访问流量对应的访问网速和访问环境参数,确定所述目标访问流量在终端设备中的反馈值,并将所述目标访问流量的流量值和反馈值作为所述目标访问流量的监测数据。
步骤S2703,基于所述监测数据以及所述数据流量信息包中的数据流量延时值统计出所述待监测数据流量在所述数据访问流量中的关键数据信息。
通过执行上述步骤S2701-步骤S2703,通过确定数据访问流量分别对应的流量访问值和数据流量延时值,基于流量访问值取确定访问时间,进一步基于监测数据和数据流量信息包中的数据流量延时值统计出关键数据信息。如此,能够精准可靠的获取关键数据信息。
在实际实施时,为了避免数据传输过程中而造成数据堆积,在步骤S280所描述的内容,具体还可以包括以下子步骤。
步骤S2801,基于与所述每一组数据访问流量匹配的占比以及关键数据信息,将所述每一组待监测数据流量匹配的当前查找结果作为目标处理对象,所述待监测数据流量中均包含多组数据流量。
步骤S2802,根据所述目标处理对象在所述待监测数据流量中的匹配关系以及历史处理对象中除所述目标处理对象以外的其他数据流量的匹配关系确定目标处理对象集合;其中,所述目标处理对象集合包括所述历史处理对象中需要标注的数据流量。
步骤S2803,对所述目标处理对象以及所述目标处理对象集合进行冗余处理,对冗余处理的结果进行筛选,得到第一数据流量和第二数据流量;其中,所述第一数据流量的优先级小于所述第二数据流量的优先级。
步骤S2804,按照预设的控制策略对所述第一数据流量和所述第二数据流量进行过滤以丢弃部分第一数据流量,将剩余的第一数据流量以及所述第二数据流量与所述数据流量信息包进行匹配,得到与所述数据流量信息包匹配的目标数据访问流量。
通过执行上述步骤S2801-步骤S2804,通过对待监测数据流量匹配的当前查找结果作为目标处理对象,基于目标处理对象确定目标处理对象集合,进一步对目标处理对象以及目标处理对象集合进行冗余处理,对处理后的结果进行筛选,得到第一数据流量和第二数据流量,进一步对第一数据流量和第二数据流量进行过滤以丢弃部分第一数据流量,将剩余的第一数据流量以及第二数据流量与数据流量信息包进行匹配,得到目标数据访问流量。通过冗余处理以及过滤处理,能够避免数据传输过程中而造成数据堆积,进而能够为数据流量传输提供一个优质的传输环境,同时提高了数据传输速率。
在上述基础上,请结合参阅图2,本发明提供了一种大数据流量控制装置,该装置具体可以包括以下功能模块。
流量分析模块210,用于对至少一组数据流量信息包进行流量分析,通过多次重叠流量分析提取出至少一组数据流量的特征信息。
信息过滤模块220,用于对所述至少一组特征信息进行信息过滤,得到所述数据流量信息包的信息过滤轨迹,所述信息过滤轨迹用于表征数据流量的趋势特征。
流量监控模块230,用于对所述至少一组特征信息进行流量监控,得到所述数据流量信息包的流量监控曲线图,所述流量监控曲线图用于表征数据流量的波动特征。
流量传输模块240,用于当所述数据流量信息包包括至少两组待监测数据流量时,对于所述数据流量信息包中的每一组待监测数据流量,基于所述信息过滤轨迹以及所述流量监控曲线图,采用预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率。
结果查找模块250,用于在预设的数据库查找与所述数据传输速率相匹配的目标数据传输速率,得到当前查找结果。
占比获取模块260,用于对于所述当前查找结果中包括的每一组数据访问流量,获取所述数据流量信息包中包括的待监测数据流量与所述数据访问流量之间的占比。
信息获取模块270,用于获取所述数据流量信息包中包括的待监测数据流量在所述数据访问流量中的关键数据信息。
结果处理模块280,用于基于与所述每一组数据访问流量匹配的占比以及关键数据信息,对与所述每一组待监测数据流量匹配的当前查找结果进行冗余处理,得到与所述数据流量信息包匹配的目标数据访问流量,将所述目标数据访问流量发送给服务器。
在一种可替代的实施方式中,所述流量分析模块,具体用于:
从至少一组数据流量信息包中确定出至少一组可分析的第一流量分析列表和每个所述第一流量分析列表对应的处理节点。
从多个可分析的第一流量分析列表中筛选出多个与预设的流量列表库相匹配的流量分析列表,获得多个第二流量分析列表。
基于所述多个第二流量分析列表将所述数据流量信息包分为多个信息节点;逐个提取每个信息节点的数据流量信息包的流量状态信息,对每个信息节点的所述流量状态信息进行重叠处理,得到当前流量状态信息。
逐个提取每个信息节点的数据流量信息包的流量质量信息,对每个信息节点的所述流量质量信息进行重叠处理,得到当前流量质量信息,并对所述当前流量状态信息以及所述当前流量质量信息进行多维度修正,得到至少一组数据流量的特征信息。
在一种可替代的实施方式中,所述流量传输模块,具体用于:
基于所述信息过滤轨迹以及所述流量监控曲线图,识别所述待监测数据流量的访问类型;其中,所述访问类型用于表征所述待监测数据流量的初始传输路径。
按照所述初始传输路径确定所述待监测数据流量对应的敏感关键词,基于所述敏感关键词确定所述待监测数据流量的访问权限;其中,所述敏感关键词用于表征所述待监测数据流量的传输方向。
确定覆盖所述敏感关键词的多个传输方向;其中,各所述传输方向分别覆盖至少一个敏感关键词。
当所述多个传输方向与目标传输方向相匹配时,根据所述多个传输方向中的至少一个传输方向确定所述待监测数据流量中的目标传输路径。
根据所述访问权限、所述目标传输路径以及预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率。
在一种可替代的实施方式中,所述信息获取模块,具体用于:
确定所述数据流量信息包中包含的所述待监测数据流量中的数据访问流量分别对应的流量访问值和数据流量延时值。
基于所述数据流量信息包中的流量访问值,确定所述数据访问流量在终端设备上的访问时间,包括:在所述数据访问流量中,选择一个数据访问流量作为目标访问流量,获取所述目标访问流量对应的访问标识、访问网速以及访问环境参数;将所述目标访问流量对应的访问标识作为所述目标访问流量在终端设备中的流量值,并根据所述目标访问流量对应的访问网速和访问环境参数,确定所述目标访问流量在终端设备中的反馈值,并将所述目标访问流量的流量值和反馈值作为所述目标访问流量的监测数据。
基于所述监测数据以及所述数据流量信息包中的数据流量延时值统计出所述待监测数据流量在所述数据访问流量中的关键数据信息。
在一种可替代的实施方式中,所述结果处理模块,具体用于:
基于与所述每一组数据访问流量匹配的占比以及关键数据信息,将所述每一组待监测数据流量匹配的当前查找结果作为目标处理对象,所述待监测数据流量中均包含多组数据流量。
根据所述目标处理对象在所述待监测数据流量中的匹配关系以及历史处理对象中除所述目标处理对象以外的其他数据流量的匹配关系确定目标处理对象集合;其中,所述目标处理对象集合包括所述历史处理对象中需要标注的数据流量。
对所述目标处理对象以及所述目标处理对象集合进行冗余处理,对冗余处理的结果进行筛选,得到第一数据流量和第二数据流量;其中,所述第一数据流量的优先级小于所述第二数据流量的优先级。
按照预设的控制策略对所述第一数据流量和所述第二数据流量进行过滤以丢弃部分第一数据流量,将剩余的第一数据流量以及所述第二数据流量与所述数据流量信息包进行匹配,得到与所述数据流量信息包匹配的目标数据访问流量。
在上述基础上,请结合参阅图3,提供了一种流量服务器300,包括处理器311以及与所述处理器311连接的存储器312和总线313;其中,所述处理器311和所述存储器312通过所述总线313完成相互间的通信;所述处理器311用于调用所述存储器312中的程序指令,以执行上述的方法。
进一步地,还提供了一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种大数据流量控制方法,其特征在于,所述方法包括:
对至少一组数据流量信息包进行流量分析,通过多次重叠流量分析提取出至少一组数据流量的特征信息;
对所述至少一组特征信息进行信息过滤,得到所述数据流量信息包的信息过滤轨迹,所述信息过滤轨迹用于表征数据流量的趋势特征;
对所述至少一组特征信息进行流量监控,得到所述数据流量信息包的流量监控曲线图,所述流量监控曲线图用于表征数据流量的波动特征;
当所述数据流量信息包包括至少两组待监测数据流量时,对于所述数据流量信息包中的每一组待监测数据流量,基于所述信息过滤轨迹以及所述流量监控曲线图,采用预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率;
在预设的数据库查找与所述数据传输速率相匹配的目标数据传输速率,得到当前查找结果;
对于所述当前查找结果中包括的每一组数据访问流量,获取所述数据流量信息包中包括的待监测数据流量与所述数据访问流量之间的占比;
获取所述数据流量信息包中包括的待监测数据流量在所述数据访问流量中的关键数据信息;
基于与所述每一组数据访问流量匹配的占比以及关键数据信息,对与所述每一组待监测数据流量匹配的当前查找结果进行冗余处理,得到与所述数据流量信息包匹配的目标数据访问流量,将所述目标数据访问流量发送给服务器。
2.根据权利要求1所述的一种大数据流量控制方法,其特征在于,对至少一组数据流量信息包进行流量分析,通过多次重叠流量分析提取出至少一组数据流量的特征信息,具体包括:
从至少一组数据流量信息包中确定出至少一组可分析的第一流量分析列表和每个所述第一流量分析列表对应的处理节点;
从多个可分析的第一流量分析列表中筛选出多个与预设的流量列表库相匹配的流量分析列表,获得多个第二流量分析列表;
基于所述多个第二流量分析列表将所述数据流量信息包分为多个信息节点;逐个提取每个信息节点的数据流量信息包的流量状态信息,对每个信息节点的所述流量状态信息进行重叠处理,得到当前流量状态信息;
逐个提取每个信息节点的数据流量信息包的流量质量信息,对每个信息节点的所述流量质量信息进行重叠处理,得到当前流量质量信息,并对所述当前流量状态信息以及所述当前流量质量信息进行多维度修正,得到至少一组数据流量的特征信息。
3.根据权利要求1所述的一种大数据流量控制方法,其特征在于,基于所述信息过滤轨迹以及所述流量监控曲线图,采用预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率,具体包括:
基于所述信息过滤轨迹以及所述流量监控曲线图,识别所述待监测数据流量的访问类型;其中,所述访问类型用于表征所述待监测数据流量的初始传输路径;
按照所述初始传输路径确定所述待监测数据流量对应的敏感关键词,基于所述敏感关键词确定所述待监测数据流量的访问权限;其中,所述敏感关键词用于表征所述待监测数据流量的传输方向;
确定覆盖所述敏感关键词的多个传输方向;其中,各所述传输方向分别覆盖至少一个敏感关键词;
当所述多个传输方向与目标传输方向相匹配时,根据所述多个传输方向中的至少一个传输方向确定所述待监测数据流量中的目标传输路径;
根据所述访问权限、所述目标传输路径以及预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率。
4.根据权利要求1所述的一种大数据流量控制方法,其特征在于,获取所述数据流量信息包中包括的待监测数据流量在所述数据访问流量中的关键数据信息,具体包括:
确定所述数据流量信息包中包含的所述待监测数据流量中的数据访问流量分别对应的流量访问值和数据流量延时值;
基于所述数据流量信息包中的流量访问值,确定所述数据访问流量在终端设备上的访问时间,包括:在所述数据访问流量中,选择一个数据访问流量作为目标访问流量,获取所述目标访问流量对应的访问标识、访问网速以及访问环境参数;将所述目标访问流量对应的访问标识作为所述目标访问流量在终端设备中的流量值,并根据所述目标访问流量对应的访问网速和访问环境参数,确定所述目标访问流量在终端设备中的反馈值,并将所述目标访问流量的流量值和反馈值作为所述目标访问流量的监测数据;
基于所述监测数据以及所述数据流量信息包中的数据流量延时值统计出所述待监测数据流量在所述数据访问流量中的关键数据信息。
5.根据权利要求1或4所述的一种大数据流量控制方法,其特征在于,基于与所述每一组数据访问流量匹配的占比以及关键数据信息,对与所述每一组待监测数据流量匹配的当前查找结果进行冗余处理,得到与所述数据流量信息包匹配的目标数据访问流量,具体包括:
基于与所述每一组数据访问流量匹配的占比以及关键数据信息,将所述每一组待监测数据流量匹配的当前查找结果作为目标处理对象,所述待监测数据流量中均包含多组数据流量;
根据所述目标处理对象在所述待监测数据流量中的匹配关系以及历史处理对象中除所述目标处理对象以外的其他数据流量的匹配关系确定目标处理对象集合;其中,所述目标处理对象集合包括所述历史处理对象中需要标注的数据流量;
对所述目标处理对象以及所述目标处理对象集合进行冗余处理,对冗余处理的结果进行筛选,得到第一数据流量和第二数据流量;其中,所述第一数据流量的优先级小于所述第二数据流量的优先级;
按照预设的控制策略对所述第一数据流量和所述第二数据流量进行过滤以丢弃部分第一数据流量,将剩余的第一数据流量以及所述第二数据流量与所述数据流量信息包进行匹配,得到与所述数据流量信息包匹配的目标数据访问流量。
6.一种大数据流量控制装置,其特征在于,所述装置包括:
流量分析模块,用于对至少一组数据流量信息包进行流量分析,通过多次重叠流量分析提取出至少一组数据流量的特征信息;
信息过滤模块,用于对所述至少一组特征信息进行信息过滤,得到所述数据流量信息包的信息过滤轨迹,所述信息过滤轨迹用于表征数据流量的趋势特征;
流量监控模块,用于对所述至少一组特征信息进行流量监控,得到所述数据流量信息包的流量监控曲线图,所述流量监控曲线图用于表征数据流量的波动特征;
流量传输模块,用于当所述数据流量信息包包括至少两组待监测数据流量时,对于所述数据流量信息包中的每一组待监测数据流量,基于所述信息过滤轨迹以及所述流量监控曲线图,采用预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率;
结果查找模块,用于在预设的数据库查找与所述数据传输速率相匹配的目标数据传输速率,得到当前查找结果;
占比获取模块,用于对于所述当前查找结果中包括的每一组数据访问流量,获取所述数据流量信息包中包括的待监测数据流量与所述数据访问流量之间的占比;
信息获取模块,用于获取所述数据流量信息包中包括的待监测数据流量在所述数据访问流量中的关键数据信息;
结果处理模块,用于基于与所述每一组数据访问流量匹配的占比以及关键数据信息,对与所述每一组待监测数据流量匹配的当前查找结果进行冗余处理,得到与所述数据流量信息包匹配的目标数据访问流量,将所述目标数据访问流量发送给服务器。
7.根据权利要求6所述的一种大数据流量控制装置,其特征在于,所述流量分析模块,具体用于:
从至少一组数据流量信息包中确定出至少一组可分析的第一流量分析列表和每个所述第一流量分析列表对应的处理节点;
从多个可分析的第一流量分析列表中筛选出多个与预设的流量列表库相匹配的流量分析列表,获得多个第二流量分析列表;
基于所述多个第二流量分析列表将所述数据流量信息包分为多个信息节点;逐个提取每个信息节点的数据流量信息包的流量状态信息,对每个信息节点的所述流量状态信息进行重叠处理,得到当前流量状态信息;
逐个提取每个信息节点的数据流量信息包的流量质量信息,对每个信息节点的所述流量质量信息进行重叠处理,得到当前流量质量信息,并对所述当前流量状态信息以及所述当前流量质量信息进行多维度修正,得到至少一组数据流量的特征信息。
8.根据权利要求6所述的一种大数据流量控制装置,其特征在于,所述流量传输模块,具体用于:
基于所述信息过滤轨迹以及所述流量监控曲线图,识别所述待监测数据流量的访问类型;其中,所述访问类型用于表征所述待监测数据流量的初始传输路径;
按照所述初始传输路径确定所述待监测数据流量对应的敏感关键词,基于所述敏感关键词确定所述待监测数据流量的访问权限;其中,所述敏感关键词用于表征所述待监测数据流量的传输方向;
确定覆盖所述敏感关键词的多个传输方向;其中,各所述传输方向分别覆盖至少一个敏感关键词;
当所述多个传输方向与目标传输方向相匹配时,根据所述多个传输方向中的至少一个传输方向确定所述待监测数据流量中的目标传输路径;
根据所述访问权限、所述目标传输路径以及预设的流量传输线程对所述待监测数据流量进行传输模拟,得到数据传输速率。
9.根据权利要求6所述的一种大数据流量控制装置,其特征在于,所述信息获取模块,具体用于:
确定所述数据流量信息包中包含的所述待监测数据流量中的数据访问流量分别对应的流量访问值和数据流量延时值;
基于所述数据流量信息包中的流量访问值,确定所述数据访问流量在终端设备上的访问时间,包括:在所述数据访问流量中,选择一个数据访问流量作为目标访问流量,获取所述目标访问流量对应的访问标识、访问网速以及访问环境参数;将所述目标访问流量对应的访问标识作为所述目标访问流量在终端设备中的流量值,并根据所述目标访问流量对应的访问网速和访问环境参数,确定所述目标访问流量在终端设备中的反馈值,并将所述目标访问流量的流量值和反馈值作为所述目标访问流量的监测数据;
基于所述监测数据以及所述数据流量信息包中的数据流量延时值统计出所述待监测数据流量在所述数据访问流量中的关键数据信息。
10.根据权利要求6或9所述的一种大数据流量控制装置,其特征在于,所述结果处理模块,具体用于:
基于与所述每一组数据访问流量匹配的占比以及关键数据信息,将所述每一组待监测数据流量匹配的当前查找结果作为目标处理对象,所述待监测数据流量中均包含多组数据流量;
根据所述目标处理对象在所述待监测数据流量中的匹配关系以及历史处理对象中除所述目标处理对象以外的其他数据流量的匹配关系确定目标处理对象集合;其中,所述目标处理对象集合包括所述历史处理对象中需要标注的数据流量;
对所述目标处理对象以及所述目标处理对象集合进行冗余处理,对冗余处理的结果进行筛选,得到第一数据流量和第二数据流量;其中,所述第一数据流量的优先级小于所述第二数据流量的优先级;
按照预设的控制策略对所述第一数据流量和所述第二数据流量进行过滤以丢弃部分第一数据流量,将剩余的第一数据流量以及所述第二数据流量与所述数据流量信息包进行匹配,得到与所述数据流量信息包匹配的目标数据访问流量。
CN202010455350.2A 2020-05-26 2020-05-26 一种大数据流量控制方法、装置及流量服务器 Active CN111654446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010455350.2A CN111654446B (zh) 2020-05-26 2020-05-26 一种大数据流量控制方法、装置及流量服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010455350.2A CN111654446B (zh) 2020-05-26 2020-05-26 一种大数据流量控制方法、装置及流量服务器

Publications (2)

Publication Number Publication Date
CN111654446A true CN111654446A (zh) 2020-09-11
CN111654446B CN111654446B (zh) 2022-11-29

Family

ID=72344353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010455350.2A Active CN111654446B (zh) 2020-05-26 2020-05-26 一种大数据流量控制方法、装置及流量服务器

Country Status (1)

Country Link
CN (1) CN111654446B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947468A (zh) * 2021-12-20 2022-01-18 鲁信科技股份有限公司 一种数据管理方法及平台
CN114844703A (zh) * 2022-05-05 2022-08-02 江苏文友软件有限公司 一种基于大数据的智慧控制系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6381703B1 (en) * 1999-08-04 2002-04-30 Qualcomm Incorporated Guaranteeing clock slew correction in point-to-point protocol packet detection without data loss after baud rate detection in autobaud mode
US20100023634A1 (en) * 2008-07-28 2010-01-28 Francis Roger Labonte Flow-rate adaptation for a connection of time-varying capacity
CN102882643A (zh) * 2012-09-21 2013-01-16 哈尔滨工业大学深圳研究生院 一种面向深空通信的数据传输速率控制方法
CN105407010A (zh) * 2015-12-31 2016-03-16 重庆邮电大学 基于sdn技术实现软件定义路由的流量发生装置
CN105915467A (zh) * 2016-05-17 2016-08-31 清华大学 一种面向软件定义的数据中心网络流量均衡方法及装置
CN110022229A (zh) * 2019-03-12 2019-07-16 国网湖北省电力有限公司黄石供电公司 一种电网跨区传输通信系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6381703B1 (en) * 1999-08-04 2002-04-30 Qualcomm Incorporated Guaranteeing clock slew correction in point-to-point protocol packet detection without data loss after baud rate detection in autobaud mode
US20100023634A1 (en) * 2008-07-28 2010-01-28 Francis Roger Labonte Flow-rate adaptation for a connection of time-varying capacity
CN102882643A (zh) * 2012-09-21 2013-01-16 哈尔滨工业大学深圳研究生院 一种面向深空通信的数据传输速率控制方法
CN105407010A (zh) * 2015-12-31 2016-03-16 重庆邮电大学 基于sdn技术实现软件定义路由的流量发生装置
CN105915467A (zh) * 2016-05-17 2016-08-31 清华大学 一种面向软件定义的数据中心网络流量均衡方法及装置
CN110022229A (zh) * 2019-03-12 2019-07-16 国网湖北省电力有限公司黄石供电公司 一种电网跨区传输通信系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭玮琳: "基于Linux的网络流量监控技术研究", 《中国优秀硕士学位论文全文数据库》 *
郭敏杰: "基于云计算的海量网络流量数据分析处理及关键算法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947468A (zh) * 2021-12-20 2022-01-18 鲁信科技股份有限公司 一种数据管理方法及平台
CN113947468B (zh) * 2021-12-20 2022-04-08 鲁信科技股份有限公司 一种数据管理方法及平台
CN114844703A (zh) * 2022-05-05 2022-08-02 江苏文友软件有限公司 一种基于大数据的智慧控制系统及方法

Also Published As

Publication number Publication date
CN111654446B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN110445653B (zh) 网络状态预测方法、装置、设备及介质
CN111654446B (zh) 一种大数据流量控制方法、装置及流量服务器
DE112012003193T5 (de) Verbeesertes Captcha-Programm unter Verwendung von Bildfolgen
CN110691070A (zh) 一种基于日志分析的网络异常预警方法
CN111552246A (zh) 应用于智慧园区的设备生产线调度方法及云计算服务器
CN112434039A (zh) 数据的存储方法、装置、存储介质以及电子装置
CN110769283A (zh) 一种视频推送方法、装置、计算机设备和存储介质
CN112702405A (zh) 一种基于多协议探测的物联网设备识别方法
CN113342603B (zh) 告警数据处理方法、装置、计算机设备和存储介质
CN112084180A (zh) 一种监控车载应用质量的方法、装置、设备及介质
CN113098884A (zh) 基于大数据的网络安全监控方法、云平台系统及介质
CN111935185A (zh) 基于云计算构建大规模诱捕场景的方法及系统
CN112231481A (zh) 网址的分类方法、装置、计算机设备和存储介质
CN110995546B (zh) 报文采样方法及装置
CN112579472B (zh) 测试用例的自动生成方法及装置
CN114595146A (zh) Ab测试方法、装置、系统、电子设备及介质
CN113032363A (zh) 一种基于k-means算法的混沌测试优化方法及系统
CN112765118A (zh) 一种日志查询方法、装置、设备及存储介质
CN113239272A (zh) 一种网络管控系统的意图预测方法和意图预测装置
CN112084400A (zh) 移动互联网用户管理方法、装置及系统
CN115599881A (zh) 工作流创建方法、系统、电子设备和计算机可读存储介质
CN114362982A (zh) 流量细分识别方法、系统、电子设备和存储介质
CN110083583A (zh) 流式事件处理方法及装置
CN115361231B (zh) 基于访问基线的主机异常流量检测方法、系统及设备
CN113886230B (zh) 算法测试的配置方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 650100 phase 4b, shenggaodacheng, Xishan District, Kunming City, Yunnan Province

Applicant after: Li Yunxiang

Address before: No. 206, Machang village, Machang village committee, Kuishan Town, Shizong County, Qujing City, Yunnan Province

Applicant before: Li Yunxiang

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20221109

Address after: Room 111, F1, Building 2, No. 139 and 140, Fengtai Road Crossing, Fengtai District, Beijing 100166 (Park)

Applicant after: Beijing Zhanyun Technology Co.,Ltd.

Address before: 650100 phase 4b, shenggaodacheng, Xishan District, Kunming City, Yunnan Province

Applicant before: Li Yunxiang

Effective date of registration: 20221109

Address after: 100077 Room 101, Building 1, Yard 1, Renheyuan, Shunyi District, Beijing

Applicant after: Beijing Urban Construction Intelligent Control Technology Co.,Ltd.

Address before: Room 111, F1, Building 2, No. 139 and 140, Fengtai Road Crossing, Fengtai District, Beijing 100166 (Park)

Applicant before: Beijing Zhanyun Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant