CN110445711A - 一种基于大数据的数据流量监测系统 - Google Patents

一种基于大数据的数据流量监测系统 Download PDF

Info

Publication number
CN110445711A
CN110445711A CN201910872665.4A CN201910872665A CN110445711A CN 110445711 A CN110445711 A CN 110445711A CN 201910872665 A CN201910872665 A CN 201910872665A CN 110445711 A CN110445711 A CN 110445711A
Authority
CN
China
Prior art keywords
data
path
monitoring
quality
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910872665.4A
Other languages
English (en)
Inventor
陈兖清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910872665.4A priority Critical patent/CN110445711A/zh
Publication of CN110445711A publication Critical patent/CN110445711A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/22—Alternate routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/24—Multipath
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/302—Route determination based on requested QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/306—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information intercepting packet switched data communications, e.g. Web, Internet or IMS communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/308—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information retaining data, e.g. retaining successful, unsuccessful communication attempts, internet access, or e-mail, internet telephony, intercept related information or call content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/146—Tracing the source of attacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及数据监测技术领域，且公开了一种基于大数据的数据流量监测系统，所述数据流量下发指令通过网路路径进行传输，在传输过程中对数据流量进行实时监控，所述实时监控包括监控对象，所述监控对象监测完成后，系统开始下发分类导入，再导入之前需要进行数据质量监控。通过普通路径与专用路径的配合使用，使得普通数据通过普通路径进行传送，高质量数据通过专用路径传送，其中专用路径可以自定义增加带宽容量，使得高质量的信息能被第一时间获取，保证与现场的同步性，同时若系统监控到网络出现延迟时，系统自动打开备用路径，将延迟数据通过备用路径传送，使得数据自动识别带宽占用率较低的路径，加快数据的传输。

Description

一种基于大数据的数据流量监测系统
技术领域
本发明涉及数据监测技术领域，具体为一种基于大数据的数据流量监测系统。
背景技术
流量监控指的是对数据流进行的监控，通常包括出数据、入数据的速度、总流量，主要对数据处理流量进行监控。
随着科技的发展，大数据流量日益增多，数据的多样化更多，大量低质量数据与违法数据直接被数据处理系统处理，导致数据质量越来越低，无法从其中获取到高价值数据，因此需要监测系统对大数据进行实时监控，现有数据流量监测系统只能监控处什么是低质量数据与违法数据，无法对其进行直接处理，导致大量低质量数据与违法数据随着数据一起进入数据库中，还需进行二次处理，造成数据信息堆积，同时数据流量在处理时，遇到高峰期时，大量数据出现网络拥堵，拥塞可能引起更多的队列延迟时间和丢包率，此外，拥塞还可能触发重转，这可能让本身负载繁重的网络无法承受，造成网络瘫痪，数据流量无法再次传输，且数据流量在传输过程中，大量低质量数据占据网络带宽，导致高质量数据无法及时传达，影响数据的时效性。
发明内容
针对上述背景技术的不足，本发明提供了一种基于大数据的数据流量监测系统，具备自动调节数据质量的优点，解决了背景技术提出的问题。
本发明提供如下技术方案：一种基于大数据的数据流量监测系统，所述数据流量下发指令通过网路路径进行传输，在传输过程中对数据流量进行实时监控，所述实时监控包括监控对象，所述监控对象监测完成后，系统开始下发分类导入，再导入之前需要进行数据质量监控，所述数据质量监控内还需对数据信息进行详细监测，所述监测完成后再对已经传输的数据进行数据规划，规划后的数据再导入最终数据库保存。
优选的，所述网络路径包括专用路径和普通路径，所述专用路径与普通路径又包括“路径一”和“路径二”，所述专用路径与普通路径的路径均可通过用户自定义增减。
优选的，所述专用路径与普通路径又分别包括备用路径，所述备用路径包括“路径一”和“路径二”，所述备用路径可通过用户自定义增减。
优选的，所述监控对象包括服务器、工作电脑、数据库，所述服务器又包括运行服务器和损坏服务器，所述工作电脑包括聊天记录、论坛发帖、电子邮件、网络聊天和浏览记录，所述数据库包括高质量数据、低质量数据和无效数据，其中无效数据需要对其进行验证，所述高质量数据、低质量数据和无效数据均要被系统抽取关键词，确保数据的真实性，所述抽取完成后再提取数据，若提取的数据包含违法不健康的数据，系统则发出警告提示，警告提示后再对数据进行阻断处理，然后再进行剔除数据，若系统检测的数据均为正常符合数据质量标准，系统则开始数据传输，最终传输到数据库中。
优选的，所述数据质量监控包括高质量导入、低质量导入、重要数据导入和普通数据导入，所述高质量导入、低质量导入、重要数据导入与普通数据导入在导入过程中，若发现有部分违法信息，系统则对其终止传输。
本发明具备以下有益效果：
1、该基于大数据的数据流量监测系统，通过普通路径与专用路径的配合使用，使得普通数据通过普通路径进行传送，高质量数据通过专用路径传送，其中专用路径可以自定义增加带宽容量，使得高质量的信息能被第一时间获取，保证与现场的同步性，同时若系统监控到网络出现延迟时，系统自动打开备用路径，将延迟数据通过备用路径传送，使得数据自动识别带宽占用率较低的路径，加快数据的传输，使得数据在传输中保持较强的时效性与同步性，增加数据在传输时的稳定性，使得数据在传输时始终保持稳定高效的速度进行传输，解决数据出现延迟，占用带宽的现象。
2、该基于大数据的数据流量监测系统，通过监控对象的实时监控作用，使得数据中的低质量与违法数据直接被剔除，使得数据库中的数据都能保证具有一定的价值，通过对服务器的分类，使得数据在传输失败时，直接定位到故障服务器，能够迅速识别出具体哪个服务器出现故障，以便加快服务器的维修，通过对数据集中的数据进行关键词抽取，剔除带有无效与违法的数据，保证数据库的整洁，同时对工作电脑进行监控，确保内部数据信息安全性大大提高，减少泄密风险。
附图说明
图1为本发明流程示意图；
图2为本发明网络路径流程示意图；
图3为监测系统流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，一种基于大数据的数据流量监测系统，数据流量下发指令通过网路路径进行传输，网络路径可以划分成不同的小路径，便于对数据进行快速传输，保证数据保证具有一定的时效性，在传输过程中对数据流量进行实时监控，通过对数据进行实时监控，保持数据的高价值，实时监控包括监控对象，监控对象可以根据用户的需求自定义增加，便于对不同的项目进行实时监控，确保内部的数据保持一定的安全性，监控对象监测完成后，系统开始下发分类导入，分类导入的目的再去更加的把数据进行细致划分，再导入之前需要进行数据质量监控，数据质量监控内还需对数据信息进行详细监测，监测完成后再对已经传输的数据进行数据规划，规划后的数据再导入最终数据库保存，确保最终数据库内含有大量具有一定价值的数据信息，使得数据流量在传输过程中，保证一定的安全性和时效性。
其中，网络路径包括专用路径和普通路径，实现对数据流量的实时监控，同时提升网络路径的带宽，减少数据在传输时发生的问题，专用路径与普通路径又包括“路径一”和“路径二”，专用路径与普通路径的路径均可通过用户自定义增减，便于对数据的传输进行优化处理，使得数据可以被系统自动划分成两部分，增加数据传输的效率，使得系统可以根据数据的流量自动去增加路径，保证数据在传输时时效性。
其中，专用路径与普通路径又分别包括备用路径，备用路径包括“路径一”和“路径二”，备用路径可通过用户自定义增减，当出现大量数据流量时，监控系统首先会监控到，当专用路径与普通路径的网络路径不够时，这时监控系统下发指令，请求打开备用路径，使得数据流量可以通过备用路径进行再次传输，保证数据使用处于被传输的状态，且在传输过程中也能被实时监控，保证大量低价值、无效数据与违法数据均被直接剔除，保证数据的高价值。
其中，监控对象包括服务器、工作电脑、数据库，服务器又包括运行服务器和损坏服务器，保障重要的服务器带宽，限制普通服务器带宽。监控服务器区中每个服务器的运行情况，及时发现异常工作的服务器，快速定位攻击服务器的攻击源，并且能够及时阻断其对服务器的网络攻击，优化访问服务器质量，提升服务器稳定性，监控对象可以根据实际运行情况进行实时调节，使得每个重要的项目都处在监控之中，增加数据流量在传输时安全性，工作电脑包括聊天记录、论坛发帖、电子邮件、网络聊天和浏览记录，避免企业内部人员利用权限传输低质量与违法的数据信息，保障内部信息的安全，数据库包括高质量数据、低质量数据和无效数据，其中无效数据需要对其进行验证，高质量数据、低质量数据和无效数据均要被系统抽取关键词，确保数据的真实性，抽取完成后再提取数据，若提取的数据包含违法不健康的数据，系统则发出警告提示，警告提示后再对数据进行阻断处理，然后再进行剔除数据，若系统检测的数据均为正常符合数据质量标准，系统则开始数据传输，最终传输到数据库中。
其中，数据质量监控包括高质量导入、低质量导入、重要数据导入和普通数据导入，高质量导入、低质量导入、重要数据导入与普通数据导入在导入过程中，若发现有部分违法信息，系统则对其终止传输，其中对数据进行检查后，监控系统再次下发数据质量监控的要求，再次进行二次过滤，保障数据流量在使用中的安全性，使得少部分漏掉的数据再次被监控系统处理掉，进一步提升数据流量的价值和时效性，保证数据处于安全的环境中。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于大数据的数据流量监测系统，其特征在于：所述数据流量下发指令通过网路路径进行传输，在传输过程中对数据流量进行实时监控，所述实时监控包括监控对象，所述监控对象监测完成后，系统开始下发分类导入，再导入之前需要进行数据质量监控，所述数据质量监控内还需对数据信息进行详细监测，所述监测完成后再对已经传输的数据进行数据规划，规划后的数据再导入最终数据库保存。
2.根据权利要求1所述的一种基于大数据的数据流量监测系统，其特征在于：所述网络路径包括专用路径和普通路径，所述专用路径与普通路径又包括“路径一”和“路径二”，所述专用路径与普通路径的路径均可通过用户自定义增减。
3.根据权利要求2所述的一种基于大数据的数据流量监测系统，其特征在于：所述专用路径与普通路径又分别包括备用路径，所述备用路径包括“路径一”和“路径二”，所述备用路径可通过用户自定义增减。
4.根据权利要求1所述的一种基于大数据的数据流量监测系统，其特征在于：所述监控对象包括服务器、工作电脑、数据库，所述服务器又包括运行服务器和损坏服务器，所述工作电脑包括聊天记录、论坛发帖、电子邮件、网络聊天和浏览记录，所述数据库包括高质量数据、低质量数据和无效数据，其中无效数据需要对其进行验证，所述高质量数据、低质量数据和无效数据均要被系统抽取关键词，确保数据的真实性，所述抽取完成后再提取数据，若提取的数据包含违法不健康的数据，系统则发出警告提示，警告提示后再对数据进行阻断处理，然后再进行剔除数据，若系统检测的数据均为正常符合数据质量标准，系统则开始数据传输，最终传输到数据库中。
5.根据权利要求1所述的一种基于大数据的数据流量监测系统，其特征在于：所述数据质量监控包括高质量导入、低质量导入、重要数据导入和普通数据导入，所述高质量导入、低质量导入、重要数据导入与普通数据导入在导入过程中，若发现有部分违法信息，系统则对其终止传输。
CN201910872665.4A 2019-09-16 2019-09-16 一种基于大数据的数据流量监测系统 Pending CN110445711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910872665.4A CN110445711A (zh) 2019-09-16 2019-09-16 一种基于大数据的数据流量监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910872665.4A CN110445711A (zh) 2019-09-16 2019-09-16 一种基于大数据的数据流量监测系统

Publications (1)

Publication Number Publication Date
CN110445711A true CN110445711A (zh) 2019-11-12

Family

ID=68440257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910872665.4A Pending CN110445711A (zh) 2019-09-16 2019-09-16 一种基于大数据的数据流量监测系统

Country Status (1)

Country Link
CN (1) CN110445711A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953622A (zh) * 2020-08-13 2020-11-17 西安微嗨互动信息科技有限公司 一种提高网络带宽利用率的动态码率智能调度系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271453A1 (en) * 2008-04-25 2009-10-29 Ron Ben-Natan Network Intrusion Blocking Security Overlay
CN103152352A (zh) * 2013-03-15 2013-06-12 北京邮电大学 一种基于云计算环境的全信息安全取证监听方法和系统
CN108667855A (zh) * 2018-07-19 2018-10-16 百度在线网络技术（北京）有限公司 网络流量异常监测方法、装置、电子设备及存储介质
CN108696389A (zh) * 2018-04-24 2018-10-23 国家电网公司信息通信分公司 一种基于海量数据的网络流量及协议报文分析平台
CN109889350A (zh) * 2017-12-06 2019-06-14 杭州达乎科技有限公司 一种用于sdn网络故障中切换路径的方法及装置
CN110034956A (zh) * 2019-03-27 2019-07-19 广州供电局有限公司 网络数据监控方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090271453A1 (en) * 2008-04-25 2009-10-29 Ron Ben-Natan Network Intrusion Blocking Security Overlay
CN103152352A (zh) * 2013-03-15 2013-06-12 北京邮电大学 一种基于云计算环境的全信息安全取证监听方法和系统
CN109889350A (zh) * 2017-12-06 2019-06-14 杭州达乎科技有限公司 一种用于sdn网络故障中切换路径的方法及装置
CN108696389A (zh) * 2018-04-24 2018-10-23 国家电网公司信息通信分公司 一种基于海量数据的网络流量及协议报文分析平台
CN108667855A (zh) * 2018-07-19 2018-10-16 百度在线网络技术（北京）有限公司 网络流量异常监测方法、装置、电子设备及存储介质
CN110034956A (zh) * 2019-03-27 2019-07-19 广州供电局有限公司 网络数据监控方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953622A (zh) * 2020-08-13 2020-11-17 西安微嗨互动信息科技有限公司 一种提高网络带宽利用率的动态码率智能调度系统
CN111953622B (zh) * 2020-08-13 2023-08-18 西安微嗨互动信息科技有限公司 一种提高网络带宽利用率的动态码率智能调度系统

Similar Documents

Publication Publication Date Title
CN110765337B (zh) 一种基于互联网大数据的服务提供方法
WO2021017614A1 (zh) 威胁情报数据采集处理方法、系统、装置及存储介质
CN101431434B (zh) 基于wap的内容监控及封堵系统和方法
CN107181612A (zh) 一种基于大数据的可视化网络安全监控方法
CN102790752A (zh) 一种基于特征识别的欺诈信息过滤系统及方法
CN106656627A (zh) 一种基于业务的性能监控和故障定位的方法
CN106789964A (zh) 云资源池数据安全检测方法及系统
CN112003920B (zh) 一种信息共享系统
CN107819627A (zh) 系统故障处理方法及服务器
CN102819580B (zh) 互联网第三方媒体网站广告监控方法及系统
CN102833111B (zh) 一种可视化http数据监管方法及装置
CN110334155A (zh) 一种基于大数据整合的区块链威胁情报分析方法及系统
CN107040405B (zh) 网络环境下被动式多维度主机指纹模型构建方法及其装置
CN106095659A (zh) 一种非结构化事件日志数据的实时监控方法与装置
CN113157994A (zh) 一种多源异构平台数据处理方法
CN106021358A (zh) 一种异常信息记录方法及系统
CN109766441A (zh) 文本分类方法、装置及系统
CN107222511A (zh) 恶意软件的检测方法及装置、计算机装置及可读存储介质
CN104348642A (zh) 一种垃圾信息过滤方法和装置
CN103365963B (zh) 数据库稽核系统合规性快速检验方法
CN104598595A (zh) 欺诈网页检测方法及相应装置
CN109933548A (zh) 一种计算机数据管理系统及方法
CN109032904A (zh) 被监控、管理服务器及数据获取、分析方法和管理系统
CN106789158A (zh) 一种云服务保险定损方法和系统
CN110445711A (zh) 一种基于大数据的数据流量监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112