CN110602067A - 基于流量分析的数据报文快速提取和调用的方法和装置 - Google Patents

基于流量分析的数据报文快速提取和调用的方法和装置 Download PDF

Info

Publication number
CN110602067A
CN110602067A CN201910809646.7A CN201910809646A CN110602067A CN 110602067 A CN110602067 A CN 110602067A CN 201910809646 A CN201910809646 A CN 201910809646A CN 110602067 A CN110602067 A CN 110602067A
Authority
CN
China
Prior art keywords
data
module
analysis
output end
input end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910809646.7A
Other languages
English (en)
Inventor
弓睿智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Funaier Technology Co Ltd
Original Assignee
Beijing Funaier Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Funaier Technology Co Ltd filed Critical Beijing Funaier Technology Co Ltd
Priority to CN201910809646.7A priority Critical patent/CN110602067A/zh
Publication of CN110602067A publication Critical patent/CN110602067A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了基于流量分析的数据报文快速提取和调用的方法和装置，S1、操作人员可以通过流量分析任务上传模块对需要分析的任务进行上传，待任务上传完毕后，所需数据分析系统中的所需数据类型分析模块和所需数据日期分析模块会分析出该任务所需的数据类型以及对应的日期，本发明涉及数据取用技术领域。该基于流量分析的数据报文快速提取和调用的方法和装置，能够分析出流量分析所需要的数据以及对应的日期，从而能够对数据进行快速而有条理的提取以及调用，很大程度上提高了工作效率，在提取数据时，能够对数据的安全性进行很好的检测，在检测到数据不安全时，能够对数据的调用进行中断，保证了分析工作的正常进行。

Description

基于流量分析的数据报文快速提取和调用的方法和装置
技术领域
本发明涉及数据取用技术领域，具体为基于流量分析的数据报文快速提取和调用的方法和装置。
背景技术
网站流量分析，是指在获得网站访问量基本数据的情况下对有关数据进行统计、分析，从中发现用户访问网站的规律，并将这些规律与网络营销策略等相结合，从而发现目前网络营销活动中可能存在的问题，并为进一步修正或重新制定网络营销策略提供依据，在进行流量分析时，首选需要对数据进行提取和调用，作为流量分析的依据。
现有的基于流量分析的数据报文快速提取和调用的方法和装置，不能够分析出流量分析所需要的数据以及对应的日期，从而不能够对数据进行快速而有条理的提取以及调用，很大程度上降低了工作效率，在提取数据时没有对数据的安全性进行很好的检测，没有将数据报文集中存储在数据库中，不能够对数据报文进行及时的更新。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了基于流量分析的数据报文快速提取和调用的方法和装置，解决了基于流量分析的数据报文提取和调用的方法和装置不能够对数据进行快速提取和调用，没有对调用数据的安全性进行很好检测的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：基于流量分析的数据报文快速提取和调用的方法，包括如下步骤：
S1、操作人员可以通过流量分析任务上传模块对需要分析的任务进行上传，待任务上传完毕后，所需数据分析系统中的所需数据类型分析模块和所需数据日期分析模块会分析出该任务所需的数据类型以及对应的日期，数据报文更新模块会对数据报文进行联网更新，更新完毕后会通过数据报文上传模块将更新的数据报文存储在数据报文存储库中；
S2、待所需数据分析系统分析完毕后，数据对接系统中的所需数据确定模块会接收到分析该任务所需的数据类型以及对应的日期，并将所需的数据类型以及对应的日期发送至数据提取模块，此时数据提取模块会通过中央处理模块在数据报文存储库中提取相应的数据，从而数据报文存储库会将相应的数据分别发送至数据提取模块和数据安全检测系统；
S3、待安全检测系统接收到相应的数据后，安全检测系统中的数据预览模块会数据进行预览，预览完毕后会发送至数据检测模块，从而数据检测模块会对数据的安全性进行检测并得到检测结果，检测完毕后，安全鉴定模块会根据检测结果分析数据是否安全，若数据不安全，对接中断模块会关闭数据对接系统；
S4、若数据安全，待数据提取模块接收到相应的数据后，会通过所需数据发送模块将数据发送至流量分析单元，从而流量分析单元会根据数据对流量进行分析。
本发明还公开了基于流量分析的数据报文快速提取和调用的装置，包括数据报文更新模块和流量分析任务上传模块，所述数据报文更新模块的输出端与数据报文上传模块输入端连接，所述数据报文上传模块的输出端与数据报文存储库的输入端连接，并且数据报文存储库与中央处理模块实现双向连接。
优选的，所述流量分析任务上传模块的输出端与所需数据分析系统的输入端连接，所述所需数据分析系统的输出端与数据对接系统的输入端连接，并且数据对接系统与中央处理模块实现双向连接，所述数据对接系统的输出端与流量分析单元的输入端连接。
优选的，所述中央处理模块的输出端与数据安全检测系统的输入端连接，所述数据安全检测系统的输出端与对接中断模块的输入端连接，并且对接中断模块的输出端与数据对接系统的输入端连接。
优选的，所述所需数据分析系统包括所需数据类型分析模块和所需数据日期分析模块。
优选的，所述数据安全检测系统包括数据预览模块、数据检测模块和安全鉴定模块，所述数据预览模块的输出端与数据检测模块的输入端连接，并且数据检测模块的输出端与安全鉴定模块的输入端连接，所述安全鉴定模块的输出端与对接中断模块的输入端连接，所述数据预览模块的输入端与中央处理模块的输出端连接。
优选的，所述数据对接系统包括数据提取模块、所需数据发送模块和所需数据确定模块，所述所需数据确定模块的输出端与数据提取模块的输入端连接，并且数据提取模块的输出端与所需数据发送模块的输入端连接。
优选的，所述所需数据发送模块的输出端与流量分析单元的输入端连接，所述数据提取模块与中央处理模块实现双向连接，所述所需数据确定模块的输入端与所需数据分析系统的输出端连接。
(三)有益效果
本发明提供了基于流量分析的数据报文快速提取和调用的方法和装置。与现有技术相比具备以下有益效果：
(1)、该基于流量分析的数据报文快速提取和调用的方法和装置，通过中央处理模块的输出端与数据安全检测系统的输入端连接，数据安全检测系统的输出端与对接中断模块的输入端连接，并且对接中断模块的输出端与数据对接系统的输入端连接，数据对接系统包括数据提取模块、所需数据发送模块和所需数据确定模块，所需数据确定模块的输出端与数据提取模块的输入端连接，并且数据提取模块的输出端与所需数据发送模块的输入端连接，能够分析出流量分析所需要的数据以及对应的日期，从而能够对数据进行快速而有条理的提取以及调用，很大程度上提高了工作效率。
(2)、该基于流量分析的数据报文快速提取和调用的方法和装置，通过数据安全检测系统包括数据预览模块、数据检测模块和安全鉴定模块，数据预览模块的输出端与数据检测模块的输入端连接，并且数据检测模块的输出端与安全鉴定模块的输入端连接，安全鉴定模块的输出端与对接中断模块的输入端连接，数据预览模块的输入端与中央处理模块的输出端连接，在提取数据时，能够对数据的安全性进行很好的检测，在检测到数据不安全时，能够对数据的调用进行中断，保证了分析工作的正常进行。
(3)、该基于流量分析的数据报文快速提取和调用的方法和装置，通过数据报文更新模块的输出端与数据报文上传模块输入端连接，数据报文上传模块的输出端与数据报文存储库的输入端连接，并且数据报文存储库与中央处理模块实现双向连接，将数据报文集中存储在数据库中，能够对数据库中的数据报文进行及时更新。
附图说明
图1为本发明系统的结构原理框图；
图2为本发明所需数据分析系统的结构原理框图；
图3为本发明数据安全检测系统的结构原理框图；
图4为本发明数据对接系统的结构原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明实施例提供一种技术方案：基于流量分析的数据报文快速提取和调用的方法，包括如下步骤：
S1、操作人员可以通过流量分析任务上传模块对需要分析的任务进行上传，待任务上传完毕后，所需数据分析系统中的所需数据类型分析模块和所需数据日期分析模块会分析出该任务所需的数据类型以及对应的日期，数据报文更新模块会对数据报文进行联网更新，更新完毕后会通过数据报文上传模块将更新的数据报文存储在数据报文存储库中；
S2、待所需数据分析系统分析完毕后，数据对接系统中的所需数据确定模块会接收到分析该任务所需的数据类型以及对应的日期，并将所需的数据类型以及对应的日期发送至数据提取模块，此时数据提取模块会通过中央处理模块在数据报文存储库中提取相应的数据，从而数据报文存储库会将相应的数据分别发送至数据提取模块和数据安全检测系统；
S3、待安全检测系统接收到相应的数据后，安全检测系统中的数据预览模块会数据进行预览，预览完毕后会发送至数据检测模块，从而数据检测模块会对数据的安全性进行检测并得到检测结果，检测完毕后，安全鉴定模块会根据检测结果分析数据是否安全，若数据不安全，对接中断模块会关闭数据对接系统；
S4、若数据安全，待数据提取模块接收到相应的数据后，会通过所需数据发送模块将数据发送至流量分析单元，从而流量分析单元会根据数据对流量进行分析。
本发明还公开了基于流量分析的数据报文快速提取和调用的装置，包括数据报文更新模块和流量分析任务上传模块，数据报文更新模块的输出端与数据报文上传模块输入端连接，数据报文上传模块的输出端与数据报文存储库的输入端连接，并且数据报文存储库与中央处理模块实现双向连接。
本发明中，流量分析任务上传模块的输出端与所需数据分析系统的输入端连接，所需数据分析系统的输出端与数据对接系统的输入端连接，并且数据对接系统与中央处理模块实现双向连接，数据对接系统的输出端与流量分析单元的输入端连接。
本发明中，中央处理模块的输出端与数据安全检测系统的输入端连接，数据安全检测系统的输出端与对接中断模块的输入端连接，并且对接中断模块的输出端与数据对接系统的输入端连接。
本发明中，所需数据分析系统包括所需数据类型分析模块和所需数据日期分析模块。
本发明中，数据安全检测系统包括数据预览模块、数据检测模块和安全鉴定模块，数据预览模块的输出端与数据检测模块的输入端连接，并且数据检测模块的输出端与安全鉴定模块的输入端连接，安全鉴定模块的输出端与对接中断模块的输入端连接，数据预览模块的输入端与中央处理模块的输出端连接。
本发明中，数据对接系统包括数据提取模块、所需数据发送模块和所需数据确定模块，所需数据确定模块的输出端与数据提取模块的输入端连接，并且数据提取模块的输出端与所需数据发送模块的输入端连接。
本发明中，所需数据发送模块的输出端与流量分析单元的输入端连接，数据提取模块与中央处理模块实现双向连接，所需数据确定模块的输入端与所需数据分析系统的输出端连接。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于流量分析的数据报文快速提取和调用的方法，其特征在于，包括如下步骤：
S1、操作人员可以通过流量分析任务上传模块对需要分析的任务进行上传，待任务上传完毕后，所需数据分析系统中的所需数据类型分析模块和所需数据日期分析模块会分析出该任务所需的数据类型以及对应的日期，数据报文更新模块会对数据报文进行联网更新，更新完毕后会通过数据报文上传模块将更新的数据报文存储在数据报文存储库中；
S2、待所需数据分析系统分析完毕后，数据对接系统中的所需数据确定模块会接收到分析该任务所需的数据类型以及对应的日期，并将所需的数据类型以及对应的日期发送至数据提取模块，此时数据提取模块会通过中央处理模块在数据报文存储库中提取相应的数据，从而数据报文存储库会将相应的数据分别发送至数据提取模块和数据安全检测系统；
S3、待安全检测系统接收到相应的数据后，安全检测系统中的数据预览模块会数据进行预览，预览完毕后会发送至数据检测模块，从而数据检测模块会对数据的安全性进行检测并得到检测结果，检测完毕后，安全鉴定模块会根据检测结果分析数据是否安全，若数据不安全，对接中断模块会关闭数据对接系统；
S4、若数据安全，待数据提取模块接收到相应的数据后，会通过所需数据发送模块将数据发送至流量分析单元，从而流量分析单元会根据数据对流量进行分析。
2.基于流量分析的数据报文快速提取和调用的装置，包括数据报文更新模块和流量分析任务上传模块，其特征在于：所述数据报文更新模块的输出端与数据报文上传模块输入端连接，所述数据报文上传模块的输出端与数据报文存储库的输入端连接，并且数据报文存储库与中央处理模块实现双向连接。
3.根据权利要求2所述的基于流量分析的数据报文快速提取和调用的装置，其特征在于：所述流量分析任务上传模块的输出端与所需数据分析系统的输入端连接，所述所需数据分析系统的输出端与数据对接系统的输入端连接，并且数据对接系统与中央处理模块实现双向连接，所述数据对接系统的输出端与流量分析单元的输入端连接。
4.根据权利要求2所述的基于流量分析的数据报文快速提取和调用的装置，其特征在于：所述中央处理模块的输出端与数据安全检测系统的输入端连接，所述数据安全检测系统的输出端与对接中断模块的输入端连接，并且对接中断模块的输出端与数据对接系统的输入端连接。
5.根据权利要求3所述的基于流量分析的数据报文快速提取和调用的装置，其特征在于：所述所需数据分析系统包括所需数据类型分析模块和所需数据日期分析模块。
6.根据权利要求4所述的基于流量分析的数据报文快速提取和调用的装置，其特征在于：所述数据安全检测系统包括数据预览模块、数据检测模块和安全鉴定模块，所述数据预览模块的输出端与数据检测模块的输入端连接，并且数据检测模块的输出端与安全鉴定模块的输入端连接，所述安全鉴定模块的输出端与对接中断模块的输入端连接，所述数据预览模块的输入端与中央处理模块的输出端连接。
7.根据权利要求3所述的基于流量分析的数据报文快速提取和调用的装置，其特征在于：所述数据对接系统包括数据提取模块、所需数据发送模块和所需数据确定模块，所述所需数据确定模块的输出端与数据提取模块的输入端连接，并且数据提取模块的输出端与所需数据发送模块的输入端连接。
8.根据权利要求7所述的基于流量分析的数据报文快速提取和调用的装置，其特征在于：所述所需数据发送模块的输出端与流量分析单元的输入端连接，所述数据提取模块与中央处理模块实现双向连接，所述所需数据确定模块的输入端与所需数据分析系统的输出端连接。
CN201910809646.7A 2019-08-29 2019-08-29 基于流量分析的数据报文快速提取和调用的方法和装置 Pending CN110602067A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910809646.7A CN110602067A (zh) 2019-08-29 2019-08-29 基于流量分析的数据报文快速提取和调用的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910809646.7A CN110602067A (zh) 2019-08-29 2019-08-29 基于流量分析的数据报文快速提取和调用的方法和装置

Publications (1)

Publication Number Publication Date
CN110602067A true CN110602067A (zh) 2019-12-20

Family

ID=68856353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910809646.7A Pending CN110602067A (zh) 2019-08-29 2019-08-29 基于流量分析的数据报文快速提取和调用的方法和装置

Country Status (1)

Country Link
CN (1) CN110602067A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111181806A (zh) * 2019-12-25 2020-05-19 深圳市丰润达科技有限公司 全网流量分析技术的实现方法、装置及可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051930A (zh) * 2012-12-21 2013-04-17 福建邮科通信技术有限公司 基于流量分析及用户行为分析的移动视频推荐方法及系统
US20130291108A1 (en) * 2012-04-26 2013-10-31 Electronics And Telecommunications Research Institute Apparatus and method for detecting traffic flooding attack and conducting in-depth analysis using data mining
CN106445986A (zh) * 2016-05-26 2017-02-22 成都好房通科技股份有限公司 一种用于解决二手房交易信息行业联网的方法及系统
CN107203872A (zh) * 2017-05-26 2017-09-26 山东省科学院情报研究所 基于大数据的区域人才需求量化分析方法
CN107302469A (zh) * 2016-04-14 2017-10-27 北京京东尚科信息技术有限公司 针对分布式服务集群系统数据更新的实时监控装置及方法
CN107656974A (zh) * 2017-09-05 2018-02-02 北京天平检验行有限公司 一种大数据分析系统
CN108243037A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 网站流量异常确定方法及装置
CN108449375A (zh) * 2018-01-30 2018-08-24 上海天旦网络科技发展有限公司 网络互联数据抓取分发的系统和方法
CN108446205A (zh) * 2018-05-28 2018-08-24 佛山恩慈科技有限公司 一种大数据安全评估分析系统及分析方法
CN108962291A (zh) * 2018-07-25 2018-12-07 武汉恩智电子科技有限公司 一种基于视频监控的日志识别视频回放系统
CN109993399A (zh) * 2019-01-25 2019-07-09 杭州易明远科技有限公司 一种操作便捷的地理信息测控系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130291108A1 (en) * 2012-04-26 2013-10-31 Electronics And Telecommunications Research Institute Apparatus and method for detecting traffic flooding attack and conducting in-depth analysis using data mining
CN103051930A (zh) * 2012-12-21 2013-04-17 福建邮科通信技术有限公司 基于流量分析及用户行为分析的移动视频推荐方法及系统
CN107302469A (zh) * 2016-04-14 2017-10-27 北京京东尚科信息技术有限公司 针对分布式服务集群系统数据更新的实时监控装置及方法
CN106445986A (zh) * 2016-05-26 2017-02-22 成都好房通科技股份有限公司 一种用于解决二手房交易信息行业联网的方法及系统
CN108243037A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 网站流量异常确定方法及装置
CN107203872A (zh) * 2017-05-26 2017-09-26 山东省科学院情报研究所 基于大数据的区域人才需求量化分析方法
CN107656974A (zh) * 2017-09-05 2018-02-02 北京天平检验行有限公司 一种大数据分析系统
CN108449375A (zh) * 2018-01-30 2018-08-24 上海天旦网络科技发展有限公司 网络互联数据抓取分发的系统和方法
CN108446205A (zh) * 2018-05-28 2018-08-24 佛山恩慈科技有限公司 一种大数据安全评估分析系统及分析方法
CN108962291A (zh) * 2018-07-25 2018-12-07 武汉恩智电子科技有限公司 一种基于视频监控的日志识别视频回放系统
CN109993399A (zh) * 2019-01-25 2019-07-09 杭州易明远科技有限公司 一种操作便捷的地理信息测控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方青云等: "《现代市场营销学》", 31 January 2018 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111181806A (zh) * 2019-12-25 2020-05-19 深圳市丰润达科技有限公司 全网流量分析技术的实现方法、装置及可读存储介质
CN111181806B (zh) * 2019-12-25 2022-02-25 深圳市丰润达科技有限公司 全网流量分析技术的实现方法、装置及可读存储介质

Similar Documents

Publication Publication Date Title
CN106548343B (zh) 一种非法交易检测方法及装置
CN104462509A (zh) 垃圾评论检测方法及装置
CN104021467A (zh) 保护移动终端支付安全的方法和装置以及移动终端
CN109859030A (zh) 基于用户行为的风险评估方法、装置、存储介质和服务器
CN104881483B (zh) 用于Hadoop平台数据泄露攻击的自动检测取证方法
CN107302586A (zh) 一种Webshell检测方法以及装置、计算机装置、可读存储介质
CN108234426B (zh) Apt攻击告警方法和apt攻击告警装置
CN109242658B (zh) 可疑交易报告生成方法、系统、计算机设备和存储介质
CN110020161B (zh) 数据处理方法、日志处理方法和终端
CN110442582B (zh) 场景检测方法、装置、设备和介质
CN110602067A (zh) 基于流量分析的数据报文快速提取和调用的方法和装置
CN110851854A (zh) 一种防止信息泄露的图像处理方法和装置
CN109800571A (zh) 事件处理方法和装置、以及存储介质和电子装置
CN112750038A (zh) 交易风险的确定方法、装置和服务器
US10831887B2 (en) System and method for monitoring the integrity of a component delivered to a client system by a server system
CN111193631B (zh) 信息处理方法、系统和计算机可读存储介质
CN116226865A (zh) 云原生应用的安全检测方法、装置、服务器、介质及产品
CN113297583B (zh) 漏洞风险分析方法、装置、设备及存储介质
CN111224823B (zh) 一种基于异网日志分析的方法
CN113609146A (zh) 变更操作风险控制方法及装置
CN114584391A (zh) 异常流量处理策略的生成方法、装置、设备及存储介质
CN110956552B (zh) 保险问题处理方法、装置、设备及存储介质
CN105792213A (zh) 一种检测信息安全的方法和终端设备
CN113256256A (zh) 一种工单预警方法、装置、设备及存储介质
CN112565407A (zh) 一种基于工业互联网app的大型装备远程协同运维系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220

RJ01 Rejection of invention patent application after publication