CN112929238B - 一种网络信息采集方法、装置、设备及可读存储介质 - Google Patents

一种网络信息采集方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112929238B
CN112929238B CN202110296249.1A CN202110296249A CN112929238B CN 112929238 B CN112929238 B CN 112929238B CN 202110296249 A CN202110296249 A CN 202110296249A CN 112929238 B CN112929238 B CN 112929238B
Authority
CN
China
Prior art keywords
network
uplink
downlink data
network speed
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110296249.1A
Other languages
English (en)
Other versions
CN112929238A (zh
Inventor
郑皎
孙耀雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Netway Technology Group Co ltd
Original Assignee
China Netway Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Netway Technology Group Co ltd filed Critical China Netway Technology Group Co ltd
Priority to CN202110296249.1A priority Critical patent/CN112929238B/zh
Publication of CN112929238A publication Critical patent/CN112929238A/zh
Application granted granted Critical
Publication of CN112929238B publication Critical patent/CN112929238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic

Abstract

本申请提供了一种网络信息采集方法、装置、设备及可读存储介质，所述方法包括检测当前时刻的网速数据；将所述当前时刻的网速数据和预设网速阈值进行比较；若大于或等于所述预设网速阈值，则采集并上报网络上下行数据；若小于所述预设网速阈值，则关闭网络上下行数据采集程序。本申请不仅提高了网络完全性，且减轻了采集上下行数据的负担。

Description

一种网络信息采集方法、装置、设备及可读存储介质
技术领域
本申请涉及信息采集技术领域，尤其涉及一种网络信息采集方法、装置、设备及可读存储介质。
背景技术
随着互联网的高速发展，网络安全变得越来越重要。目前一般都是通过网关内嵌的驱动程序，定时统计并上报通过网关的所有上下行数据。但是在采集上下行数据时会占用CPU和内存资源，影响网络数据传输，降低网速。
现有技术中一般都是采用错峰延迟的方式进行统计和采集。例如在白天，网络流量大的时间，就会关闭统计和采集上下行数据的功能，在晚上，网络流量小的时间，就会开启，这样就能保证在不影响网速的情况下也能采集网络数据，保证网络安全。
但是现有技术存在的问题是，因为是错峰延时采集上下行数据，一方面因为延迟性，不能及时的进行网络数据的安全分析，导致网络安全性降低，另一当面，由于在流量高峰时一直关闭统计和采集数据的功能，导致在流量低峰段需要采集高峰时段产生的大量的上下数据，增加了上下行数据采集的负荷，且非常耗时。
发明内容
本申请实施例的目的在于提供一种网络信息采集方法、装置、设备及可读存储介质，以解决上下行数据采集的负担问题以及提高安全性。具体技术方案如下：
第一方面，提供了一种网络信息采集方法，所述方法包括：
检测当前时刻的网速数据；
将所述当前时刻的网速数据和预设网速阈值进行比较；
若大于或等于所述预设网速阈值，则采集并上报网络上下行数据；
若小于所述预设网速阈值，则关闭网络上下行数据采集程序。
可选地，所述采集并上报网络上下行数据包括：
采集当前时刻以及距离上次关闭上下行数据采集程序时刻之间的的数据。
可选地，所述方法还包括：
接收安全性报告；
解析所述安全性报告，得到数据采集上下行数据的起始时间；
清除所述起始时间之间的网络安全数据进行。
可选地，所述方法还包括：
记录关闭网络上下行数据采集程序的时长；
若所述时长大于预设关闭时长，则周期性开启网络上下行数据采集程序。
第二方面，本申请提供一种网络信息采集装置，所述装置包括：
检测单元，用于检测当前时刻的网速数据；
比较单元，用于将所述当前时刻的网速数据和预设网速阈值进行比较；
采集单元，用于在当前时刻的网速数据大于或等于所述预设网速阈值时，则采集并上报网络上下行数据；
关闭单元，用于在当前时刻的网速数据小于所述预设网速阈值时，则关闭网络上下行数据采集程序。
可选地，所述装置还包括：
接收单元，用于接收安全性报告；
解析单元，用于解析所述安全性报告，得到数据采集上下行数据的起始时间；
清除单元，用于清除所述起始时间之间的网络安全数据进行。
可选地，所述装置还包括：
记录单元，用于记录关闭网络上下行数据采集程序的时长；
开启单元，用于在所述时长大于预设关闭时长时，周期性开启网络上下行数据采集程序。
第三方面，本申请提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
本申请实施例有益效果：
本申请实施例提供了一种网络信息采集方法、装置、设备及可读存储介质，本申请通过检测当前时刻的网速数据；将所述当前时刻的网速数据和预设网速阈值进行比较；若大于或等于所述预设网速阈值，则采集并上报网络上下行数据；若小于所述预设网速阈值，则关闭网络上下行数据采集程序。本申请不仅提高了网络完全性，且减轻了采集上下行数据的负担。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种网络信息采集方法的流程图；
图2为本申请又一实施例提供的一种网络信息采集方法的流程图；
图3为本申请另一实施例提供的一种网络信息采集方法的流程图；
图4为本申请实施例提供的一种网络信息采集装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供了一种网络信息采集方法，可以应用于网关等可以传输上下行数据的网络设备。
下面将结合具体实施方式，对本申请实施例提供的一种网络信息采集方法进行详细的说明，如图1所示，具体步骤如下：
S101：检测当前时刻的网速数据。
S102：将所述当前时刻的网速数据和预设网速阈值进行比较。
S103：若大于或等于所述预设网速阈值，则采集并上报网络上下行数据。
S104：若小于所述预设网速阈值，则关闭网络上下行数据采集程序。
本申请通过检测网速，自动智能的进行了流量的一个高低峰的划分，而不是像现有技术中一刀切，直接将白天时段作为高峰，这样更加精确，采集的数据也更及时，安全性提高，且大大降低了采集上下行数据的负担。
可选地，所述采集并上报网络上下行数据包括：
采集当前时刻以及距离上次关闭上下行数据采集程序时刻之间的的数据。
可选地，所述方法还包括以下步骤，如图2所示：
S201：接收安全性报告。
在该步骤中，安全性报告是上层服务器解析上下行数据后，分析得到的安全报告结果，接收到该结果，说明这段数据已经被使用完成了，没有什么价值了，则可以进行删除了。
S202：解析所述安全性报告，得到数据采集上下行数据的起始时间。
S203：清除所述起始时间之间的网络安全数据进行。
在本申请实施例中，为了提高网速，减少上下行数据所占的资源，则在接收到安全性报告后，就将之前的数据进行删除，以增加存储空间。
可选地，所述方法还包括如下步骤，如图3所示，
S301：记录关闭网络上下行数据采集程序的时长。
S302：若所述时长大于预设关闭时长，则周期性开启网络上下行数据采集程序。
在该实施例中，如果当前使用的用户较多，流量比较大，那么网速就会降低，如果长时间流量较大，那么此时就周期性采集上下行数据，从而保证不会增加上下行数据采集的负担，此时在一定程度上会影响网速，但是本方案为了保证安全性以及减轻采集数据的负担，在很小程度上牺牲一点网速。
在一个示例中，例如预设关闭时长为1h，如果关闭时长超过1h,则每半个小时开启一次网络上下行数据采集程序。
基于同样的发明构思，本申请还提供一种网络信息采集装置，如图4所示，所述装置包括：
检测单元410，用于检测当前时刻的网速数据。
比较单元420，用于将所述当前时刻的网速数据和预设网速阈值进行比较。
采集单元430，用于在当前时刻的网速数据大于或等于所述预设网速阈值时，则采集并上报网络上下行数据。
关闭单元440，用于在当前时刻的网速数据小于所述预设网速阈值时，则关闭网络上下行数据采集程序。
可选地，所述装置还包括：
接收单元，用于接收安全性报告；
解析单元，用于解析所述安全性报告，得到数据采集上下行数据的起始时间；
清除单元，用于清除所述起始时间之间的网络安全数据进行。
可选地，所述装置还包括：
记录单元，用于记录关闭网络上下行数据采集程序的时长；
开启单元，用于在所述时长大于预设关闭时长时，周期性开启网络上下行数据采集程序。
基于相同的技术构思，本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
S101：检测当前时刻的网速数据。
S102：将所述当前时刻的网速数据和预设网速阈值进行比较。
S103：若大于或等于所述预设网速阈值，则采集并上报网络上下行数据；
S104：若小于所述预设网速阈值，则关闭网络上下行数据采集程序。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一网络信息采集方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一网络信息采集方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种网络信息采集方法，其特征在于，所述方法包括：
检测当前时刻的网速数据；
将所述当前时刻的网速数据和预设网速阈值进行比较；
若大于或等于所述预设网速阈值，则采集并上报网络上下行数据；
若小于所述预设网速阈值，则关闭网络上下行数据采集程序；
所述采集并上报网络上下行数据包括采集当前时刻以及距离上次关闭上下行数据采集程序时刻之间的数据；
接收安全性报告；
解析所述安全性报告，得到数据采集上下行数据的起始时间；
清除所述起始时间的网络安全数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
记录关闭网络上下行数据采集程序的时长；
若所述时长大于预设关闭时长，则周期性开启网络上下行数据采集程序。
3.一种网络信息采集装置，其特征在于，所述装置包括：
检测单元，用于检测当前时刻的网速数据；
比较单元，用于将所述当前时刻的网速数据和预设网速阈值进行比较；
采集单元，用于在当前时刻的网速数据大于或等于所述预设网速阈值时，则采集并上报网络上下行数据；
关闭单元，用于在当前时刻的网速数据小于所述预设网速阈值时，则关闭网络上下行数据采集程序；
所述采集并上报网络上下行数据包括采集当前时刻以及距离上次关闭上下行数据采集程序时刻之间的数据；
接收单元，用于接收安全性报告；
解析单元，用于解析所述安全性报告，得到数据采集上下行数据的起始时间；
清除单元，用于清除所述起始时间的网络安全数据。
4.根据权利要求3所述的一种装置，其特征在于，所述装置还包括：
记录单元，用于记录关闭网络上下行数据采集程序的时长；
开启单元，用于在所述时长大于预设关闭时长时，周期性开启网络上下行数据采集程序。
5.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-2任一所述的方法步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-2任一所述的方法步骤。
CN202110296249.1A 2021-03-19 2021-03-19 一种网络信息采集方法、装置、设备及可读存储介质 Active CN112929238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110296249.1A CN112929238B (zh) 2021-03-19 2021-03-19 一种网络信息采集方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110296249.1A CN112929238B (zh) 2021-03-19 2021-03-19 一种网络信息采集方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112929238A CN112929238A (zh) 2021-06-08
CN112929238B true CN112929238B (zh) 2022-12-16

Family

ID=76175188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110296249.1A Active CN112929238B (zh) 2021-03-19 2021-03-19 一种网络信息采集方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112929238B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709690B (zh) * 2021-09-03 2024-02-06 无锡职业技术学院 基于网络负载的校园水路水压监测方法、设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108667870A (zh) * 2017-03-30 2018-10-16 华为技术有限公司 一种IoT数据上报的方法、装置和系统
CN111149400A (zh) * 2017-09-27 2020-05-12 华为技术有限公司 直连链路数据传输的方法、终端设备和网络设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916367B (zh) * 2012-12-31 2017-04-26 北京新媒传信科技有限公司 一种传输多媒体数据的方法及装置
CN103686876B (zh) * 2013-12-09 2017-11-03 联想(北京)有限公司 一种信息处理的方法及一种电子设备
CN104468999A (zh) * 2014-11-28 2015-03-25 广东欧珀移动通信有限公司 一种音频匹配方法、装置及系统
CN106922038A (zh) * 2015-12-24 2017-07-04 中兴通讯股份有限公司 数据传输的管理方法及装置
CN106533988B (zh) * 2016-10-26 2020-07-14 维沃移动通信有限公司 一种应用程序网速的控制方法及移动终端
CN110246501B (zh) * 2019-07-02 2022-02-01 思必驰科技股份有限公司 用于会议记录的语音识别方法及系统
CN110365551B (zh) * 2019-07-04 2021-05-07 杭州吉讯汇通科技有限公司 网络信息采集方法、装置、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108667870A (zh) * 2017-03-30 2018-10-16 华为技术有限公司 一种IoT数据上报的方法、装置和系统
CN111149400A (zh) * 2017-09-27 2020-05-12 华为技术有限公司 直连链路数据传输的方法、终端设备和网络设备

Also Published As

Publication number Publication date
CN112929238A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN109831465B (zh) 一种基于大数据日志分析的网站入侵检测方法
CN111241453B (zh) 页面访问时长采集方法、装置、介质及电子设备
CN111522711B (zh) 一种数据监控处理系统、方法、执行端、监控端及电子设备
CN102955719B (zh) 疑似内存泄漏的确定方法及装置
CN104391979A (zh) 网络恶意爬虫识别方法及装置
CN108390856B (zh) 一种DDoS攻击检测方法、装置及电子设备
CN104899130A (zh) 一种应用程序管理方法及系统
CN112929238B (zh) 一种网络信息采集方法、装置、设备及可读存储介质
CN101820635A (zh) 一种移动通讯数据的采集方法和装置
CN107888602A (zh) 一种检测异常用户的方法及装置
CN105224691A (zh) 一种信息处理方法及装置
CN111818560A (zh) 质差小区的确定方法及装置
CN110868419A (zh) Web后门攻击事件的检测方法、装置及电子设备
CN104050257A (zh) 钓鱼网页的检测方法和装置
CN108446148B (zh) 一种规则管理的方法、装置及电子设备
CN103544288A (zh) 浏览器网页加载控制方法及装置
CN113123955B (zh) 柱塞泵异常检测方法、装置、存储介质及电子设备
CN113133035A (zh) 一种lte高负荷小区甄别方法及系统
CN111835536B (zh) 一种流量预测方法和装置
CN110866831A (zh) 资产活跃度等级的确定方法、装置及服务器
CN110928755A (zh) 一种用户行为数据处理方法及装置
CN110719337A (zh) 业务系统、业务请求处理方法、装置及服务器
CN107193721B (zh) 一种生成日志的方法和装置
CN114117265A (zh) 一种页面加载时间的降低方法
CN110674839B (zh) 异常用户识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant