CN117978630A - 网络信息采集方法、装置、设备及存储介质 - Google Patents

网络信息采集方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117978630A
CN117978630A CN202311499308.0A CN202311499308A CN117978630A CN 117978630 A CN117978630 A CN 117978630A CN 202311499308 A CN202311499308 A CN 202311499308A CN 117978630 A CN117978630 A CN 117978630A
Authority
CN
China
Prior art keywords
information
network information
network
information acquisition
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311499308.0A
Other languages
English (en)
Inventor
崔俊
杨丽香
郭建强
吴满
张志磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
360 Digital Security Technology Group Co Ltd
Original Assignee
360 Digital Security Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 360 Digital Security Technology Group Co Ltd filed Critical 360 Digital Security Technology Group Co Ltd
Priority to CN202311499308.0A priority Critical patent/CN117978630A/zh
Publication of CN117978630A publication Critical patent/CN117978630A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及数据采集技术领域,公开了一种网络信息采集方法、装置、设备及存储介质,该方法应用于浏览器,浏览器中设置有信息采集工具,包括:在检测到浏览器中的用户反馈控件被触发时,展示预设信息采集提示;在接收到基于预设信息采集提示输入的确认采集指令时,调用信息采集工具采集网络信息。由于本发明的浏览器中设置有信息采集工具,使得可以在接收到基于预设信息采集提示输入的确认采集指令时,调用信息采集工具采集网络信息,从而解决了现有技术中浏览器的反馈工具通常无法采集完整的网络信息,导致无法对浏览器出现的问题进行准确分析的技术问题,进而提高了用户使用体验。

Description

网络信息采集方法、装置、设备及存储介质
技术领域
本发明涉及数据采集技术领域,尤其涉及一种网络信息采集方法、装置、设备及存储介质。
背景技术
浏览器是人们常用的互联网工具,通过浏览器能够打开各种不同的网址,以供人们浏览各种不同的网页。但在一些情况下,浏览器的运行可能出现问题,例如浏览器程序崩溃等等,此时需要向后台反映程序崩溃的情况,以便于解决程序崩溃的问题。
现有的方案中用户可以通过浏览器提供的反馈工具来反馈浏览器的问题,但浏览器的反馈工具通常无法采集完整的网络信息,导致无法对浏览器出现的问题进行准确分析,影响用户使用体验。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种网络信息采集方法、装置、设备及存储介质,旨在解决现有技术中浏览器的反馈工具通常无法采集完整的网络信息,导致无法对浏览器出现的问题进行准确分析的技术问题。
为实现上述目的,本发明提供了一种网络信息采集方法,所述网络信息采集方法应用于浏览器,所述浏览器中设置有信息采集工具,所述方法包括:
在检测到所述浏览器中的用户反馈控件被触发时,展示预设信息采集提示;
在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息。
可选地,所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤之后,还包括:
确定所述网络信息对应的信息类型,并根据所述信息类型确定所述网络信息对应的信息加密方式;
通过所述信息加密方式对所述网络信息进行加密,获得加密后的网络信息;
将所述加密后的网络信息存储至本地缓存数据库。
可选地,所述将所述加密后的网络信息存储至本地缓存数据库的步骤之前,还包括:
确定所述加密后的网络信息的待占用容量;
基于本地缓存数据库的已使用容量确定剩余可使用容量;
根据所述待占用容量和所述剩余可使用容量的比较结果判断所述本地缓存数据库是否满足所述加密后的网络信息的存储条件;
若满足,则执行所述将所述加密后的网络信息存储至本地缓存数据库的步骤。
可选地,所述根据所述待占用容量和所述剩余可使用容量的比较结果判断所述本地缓存数据库是否满足所述加密后的网络信息的存储条件的步骤之后,还包括:
若不满足,则根据历史故障分布信息确定所述本地缓存数据库中所有缓存数据的重要程度;
根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据;
基于所述待清理缓存数据对所述本地缓存数据库进行数据清理,并返回至所述获取本地缓存数据库的已使用容量,并基于所述已使用容量确定所述本地缓存数据库的剩余可使用容量的步骤。
可选地,所述根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据的步骤,包括:
根据所述重要程度对所述所有缓存数据进行排序,获得缓存数据序列;
依次将所述缓存数据序列中的缓存数据的重要程度与预设重要程度阈值进行比较;
根据比较结果确定所述本地缓存数据库中的待清理缓存数据。
可选地,所述网络信息包括:网络日志信息、网络资源信息和网络数据包;
所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤,包括:
在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集所述网络日志信息、所述网络资源信息和所述网络数据包。
可选地,所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤之后,还包括:
根据所述确认采集指令确定网络信息分析方式;
在所述网络信息分析方式为自动分析时,将所述网络信息发送至信息管理平台,所述信息管理平台在接收到所述网络信息时,确定所述网络信息对应的信息分析策略,并通过所述信息分析策略对所述网络信息进行分析。
此外,为实现上述目的,本发明还提出一种网络信息采集装置,所述装置中设置有信息采集工具,所述装置包括:
信息检测模块,用于在检测到所述浏览器中的用户反馈控件被触发时,展示预设信息采集提示;
信息采集模块,用于在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息。
此外,为实现上述目的,本发明还提出一种网络信息采集设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络信息采集程序,所述网络信息采集程序配置为实现如上文所述的网络信息采集方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有网络信息采集程序,所述网络信息采集程序被处理器执行时实现如上文所述的网络信息采集方法的步骤。
在本发明中,公开了网络信息采集方法应用于浏览器,浏览器中设置有信息采集工具,该方法包括:在检测到浏览器中的用户反馈控件被触发时,展示预设信息采集提示;在接收到基于预设信息采集提示输入的确认采集指令时,调用信息采集工具采集网络信息;由于本发明的浏览器中设置有信息采集工具,使得可以在接收到基于预设信息采集提示输入的确认采集指令时,调用信息采集工具采集网络信息,从而解决了现有技术中浏览器的反馈工具通常无法采集完整的网络信息,导致无法对浏览器出现的问题进行准确分析的技术问题,进而提高了用户使用体验。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的网络信息采集设备的结构示意图;
图2为本发明网络信息采集方法第一实施例的流程示意图;
图3为本发明网络信息采集方法第二实施例的流程示意图;
图4为本发明网络信息采集方法第三实施例的流程示意图;
图5为本发明网络信息采集方法第三实施例中网络信息采集及分析的总流程示意图;
图6为本发明网络信息采集装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的网络信息采集设备结构示意图。
如图1所示,该网络信息采集设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对网络信息采集设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及网络信息采集程序。
在图1所示的网络信息采集设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明网络信息采集设备中的处理器1001、存储器1005可以设置在网络信息采集设备中,所述网络信息采集设备通过处理器1001调用存储器1005中存储的网络信息采集程序,并执行本发明实施例提供的网络信息采集方法。
本发明实施例提供了一种网络信息采集方法,参照图2,图2为本发明网络信息采集方法第一实施例的流程示意图。
本实施例中,所述网络信息采集方法应用于浏览器,所述浏览器中设置有信息采集工具,所述方法包括:
步骤S10:在检测到所述浏览器中的用户反馈控件被触发时,展示预设信息采集提示。
需要说明的是,本实施例的方法的执行主体可以为对网络信息进行采集的浏览器,或者是其他能够实现相同或相似功能的、包含了该浏览器的网络信息采集系统。此处以网络信息采集系统(以下简称系统)对本实施例和下述各实施例提供的网络信息采集方法进行具体说明。
应当理解的是,上述信息采集工具可以为内置于浏览器的反馈工具中的用于采集网络信息的工具。本实施例中的网络信息可以为用户浏览网页时产生的数据信息,具体可以包括:网络日志信息、网络资源信息、网络数据包等,本实施例对此不加以限制。其中,网络日志信息即网络中产生的过程性时间记录数据信息;网络资源信息可以为网络中的信息资源,如HAR资源包;网络数据包可以为网络中进行通信传输的数据包。
可以理解的是,上述用户反馈控件可以为用户反馈浏览器问题的控件。实际应用中,若用户通过浏览器中的用户反馈控件反馈浏览器问题,则系统此时可以检测到浏览器中的用户反馈控件被触发。
需要说明的是,上述预设信息采集提示可以为系统在采集网络信息前向用户发送的提示。
可以理解的是,为了保护用户隐私,提高用户体验,本实施例中在采集网络信息前可以在用户端展示一个信息采集提示,此时用户可以基于信息采集提示反馈是否允许进行网络信息采集,且系统仅在用户允许采集网络信息时才可以进行网络信息的采集,从而很好地保护了用户隐私。
在具体实现中,用户在使用浏览器时若发现浏览器存在问题(如浏览器崩溃),则可以通过浏览器中的用户反馈控件反馈浏览器出现的问题,此时用户反馈控件被触发,系统在检测到用户反馈控件被触发时,可以展示预设信息采集提示,从而用户可以通过信息采集提示反馈是否允许系统采集网络信息。
步骤S20:在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息。
需要说明的是,上述确定采集指令可以为用于指示系统进行网络信息采集的指令。
在具体实现中,系统在检测到用户触发用户反馈控件反馈浏览器问题时,可以展示预设信息采集提示,若用户允许系统采集网络信息,则可以基于预设信息采集提示输入确认采集指令,系统在接收到确认采集指令后可以调用信息采集工具采集网络信息;若用户不允许系统采集网络信息,则此时系统不采集网络信息,直接保存用户反馈的浏览器问题。
进一步地,为了提高浏览器问题分析的准确性,所述网络信息包括:网络日志信息、网络资源信息和网络数据包;所述步骤S20包括:在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集所述网络日志信息、所述网络资源信息和所述网络数据包。
可以理解的是,目前浏览器的反馈工具在采集网络信息时,通常只能采集网络日志信息,导致信息采集不完整,从而无法对用户反馈的浏览器问题进行准确分析。而本方案在浏览器的反馈工具中内置信息采集工具,并可以通过信息采集工具采集网络日志信息、网络资源信息、网络数据包等网络信息,使得采集的网络信息更完整,从而可以基于完整的网络信息对用户反馈的浏览器问题进行准确分析。此外,由于本方案可以直接通过信息采集工具采集网络信息,不需要依赖外部工具采集网络信息,从而提升了数据采集效率。
进一步地,为了提高信息采集的安全性,所述步骤S20包括:在接收到基于所述预设信息采集提示输入的确认采集指令时,根据所述确认采集指令获取当前登录账户发送的动态验证码;根据所述动态验证码对所述当前登录账户进行安全校验;在安全校验通过时,调用所述信息采集工具采集网络信息。
需要说明的是,上述当前登录账户可以为当前登录浏览器的账户。
应当理解的是,上述动态验证码可以为动态变化的用于验证账户的安全性的验证码。实际应用中,由于动态验证码动态变化的特性,本实施例中的动态验证码需实时输入,故在每次采集网络信息前都可以获取账户的动态验证码,并通过动态验证码对账户进行安全校验。
可以理解的是,本实施例可以将当前登录账户发送的动态验证码和当前登录账户对应的标准验证码进行比对,以根据比对结果判断是否通过安全校验。
在具体实现中,确认采集指令中可以携带有用户输入的用户名、密码和动态验证码等信息,系统在接收到确定采集指令后,可以对确认采集指令进行分析,获得当前登录账户对应的账户名称、账户密码以及当前登录账户输入的动态验证码。然后系统可以根据账户名称在预设动态码数据库中获取该账户绑定的标识符,并根据标识符及预定的动态码计算算法计算出该账户对应的标准验证码,再将动态验证码和标准验证码进行比对,若两者一致,则表示安全校验通过,此时可以调用信息采集工具采集网络信息。
本实施例公开了网络信息采集方法应用于浏览器,浏览器中设置有信息采集工具,该方法包括:在检测到浏览器中的用户反馈控件被触发时,展示预设信息采集提示;在接收到基于预设信息采集提示输入的确认采集指令时,调用信息采集工具采集网络信息;由于本实施例的浏览器中设置有信息采集工具,使得可以在接收到基于预设信息采集提示输入的确认采集指令时,调用信息采集工具采集网络信息,从而解决了现有技术中浏览器的反馈工具通常无法采集完整的网络信息,导致无法对浏览器出现的问题进行准确分析的技术问题,进而提高了用户使用体验。
参考图3,图3为本发明网络信息采集方法第二实施例的流程示意图。
基于上述第一实施例,为了保证网络信息的安全性,本实施例中,所述步骤S20之后,所述方法还包括:
步骤S301:确定所述网络信息对应的信息类型,并根据所述信息类型确定所述网络信息对应的信息加密方式。
需要说明的是,上述信息类型即网络信息对应的类型,本实施例中信息类型可以包括:基础信息和非基础信息,其中,基础信息类型对应的网络信息可以包括网络日志信息;非基础信息类型对应的网络信息可以包括网络资源信息和网络数据包。
应当理解的是,上述信息加密方式可以为对网络信息进行加密的方式,例如:对称加密、非对称加密等,本实施例对此不加以限制。
步骤S302:通过所述信息加密方式对所述网络信息进行加密,获得加密后的网络信息。
步骤S303:将所述加密后的网络信息存储至本地缓存数据库。
可以理解的是,上述本地缓存数据库可以为浏览器本地的用于存储网络信息的数据库。
在具体实现中,本实施例可以根据网络信息对应的信息类型分别对不同类型的网络信息采取对应的信息加密方式进行加密,以保证网络信息安全。具体地,若网络信息对应的信息类型为基础信息类型,则可以采用对称加密方式对该网络信息进行加密;若网络信息对应的信息类型为非基础类型,则可以采用非对称加密方式对该网络信息进行加密。此外,本实施例还可以通过浏览器的唯一标识码对所有网络信息进行加密,获得加密后的网络信息,并将加密后的网络信息存储至本地缓存数据,以保证网络信息安全。
进一步地,为了保证将完整的网络信息存储至本地缓存数据库,所述步骤S303之前,所述方法还包括:
步骤S303a:确定所述加密后的网络信息的待占用容量。
需要说明的是,上述待占用容量可以为加密后的网络信息存储至本地缓存数据库中会占用本地缓存数据库的容量。
步骤S303b:基于本地缓存数据库的已使用容量确定剩余可使用容量。
应当理解的是,上述已使用容量可以为本地缓存数据库中已经被占用的容量。相应的,上述剩余可使用容量可以为本地缓存数据库中剩余的未被占用的容量。
步骤S303c:根据所述待占用容量和所述剩余可使用容量的比较结果判断所述本地缓存数据库是否满足所述加密后的网络信息的存储条件。
需要说明的是,加密后的网络信息的存储条件可以为本地缓存数据库中剩余可使用容量是否能够满足加密后的网络信息的存储需求的条件,即剩余可使用容量是否超过待占用容量。
步骤S303d:若满足,则执行所述将所述加密后的网络信息存储至本地缓存数据库的步骤。
实际应用中,系统首先可以确定加密后的网络信息会占用本地缓存数据库的待占用容量,并根据本地缓存数据库中已经被占用的容量计算获得本地缓存数据库中剩余未被占用的容量,再将待占用容量与剩余可使用容量进行比较,若剩余可使用容量超过待占用容量,则表示本地缓存数据库满足加密后的网络信息的存储条件,此时可以将加密后的网络信息存储至本地缓存数据库。
进一步地,在剩余可使用容量不超过待占用容量时,若直接将加密后的网络信息存储至本地缓存数据库,则不能将完整的网络信息存储至本地缓存数据库,为了在本地缓存数据库容量不足时对网络信息进行完整存储,所述步骤S303c之后,所述方法还包括:若不满足,则根据历史故障分布信息确定所述本地缓存数据库中所有缓存数据的重要程度;根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据;基于所述待清理缓存数据对所述本地缓存数据库进行数据清理,并返回至所述获取本地缓存数据库的已使用容量,并基于所述已使用容量确定所述本地缓存数据库的剩余可使用容量的步骤。
需要说明的是,上述历史故障分布信息可以为过去某一段时间内浏览器发生故障的位置的分布信息。实际应用中,浏览器中的故障可能会出现在网络层、传输层、应用层等位置,在本实施例中,系统可以获取过去一段时间内浏览器中出现故障的位置,并基于这些故障位置确定历史故障分布信息。
应当理解的是,本实施例可以根据历史故障分布信息统计在各个位置中出现故障的频率,在某一位置出现故障的频率越高,则表示该位置越容易出现故障,此时该位置对应的缓存数据的重要程度也越高。
可以理解的是,上述待清理缓存数据可以为本地缓存数据库中重要程度较低的,可以进行清理的数据。
在具体实现中,系统可以根据过去一段时间内浏览器发生故障的位置生成历史故障分布信息,并根据历史故障分布信息统计各故障发生位置对应的故障发生频率,以根据故障发生位置对应的故障发生频率确定该故障发生位置对应的缓存数据的重要程度。具体地,可以将故障发生频率较高的故障发生位置对应的缓存数据的重要程度确定为高,并将故障发生频率较低的故障发生位置对应的缓存数据的重要程度确定为低。在确定所有缓存数据的重要程度后,可以根据各缓存数据对应的重要程度从缓存数据中确定待清理缓存数据,并对本地缓存数据库中的待清理缓存数据进行清理,以增大本地缓存数据库的剩余可使用容量。
进一步地,为了提高数据清理效率,所述根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据的步骤,包括:根据所述重要程度对所述所有缓存数据进行排序,获得缓存数据序列;依次将所述缓存数据序列中的缓存数据的重要程度与预设重要程度阈值进行比较;根据比较结果确定所述本地缓存数据库中的待清理缓存数据。
需要说明的是,上述缓存数据序列可以为将所有缓存数据按照重要程度从高到低排序后获得的序列。
应当理解的是,本实施例在确定本地缓存数据库中所有缓存数据的重要程度后,可以根据各缓存数据的重要程度进行排序,获得缓存数据序列,并将缓存数据序列中的缓存数据对应的重要程度依次与预设重要程度阈值进行比较,若缓存数据的重要程度超过预设重要程度阈值,则表示该缓存数据所对应的位置容易出现故障,可以为后续的故障分析提供参考,此时不对该缓存数据进行清理;若缓存数据的重要程度不超过预设重要程度阈值,则表示该缓存数据所对应的位置不容易出现故障,此时可以将该缓存数据确定为待清理缓存数据,从而后续可以对该待清理缓存数据进行清理,增大本地缓存数据库的可使用容量。
本实施例根据网络信息对应的信息类型确定信息加密方式,并通过信息加密方式对网络信息进行加密,获得加密后的网络信息,再将加密后的网络信息存储至本地缓存数据库,从而保证了网络信息的安全性。同时,本实施例基于本地缓存数据库的已使用容量确定剩余可使用容量,并根据加密后的网络信息的待占用容量和剩余可使用容量的比较结果判断本地缓存数据库是否满足加密后的网络信息的存储条件,若满足,则将加密后的网络信息存储至本地缓存数据库,从而可以将完整的网络信息存储至本地缓存数据库,保证了网络信息存储的完整性。
参考图4,图4为本发明网络信息采集方法第三实施例的流程示意图。
基于上述各实施例,为了对网络信息进行分析以解决浏览器问题,本实施例中,所述步骤S20之后,所述方法还包括:
步骤S401:根据所述确认采集指令确定网络信息分析方式。
需要说明的是,上述网络信息分析方式即对采集的网络信息进行分析的方式。本实施例中的网络分析方式可以包括:自动分析和人工分析,其中,自动分析可以为通过网络信息分析平台对网络信息进行分析;人工分析可以为通过有经验的用户根据经验积累对网络信息进行分析。
步骤402:在所述网络信息分析方式为自动分析时,将所述网络信息发送至信息管理平台,所述信息管理平台在接收到所述网络信息时,确定所述网络信息对应的信息分析策略,并通过所述信息分析策略对所述网络信息进行分析。
应当理解的是,上述信息管理平台可以为用于对网络信息进行分析的平台。
可以理解的是,上述信息分析策略即对网络信息进行分析的策略。本实施例中的信息分析策略可以包括:数据包解析和信息回放,其中,数据包解析可以为对网络信息中的数据包进行解析,并根据解析结果进行故障分析的策略;信息回放可以为重现和模拟先前的网络交互过程,即把网络信息在浏览器中重新播一遍的分析策略。
在具体实现中,系统在采集到网络信息后,为了根据网络信息确定浏览器故障,可以对网络信息进行分析。具体地,在采集到网络信息后,可以根据用户需求确定信息分析方式,若信息分析方式为自动分析,则可以将网络信息发送至用于分析网络信息的信息管理平台,信息管理平台在接收到网络信息后,可以根据用户需求或系统指令确定网络信息对应的信息分析策略,并根据该信息分析策略对网络信息进行分析,以确定浏览器故障。
进一步地,为了对网络信息进行准确分析,所述信息分析策略包括:数据包解析;所述信息管理平台,用于在接收到所述网络信息时,确定所述网络信息对应的信息分析策略;若所述信息分析策略为所述数据包解析,则对所述网络信息中的网络数据包进行字段解析;根据字段解析结果获取所述网络数据包中的报文信息;根据所述报文信息确定所述网络数据包中的故障数据,并对所述故障数据进行预设标记处理。
需要说明的是,字段解析即对网络数据包中的字段进行解析,具体地,通过对数据包进行字段解析可以解析出网络数据包的包首和包尾的协议格式,以及协议的请求项等信息。
应当理解的是,上述报文信息可以为对数据包进行解析后获得的协议和数据等信息。实际应用中,对数据包进行字段解析后可以获得包含有协议头、数据和尾部字段的报文信息。
可以理解的是,上述故障数据可以为网络信息中出现异常或错误的数据。
进一步地,为了准确获取故障数据,所述信息管理平台,还用于根据所述报文信息获取所述网络数据包对应的目标传输协议;获取所述目标传输协议中的字段信息,并根据所述字段信息确定所述网络数据包中的故障数据。
需要说明的是,上述目标传输协议可以为网络数据包传输数据的协议,即网络数据包中封装的协议。本实施例通过对数据包进行字段解析可以确定目标传输协议。
应当理解的是,上述字段信息即网络数据包中封装的协议对应的信息,如:协议中字段的值。实际应用中,可以获取协议的字段中的值,并判断字段中的值是否存在异常,若存在code码异常或错误值,则可以对该code码和错误值进行标记,如将该code码和错误值标记为高亮状态。
在具体实现中,信息管理平台在接收到网络信息后,可以根据用户需求确定该网络信息对应的信息分析策略是数据包解析还是数据回放,若为数据包解析,则可以对网络信息中的网络数据包进行字段解析,获得包含有协议信息和数据信息报文信息,并根据报文信息确定网络数据包中封装的目标传输协议,以根据目标传输协议中字段的字段至确定网络数据包中的故障数据,并对故障数据进行高亮处理。
进一步地,所述信息分析策略包括:信息回放;所述信息管理平台,还用于若所述信息分析策略为所述信息回放,则对所述网络信息进行回放操作,并生成网络信息故障分析报告。
可以理解的是,上述网络信息故障分析报告可以为存储有本次故障分析结果的报告,其中,网络信息故障分析报告中具体可以存储有故障信息、故障发生位置、故障发生的原因等,本实施例对此不加以限制。
进一步地,为了提高网络信息分析的灵活性,所述步骤S401之后,所述方法还包括:在所述网络信息分析方式为人工分析时,提取所述网络信息中的关键网络信息;将所述关键网络信息通过预设人工分析页面进行展示。
需要说明的是,上述关键网络信息可以为网络信息中较重要或较容易出现故障的信息。
应当理解的是,上述预设人工分析页面可以为预先设定的便于人工对网络信息进行分析的页面。实际应用中,在网络信息的网络信息分析方式为人工分析时,可以根据预先设定的故障经验库提取网络信息中的较重要或较容易出现故障的关键网络信息,并在预设人工分析页面对关键网络信息进行展示,以使用户可以根据人工分析页面中展示的关键网络信息和经验积累对网络信息进行分析,并根据分析结果高亮标记问题故障数据。
在具体实现中,参照图5,图5为本发明网络信息采集方法第三实施例中网络信息采集及分析的总流程示意图。如图5所示,在浏览器运行时,若用户发现浏览器存在问题或出现故障,则可以通过浏览器中的用户反馈控件反馈故障,此时用户反馈控件被触发,系统在检测到用户反馈控件被触发时,可以向用户端展示信息采集提示,以使用户反馈是否允许采集网络信息,若用户不允许网络信息,则系统不采集网络信息,并在本地保存用户反馈信息;若用户允许采集网络信息,则系统可以接收到基于信息采集提示输入的确认采集指令,此时系统可以调用浏览器内置的信息采集工具采集网络信息,并在本地保存用户反馈信息。然后本方案可以确定网络信息分析方式以判断是否需要将网络信息和用户反馈信息发送至管理平台,若网络信息分析方式为本地人工分析,则不需要将信息发送至管理平台,此时可以通过人工对浏览器故障进行分析,并在分析完成时反馈分析完成信号;若网络信息分析方式为管理平台自动分析,则可以将信息发送至管理平台以使管理平台对信息进行自动分析,并在分析完成时反馈分析完成信号。
本实施例根据确认采集指令确定网络信息分析方式,并在网络信息分析方式为自动分析时将网络信息发送至信息管理平台,使得信息管理平台在接收到网络信息时确定对应的信息分析策略,并通过信息分析策略对网络信息进行分析,从而可以根据分析结果精准确定浏览器故障。同时,本实施例在网络信息分析方式为人工分析时可以提取网络信息中的关键网络信息,并将关键网络信息通过预设人工分析页面进行展示,从而提高了网络信息分析的灵活性。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有网络信息采集程序,所述网络信息采集程序被处理器执行时实现如上文所述的网络信息采集方法的步骤。
参照图6,图6为本发明网络信息采集装置第一实施例的结构框图。
如图6所示,本发明实施例提出的网络信息采集装置中设置有信息采集工具,所述装置包括:
信息检测模块601,用于在检测到所述浏览器中的用户反馈控件被触发时,展示预设信息采集提示;
信息采集模块602,用于在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息。
进一步地,所述网络信息包括:网络日志信息、网络资源信息和网络数据包;所述信息采集模块602,还用于在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集所述网络日志信息、所述网络资源信息和所述网络数据包。
本实施例的网络信息采集装置公开了网络信息采集方法应用于浏览器,浏览器中设置有信息采集工具,该方法包括:在检测到浏览器中的用户反馈控件被触发时,展示预设信息采集提示;在接收到基于预设信息采集提示输入的确认采集指令时,调用信息采集工具采集网络信息;由于本实施例的浏览器中设置有信息采集工具,使得可以在接收到基于预设信息采集提示输入的确认采集指令时,调用信息采集工具采集网络信息,从而解决了现有技术中浏览器的反馈工具通常无法采集完整的网络信息,导致无法对浏览器出现的问题进行准确分析的技术问题,进而提高了用户使用体验。
基于本发明上述网络信息采集装置第一实施例,提出本发明网络信息采集装置的第二实施例。
在本实施例中,所述信息采集模块602,还用于确定所述网络信息对应的信息类型,并根据所述信息类型确定所述网络信息对应的信息加密方式;通过所述信息加密方式对所述网络信息进行加密,获得加密后的网络信息;将所述加密后的网络信息存储至本地缓存数据库。
进一步地,所述信息采集模块602,还用于确定所述加密后的网络信息的待占用容量;基于本地缓存数据库的已使用容量确定剩余可使用容量;根据所述待占用容量和所述剩余可使用容量的比较结果判断所述本地缓存数据库是否满足所述加密后的网络信息的存储条件;若满足,则执行所述将所述加密后的网络信息存储至本地缓存数据库的步骤。
进一步地,所述信息采集模块602,还用于若不满足,则根据历史故障分布信息确定所述本地缓存数据库中所有缓存数据的重要程度;根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据;基于所述待清理缓存数据对所述本地缓存数据库进行数据清理,并返回至所述获取本地缓存数据库的已使用容量,并基于所述已使用容量确定所述本地缓存数据库的剩余可使用容量的步骤。
进一步地,所述信息采集模块602,还用于根据所述重要程度对所述所有缓存数据进行排序,获得缓存数据序列;依次将所述缓存数据序列中的缓存数据的重要程度与预设重要程度阈值进行比较;根据比较结果确定所述本地缓存数据库中的待清理缓存数据。
本实施例根据网络信息对应的信息类型确定信息加密方式,并通过信息加密方式对网络信息进行加密,获得加密后的网络信息,再将加密后的网络信息存储至本地缓存数据库,从而保证了网络信息的安全性。同时,本实施例基于本地缓存数据库的已使用容量确定剩余可使用容量,并根据加密后的网络信息的待占用容量和剩余可使用容量的比较结果判断本地缓存数据库是否满足加密后的网络信息的存储条件,若满足,则将加密后的网络信息存储至本地缓存数据库,从而可以将完整的网络信息存储至本地缓存数据库,保证了网络信息的完整性。
基于上述各装置实施例,提出本发明网络信息采集装置的第三实施例。
在本实施例中,所述信息采集模块602,还用于根据所述确认采集指令确定网络信息分析方式;在所述网络信息分析方式为自动分析时,将所述网络信息发送至信息管理平台,所述信息管理平台在接收到所述网络信息时,确定所述网络信息对应的信息分析策略,并通过所述信息分析策略对所述网络信息进行分析。
本实施例根据确认采集指令确定网络信息分析方式,并在网络信息分析方式为自动分析时将网络信息发送至信息管理平台,使得信息管理平台在接收到网络信息时确定对应的信息分析策略,并通过信息分析策略对网络信息进行分析,从而可以根据分析结果精准确定浏览器故障。同时,本实施例在网络信息分析方式为人工分析时可以提取网络信息中的关键网络信息,并将关键网络信息通过预设人工分析页面进行展示,从而提高了网络信息分析的灵活性。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
本发明公开了A1、一种网络信息采集方法,所述网络信息采集方法应用于浏览器,所述浏览器中设置有信息采集工具,所述方法包括:
在检测到所述浏览器中的用户反馈控件被触发时,展示预设信息采集提示;
在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息。
A2、如A1所述的网络信息采集方法,所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤之后,还包括:
确定所述网络信息对应的信息类型,并根据所述信息类型确定所述网络信息对应的信息加密方式;
通过所述信息加密方式对所述网络信息进行加密,获得加密后的网络信息;
将所述加密后的网络信息存储至本地缓存数据库。
A3、如A2所述的网络信息采集方法,所述将所述加密后的网络信息存储至本地缓存数据库的步骤之前,还包括:
确定所述加密后的网络信息的待占用容量;
基于本地缓存数据库的已使用容量确定剩余可使用容量;
根据所述待占用容量和所述剩余可使用容量的比较结果判断所述本地缓存数据库是否满足所述加密后的网络信息的存储条件;
若满足,则执行所述将所述加密后的网络信息存储至本地缓存数据库的步骤。
A4、如A3所述的网络信息采集方法,所述根据所述待占用容量和所述剩余可使用容量的比较结果判断所述本地缓存数据库是否满足所述加密后的网络信息的存储条件的步骤之后,还包括:
若不满足,则根据历史故障分布信息确定所述本地缓存数据库中所有缓存数据的重要程度;
根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据;
基于所述待清理缓存数据对所述本地缓存数据库进行数据清理,并返回至所述获取本地缓存数据库的已使用容量,并基于所述已使用容量确定所述本地缓存数据库的剩余可使用容量的步骤。
A5、如A4所述的网络信息采集方法,所述根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据的步骤,包括:
根据所述重要程度对所述所有缓存数据进行排序,获得缓存数据序列;
依次将所述缓存数据序列中的缓存数据的重要程度与预设重要程度阈值进行比较;
根据比较结果确定所述本地缓存数据库中的待清理缓存数据。
A6、如A1所述的网络信息采集方法,所述网络信息包括:网络日志信息、网络资源信息和网络数据包;
所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤,包括:
在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集所述网络日志信息、所述网络资源信息和所述网络数据包。
A7、如A1所述的网络信息采集方法,所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤之后,还包括:
根据所述确认采集指令确定网络信息分析方式;
在所述网络信息分析方式为自动分析时,将所述网络信息发送至信息管理平台,所述信息管理平台在接收到所述网络信息时,确定所述网络信息对应的信息分析策略,并通过所述信息分析策略对所述网络信息进行分析。
A8、如A7所述的网络信息采集方法,所述信息分析策略包括:数据包解析;所述信息管理平台,用于在接收到所述网络信息时,确定所述网络信息对应的信息分析策略;若所述信息分析策略为所述数据包解析,则对所述网络信息中的网络数据包进行字段解析;根据字段解析结果获取所述网络数据包中的报文信息;根据所述报文信息确定所述网络数据包中的故障数据,并对所述故障数据进行预设标记处理。
A9、如A8所述的网络信息采集方法,所述信息管理平台,还用于根据所述报文信息获取所述网络数据包对应的目标传输协议;获取所述目标传输协议中的字段信息,并根据所述字段信息确定所述网络数据包中的故障数据。
A10、如A8所述的网络信息采集方法,所述信息分析策略包括:信息回放;所述信息管理平台,还用于若所述信息分析策略为所述信息回放,则对所述网络信息进行回放操作,并生成网络信息故障分析报告。
A11、如A1-A10任一项所述的网络信息采集方法,所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤,包括:
在接收到基于所述预设信息采集提示输入的确认采集指令时,根据所述确认采集指令获取当前登录账户发送的动态验证码;
根据所述动态验证码对所述当前登录账户进行安全校验;
在安全校验通过时,调用所述信息采集工具采集网络信息。
A12、如A7所述的网络信息采集方法,所述根据所述确认采集指令确定网络信息分析方式的步骤之后,还包括:
在所述网络信息分析方式为人工分析时,提取所述网络信息中的关键网络信息;
将所述关键网络信息通过预设人工分析页面进行展示。
本发明还公开了B13、一种网络信息采集装置,所述装置中设置有信息采集工具,所述装置包括:
信息检测模块,用于在检测到所述浏览器中的用户反馈控件被触发时,展示预设信息采集提示;
信息采集模块,用于在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息。
B14、如B13所述的网络信息采集装置,所述信息采集模块,还用于确定所述网络信息对应的信息类型,并根据所述信息类型确定所述网络信息对应的信息加密方式;通过所述信息加密方式对所述网络信息进行加密,获得加密后的网络信息;将所述加密后的网络信息存储至本地缓存数据库。
B15、如B14所述的网络信息采集装置,所述信息采集模块,还用于确定所述加密后的网络信息的待占用容量;基于本地缓存数据库的已使用容量确定剩余可使用容量;根据所述待占用容量和所述剩余可使用容量的比较结果判断所述本地缓存数据库是否满足所述加密后的网络信息的存储条件;若满足,则执行所述将所述加密后的网络信息存储至本地缓存数据库的步骤。
B16、如B15所述的网络信息采集装置,所述信息采集模块,还用于若不满足,则根据历史故障分布信息确定所述本地缓存数据库中所有缓存数据的重要程度;根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据;基于所述待清理缓存数据对所述本地缓存数据库进行数据清理,并返回至所述获取本地缓存数据库的已使用容量,并基于所述已使用容量确定所述本地缓存数据库的剩余可使用容量的步骤。
B17、如B16所述的网络信息采集装置,所述信息采集模块,还用于根据所述重要程度对所述所有缓存数据进行排序,获得缓存数据序列;依次将所述缓存数据序列中的缓存数据的重要程度与预设重要程度阈值进行比较;根据比较结果确定所述本地缓存数据库中的待清理缓存数据。
B18、如B13所述的网络信息采集装置,所述网络信息包括:网络日志信息、网络资源信息和网络数据包;所述信息采集模块,还用于在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集所述网络日志信息、所述网络资源信息和所述网络数据包。
本发明还公开了C19、一种网络信息采集设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络信息采集程序,所述网络信息采集程序配置为实现如上文所述的网络信息采集方法的步骤。
本发明还公开了D20、一种存储介质,所述存储介质上存储有网络信息采集程序,所述网络信息采集程序被处理器执行时实现如上文所述的网络信息采集方法的步骤。

Claims (10)

1.一种网络信息采集方法,其特征在于,所述网络信息采集方法应用于浏览器,所述浏览器中设置有信息采集工具,所述方法包括:
在检测到所述浏览器中的用户反馈控件被触发时,展示预设信息采集提示;
在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息。
2.如权利要求1所述的网络信息采集方法,其特征在于,所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤之后,还包括:
确定所述网络信息对应的信息类型,并根据所述信息类型确定所述网络信息对应的信息加密方式;
通过所述信息加密方式对所述网络信息进行加密,获得加密后的网络信息;
将所述加密后的网络信息存储至本地缓存数据库。
3.如权利要求2所述的网络信息采集方法,其特征在于,所述将所述加密后的网络信息存储至本地缓存数据库的步骤之前,还包括:
确定所述加密后的网络信息的待占用容量;
基于本地缓存数据库的已使用容量确定剩余可使用容量;
根据所述待占用容量和所述剩余可使用容量的比较结果判断所述本地缓存数据库是否满足所述加密后的网络信息的存储条件;
若满足,则执行所述将所述加密后的网络信息存储至本地缓存数据库的步骤。
4.如权利要求3所述的网络信息采集方法,其特征在于,所述根据所述待占用容量和所述剩余可使用容量的比较结果判断所述本地缓存数据库是否满足所述加密后的网络信息的存储条件的步骤之后,还包括:
若不满足,则根据历史故障分布信息确定所述本地缓存数据库中所有缓存数据的重要程度;
根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据;
基于所述待清理缓存数据对所述本地缓存数据库进行数据清理,并返回至所述获取本地缓存数据库的已使用容量,并基于所述已使用容量确定所述本地缓存数据库的剩余可使用容量的步骤。
5.如权利要求4所述的网络信息采集方法,其特征在于,所述根据所述重要程度确定所述本地缓存数据库中的待清理缓存数据的步骤,包括:
根据所述重要程度对所述所有缓存数据进行排序,获得缓存数据序列;
依次将所述缓存数据序列中的缓存数据的重要程度与预设重要程度阈值进行比较;
根据比较结果确定所述本地缓存数据库中的待清理缓存数据。
6.如权利要求1所述的网络信息采集方法,其特征在于,所述网络信息包括:网络日志信息、网络资源信息和网络数据包;
所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤,包括:
在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集所述网络日志信息、所述网络资源信息和所述网络数据包。
7.如权利要求1所述的网络信息采集方法,其特征在于,所述在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息的步骤之后,还包括:
根据所述确认采集指令确定网络信息分析方式;
在所述网络信息分析方式为自动分析时,将所述网络信息发送至信息管理平台,所述信息管理平台在接收到所述网络信息时,确定所述网络信息对应的信息分析策略,并通过所述信息分析策略对所述网络信息进行分析。
8.一种网络信息采集装置,其特征在于,所述装置中设置有信息采集工具,所述装置包括:
信息检测模块,用于在检测到所述浏览器中的用户反馈控件被触发时,展示预设信息采集提示;
信息采集模块,用于在接收到基于所述预设信息采集提示输入的确认采集指令时,调用所述信息采集工具采集网络信息。
9.一种网络信息采集设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网络信息采集程序,所述网络信息采集程序配置为实现如权利要求1至7中任一项所述的网络信息采集方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有网络信息采集程序,所述网络信息采集程序被处理器执行时实现如权利要求1至7任一项所述的网络信息采集方法的步骤。
CN202311499308.0A 2023-11-10 2023-11-10 网络信息采集方法、装置、设备及存储介质 Pending CN117978630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311499308.0A CN117978630A (zh) 2023-11-10 2023-11-10 网络信息采集方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311499308.0A CN117978630A (zh) 2023-11-10 2023-11-10 网络信息采集方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117978630A true CN117978630A (zh) 2024-05-03

Family

ID=90850531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311499308.0A Pending CN117978630A (zh) 2023-11-10 2023-11-10 网络信息采集方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117978630A (zh)

Similar Documents

Publication Publication Date Title
CN107294808B (zh) 接口测试的方法、装置和系统
CN110888838B (zh) 基于对象存储的请求处理方法、装置、设备及存储介质
US20160380867A1 (en) Method and System for Detecting and Identifying Assets on a Computer Network
CN110324416B (zh) 下载路径跟踪方法、装置、服务器、终端及介质
CN111586005B (zh) 扫描器扫描行为识别方法及装置
CN112954031B (zh) 一种基于云手机的设备状态通知方法
CN109992485A (zh) 一种调试日志提供方法、终端设备及服务器
CN113934621A (zh) 模糊测试方法、系统、电子设备及介质
CN108650123B (zh) 故障信息记录方法、装置、设备和存储介质
CN111752819B (zh) 一种异常监控方法、装置、系统、设备和存储介质
CN117978630A (zh) 网络信息采集方法、装置、设备及存储介质
CN115952515B (zh) 一种基于大数据的数据安全处理方法及装置
CN112329021B (zh) 一种排查应用漏洞的方法、装置、电子装置和存储介质
KR101288535B1 (ko) 통신 시스템 모니터링 방법 및 이를 위한 장치
CN111770093B (zh) 交易监控决策方法、装置、设备及计算机可读存储介质
CN111786938B (zh) 防止恶意获取资源的方法、系统和电子设备
CN111107143B (zh) 一种网络文件传输检测方法、装置和系统
CN109685662A (zh) 投资数据处理方法、装置、计算机设备及其存储介质
CN114428955A (zh) 一种基于操作信息判断异常风险的方法、系统及电子设备
CN110362464B (zh) 软件分析方法及设备
CN107086918A (zh) 一种客户端验证方法和服务器
CN111427767A (zh) 应用系统的攻击测试方法、装置、计算机设备和存储介质
CN112948829A (zh) 文件查杀方法、系统、设备及存储介质
CN111934949A (zh) 一种基于数据库注入测试的安全测试系统
CN110365714B (zh) 主机入侵检测方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination