CN114490265A - 一种数据采集方法、装置、设备及存储介质 - Google Patents

一种数据采集方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114490265A
CN114490265A CN202210110336.8A CN202210110336A CN114490265A CN 114490265 A CN114490265 A CN 114490265A CN 202210110336 A CN202210110336 A CN 202210110336A CN 114490265 A CN114490265 A CN 114490265A
Authority
CN
China
Prior art keywords
browser
message
loading
interface
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210110336.8A
Other languages
English (en)
Inventor
袁耀辉
黄志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bo Hongyuan Data Polytron Technologies Inc
Original Assignee
Beijing Bo Hongyuan Data Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bo Hongyuan Data Polytron Technologies Inc filed Critical Beijing Bo Hongyuan Data Polytron Technologies Inc
Priority to CN202210110336.8A priority Critical patent/CN114490265A/zh
Publication of CN114490265A publication Critical patent/CN114490265A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3096—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents wherein the means or processing minimize the use of computing system or of computing system component resources, e.g. non-intrusive monitoring which minimizes the probe effect: sniffing, intercepting, indirectly deriving the monitored data from other directly available data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种数据采集方法、装置、设备及存储介质，其中，方法包括：通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。本发明实施例可以准确地对网页页面的加载过程进行数据采集，避免数据采集过程过度占用浏览器资源，导致浏览器的运行速度降低，网页加载慢。

Description

一种数据采集方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种数据采集方法、装置、设备及存储介质。
背景技术
随着互联网技术的飞速发展，人们越来越多地通过浏览器浏览网页来获取各种信息。IE浏览器的浏览器主进程在接收到用户输入的页面加载消息时，调用浏览器控件加载与页面加载消息对应的网页页面。
随着浏览器业务功能的复杂化，浏览器控件加载网页页面的过程也相应的复杂，容易出现加载过程时间较长，导致网页页面加载慢的问题。为了明确导致网页页面加载慢的具体原因，需要监测浏览器控件加载网页页面的过程，对浏览器控件加载网页页面的过程进行数据采集。
相关技术中，通常是由技术人员直接向浏览器中写入监听代码，来监听浏览器中的各项数据，从监听到的数据中获取与浏览器控件加载网页页面的过程相关的数据。监听代码无法准确地对浏览器控件加载网页页面的过程进行数据采集，而且当监听代码的代码量很大时，可能会降低IE浏览器的运行速度，导致网页加载慢。
发明内容
本发明实施例提供了一种数据采集方法、装置、设备及存储介质，可以准确地对网页页面加载过程进行数据采集。
第一方面，本发明实施例提供了一种数据采集方法，包括：
通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；
在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；
通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
第二方面，本发明实施例还提供了一种数据采集装置，包括：
数据监听模块，用于通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；
脚本调用模块，用于在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；
数据采集模块，用于通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的数据采集方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现本发明任意实施例所述的数据采集方法。
本发明实施例提供的技术方案，通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；然后在监听到浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过浏览器消息监听进程，调用预设数据采集脚本；其中，页面加载启动消息用于确认浏览器控件启动加载目标网页页面的过程；通过预设数据采集脚本，在浏览器控件加载目标网页页面的过程中，采集浏览器控件中的各个接口传输的消息数据，可以根据浏览器控件发送至浏览器主进程的消息数据，精确地在浏览器控件启动加载目标网页页面的过程时，调用预设数据采集脚本对目标网页页面的渲染过程进行数据采集，监测目标网页页面的加载过程，可以准确地对网页页面的加载过程进行数据采集，避免数据采集过程过度占用浏览器资源，导致浏览器的运行速度降低，网页加载慢。
附图说明
图1为本发明实施例一提供的一种数据采集方法的流程图。
图2为本发明实施例二提供的一种数据采集方法的流程图。
图3为本发明实施例三提供的一种数据采集装置的结构示意图。
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据采集方法的流程图。本发明实施例可适用于对网页页面加载过程进行数据采集的情况。该方法可以由本发明实施例提供的数据采集装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图1所示，本发明实施例的方法具体包括：
步骤101、通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据。
可选的，浏览器为安装于计算机设备中的IE浏览器。浏览器控件为IE浏览器中的WebBrowser控件，用于在浏览器中加载网页页面。
可选的，浏览器主进程为浏览器中负责协调及主控的进程，用于与用户进行交互，管理浏览器中用于实现浏览器的各项功能的控件或进程，管理浏览器中的各个页面等。浏览器主进程中包含多个接口。浏览器主进程可以通过接口接收用户输入的消息数据，从而确定用户针对浏览器的操作请求，还可以通过接口向浏览器中用于实现浏览器的各项功能的控件或进程发送消息数据，从而控制控件或进程实现相应的功能，并接收控件或进程发送的消息数据。浏览器中用于实现浏览器的各项功能的控件包括但不限于：用于在浏览器中加载网页页面的浏览器控件(WebBrowser控件)。
可选的，在通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据之前，还包括：在浏览器主进程的运行过程中，通过预设的进程注入方式，在所述浏览器主进程中注入浏览器消息监听进程；其中，所述浏览器消息监听进程用于监听浏览器控件中的各个接口传输的消息数据。
可选的，当浏览器主进程在计算机设备中运行时，计算机设备可以通过进程注入的方式，在浏览器主进程中注入进程并调用进程。预设的进程注入方式包括但不限于：注册表注入、钩子(windows hooks)注入以及远程线程注入等。
可选的，所述通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据，包括：通过浏览器消息监听进程，监听所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据。
可选的，浏览器消息监听进程是用于监听浏览器控件中的各个接口传输的消息数据的进程。浏览器控件中的各个接口传输的消息数据是浏览器控件中的各个接口传入或传出的消息数据。浏览器消息监听进程中包含预设钩子程序。浏览器消息监听进程在被调用之后，可以自动运行预设钩子程序。预设钩子程序在运行后，可以与浏览器控件中的各个接口进行钩挂，从而监听浏览器控件中的各个接口，当各个接口被触发时，获取浏览器控件中的各个接口传入或传出的消息数据。
可选的，浏览器控件中的各个接口传入的消息数据可以包括：浏览器主进程或浏览器中的其他控件或进程发送的消息数据。浏览器控件中的各个接口传出的消息数据可以包括：浏览器控件通过接口向浏览器主进程或浏览器中的其他控件或进程发送的消息数据。
步骤102、在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本。
其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程。
可选的，浏览器主进程在接收到用户输入的页面加载消息时，将页面加载消息发送至浏览器控件，从而调用浏览器控件加载与页面加载消息对应的目标网页页面。目标网页页面为用户需要浏览的网页页面。
可选的，页面加载消息是用于请求浏览器显示目标网页页面的消息数据。页面加载消息中包括与目标网页页面对应的网页地址。浏览器主进程在接收到用户输入的页面加载消息时，将页面加载消息发送至浏览器控件。浏览器控件在接收页面加载消息时，启动所述目标网页页面的加载过程：根据页面加载消息中的页面地址，获取目标网页页面的页面内容，然后将目标网页页面的页面内容显示在浏览器窗口中。
可选的，页面加载启动消息是浏览器控件在接收页面加载消息之后，发送给浏览器主进程的可以用于确认浏览器控件启动加载目标网页页面的过程的消息数据。页面加载启动消息可以为浏览器控件在接收页面加载消息之后，发送给浏览器主进程的OnDocumentComplete消息或者OnBeforeExecuteJavascript消息。
可选的，浏览器消息监听进程监听浏览器控件中的各个接口传输的消息数据，在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本。
可选的，预设数据采集脚本可以为JavaScript脚本。预设数据采集脚本中包含用于采集与浏览器控件中的各个接口关联的消息数据的预设钩子程序。在预设数据采集脚本执行时，自动运行预设钩子程序。预设钩子程序在运行后，与浏览器控件中的各个接口进行钩挂，从而监听浏览器控件中的各个接口，当各个接口被触发时，获取浏览器控件中的各个接口传入或传出的消息数据。
步骤103、通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
可选的，所述通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据，包括：在所述浏览器控件加载所述目标网页页面的过程中，通过预设数据采集脚本，获取所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据；其中，在所述浏览器控件加载所述目标网页页面的过程中，所述浏览器控件中的各个接口传输的消息数据至少包含：与所述目标网页页面的加载过程关联的参数和/或控制指令。
可选的，通过预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据，从而对目标网页页面的加载过程进行数据采集，采集所述目标网页页面的加载过程关联的参数和/或控制指令，便于监测目标网页页面的加载过程。
可选的，在通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据之后，还包括：在所述浏览器控件加载所述目标网页页面的过程结束时，获取所述预设数据采集脚本回调返回的数据采集结果。
可选的，浏览器控件将目标网页页面的页面内容显示在浏览器窗口中之后，即所述浏览器控件加载所述目标网页页面的过程结束时，将加载完成确认消息发送至浏览器主进程。加载完成确认消息用于确认目标网页页面的加载过程结束。所述预设数据采集脚本在监听到浏览器控件发送至浏览器主进程的加载完成确认消息时，即目标网页页面的加载过程结束时，将采集到的浏览器控件中的各个接口传入或传出的消息数据作为数据采集结果，回调返回至计算机设备。
可选的，在获取所述预设数据采集脚本回调返回的数据采集结果之后，还包括：将所述数据采集结果存储至预设数据库中。预设数据库用于存储与浏览器中的网页页面的加载过程相关的数据。
可选的，在获取所述预设数据采集脚本回调返回的数据采集结果之后，还包括：向服务器上传所述数据采集结果，以使所述服务器根据所述数据采集结果，检测浏览器的页面加载性能。服务器用于监测浏览器的网页加载性能。计算机设备通过预设接口，向服务器上传所述数据采集结果。所述服务器根据所述数据采集结果以及预设的网页加载性能检测规则，检测浏览器的网页加载性能是否合格，是否出现加载过程时间较长，导致网页加载慢的问题。
本发明实施例的技术方案，提供了一种数据采集方法，通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；然后在监听到浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过浏览器消息监听进程，调用预设数据采集脚本；其中，页面加载启动消息用于确认浏览器控件启动加载目标网页页面的过程；通过预设数据采集脚本，在浏览器控件加载目标网页页面的过程中，采集浏览器控件中的各个接口传输的消息数据，可以根据浏览器控件发送至浏览器主进程的消息数据，精确地在浏览器控件启动加载目标网页页面的过程时，调用预设数据采集脚本对目标网页页面的渲染过程进行数据采集，监测目标网页页面的加载过程，可以准确地对网页页面的加载过程进行数据采集，避免数据采集过程过度占用浏览器资源，导致浏览器的运行速度降低，网页加载慢。
实施例二
图2为本发明实施例二提供的一种数据采集方法的流程图。本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，本发明实施例的方法具体包括：
步骤201、在浏览器主进程的运行过程中，通过预设的进程注入方式，在所述浏览器主进程中注入浏览器消息监听进程。
其中，所述浏览器消息监听进程用于监听浏览器控件中的各个接口传输的消息数据。
可选的，当浏览器主进程在计算机设备中运行时，计算机设备可以通过进程注入的方式，在浏览器主进程中注入进程并调用进程。预设的进程注入方式包括但不限于：注册表注入、钩子(windows hooks)注入以及远程线程注入等。
可选的，所述通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据，包括：通过浏览器消息监听进程，监听所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据。
可选的，浏览器消息监听进程是用于监听浏览器控件中的各个接口传输的消息数据的进程。浏览器控件中的各个接口传输的消息数据是浏览器控件中的各个接口传入或传出的消息数据。浏览器消息监听进程中包含预设钩子程序。浏览器消息监听进程在被调用之后，可以自动运行预设钩子程序。预设钩子程序在运行后，可以与浏览器控件中的各个接口进行钩挂，从而监听浏览器控件中的各个接口，当各个接口被触发时，获取浏览器控件中的各个接口传入或传出的消息数据。
步骤202、通过浏览器消息监听进程，监听所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据。
可选的，浏览器控件中的各个接口传入的消息数据可以包括：浏览器主进程或浏览器中的其他控件或进程发送的消息数据。浏览器控件中的各个接口传出的消息数据可以包括：浏览器控件通过接口向浏览器主进程或浏览器中的其他控件或进程发送的消息数据。
步骤203、在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本。
其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程。
可选的，浏览器主进程在接收到用户输入的页面加载消息时，将页面加载消息发送至浏览器控件，从而调用浏览器控件加载与页面加载消息对应的目标网页页面。目标网页页面为用户需要浏览的网页页面。页面加载消息是用于请求浏览器显示目标网页页面的消息数据。页面加载消息中包括与目标网页页面对应的网页地址。浏览器主进程在接收到用户输入的页面加载消息时，将页面加载消息发送至浏览器控件。浏览器控件在接收页面加载消息时，启动所述目标网页页面的加载过程：根据页面加载消息中的页面地址，获取目标网页页面的页面内容，然后将目标网页页面的页面内容显示在浏览器窗口中。
可选的，浏览器消息监听进程监听浏览器控件中的各个接口传输的消息数据，在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本。
可选的，预设数据采集脚本中包含用于采集与浏览器控件中的各个接口关联的消息数据的预设钩子程序。在预设数据采集脚本执行时，自动运行预设钩子程序。预设钩子程序在运行后，与浏览器控件中的各个接口进行钩挂，从而监听浏览器控件中的各个接口，当各个接口被触发时，获取浏览器控件中的各个接口传入或传出的消息数据。
步骤204、在所述浏览器控件加载所述目标网页页面的过程中，通过预设数据采集脚本，获取所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据。
其中，在所述浏览器控件加载所述目标网页页面的过程中，所述浏览器控件中的各个接口传输的消息数据至少包含：与所述目标网页页面的加载过程关联的参数和/或控制指令。
可选的，通过预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据，从而对目标网页页面的加载过程进行数据采集，采集所述目标网页页面的加载过程关联的参数和/或控制指令，便于监测目标网页页面的加载过程。
步骤205、在所述浏览器控件加载所述目标网页页面的过程结束时，获取所述预设数据采集脚本回调返回的数据采集结果。
可选的，浏览器控件将目标网页页面的页面内容显示在浏览器窗口中之后，即所述浏览器控件加载所述目标网页页面的过程结束时，将加载完成确认消息发送至浏览器主进程。加载完成确认消息用于确认目标网页页面的加载过程结束。所述预设数据采集脚本在监听到浏览器控件发送至浏览器主进程的加载完成确认消息时，即目标网页页面的加载过程结束时，将采集到的浏览器控件中的各个接口传入或传出的消息数据作为数据采集结果，回调返回至计算机设备。
本发明实施例的技术方案，提供了一种数据采集方法，可以通过注入的浏览器消息监听进程，在浏览器的运行过程中，监听浏览器控件中的各个接口传输的消息数据，可以根据浏览器控件发送至浏览器主进程的消息数据，精确地在浏览器控件启动加载目标网页页面的过程时，调用预设数据采集脚本对目标网页页面的渲染过程进行数据采集，监测目标网页页面的加载过程，可以准确地对网页页面的加载过程进行数据采集，避免数据采集过程过度占用浏览器资源，导致浏览器的运行速度降低，网页加载慢。
实施例三
图3为本发明实施例三提供的一种数据采集装置的结构示意图。所述装置可以配置于计算机设备中，如图3所示，所述装置包括：数据监听模块301、脚本调用模块302以及数据采集模块303。
其中，数据监听模块301，用于通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；脚本调用模块302，用于在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；数据采集模块303，用于通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
本发明实施例的技术方案，提供了一种数据采集装置，通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；然后在监听到浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过浏览器消息监听进程，调用预设数据采集脚本；其中，页面加载启动消息用于确认浏览器控件启动加载目标网页页面的过程；通过预设数据采集脚本，在浏览器控件加载目标网页页面的过程中，采集浏览器控件中的各个接口传输的消息数据，可以根据浏览器控件发送至浏览器主进程的消息数据，精确地在浏览器控件启动加载目标网页页面的过程时，调用预设数据采集脚本对目标网页页面的渲染过程进行数据采集，监测目标网页页面的加载过程，可以准确地对网页页面的加载过程进行数据采集，避免数据采集过程过度占用浏览器资源，导致浏览器的运行速度降低，网页加载慢。
在本发明实施例的一个可选实施方式中，可选的，数据采集装置还包括：进程注入模块，用于在浏览器主进程的运行过程中，通过预设的进程注入方式，在所述浏览器主进程中注入浏览器消息监听进程；其中，所述浏览器消息监听进程用于监听浏览器控件中的各个接口传输的消息数据。
在本发明实施例的一个可选实施方式中，可选的，数据监听模块301具体用于：通过浏览器消息监听进程，监听所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据。
在本发明实施例的一个可选实施方式中，可选的，数据采集模块303具体用于：在所述浏览器控件加载所述目标网页页面的过程中，通过预设数据采集脚本，获取所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据；其中，在所述浏览器控件加载所述目标网页页面的过程中，所述浏览器控件中的各个接口传输的消息数据至少包含：与所述目标网页页面的加载过程关联的参数和/或控制指令。
在本发明实施例的一个可选实施方式中，可选的，数据采集装置还包括：结果获取模块，用于在所述浏览器控件加载所述目标网页页面的过程结束时，获取所述预设数据采集脚本回调返回的数据采集结果。
在本发明实施例的一个可选实施方式中，可选的，数据采集装置还包括：结果存储模块，用于将所述数据采集结果存储至预设数据库中。
在本发明实施例的一个可选实施方式中，可选的，数据采集装置还包括：结果上传模块，用于向服务器上传所述数据采集结果，以使所述服务器根据所述数据采集结果，检测浏览器的页面加载性能。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
上述数据采集装置可执行本发明任意实施例所提供的数据采集方法，具备执行数据采集方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适用于来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器16，存储器28，连接不同业务系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，实现本发明实施例所提供的数据采集方法：通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现本发明实施例所提供的数据采集方法：通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或计算机设备上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据采集方法，其特征在于，包括：
通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；
在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；
通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
2.根据权利要求1所述的方法，其特征在于，在通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据之前，还包括：
在浏览器主进程的运行过程中，通过预设的进程注入方式，在所述浏览器主进程中注入浏览器消息监听进程；
其中，所述浏览器消息监听进程用于监听浏览器控件中的各个接口传输的消息数据。
3.根据权利要求1所述的方法，其特征在于，所述通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据，包括：
通过浏览器消息监听进程，监听所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据。
4.根据权利要求1所述的方法，其特征在于，所述通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据，包括：
在所述浏览器控件加载所述目标网页页面的过程中，通过预设数据采集脚本，获取所述浏览器控件通过各个接口传出的消息数据或各个接口向所述浏览器控件传入的消息数据；
其中，在所述浏览器控件加载所述目标网页页面的过程中，所述浏览器控件中的各个接口传输的消息数据至少包含：与所述目标网页页面的加载过程关联的参数和/或控制指令。
5.根据权利要求1所述的方法，其特征在于，在通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据之后，还包括：
在所述浏览器控件加载所述目标网页页面的过程结束时，获取所述预设数据采集脚本回调返回的数据采集结果。
6.根据权利要求5所述的方法，其特征在于，在获取所述预设数据采集脚本回调返回的数据采集结果之后，还包括：
将所述数据采集结果存储至预设数据库中。
7.根据权利要求5所述的方法，其特征在于，在获取所述预设数据采集脚本回调返回的数据采集结果之后，还包括：
向服务器上传所述数据采集结果，以使所述服务器根据所述数据采集结果，检测浏览器的页面加载性能。
8.一种数据采集装置，其特征在于，包括：
数据监听模块，用于通过浏览器消息监听进程，监听浏览器控件中的各个接口传输的消息数据；
脚本调用模块，用于在监听到所述浏览器控件通过目标接口发送至浏览器主进程的页面加载启动消息时，通过所述浏览器消息监听进程，调用预设数据采集脚本；其中，所述页面加载启动消息用于确认所述浏览器控件启动加载目标网页页面的过程；
数据采集模块，用于通过所述预设数据采集脚本，在所述浏览器控件加载所述目标网页页面的过程中，采集所述浏览器控件中的各个接口传输的消息数据。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据采集方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的数据采集方法。
CN202210110336.8A 2022-01-29 2022-01-29 一种数据采集方法、装置、设备及存储介质 Pending CN114490265A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210110336.8A CN114490265A (zh) 2022-01-29 2022-01-29 一种数据采集方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210110336.8A CN114490265A (zh) 2022-01-29 2022-01-29 一种数据采集方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114490265A true CN114490265A (zh) 2022-05-13

Family

ID=81479153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210110336.8A Pending CN114490265A (zh) 2022-01-29 2022-01-29 一种数据采集方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114490265A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858400A (zh) * 2023-02-27 2023-03-28 广州市玄武无线科技股份有限公司 一种移动app自动化测试任务编排系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858400A (zh) * 2023-02-27 2023-03-28 广州市玄武无线科技股份有限公司 一种移动app自动化测试任务编排系统
CN115858400B (zh) * 2023-02-27 2023-07-04 广州市玄武无线科技股份有限公司 一种移动app自动化测试任务编排系统

Similar Documents

Publication Publication Date Title
CN110865888B (zh) 一种资源加载方法、装置、服务器及存储介质
CN111813641B (zh) 崩溃信息收集的方法、装置、介质和设备
CN110287146B (zh) 应用下载的方法、设备和计算机存储介质
CN110825456A (zh) 加载时间计算方法、装置、计算机设备及存储介质
CN110377341B (zh) 一种监听无响应异常的方法、装置、介质和电子设备
CN113900834B (zh) 基于物联网技术的数据处理方法、装置、设备及存储介质
CN108334779B (zh) 一种应用的处理方法、设备和计算存储介质
CN107644075B (zh) 收集页面信息的方法和装置
CN109783345B (zh) 一种小程序性能测试方法和系统
CN113626743A (zh) 确定目标展示页面的方法、装置、电子设备及存储介质
CN112612546A (zh) 页面加载方法、装置、电子设备和存储介质
CN114253864A (zh) 一种业务测试方法、装置、电子设备及存储介质
CN109165372B (zh) 一种网页加载方法、装置、设备及存储介质
CN113238815B (zh) 一种接口访问控制方法、装置、设备及存储介质
CN110881224B (zh) 一种网络长连接方法、装置、设备及存储介质
CN114490265A (zh) 一种数据采集方法、装置、设备及存储介质
CN113312036B (zh) Web页面的大屏显示方法、装置、设备及存储介质
CN114490266A (zh) 一种数据采集方法、装置、设备及存储介质
CN111459481A (zh) 页面侧滑方法、装置、电子设备和存储介质
CN113760490B (zh) 对微服务处理的方法、装置、电子设备及存储介质
CN111367783A (zh) 应用程序的测试方法、装置及电子设备
CN114647411A (zh) 编程界面加载方法、装置、电子设备及存储介质
CN114528509A (zh) 一种页面显示处理方法、装置、电子设备及存储介质
CN107390981B (zh) 一种全局菜单的控制方法、装置、设备和存储介质
CN113791777A (zh) 图片显示方法及装置、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination