CN110457565A - 基于浏览器集群技术的数据采集系统及其控制方法 - Google Patents
基于浏览器集群技术的数据采集系统及其控制方法 Download PDFInfo
- Publication number
- CN110457565A CN110457565A CN201910730270.0A CN201910730270A CN110457565A CN 110457565 A CN110457565 A CN 110457565A CN 201910730270 A CN201910730270 A CN 201910730270A CN 110457565 A CN110457565 A CN 110457565A
- Authority
- CN
- China
- Prior art keywords
- browser
- module
- cluster
- clustering
- decision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种基于浏览器集群技术的数据采集系统，包括浏览器决策器，用于根据采集任务信息决策使用浏览器集群中的机器和服务；浏览器集群子系统，与所述的浏览器决策器相连接，用于加载控制脚本和任务信息，获取对应的数据采集结果。本发明还涉及一种基于浏览器集群技术实现数据采集控制的方法。采用了该基于浏览器集群技术的数据采集系统及其数据采集控制的方法，将浏览器资源与控制代码分离，通过Http请求封装操作协议的方式实现了浏览器的远程调用。任务的执行代码在每次请求的时候传输到浏览器集群解析执行并将结果返回到调用方。本方案可以应对绝大多数的任务需求而无需重新部署编译浏览器环境。
Description
技术领域
本发明涉及搜索引擎领域，尤其涉及数据采集领域，具体是指一种基于浏览器集群技术的数据采集系统及其数据采集控制的方法。
背景技术
用户通常通过一些媒介访问目标网站后台，比如浏览器。采集器通常是通过脚本程序直接访问目标网站，获取数据，这种行为常因为如下原因获取不到数据：
1、容易被服务端识别为“非人”访问，禁止访问；
2、一部分数据通过客户端渲染生成，采集程序不具备客户端渲染需要的环境。
为了解决上述获取不到数据的问题，因此出现了通过驱动浏览器来访问目标网站的技术手段，比如Selenium，但是依然会出现问题：
1、大规模自动化访问的模拟遇到性能瓶颈，且支持形式较为单一无法完全支持主流的浏览器平台；
2、目标网站有支持的浏览器，Selenium选择哪个浏览器驱动，依赖于经验的判断，无法自适应调节；
3、目前框架无法通过加载外部脚本，对客户端做修改；
4、市面上产品多为单机实现，即代码执行脚本与浏览器程序均部署在一台机器上，服务需要在每次新增改动时重新部署。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种满足高效率、稳定性、误差小的基于浏览器集群技术的数据采集系统及其数据采集控制的方法。
为了实现上述目的，本发明的基于浏览器集群技术的数据采集系统及其数据采集控制的方法如下：
该基于浏览器集群技术的数据采集系统，其主要特点是，所述的系统包括：
浏览器决策器，用于根据采集任务信息决策使用浏览器集群中的机器和服务；
浏览器集群子系统，与所述的浏览器决策器相连接，用于加载控制脚本和任务信息，获取对应的数据采集结果。
较佳地，所述的浏览器决策器包括HTTP请求模块，与外部的目标网站和浏览器集群子系统相连接，用于发送HTTP协议的网络请求。
较佳地，所述的HTTP请求模块包括：
默认配置单元，与外部的目标网站相连接，用于优先使用默认配置读取浏览器；
IP代理单元，与外部的目标网站相连接，用于通过IP代理模拟不同的网络请求；
用户代理单元，与外部的目标网站相连接，用于通过HTTP协议中的用户代理标识筛选浏览器类型。
较佳地，所述的浏览器集群子系统包括：
浏览器SDK模块，与所述的浏览器决策器相连接，用于读取集群中在工作的浏览器驱动，并将工作日志收集至日志服务单元；
浏览器注册中心，与所述的浏览器SDK模块相连接，用于负责收集驱动的工作状态；
控制协议模块，与所述的浏览器SDK模块相连接，用于驱动不同的浏览器进程；
浏览器集群管理服务模块，与所述的控制协议模块和浏览器注册中心相连接，用于负责上报驱动的状态以及下发驱动的执行指令；
浏览器驱动模块，与所述的浏览器集群管理服务模块和浏览器SDK模块相连接，用于驱动浏览器进程执行对应的操作，并根据反馈结果判断下一步操作。
较佳地，所述的浏览器集群子系统还包括过滤模块，与所述的浏览器决策器相连接，所述的过滤模块包括：
前置过滤器，与所述的浏览器决策器相连接，用于加载环境变量和预执行的脚本；
浏览器控制器，与所述的前置过滤器相连接，用于对各个内核编写驱动程序，并对外封装为统一的操作接口；
后置过滤器，与所述的浏览器控制器相连接，用于完成系统还原和清理，并上报SDK结果；
错误过滤器，与所述的前置过滤器、后置过滤器和浏览器控制器相连接，用于负责错误收集和上报，以及对程序线程异常退出的资源进行回收。
该利用上述系统基于浏览器集群技术实现数据采集控制的方法，其主要特点是，所述的方法包括以下步骤：
(1)所述的浏览器决策器根据采集任务信息决策使用浏览器集群中的机器和服务；
(2)所述的浏览器集群子系统加载的控制脚本和任务信息，获取对应的数据采集结果。
较佳地，所述的步骤(1)具体包括以下步骤：
(1.1)读取目标网站默认配置的支持的浏览器，优先通过默认配置单元使用默认配置；
(1.2)判断默认配置是否有效，如果是，则继续使用默认配置；否则，通过在HTTP请求中加入IP代理配置和用户代理配置，向目标网站发送HTTP请求，并通过页面结果筛选目标网站支持的浏览器类型。
较佳地，所述的步骤(2)具体包括以下步骤：
(2.1)所述的浏览器注册中心获取集群信息；
(2.2)所述的浏览器SDK模块发送操作协议；
(2.3)所述的浏览器集群管理服务模块进行协议转发；
(2.4)所述的浏览器驱动模块执行浏览器驱动协议；
(2.5)所述的浏览器驱动模块向网站返回结果。
采用了该基于浏览器集群技术的数据采集系统及其数据采集控制的方法，无需关心具体的执行浏览器平台而由系统自动根据预处理结果选择最合适的执行平台。针对调用不灵活的问题，本方案将浏览器资源与控制代码分离，通过Http请求封装操作协议的方式实现了浏览器的远程调用。任务的执行代码在每次请求的时候传输到浏览器集群解析执行并将结果返回到调用方。本方案可以应对绝大多数的任务需求而无需重新部署编译浏览器环境。
附图说明
图1为本发明的基于浏览器集群技术的数据采集系统的结构图。
图2为本发明的基于浏览器集群技术的数据采集系统的浏览器决策器的原理图。
图3为本发明的基于浏览器集群技术的数据采集系统的浏览器集群子系统的结构图。
图4为本发明的基于浏览器集群技术实现数据采集控制的方法的过滤模块的执行流程图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
本发明的该基于浏览器集群技术的数据采集系统，其中包括：
浏览器决策器，用于根据采集任务信息决策使用浏览器集群中的机器和服务；
浏览器集群子系统，与所述的浏览器决策器相连接，用于加载控制脚本和任务信息，获取对应的数据采集结果。
作为本发明的优选实施方式，所述的浏览器决策器包括HTTP请求模块，与外部的目标网站和浏览器集群子系统相连接，用于发送HTTP协议的网络请求。
作为本发明的优选实施方式，所述的HTTP请求模块包括：
默认配置单元，与外部的目标网站相连接，用于优先使用默认配置读取浏览器；
IP代理单元，与外部的目标网站相连接，用于通过IP代理模拟不同的网络请求；
用户代理单元，与外部的目标网站相连接，用于通过HTTP协议中的用户代理标识筛选浏览器类型。
作为本发明的优选实施方式，所述的浏览器集群子系统包括：
浏览器SDK模块，与所述的浏览器决策器相连接，用于读取集群中在工作的浏览器驱动，并将工作日志收集至日志服务单元；
浏览器注册中心，与所述的浏览器SDK模块相连接，用于负责收集驱动的工作状态；
控制协议模块，与所述的浏览器SDK模块相连接，用于驱动不同的浏览器进程；
浏览器集群管理服务模块，与所述的控制协议模块和浏览器注册中心相连接，用于负责上报驱动的状态以及下发驱动的执行指令；
浏览器驱动模块，与所述的浏览器集群管理服务模块和浏览器SDK模块相连接，用于驱动浏览器进程执行对应的操作，并根据反馈结果判断下一步操作。
作为本发明的优选实施方式，所述的浏览器集群子系统还包括过滤模块，与所述的浏览器决策器相连接，所述的过滤模块包括：
前置过滤器，与所述的浏览器决策器相连接，用于加载环境变量和预执行的脚本；
浏览器控制器，与所述的前置过滤器相连接，用于对各个内核编写驱动程序，并对外封装为统一的操作接口；
后置过滤器，与所述的浏览器控制器相连接，用于完成系统还原和清理，并上报SDK结果；
错误过滤器，与所述的前置过滤器、后置过滤器和浏览器控制器相连接，用于负责错误收集和上报，以及对程序线程异常退出的资源进行回收。
本发明的该利用上述系统基于浏览器集群技术实现数据采集控制的方法，其中包括以下步骤：
(1)所述的浏览器决策器根据采集任务信息决策使用浏览器集群中的机器和服务；
(1.1)读取目标网站默认配置的支持的浏览器，优先通过默认配置单元使用默认配置；
(1.2)判断默认配置是否有效，如果是，则继续使用默认配置；否则，通过在HTTP请求中加入IP代理配置和用户代理配置，向目标网站发送HTTP请求，并通过页面结果筛选目标网站支持的浏览器类型；
(2)所述的浏览器集群子系统加载的控制脚本和任务信息，获取对应的数据采集结果；
(2.1)所述的浏览器注册中心获取集群信息；
(2.2)所述的浏览器SDK模块发送操作协议；
(2.3)所述的浏览器集群管理服务模块进行协议转发；
(2.4)所述的浏览器驱动模块执行浏览器驱动协议；
(2.5)所述的浏览器驱动模块向网站返回结果。
本发明的具体实施方式中，网络数据采集器是一种自动地抓取网络信息的程序或者脚本，通常应用于搜索引擎，数据采集系统，自动化测试，也有一些用于网站攻击的恶意采集器。很多网站有无差别的反采集措施来避免恶意采集，导致采集系统访问网站获取到错误的信息和数据。本发明设计一种浏览器集群，让采集程序模拟用户通过浏览器访问目标网站，获取更稳定的数据采集效果。
主要分为浏览器决策器和浏览器采集集群两个模块，如说明书附图1所示。
浏览器决策器，根据采集任务信息决策使用浏览器集群中的哪部分机器和服务。
浏览器集群，加载的控制脚本和任务信息，取得对应的数据采集结果。
浏览器决策器如说明书附图2所示，采集程序可以通过发送HTTP协议的网络请求，获取目标网站的即时反馈，通过网站的即时反馈过滤掉网站不支持的浏览器类型。
HTTP访问协议中的，User Agent中文名为用户代理(简称UA)，是HTTP协议中的一部分，属于头域的组成部分。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。
建立常用的User-Agent表，举例：
HTTP协议中还可以设置IP代理，不同的IP代表模拟不同的网络请求，是一种反风控措施。
决策过程如下：
1、任务信息中读取目标网站默认配置的支持的浏览器，优先使用默认配置。
2、如果默认配置无效，那么在HTTP请求中加入代理配置和UA配置，向目标网站发送HTTP请求，通过页面结果是否出现“访问失败”“404”“不支持的浏览器”来筛选目标网站支持的浏览器类型。
浏览器集群如说明书附图3所示，直接驱动浏览器程序，比如IE浏览器，Chrome浏览器进程有以下缺点：
1、浏览器加载全部页面比较耗费设备资源，无法大规模启动，且支持形式较为单一无法完全支持主流的浏览器平台。
2、浏览器的安全措施，导致进程内无法注入脚本实现灵活控制
3、浏览器与执行脚本部署在同一台服务器上，缺少灵活调用的方式
为了解决上述问题，我们在浏览器内核的基础上封装调用接口。通过对浏览器进程的控制，可以实现多个实例调度以及资源的回收与复用。且引入进程池的形式对每个进程资源合理调度，实现低资源消耗、灵活控制的采集集群。
在支持浏览器平台方面，目前市面上浏览器种类虽多，但大多采用相同的浏览器内核。所以只需要支持几种主流内核的控制，即可仿对大部分浏览器的控制。
目前市面上的产品均需在任务发起的时候就指定特殊的浏览器作为任务载体，而在本方案中用户无需关心具体的执行浏览器平台而由系统自动根据预处理结果选择最合适的执行平台。针对调用不灵活的问题，本方案将浏览器资源与控制代码分离，通过Http请求封装操作协议的方式实现了浏览器的远程调用。任务的执行代码在每次请求的时候传输到浏览器集群解析执行并将结果返回到调用方。本方案可以应对绝大多数的任务需求而无需重新部署编译浏览器环境。
该集群采集任务以及携带的决策期信息下发到浏览器SDK作为输入。
浏览器SDK：从注册中心读取集群中在工作的的浏览器驱动，并将工作日志收集到日志服务中。对外，SDK封装各个浏览器驱动统一的调用接口。
浏览器注册中心：负责收集驱动的工作状态，以及是否存活。
控制协议：浏览器的点击，拖动，启动，关闭，定位元素等控制操作协议，由SDK发起，通过集群管理服务下发到制定浏览器驱动，用于驱动不同的浏览器进程。
浏览器集群管理服务：负责上报驱动的状态，以及下发驱动的执行指令。
浏览器驱动：用于驱动浏览器进程执行对应的操作，并反馈结果给SDK，用于判断是否需要执行下一步操作。
过滤模块如说明书附图4所示，其中：
前置过滤器，浏览器内核工作前，加载环境变量，预执行的脚本。通过预执行脚本可以屏蔽部分前端的图片和资源，优化性能。也可以通过预执行脚本屏蔽浏览器的安全检测，避免被客户端识别为“非人”操作。
浏览器控制器，针对每个内核编写驱动内核的程序，对外封装为统一的操作接口。如果需要横向扩展，添加新的浏览器控制器，只需要补充对应的内核控制器相关代码即可。
后置过滤器，每个控制操作完成后的系统还原和清理在这部分完成，执行结束后上报SDK结果。
错误过滤器，当发生程序错误的时候，这个模块负责错误收集和上报，以及程序线程异常退出的资源回收。
采用了该基于浏览器集群技术的数据采集系统及其数据采集控制的方法，无需关心具体的执行浏览器平台而由系统自动根据预处理结果选择最合适的执行平台。针对调用不灵活的问题，本方案将浏览器资源与控制代码分离，通过Http请求封装操作协议的方式实现了浏览器的远程调用。任务的执行代码在每次请求的时候传输到浏览器集群解析执行并将结果返回到调用方。本方案可以应对绝大多数的任务需求而无需重新部署编译浏览器环境。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (8)
1.一种基于浏览器集群技术的数据采集系统，其特征在于，所述的系统包括：
浏览器决策器，用于根据采集任务信息决策使用浏览器集群中的机器和服务；
浏览器集群子系统，与所述的浏览器决策器相连接，用于加载控制脚本和任务信息，获取对应的数据采集结果。
2.根据权利要求1所述的基于浏览器集群技术的数据采集系统，其特征在于，所述的浏览器决策器包括HTTP请求模块，与外部的目标网站和浏览器集群子系统相连接，用于发送HTTP协议的网络请求。
3.根据权利要求2所述的基于浏览器集群技术的数据采集系统，其特征在于，所述的HTTP请求模块包括：
默认配置单元，与外部的目标网站相连接，用于优先使用默认配置读取浏览器；
IP代理单元，与外部的目标网站相连接，用于通过IP代理模拟不同的网络请求；
用户代理单元，与外部的目标网站相连接，用于通过HTTP协议中的用户代理标识筛选浏览器类型。
4.根据权利要求1所述的基于浏览器集群技术的数据采集系统，其特征在于，所述的浏览器集群子系统包括：
浏览器SDK模块，与所述的浏览器决策器相连接，用于读取集群中在工作的浏览器驱动，并将工作日志收集至日志服务单元；
浏览器注册中心，与所述的浏览器SDK模块相连接，用于负责收集驱动的工作状态；
控制协议模块，与所述的浏览器SDK模块相连接，用于驱动不同的浏览器进程；
浏览器集群管理服务模块，与所述的控制协议模块和浏览器注册中心相连接，用于负责上报驱动的状态以及下发驱动的执行指令；
浏览器驱动模块，与所述的浏览器集群管理服务模块和浏览器SDK模块相连接，用于驱动浏览器进程执行对应的操作，并根据反馈结果判断下一步操作。
5.根据权利要求1所述的基于浏览器集群技术的数据采集系统，其特征在于，所述的浏览器集群子系统还包括过滤模块，与所述的浏览器决策器相连接，所述的过滤模块包括：
前置过滤器，与所述的浏览器决策器相连接，用于加载环境变量和预执行的脚本；
浏览器控制器，与所述的前置过滤器相连接，用于对各个内核编写驱动程序，并对外封装为统一的操作接口；
后置过滤器，与所述的浏览器控制器相连接，用于完成系统还原和清理，并上报SDK结果；
错误过滤器，与所述的前置过滤器、后置过滤器和浏览器控制器相连接，用于负责错误收集和上报，以及对程序线程异常退出的资源进行回收。
6.一种利用权利要求1所述的系统基于浏览器集群技术实现数据采集控制的方法，其特征在于，所述的方法包括以下步骤：
(1)所述的浏览器决策器根据采集任务信息决策使用浏览器集群中的机器和服务；
(2)所述的浏览器集群子系统加载的控制脚本和任务信息，获取对应的数据采集结果。
7.根据权利要求6所述的基于浏览器集群技术实现数据采集控制的方法，其特征在于，所述的步骤(1)具体包括以下步骤：
(1.1)读取目标网站默认配置的支持的浏览器，优先通过默认配置单元使用默认配置；
(1.2)判断默认配置是否有效，如果是，则继续使用默认配置；否则，通过在HTTP请求中加入IP代理配置和用户代理配置，向目标网站发送HTTP请求，并通过页面结果筛选目标网站支持的浏览器类型。
8.根据权利要求6所述的基于浏览器集群技术实现数据采集控制的方法，其特征在于，所述的浏览器集群子系统包括浏览器注册中心、控制协议模块、浏览器集群管理服务模块和浏览器驱动模块，所述的步骤(2)具体包括以下步骤：
(2.1)所述的浏览器注册中心获取集群信息；
(2.2)所述的浏览器SDK模块发送操作协议；
(2.3)所述的浏览器集群管理服务模块进行协议转发；
(2.4)所述的浏览器驱动模块执行浏览器驱动协议；
(2.5)所述的浏览器驱动模块向网站返回结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910730270.0A CN110457565A (zh) | 2019-08-08 | 2019-08-08 | 基于浏览器集群技术的数据采集系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910730270.0A CN110457565A (zh) | 2019-08-08 | 2019-08-08 | 基于浏览器集群技术的数据采集系统及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110457565A true CN110457565A (zh) | 2019-11-15 |
Family
ID=68485596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910730270.0A Withdrawn CN110457565A (zh) | 2019-08-08 | 2019-08-08 | 基于浏览器集群技术的数据采集系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110457565A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111405033A (zh) * | 2020-03-13 | 2020-07-10 | 深圳前海环融联易信息科技服务有限公司 | 数据采集方法、装置、计算机设备及存储介质 |
| CN111767450A (zh) * | 2020-07-27 | 2020-10-13 | 深圳快学教育科技有限公司 | 浏览器数据采集系统及方法 |
| CN112528120A (zh) * | 2020-12-21 | 2021-03-19 | 北京中安智达科技有限公司 | 一种网络数据爬虫使用浏览器多分身多代理的方法 |
| CN112835808A (zh) * | 2021-03-12 | 2021-05-25 | 中国平安财产保险股份有限公司 | 接口测试方法、装置、计算机设备及存储介质 |
| CN115442118A (zh) * | 2022-09-01 | 2022-12-06 | 李海龙 | 针对匿名通信系统内web服务的信息采集系统及方法 |
-
2019
- 2019-08-08 CN CN201910730270.0A patent/CN110457565A/zh not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111405033A (zh) * | 2020-03-13 | 2020-07-10 | 深圳前海环融联易信息科技服务有限公司 | 数据采集方法、装置、计算机设备及存储介质 |
| CN111405033B (zh) * | 2020-03-13 | 2023-02-10 | 深圳前海环融联易信息科技服务有限公司 | 数据采集方法、装置、计算机设备及存储介质 |
| CN111767450A (zh) * | 2020-07-27 | 2020-10-13 | 深圳快学教育科技有限公司 | 浏览器数据采集系统及方法 |
| CN112528120A (zh) * | 2020-12-21 | 2021-03-19 | 北京中安智达科技有限公司 | 一种网络数据爬虫使用浏览器多分身多代理的方法 |
| CN112528120B (zh) * | 2020-12-21 | 2024-07-09 | 北京中安智达科技有限公司 | 一种网络数据爬虫使用浏览器多分身多代理的方法 |
| CN112835808A (zh) * | 2021-03-12 | 2021-05-25 | 中国平安财产保险股份有限公司 | 接口测试方法、装置、计算机设备及存储介质 |
| CN115442118A (zh) * | 2022-09-01 | 2022-12-06 | 李海龙 | 针对匿名通信系统内web服务的信息采集系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110457565A (zh) | 基于浏览器集群技术的数据采集系统及其控制方法 | |
| CN110428127B (zh) | 自动化分析方法、用户设备、存储介质及装置 | |
| CN102930210B (zh) | 恶意程序行为自动化分析、检测与分类系统及方法 | |
| CN111625452A (zh) | 流量回放方法和系统 | |
| CN112771514A (zh) | 用于机器人流程自动化的文档处理框架 | |
| CN106354876A (zh) | 一种数据处理系统和方法 | |
| CN110309389A (zh) | 云计算系统 | |
| JP2005521947A5 (zh) | ||
| CN115686540B (zh) | 基于鸿蒙系统的rpa控制方法及系统 | |
| CN107809383A (zh) | 一种基于mvc的路径映射方法及装置 | |
| CN112764875B (zh) | 一种面向智能计算的轻量级入口容器微服务系统及方法 | |
| CN107957940A (zh) | 一种测试日志处理方法、系统及终端 | |
| CN105516337B (zh) | 基于动态加载机制的web站点对接解析方法 | |
| CN113704344A (zh) | 基于表单模板的数据备案方法、装置、设备及存储介质 | |
| Gan et al. | Unveiling the hardware and software implications of microservices in cloud and edge systems | |
| CN110298007A (zh) | 用户行为统计方法、装置、电子设备及计算机可读存储介质 | |
| CN110489698B (zh) | 一种自动化采集网页数据的系统及方法 | |
| CN104270443B (zh) | 一种能够动态解析Web应用的云计算系统及方法 | |
| CN111898009A (zh) | 一种多源电力数据融合的分布式采集系统及方法 | |
| CN108334392B (zh) | 安卓系统中启动页面的方法、存储介质、设备及系统 | |
| CN110011827A (zh) | 面向医联体的多用户大数据分析服务系统和方法 | |
| CN105760281A (zh) | 一种对Linux系统服务器的性能数据进行监控分析的方法 | |
| CN111026945B (zh) | 多平台爬虫调度方法、装置和存储介质 | |
| CN105471676B (zh) | 一种端口扫描ip网址活跃度统计系统及方法 | |
| CN110244946A (zh) | 一种纳税人行为数据采集方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191115 |