CN111310002A - 一种基于分发器和配置表组合的泛型爬虫系统 - Google Patents
一种基于分发器和配置表组合的泛型爬虫系统 Download PDFInfo
- Publication number
- CN111310002A CN111310002A CN202010303312.5A CN202010303312A CN111310002A CN 111310002 A CN111310002 A CN 111310002A CN 202010303312 A CN202010303312 A CN 202010303312A CN 111310002 A CN111310002 A CN 111310002A
- Authority
- CN
- China
- Prior art keywords
- data
- distributor
- downloader
- configuration table
- crawler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5011—Pool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5018—Thread allocation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于分发器和配置表组合的泛型爬虫系统,包括爬虫引擎、URL管理器、网页下载器、内容解析器、数据存储器和线程控制器,爬虫引擎包括配置表填写模块、分发器组合模块;网页下载器包括泛型接口分发器、安全绕过管理器和下载器;内容解析器包括泛型接口分发器、定位器和内容解析器;数据存储器包括数据收集器、泛型接口分发器、数据类型接口生成器;本发明通过在爬虫引擎中填写配置表,组合分发器,然后由分发器驱动爬虫引擎执行的方式,实现对不同数据类型、不同安全机制、不同性能的不同网站的数据资源的爬取,使用户不需要编写代码,就构造出符合自己数据爬取需求的爬虫程序,使用户专注于数据的分析,节约数据采集的难度和成本。
Description
技术领域
本发明属于计算机领域,涉及爬虫系统,特别涉及一种基于分发器和配置表组合的泛型爬虫系统。
背景技术
随着大数据技术的发展,数据的价值越来越重要,使用爬虫技术高效地获取、分析数据、发现数据的价值成为了一种趋势。一个良好的爬虫框架为用户使用这种技术提供了便利。但是,当前主流的爬虫框架为使用者提供的是一类可复用的相互协作的类、模块或接口,需要使用者熟悉每个类、模块和接口的使用方法,自行编写爬虫获取数据各个环节的代码,因此,要求使用者具备一定的代码开发知识,限制了爬虫技术的用户群体,不利于数据价值的发现和利用。
因此,发明一种基于分发器和配置表组合的泛型爬虫系统框架,能够像编写电影剧本一样,通过填写配置表,组合分发器,就能实现一个爬虫程序,完成数据爬取任务,解决上述问题就显得很有必要。
发明内容
本发明的目的在于提供一种基于分发器和配置表组合的泛型爬虫系统,本发明通过在爬虫引擎中填写配置表,组合分发器,然后由分发器驱动爬虫引擎执行的方式,实现对不同数据类型、不同安全机制、不同性能的不同网站的数据资源的爬取,使用户不需要编写代码,就构造出符合自己数据爬取需求的爬虫程序,使用户专注于数据的分析,节约数据采集的难度和成本。
为实现上述目的,本发明提供如下技术方案:
一种基于分发器和配置表组合的泛型爬虫系统,包括爬虫引擎1、URL管理器4、网页下载器7、内容解析器11、数据存储器15和线程控制器21;
所述爬虫引擎1包括配置表填写模块2和分发器组合模块3;所述配置表填写模块2从用户获取输入信息,生成配置表数据,所述分发器组合模块3定义URL管理器4、网页下载器7、内容解析器11、数据存储器15、线程控制器21的组合顺序,按照从配置表填写模块2获取的配置表数据驱动爬虫引擎1执行;
所述URL管理器4包括协议识别器5和URL管理队列6,所述协议识别器5接收爬虫引擎1的配置表信息,根据配置表信息爬取网页中符合规定的URL地址数据后,生成存储不同数据的URL管理队列6;
所述网页下载器7包括网页下载器的泛型接口分发器8、下载器9和安全绕过管理器10,所述网页下载器的泛型接口分发器8接收爬虫引擎1的配置表信息和URL管理队列6中的数据,动态生成不同类型的下载器9,所述下载器9接收网页下载器的泛型接口分发器8的配置表和数据后,根据配置表中安全要求,决定是否生成安全绕过管理器10,如果确定生成,则下载器9生成安全绕过管理器10,安全绕过管理器10生成安全配置包,下载器9接收安全配置包,然后用安全的方式下载并生成各类数据资源;如果确定不生成,则下载器9用非安全方式下载并生成各类数据资源;
所述内容解析器11包括内容解析器的泛型接口分发器12、定位器13和数据解析器14,所述内容解析器的泛型接口分发器12接收爬虫引擎1的配置表信息和网页下载器7生成的各类数据资源,动态生成定位器13和数据解析器14,定位器13接收内容解析器的泛型接口分发器12的配置表信息,生成定位对象数据,数据解析器14接收网页下载器7生成的各类数据资源和定位器13生成的定位对象数据后,对数据资源中的表格、图片、视频、音频、文本数据进行解析,生成解析数据;
所述数据存储器15包括数据存储器的泛型接口分发器16、数据收集器17、数据输出分发器18、普通数据类型接口生成器19和数据库接口生成器20,所述数据存储器的泛型接口分发器16接收爬虫引擎1的配置表数据和内容解析器11的解析数据,生成数据收集器17和数据输出分发器18,数据收集器17对数据进行清洗、转码操作,生成清洗后的数据,所述数据输出分发器18接收数据存储器的泛型接口分发器16的配置表数据和数据收集器17的清洗后的数据,动态生成普通数据类型接口生成器19和数据库接口生成器20,然后普通数据类型接口生成器19将数据输出到HTML、CSV、TXT、EXCEL文件中,数据库接口生成器20将数据输出到SQLServer、MySQL、Oracle数据库中或送往第三方WebService接口;
所述线程控制器21负责对爬取过程的线程数量、并发方式进行管理,分别接收URL管理器4、网页下载器7、内容解析器11和数据存储器15传递的配置表信息,确定是否启用线程,如启用,则生成异步线程池22或同步线程池23,然后将过程资源放入线程池中,形成线程资源24,实现爬取性能的提升。
本发明的技术效果和优点:
1、本发明通过用户编制配置表,组合分发器,然后通过分发器驱动爬虫引擎工作的方式,定义了一种新型的爬虫使用技术,取代了当前主流爬虫系统仅提供类、接口和代码模块,需要用户自行编写爬虫各个环节的代码的方式,降低了开发爬虫程序的门槛,使用户将精力专注于如何分析数据、利用数据,而不需要关心如何实现数据爬取过程,有利于推动大数据技术的发展和运用。
2、本发明中所用的配置表采用动态加载的方式被程序模块使用,因此,可以在爬取过程中随时改变爬取的内容、方向、范围、速度、安全要求等内容,解决了当前主流框架一旦启动就无法改变爬取行为的问题,有利于及时纠正爬取行为,防止出现爬取范围越界、爬取速度过快对服务器造成影响等情况的发生。
附图说明
图1是本发明的整体系统框架结构示意图;
附图中的标号分别为:1、爬虫引擎,2、配置表填写模块,3、分发器组合模块,4、URL管理器,5、协议识别器,6、URL管理队列,7、网页下载器,8、网页下载器的泛型接口分发器,9、下载器,10、安全绕过管理器,11、内容解析器,12、内容解析器的泛型接口分发器,13、定位器,14、数据解析器,15、数据存储器,16、数据存储器的泛型接口分发器,17、数据收集器,18、数据输出分发器,19、普通数据类型接口生成器,20、数据库接口生成器,21、线程控制器,22、异步线程池,23、同步线程池,24、线程资源。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清晰、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本发明提供了如图1所示的一种基于分发器和配置表组合的泛型爬虫系统,包括爬虫引擎1,配置表填写模块2,分发器组合模块3,URL管理器4,协议识别器5,URL管理队列6,网页下载器7,网页下载器的泛型接口分发器8,下载器9,安全绕过管理器10,内容解析器11,内容解析器的泛型接口分发器12,定位器13,数据解析器14,数据存储器15,数据存储器的泛型接口分发器16,数据收集器17,数据输出分发器18,普通数据类型接口生成器19,数据库接口生成器20,线程控制器21,异步线程池22,同步线程池23,线程资源24。具体:
爬虫引擎1:用户在爬虫引擎1提供的配置表填写模块2中配置爬虫的入口URL地址、URL匹配规则、爬取范围规则,然后在分发器组合模块3中定义URL管理器4、网页下载器7、内容解析器11、数据存储器15、线程控制器21的组合顺序,然后分发器组合模块3驱动爬虫引擎1按照组合顺序逐一执行数据爬取过程。
URL管理器4:接收爬虫引擎1传递的配置表信息,生成协议识别器5,然后协议识别器5根据配置表信息,爬取网页中符合规定但具有不同协议的URL地址数据后,生成存储不同数据的URL管理队列6,然后供网页下载器7批量获取使用。
网页下载器7:通过网页下载器的泛型接口分发器8接收爬虫引擎1传递的配置表信息和URL管理队列6中的数据,生成request请求下载器、浏览器渲染下载器、WebService接口下载器等不同类型的下载器9,然后下载器9接收网页下载器的泛型接口分发器8的配置表和数据后,根据配置表中安全要求,决定是否增强安全下载能力,如果决定增强,则生成安全绕过管理器10,安全绕过管理器10生成安全配置包,安全配置包包括匿名IP代理、随机IP、生成Cookies、模拟移动端设备、编造User-agent等配置,下载器9接收安全配置包,然后用安全的方式下载并生成各类数据资源;如果决定不增强,则下载器9用非安全方式下载并生成各类数据资源。
内容解析器11:通过内容解析器的泛型接口分发器12接收爬虫引擎1的配置表信息和网页下载器7生成的各类数据资源,动态生成定位器13,用于定位要解析的内容在网页中的位置,同时,还生成视频解析器、音频解析器、文件解析器、文本解析器、图片解析器、脚本解析器等不同类型的数据解析器14,定位器13接收内容解析器的泛型接口分发器12的配置表信息,生成定位对象数据,数据解析器14接收网页下载器7生成的各类数据资源和定位器13生成的定位对象数据后,对数据资源中的表格、图片、视频、音频、文本数据进行解析,生成解析数据。
数据存储器15:通过数据存储器的泛型接口分发器16接收爬虫引擎1的配置表数据和内容解析器11的解析数据,生成数据收集器17和数据输出分发器18,数据收集器17对数据进行清洗、转码等操作,生成清洗后的数据,数据输出分发器18接收数据存储器的泛型接口分发器16的配置表数据和数据收集器17的清洗后的数据,动态生成普通数据类型接口生成器19和数据库接口生成器20,然后普通数据类型接口生成器19将数据输出到HTML、CSV、TXT、EXCEL等文件中,数据库接口生成器20将数据输出到SQL Server、MySQL、Oracle等数据库中或送往第三方WebService接口。
线程控制器21:负责对爬取过程的线程数量、并发方式进行管理,分别接收URL管理器4、网页下载器7、内容解析器11和数据存储器15传递的配置表信息,确定是否启用线程,如启用,则生成异步线程池22或同步线程池23,然后将过程资源放入线程池中,实现爬取性能的提升。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于分发器和配置表组合的泛型爬虫系统,其特征在于:包括爬虫引擎(1)、URL管理器(4)、网页下载器(7)、内容解析器(11)、数据存储器(15)和线程控制器(21);
所述爬虫引擎(1)包括配置表填写模块(2)和分发器组合模块(3);所述配置表填写模块(2)从用户获取输入信息,生成配置表数据,所述分发器组合模块(3)定义URL管理器(4)、网页下载器(7)、内容解析器(11)、数据存储器(15)、线程控制器(21)的组合顺序,按照从配置表填写模块(2)获取的配置表数据驱动爬虫引擎(1)执行;
所述URL管理器(4)包括协议识别器(5)和URL管理队列(6),所述协议识别器(5)接收爬虫引擎(1)的配置表信息,根据配置表信息爬取网页中符合规定的URL地址数据后,生成存储不同数据的URL管理队列(6);
所述网页下载器(7)包括网页下载器的泛型接口分发器(8)、下载器(9)和安全绕过管理器(10),所述网页下载器的泛型接口分发器(8)接收爬虫引擎(1)的配置表信息和URL管理队列(6)中的数据,动态生成不同类型的下载器(9),所述下载器(9)接收网页下载器的泛型接口分发器(8)的配置表和数据后,根据配置表中安全要求,决定是否生成安全绕过管理器(10),如果确定生成,则下载器(9)生成安全绕过管理器(10),安全绕过管理器(10)生成安全配置包,下载器(9)接收安全配置包,然后用安全的方式下载并生成各类数据资源;如果确定不生成,则下载器(9)用非安全方式下载并生成各类数据资源;
所述内容解析器(11)包括内容解析器的泛型接口分发器(12)、定位器(13)和数据解析器(14),所述内容解析器的泛型接口分发器(12)接收爬虫引擎(1)的配置表信息和网页下载器(7)生成的各类数据资源,动态生成定位器(13)和数据解析器(14),定位器(13)接收内容解析器的泛型接口分发器(12)的配置表信息,生成定位对象数据,数据解析器(14)接收网页下载器(7)生成的各类数据资源和定位器(13)生成的定位对象数据后,对数据资源中的表格、图片、视频、音频、文本数据进行解析,生成解析数据;
所述数据存储器(15)包括数据存储器的泛型接口分发器(16)、数据收集器(17)、数据输出分发器(18)、普通数据类型接口生成器(19)和数据库接口生成器(20),所述数据存储器的泛型接口分发器(16)接收爬虫引擎(1)的配置表数据和内容解析器(11)的解析数据,生成数据收集器(17)和数据输出分发器(18),数据收集器(17)对数据进行清洗、转码操作,生成清洗后的数据,所述数据输出分发器(18)接收数据存储器的泛型接口分发器(16)的配置表数据和数据收集器(17)的清洗后的数据,动态生成普通数据类型接口生成器(19)和数据库接口生成器(20),然后普通数据类型接口生成器(19)将数据输出到HTML、CSV、TXT、EXCEL文件中,数据库接口生成器(20)将数据输出到SQL Server、MySQL、Oracle数据库中或送往第三方WebService接口;
所述线程控制器(21)负责对爬取过程的线程数量、并发方式进行管理,分别接收URL管理器(4)、网页下载器(7)、内容解析器(11)和数据存储器(15)传递的配置表信息,确定是否启用线程,如启用,则生成异步线程池(22)或同步线程池(23),然后将过程资源放入线程池中,形成线程资源(24),实现爬取性能的提升。
2.根据权利要求1所述的一种基于分发器和配置表组合的泛型爬虫系统,其特征在于:所述下载器(9)包括request请求下载器、浏览器渲染下载器和WebService接口下载器。
3.根据权利要求1所述的一种基于分发器和配置表组合的泛型爬虫系统,其特征在于:所述数据解析器(14)包括视频解析器、音频解析器、文件解析器、文本解析器、图片解析器和脚本解析器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010303312.5A CN111310002B (zh) | 2020-04-17 | 2020-04-17 | 一种基于分发器和配置表组合的泛型爬虫系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010303312.5A CN111310002B (zh) | 2020-04-17 | 2020-04-17 | 一种基于分发器和配置表组合的泛型爬虫系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111310002A true CN111310002A (zh) | 2020-06-19 |
CN111310002B CN111310002B (zh) | 2023-04-07 |
Family
ID=71147557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010303312.5A Active CN111310002B (zh) | 2020-04-17 | 2020-04-17 | 一种基于分发器和配置表组合的泛型爬虫系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111310002B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7139747B1 (en) * | 2000-11-03 | 2006-11-21 | Hewlett-Packard Development Company, L.P. | System and method for distributed web crawling |
US7519902B1 (en) * | 2000-06-30 | 2009-04-14 | International Business Machines Corporation | System and method for enhanced browser-based web crawling |
US20120259833A1 (en) * | 2011-04-11 | 2012-10-11 | Vistaprint Technologies Limited | Configurable web crawler |
CN105243159A (zh) * | 2015-10-28 | 2016-01-13 | 福建亿榕信息技术有限公司 | 一种基于可视化脚本编辑器的分布式网络爬虫系统 |
CN107317724A (zh) * | 2017-06-06 | 2017-11-03 | 中证信用增进股份有限公司 | 基于云计算技术的数据采集系统及方法 |
CN109033115A (zh) * | 2017-06-12 | 2018-12-18 | 广东技术师范学院 | 一种动态网页爬虫系统 |
CN109165333A (zh) * | 2018-07-12 | 2019-01-08 | 电子科技大学 | 一种基于网页数据的高速主题爬虫方法 |
CN109284430A (zh) * | 2018-09-07 | 2019-01-29 | 杭州艾塔科技有限公司 | 基于分布式架构的可视化主题网页内容爬取系统及方法 |
CN110020062A (zh) * | 2019-04-12 | 2019-07-16 | 北京邮电大学 | 一种可定制的网络爬虫方法及系统 |
-
2020
- 2020-04-17 CN CN202010303312.5A patent/CN111310002B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7519902B1 (en) * | 2000-06-30 | 2009-04-14 | International Business Machines Corporation | System and method for enhanced browser-based web crawling |
US7139747B1 (en) * | 2000-11-03 | 2006-11-21 | Hewlett-Packard Development Company, L.P. | System and method for distributed web crawling |
US20120259833A1 (en) * | 2011-04-11 | 2012-10-11 | Vistaprint Technologies Limited | Configurable web crawler |
CN105243159A (zh) * | 2015-10-28 | 2016-01-13 | 福建亿榕信息技术有限公司 | 一种基于可视化脚本编辑器的分布式网络爬虫系统 |
CN107317724A (zh) * | 2017-06-06 | 2017-11-03 | 中证信用增进股份有限公司 | 基于云计算技术的数据采集系统及方法 |
CN109033115A (zh) * | 2017-06-12 | 2018-12-18 | 广东技术师范学院 | 一种动态网页爬虫系统 |
CN109165333A (zh) * | 2018-07-12 | 2019-01-08 | 电子科技大学 | 一种基于网页数据的高速主题爬虫方法 |
CN109284430A (zh) * | 2018-09-07 | 2019-01-29 | 杭州艾塔科技有限公司 | 基于分布式架构的可视化主题网页内容爬取系统及方法 |
CN110020062A (zh) * | 2019-04-12 | 2019-07-16 | 北京邮电大学 | 一种可定制的网络爬虫方法及系统 |
Non-Patent Citations (6)
Title |
---|
HE X 等: "Research and Design on Freely Oriented Crawler Engine" * |
宋婷婷;: "基于主题的多线程网络爬虫系统的研究" * |
李笑语: "深度可定制的工具化爬虫系统的设计与实现" * |
陈猛;: "基于Python的新浪新闻爬虫系统的设计与实现" * |
陈露: "基于主题的多线程网络爬虫系统的研究与实现" * |
龚莎;朱应钦;梁艳华;: "基于Python的可配置自动化爬虫系统的设计与实现" * |
Also Published As
Publication number | Publication date |
---|---|
CN111310002B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8660976B2 (en) | Web content rewriting, including responses | |
CN106126693B (zh) | 一种网页的相关数据的发送方法及装置 | |
US7647404B2 (en) | Method of authentication processing during a single sign on transaction via a content transform proxy service | |
US8621495B2 (en) | Methods and apparatus for securing frames from other frames | |
US20020052937A1 (en) | Method and apparatus for verifying the contents of a global configuration file | |
TW201919375A (zh) | 短連結解析方法、裝置及設備 | |
CN109871499A (zh) | 页面加载方法及客户端 | |
CN111478956B (zh) | 小程序包的部署、预览方法和装置 | |
US10678994B2 (en) | Method and system for reusing HTML content | |
WO2013097592A1 (zh) | 脚本加载技术 | |
CN110769009B (zh) | 用户身份认证方法及系统 | |
US7860927B2 (en) | Inspecting web browser state information from a synchronously-invoked service | |
CN106909361A (zh) | 基于模版引擎的web开发方法和装置 | |
CN111026634A (zh) | 一种接口自动化测试系统、方法、装置及存储介质 | |
CN113157274B (zh) | 基于微前端的软件开发方法、装置、电子设备及存储介质 | |
CN103716319B (zh) | 一种Web访问优化的装置和方法 | |
KR102009020B1 (ko) | 검색 엔진으로 웹 사이트 인증 데이터를 제공하기 위한 방법 및 장치 | |
CN110989992B (zh) | 资源处理方法及装置 | |
US20190163610A1 (en) | Networked digital data processor log file viewer | |
KR102572013B1 (ko) | 요청 처리 방법,장치,기기, 컴퓨터 저장매체 및 컴퓨터 프로그램 | |
CN111800511B (zh) | 同步登录态的处理方法、系统、设备及可读存储介质 | |
CN113360377A (zh) | 一种测试方法和装置 | |
CN112492055A (zh) | 一种传输协议重定向的方法、装置、设备及可读存储介质 | |
CN116781586A (zh) | 一种gRPC流量解析方法、装置、设备及介质 | |
CN111310002A (zh) | 一种基于分发器和配置表组合的泛型爬虫系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |