CN108052454A - 一种h5页面扫描方法、装置和系统 - Google Patents
一种h5页面扫描方法、装置和系统 Download PDFInfo
- Publication number
- CN108052454A CN108052454A CN201711481504.XA CN201711481504A CN108052454A CN 108052454 A CN108052454 A CN 108052454A CN 201711481504 A CN201711481504 A CN 201711481504A CN 108052454 A CN108052454 A CN 108052454A
- Authority
- CN
- China
- Prior art keywords
- pages
- page
- content
- special
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种H5页面扫描方法、装置和系统，包括：根据预置的用户登录信息登录H5页面并爬取H5页面内容；从所述H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题；输出所述H5页面问题的扫描结果。解决了H5页面数量大造成的测试团队的负荷重的技术问题。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种H5页面扫描方法、装置和系统。
背景技术
随着互联网技术和电商产业的不断发展，越来越多的客户选择网上购物。当下，电商的H5页面越来越多，尤其随着促销频率额增加，H5促销页面越来越多，进而会产生各种各样的H5页面问题。
现有的方法是待用户反馈H5页面问题后，测试团队去验证H5页面问题是否存在，然后将H5页面问题解决，但因为H5页面数量很大，所以测试团队的负荷很重。
发明内容
本发明提供了一种H5页面扫描方法、装置和系统，解决了H5页面数量大造成的测试团队的负荷重的技术问题。
本发明提供了一种H5页面扫描方法，包括：
根据预置的用户登录信息登录H5页面并爬取H5页面内容；
从所述H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题；
输出所述H5页面问题的扫描结果。
优选地，
当所述H5页面包括多个时，多线程进行所述H5页面的问题扫描，每个线程对应一个所述H5页面的问题扫描。
优选地，
从所述H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题具体包括：
获取所述H5页面内容的频道信息；
根据所述频道信息获取频道中的所有专题；
遍历所有所述专题扫描H5页面问题并获取每个所述专题中包含的所有子专题；
遍历所有所述子专题扫描H5页面问题。
优选地，
遍历所有所述专题扫描H5页面问题并获取每个所述专题中包含的所有子专题具体包括：
多线程遍历所有所述专题扫描H5页面问题并获取每个所述专题中包含的所有子专题。
优选地，
遍历所有所述子专题扫描H5页面问题具体包括：
多线程遍历所有所述子专题扫描H5页面问题。
优选地，
根据预置的用户登录信息登录H5页面并爬取H5页面内容具体包括：
定时根据预置的用户登录信息登录H5页面并爬取H5页面内容。
本发明提供了一种H5页面扫描装置，包括：
页面内容爬取单元，用于根据预置的用户登录信息登录H5页面并爬取H5页面内容；
扫描单元，用于从所述H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题；
输出单元，用于输出所述H5页面问题的扫描结果。
本发明提供了一种H5页面扫描系统，包括：
爬取子系统，用于根据预置的用户登录信息登录H5页面并爬取H5页面内容；
扫描模块，用于从所述H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题；
输出模块，用于输出所述H5页面问题的扫描结果。
优选地，
所述的H5页面扫描系统，还包括控制子系统，用于控制所述爬取子系统定时根据预置的用户登录信息登录H5页面并爬取H5页面内容。
优选地，
所述的H5页面扫描系统，还包括通信模块，用于将所述H5页面问题的扫描结果发送至相应的通信工具。
从以上技术方案可以看出，本发明具有以下优点：
根据预置的用户登录信息登录H5页面并爬取H5页面内容，然后从H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题，最后输出H5页面问题的扫描结果，实现了自动扫描线上所有的专题和子专题，效率高，并可以用这种方法定时对H5页面进行问题扫描，不仅减轻了测试团队的负荷，不需等用户反馈即可发现已经存在的页面问题，因此可以较早地发现H5页面问题，减少对用户的影响，提高用户的体验度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明提供的一种H5页面扫描方法的第一实施例的流程示意图；
图2为本发明提供的一种H5页面扫描方法的第二实施例的流程示意图；
图3为本发明提供的一种H5页面扫描装置的一个实施例的结构示意图；
图4为本发明提供的一种H5页面扫描系统的第一实施例的结构示意图；
图5为本发明提供的一种H5页面扫描系统的第二实施例的结构示意图。
具体实施方式
本发明实施例提供了一种H5页面扫描方法、装置和系统，解决了H5页面数量大造成的测试团队的负荷重的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明提供的一种H5页面扫描方法的第一实施例的流程示意图。
本发明提供了一种H5页面扫描方法的第一实施例，包括：
步骤101，根据预置的用户登录信息登录H5页面并爬取H5页面内容。
H5页面可以是电脑端的H5页面，也可以是移动终端APP中的H5页面。
步骤102，从H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题。
需要说明的是，在本发明实施例中，专题和子专题均为基于H5标准的营销页面。
一个H5页面中，不仅包括专题内容，而且包括非专题内容，所以需要从页面内容中挑选出专题。
子专题是存在专题中的，例如，一个H5页面点进去可以访问另一个H5页面。
步骤103，输出H5页面问题的扫描结果。
输出形式有多种，例如可以为报告的形式，也可以为表格的形式，在此不做限定。
本实施例实现了自动扫描线上所有的专题和子专题，效率高，还可以用这种方法定时对H5页面进行问题扫描，不仅减轻了测试团队的负荷，不需等用户反馈即可发现已经存在的页面问题，因此可以较早地发现H5页面问题，减少对用户的影响，提高用户的体验度。
请参阅图2，本发明提供的一种H5页面扫描方法的第二实施例的流程示意图。
本发明提供了一种H5页面扫描方法的第二实施例，包括：
步骤201，定时根据预置的用户登录信息登录H5页面并爬取H5页面内容。
例如，每天早晚各爬取一次，即可很大程度上保证H5页面问题及时被发现和处理。
需要说明的是，当H5页面包括多个时，多线程进行H5页面的问题扫描，每个线程对应一个H5页面的问题扫描。
公司可以包括多个分仓，用户可以分为多类用户，同一类用户访问不同分仓时的H5页面不同，而因为用户的个性化设置，所以不同类用户访问相同所述分仓时的H5页面内容不同，这种情况下，H5页面的种类就很多。
例如用户分为5类，公司包括分布在不同城市的4个分仓，那么H5页面的种类就可以20种，每类H5页面通过一个线程进行问题扫描，可以提高扫描效率。
步骤202，获取H5页面内容的频道信息。
可以理解的是，营销页面包括多个频道，例如母婴频道、疯抢频道和男士频道等，每个频道还包括多个分区，例如包括运营位、广告位和档期位等。
频道信息可以通过调取startup和draw两个接口获取。
频道信息可以包括频道ID、菜单代码menu code和域地址zone id。
步骤203，根据频道信息获取频道中的所有专题。
通过频道ID可以获取档期位内容，通过菜单代码可以获取运营位内容，通过域地址可以获取广告位内容，需要再从档期位内容、运营位内容和广告位内容中提取专题，具体方法可以通过抓取含mst的url地址。
步骤204，遍历所有专题扫描H5页面问题并获取每个专题中包含的所有子专题。
因为专题的数量也很大，所以为了提高扫描效率，可以采用多线程的方法遍历专题。
步骤205，遍历所有子专题扫描H5页面问题。
因子专题的数量也很大，所以为了提高扫描效率，可以采用多线程的方法遍历子专题。
步骤206，输出H5页面问题的扫描结果。
请参阅图3，本发明提供的一种H5页面扫描装置的一个实施例的结构示意图。
本发明提供了一种H5页面扫描装置的一个实施例，包括：
页面内容爬取单元301，用于根据预置的用户登录信息登录H5页面并爬取H5页面内容。
扫描单元302，用于从H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题。
输出单元303，用于输出H5页面问题的扫描结果。
请参阅图4，本发明提供的一种H5页面扫描系统的第一实施例的结构示意图。
本发明提供了一种H5页面扫描系统的第一实施例，包括：
爬取子系统401，用于根据预置的用户登录信息登录H5页面并爬取H5页面内容。
爬取子系统401可以采用Jsoup开源工具，Jsoup开源工具是一款Java的HTML解析器，可直接解析某个URL地址或HTML文本内容。
扫描模块402，用于从H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题。
输出模块403，用于输出H5页面问题的扫描结果。
请参阅图5，本发明提供的一种H5页面扫描系统的第二实施例的结构示意图。
本发明提供了一种H5页面扫描系统的第二实施例，包括：
爬取子系统501，用于根据预置的用户登录信息登录H5页面并爬取H5页面内容。
爬取子系统501可以采用Jsoup开源工具，Jsoup开源工具是一款Java的HTML解析器，可直接解析某个URL地址或HTML文本内容。
扫描模块502，用于从H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题。
输出模块503，用于输出H5页面问题的扫描结果。
控制子系统504，用于控制爬取子系统定时根据预置的用户登录信息登录H5页面并爬取H5页面内容。
控制子系统504可以为Jenkins，其中Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。
通信模块505，用于将H5页面问题的扫描结果发送至相应的通信工具。
例如，可以将扫描结果发送至相关工作人员的邮箱或微信。
需要说明的是，本发明实施例中的H5页面扫描系统可以部署在一台linux机器上工作，除了通过控制子系统控制H5页面扫描系统定时运行外，还可以通过手动控制H5页面扫描系统进行H5页面扫描。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种H5页面扫描方法，其特征在于，包括：
根据预置的用户登录信息登录H5页面并爬取H5页面内容；
从所述H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题；
输出所述H5页面问题的扫描结果。
2.根据权利要求1所述的H5页面扫描方法，其特征在于，当所述H5页面包括多个时，多线程进行所述H5页面的问题扫描，每个线程对应一个所述H5页面的问题扫描。
3.根据权利要求1或2所述的H5页面扫描方法，其特征在于，从所述H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题具体包括：
获取所述H5页面内容的频道信息；
根据所述频道信息获取频道中的所有专题；
遍历所有所述专题扫描H5页面问题并获取每个所述专题中包含的所有子专题；
遍历所有所述子专题扫描H5页面问题。
4.根据权利要求3所述的H5页面扫描方法，其特征在于，遍历所有所述专题扫描H5页面问题并获取每个所述专题中包含的所有子专题具体包括：
多线程遍历所有所述专题扫描H5页面问题并获取每个所述专题中包含的所有子专题。
5.根据权利要求3所述的H5页面扫描方法，其特征在于，遍历所有所述子专题扫描H5页面问题具体包括：
多线程遍历所有所述子专题扫描H5页面问题。
6.根据权利要求1所述的H5页面扫描方法，其特征在于，根据预置的用户登录信息登录H5页面并爬取H5页面内容具体包括：
定时根据预置的用户登录信息登录H5页面并爬取H5页面内容。
7.一种H5页面扫描装置，其特征在于，包括：
页面内容爬取单元，用于根据预置的用户登录信息登录H5页面并爬取H5页面内容；
扫描单元，用于从所述H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题；
输出单元，用于输出所述H5页面问题的扫描结果。
8.一种H5页面扫描系统，其特征在于，包括：
爬取子系统，用于根据预置的用户登录信息登录H5页面并爬取H5页面内容；
扫描模块，用于从所述H5页面内容中获取所有专题和所有子专题，并遍历所有专题和所有子专题扫描H5页面问题；
输出模块，用于输出所述H5页面问题的扫描结果。
9.根据权利要求8所述的H5页面扫描系统，其特征在于，还包括控制子系统，用于控制所述爬取子系统定时根据预置的用户登录信息登录H5页面并爬取H5页面内容。
10.根据权利要求8所述的H5页面扫描系统，其特征在于，还包括通信模块，用于将所述H5页面问题的扫描结果发送至相应的通信工具。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711481504.XA CN108052454A (zh) | 2017-12-29 | 2017-12-29 | 一种h5页面扫描方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711481504.XA CN108052454A (zh) | 2017-12-29 | 2017-12-29 | 一种h5页面扫描方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108052454A true CN108052454A (zh) | 2018-05-18 |
Family
ID=62128596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711481504.XA Pending CN108052454A (zh) | 2017-12-29 | 2017-12-29 | 一种h5页面扫描方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108052454A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078517A (zh) * | 2019-12-09 | 2020-04-28 | 广州品唯软件有限公司 | 一种页面监控方法、装置、计算机设备及存储介质 |
| CN112732515A (zh) * | 2020-12-28 | 2021-04-30 | 广州品唯软件有限公司 | 扫描页面异常降噪方法、系统和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100023311A1 (en) * | 2006-09-13 | 2010-01-28 | Venkatramanan Siva Subrahmanian | System and method for analysis of an opinion expressed in documents with regard to a particular topic |
| CN103856467A (zh) * | 2012-12-06 | 2014-06-11 | 百度在线网络技术（北京）有限公司 | 一种实现安全扫描的方法及分布式系统 |
| CN105760514A (zh) * | 2016-02-24 | 2016-07-13 | 西安交通大学 | 一种从社区问答网站自动获取知识领域短文本的方法 |
-
2017
- 2017-12-29 CN CN201711481504.XA patent/CN108052454A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100023311A1 (en) * | 2006-09-13 | 2010-01-28 | Venkatramanan Siva Subrahmanian | System and method for analysis of an opinion expressed in documents with regard to a particular topic |
| CN103856467A (zh) * | 2012-12-06 | 2014-06-11 | 百度在线网络技术（北京）有限公司 | 一种实现安全扫描的方法及分布式系统 |
| CN105760514A (zh) * | 2016-02-24 | 2016-07-13 | 西安交通大学 | 一种从社区问答网站自动获取知识领域短文本的方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078517A (zh) * | 2019-12-09 | 2020-04-28 | 广州品唯软件有限公司 | 一种页面监控方法、装置、计算机设备及存储介质 |
| CN111078517B (zh) * | 2019-12-09 | 2023-09-01 | 广州品唯软件有限公司 | 一种页面监控方法、装置、计算机设备及存储介质 |
| CN112732515A (zh) * | 2020-12-28 | 2021-04-30 | 广州品唯软件有限公司 | 扫描页面异常降噪方法、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103577595B (zh) | 基于当前浏览页面的关键词推送方法及装置 | |
| WO2014130484A4 (en) | Link association analysis systems and methods | |
| US20130191920A1 (en) | Dynamically scanning a web application through use of web traffic information | |
| CN103198155A (zh) | 一种基于移动终端的智能问答交互系统及方法 | |
| CN103139137B (zh) | 网络服务提供方法及装置 | |
| CN104468790B (zh) | cookie数据的处理方法与客户端 | |
| CN103678600B (zh) | 网页数据的处理方法及设备 | |
| CN110798445B (zh) | 公共网关接口测试方法、装置、计算机设备及存储介质 | |
| CN104363251B (zh) | 网站安全检测方法与装置 | |
| CN103577596A (zh) | 基于当前浏览页面的关键词搜索方法及装置 | |
| CN102750352A (zh) | 浏览器中分类收藏历史访问记录的方法及装置 | |
| US20130091114A1 (en) | Automatic crawling of encoded dynamic urls | |
| CN108259630A (zh) | 未备案网站探测方法、平台和系统 | |
| CN108052454A (zh) | 一种h5页面扫描方法、装置和系统 | |
| CN103634283A (zh) | 一种审核结果的反馈方法及云端服务器 | |
| CN110808868A (zh) | 测试数据获取方法、装置、计算机设备及存储介质 | |
| CN106169133A (zh) | 一种基于RESTful风格的就业信息推荐系统 | |
| CN104954363B (zh) | 用于生成接口文档的方法和装置 | |
| CN102739776A (zh) | 一种展现信息的方法、装置及系统 | |
| CN103246709A (zh) | 一种网页数据抓取的方法 | |
| CN104361007A (zh) | 浏览器及其收藏夹的处理方法 | |
| US20160277422A9 (en) | System and method for detecting final distribution site and landing site of malicious code | |
| CN103886411A (zh) | 网上投票系统 | |
| CN103699639A (zh) | 网页搜索方法及客户端 | |
| CN103336693A (zh) | refer链的创建方法、装置及安全检测设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180518 |