CN107203562B

CN107203562B - 自动化检查方法、装置和计算机可读存储介质

Info

Publication number: CN107203562B
Application number: CN201610156837.4A
Authority: CN
Inventors: 郭晓兰; 王强平
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2016-03-18
Filing date: 2016-03-18
Publication date: 2019-12-27
Anticipated expiration: 2036-03-18
Also published as: CN107203562A

Abstract

本公开提供了一种计算机执行的基于页面解析进行自动化检查的方法，包括：在接收到新的页面信息之后，对页面的统一资源定位符URL进行解析；当所述页面URL中不存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，对所述页面进行处理以确定接口URL和接口类型；根据所述接口类型来确定功能接口；根据所述接口URL通过所确定的功能接口来获取页面数据；以及对所述页面数据进行自动化检查。

Description

自动化检查方法、装置和计算机可读存储介质

技术领域

本发明的实施例涉及页面的自动化检查，具体涉及计算机执行的基于页面解析进行自动化检查的方法和装置。

背景技术

在移动电商平台，各个频道页和活动页曝光的商品数据来源主要是卖场接口直接吐出的数据。根据不同的接口类型，吐出不同的数据类型，最后得到需要的商品信息(包括商品名称、商品库存量单位(Stocking Keeping Unit，sku)标识(ID)、价格信息、所属区域、商品对应的单品统一资源定位符(URL)、库存信息等)。

然而，对于活动页面曝光的商品数据，存在以下问题：配置的数据为空或者配置的获取数据参数ID错误，从而导致用户打开某个活动页面时没有任何商品数据；以及活动页面的价格、库存、促销信息与商品详情中的价格、库存、促销信息来源不同，用户在活动页面看到的价格和促销信息与进入商品详情页面查看的不一致，或者用户进入商品详情页面之后，发现对应商品无库存。以上两个问题都会在一定程度上影响用户的购买体验。因此，在移动电商行业，在功能发布之前需要对功能发布进行验证和测试。

目前，主要是通过人工手动检查网页上的品牌数据，即由测试人员通过手动点击每一个品牌或活动页面的链接，来检查链接的配置是否正确以及页面商品数据信息是否正确等等。

然而，在大型促活动期间，由于涉及的活动页面很多，因此需人工检查每一个页面中每个品牌的商品数据是否完备、正确和一致。这种人工检查的方式存在以下缺点：非常耗时耗力、人工成本高；由于网页中的品牌链接数以百计，手动检查很容易出现遗漏或错误；无法实现实时和定时检查(在活动期间，可能一直对数据进行配置)；无法快速形成可视化的报表数据；无法及时、定向地通知与问题页面对应的负责人等等。为了减少人工检测成本并且减少误报和漏报，需要一种用于自动检查数据完整性和一致性的技术，以便能够通过对频道页和活动页下的商品数据的一致性进行自动检查，暴露出大部分不一致的问题。

发明内容

鉴于现有技术中的一个或多个问题，提出了一种计算机执行的基于页面解析进行自动化检查的方法和装置。采用自动化监控代替传统的人工测试大大缩短了产品的发布周期并提高了产品发布质量。

在本发明的一个方面，公开了一种计算机执行的基于页面解析进行自动化检查的方法，包括：

在接收到新的页面信息之后，对页面的统一资源定位符URL进行解析；

当所述页面URL中不存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，对所述页面进行处理以确定接口URL和接口类型；

根据所述接口类型来确定功能接口；

根据所述接口URL通过所确定的功能接口来获取页面数据；以及

对所述页面数据进行自动化检查。

优选地，对所述页面进行处理以确定接口URL和接口类型包括：

对所述页面进行phantomJS解析，以获得接口URL；

确定所述接口URL中是否存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字；以及

当所述接口URL中存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，确定所述接口类型是第一类接口类型。

优选地，对所述页面进行处理以确定接口URL和接口类型还包括：

对所述页面中未确定接口类型的区域进行解析以获得页面源代码；以及

根据所述页面源代码确定针对后台业务系统的接口类型和相应的接口URL。

优选地，当所述页面URL中存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，确定针对后台业务系统的接口类型是第一类接口类型。

优选地，根据所述页面源代码确定针对后台业务系统的接口类型和相应的接口URL包括：

根据所述页面源代码确定关键字；以及

根据所述关键字产生具有所述第一类接口类型的接口URL。

优选地，所述关键字是活动标识和区域标识。

根据所述页面源代码确定关键字；以及

根据所述关键字确定所述接口类型是第二类接口类型并且根据所述页面源代码和所述关键字产生接口URL。

优选地，所述关键字包括webpagebegin和webpageend。

优选地，所述方法还包括：

以预定的扫描方式对存储页面信息的数据库进行扫描，以确定是否接收到新的页面信息。

优选地，所述预定的扫描方式包括实时扫描方式和定时扫描方式。

在本发明的另一个方面，公开了一种计算机执行的基于页面解析进行自动化检查的装置，包括：

解析模块，被配置为在接收到新的页面信息之后，对页面的统一资源定位符URL进行解析；

处理模块，被配置为当所述页面URL中不存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，对所述页面进行处理以确定接口URL和接口类型；

确定模块，被配置为根据所述接口类型来确定功能接口；

获取模块，被配置为根据所述接口URL通过所确定的功能接口来获取页面数据；以及

检查模块，被配置为对所述页面数据进行自动化检查。

优选地，所述处理模块被进一步配置为：

对所述页面进行phantomJS解析，以获得接口URL；

优选地，所述处理模块被进一步配置为：

当所述页面URL中存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，确定针对后台业务系统的接口类型是第一类接口类型。

优选地，所述处理模块被进一步配置为：

根据所述页面源代码确定关键字；以及

根据所述关键字产生具有所述第一类接口类型的接口URL。

优选地，所述关键字是活动标识和区域标识。

优选地，所述处理模块被进一步配置为：

根据所述页面源代码确定关键字；以及

优选地，所述关键字包括webpagebegin和webpageend。

优选地，所述装置还包括：

扫描模块，被配置为以预定的扫描方式对存储页面信息的数据库进行扫描，以确定是否接收到新的页面信息。

在本发明的另一个方面，公开了一种自动化检查装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的自动化检查方法。

在本发明的另一个方面，公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上所述的自动化检查方法。

在本发明提出的方案中，实现了以下优点：节省了人力成本，缩短了产品的发布周期；降低了人工检查带来的漏报率和误报率；提升了产品质量在用户心中的认知；报表中清晰的日志信息可以供运营人员和开发人员快速定位问题；可以动态新增检查点，只需新增对应检查点的处理方法；可以实时和定时地监控电商系统线上商品数据信息(正确性、一致性、实时性，即页面链接是否正确，数据是否为空，价格信息是否一致，库存信息是否实时更新)；本发明基于页面解析，可以针对电商系统大部分活动、促销或品牌页面；本发明基于接口监控，除非接口变更，否则页面变更无须更新脚本；以及对于新增的频道页，简单分析页面数据之后，可以调用现有的解析模块进行数据分析、提取，方便后续扩展使用。

附图说明

为了更好地理解本发明，将根据以下附图对本发明的实施例进行描述：

图1是示出了根据本发明实施例的计算机执行的基于页面解析进行自动化检查的方法的流程图；

图2是示出了根据本发明实施例的通过对页面进行phantomJS处理来确定接口类型的方法的流程图；

图3是示出了根据本发明实施例的根据页面源代码确定接口类型和接口URL的方法的第一实施例的示意图；

图4是示出了根据本发明实施例的根据页面源代码确定关键字的示意图；

图5是示出了根据本发明实施例的根据页面源代码确定接口类型和接口URL的方法的第二实施例的示意图；

图6是示出了根据本发明实施例的根据页面源代码确定关键字和接口URL的示意图；

图7是示出了根据本发明实施例的计算机执行的基于页面解析进行自动化检查的装置的框图；以及

图8是示出了根据本发明实施例的计算机执行的基于页面解析进行自动化检查的系统的示意图。

附图没有对实施例的所有电路或结构进行显示。贯穿所有附图相同的附图标记表示相同或相似的部件或特征。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

下面，将参照图1描述计算机执行的基于页面解析进行自动化检查的方法。

首先，在步骤S101，接收到新的页面信息，然后对页面的URL进行解析。可以以预定的扫描方式(例如，实时扫描方式和定时扫描方式)对存储页面信息的数据库进行扫描，以确定是否接收到新的页面信息。如果是实时扫描方式，则促发扫描模块开始扫描，并且在扫描结束之后产生扫描结果，如果为定时扫描方式，则在系统设置的时间点进行扫描。这里的URL支持包括一级、二级、三级页面的静态页面，也可以为直接的商品数据获取接口。

然后，在步骤S102，判断页面URL中是否存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字。后台业务系统中存储了各种类型的页面数据。具有第一类接口类型的URL本身为数据请求URL或者带有接口所需的参数的URL。针对后台业务系统的第一类接口类型的关键字可以由用户定义。例如，关键字可以被定义为mmart、brandspecial、spematerial等等。

当在步骤S102确定页面URL中存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，在步骤S103，确定针对后台业务系统的接口类型是第一类接口类型，并且此时的接口URL即为页面URL，然后过程前进至步骤S105。

当在步骤S102确定页面URL中不存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，在步骤S104，对所述页面进行处理以确定接口URL和接口类型。

接下来，在步骤S105，根据接口类型来确定功能接口。这里，不同的接口类型对应于不同的功能接口，例如，功能接口1、功能接口2、功能接口3等等。针对不同的功能接口，所获取的页面数据类型是不同的。例如，针对功能接口1，要获取的页面数据类型是商品名称和商品skuid，针对功能接口2，要获取的页面数据类型是价格信息和所属区域，并且针对功能接口3，要获取的页面数据类型是商品名称和库存信息等等。

然后，在步骤S106，根据接口URL通过所确定的功能接口来获取页面数据。

最后，在步骤S107，对页面数据进行自动化检查。所涉及的检查包括数据完整性检查和数据正确性检查。具体地，对页面数据进行数据分析，检查数据的完整性，即，判断商品数据是否为空，如果为空则提示有问题，并且将相关问题信息通过邮件发送给相关人员，或者对页面数据进行数据分析，检查数据的正确性，即，判断商品数据的链接是否正确，价格是否正确，库存是否正确，如果有不正确的则提示有问题，并且将相关问题信息通过邮件发送给相关人员。

接下来，将参照图2至图5对步骤S104进行详细讨论。图2是示出了根据本发明实施例的通过对页面进行phantomJS处理来确定接口类型的方法的流程图。phantomJS是一个基于WebKit的服务器端JavaScript API。图1中的步骤S104包括以下步骤。

在步骤S201，对所述页面进行phantomJS解析，以获得接口URL，例如，http：//wq.jd.com/mcoss/mmart/show？tpl＝4&callback＝mart_fu_bao&actid＝61029&pi＝1&pc＝200&t＝4842749&g_ty＝ls。

在步骤S202，确定所述接口URL中是否存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字。

在步骤S203，当所述接口URL中存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，确定针对后台业务系统的接口类型是第一类接口类型。例如，对于上述接口URL：http：//wq.jd.com/mcoss/mmart/show？tpl＝4&callback＝mart_fu_bao&actid＝61029&pi＝1&pc＝200&t＝4842749&g_ty＝ls，可以确定存在相匹配的关键字mmart。因此，确定针对后台业务系统的接口类型是第一类接口类型。

当对所述页面进行phantomJS解析之后所述页面中还存在未确定接口类型的区域时，需要对所述区域进行解析以获得页面源代码，然后根据所述页面源代码确定针对后台业务系统的接口类型和相应的接口URL。

图3是示出了根据本发明实施例的根据页面源代码确定接口类型和接口URL的方法的第一实施例的示意图。

首先，在步骤S301，对页面中的区域进行解析以获得页面源代码。然后，在步骤S302，根据所述页面源代码确定关键字，例如actid和areaid。最后，在步骤S303，根据所述关键字产生具有所述第一类接口类型的接口URL。例如，可以通过将关键字(例如，actid和areaid)以及与关键字相对应的值拼接在与第一类接口类型相对应的URL(例如http：//wq.jd.com/mcoss/mmart/show？)之后，来产生具有第一类接口类型的接口URL。

如图4所示，图4的右侧示出了通过对图4的左侧的页面中的区域进行解析获得的页面源代码。根据该页面源代码，可以确定关键字为actid和areaid，并且actid的相应值为61025，而areaid的相应值为80681、80679和80678。然后，通过将关键字以及与关键字相对应的值拼接在与第一类接口类型相对应的URL之后，得到的接口URL。以actid为61025并且areaid为80681为例，得到的接口URL为http：//wq.jd.com/mcoss/mmart/show？actid＝61025&areaid＝80681。当然，本发明中根据关键字产生具有第一类接口类型的接口URL的方式不限于此，还存在各种其他类型的拼接方式。

图5是示出了根据本发明实施例的根据页面源代码确定接口类型和接口URL的方法的第二实施例的示意图。

首先，在步骤S501，对页面中的区域进行解析以获得页面源代码。然后，在步骤S502，根据所述页面源代码确定关键字，例如webpagebegin、webpageend等等。最后，在步骤S503，根据关键字确定针对后台业务系统的接口类型是第二类接口类型并且根据页面源代码和关键字产生接口URL。

如图6所示，图6的右侧示出了通过对图6的左侧的页面中的区域进行解析获得的页面源代码。根据该页面源代码，可以确定关键字为webpagebegin和webpageend。根据关键字确定针对后台业务系统的接口类型是第二类接口类型并且根据页面源代码和关键字产生接口URL。如图6所示，在关键字webpagebegin和webpageend之间查找页面源代码中的接口URL，以得到接口URL：http：//wqs.jd.com/portal/sq/clothing/clothing_index_sq.shtml？PTAG＝38376.1.1、http：//wqs.jd.com/portal/sq/clothing/clothing_index_man_sq.shtml？PTAG＝38376.2.1等。

图7是示出了根据本发明实施例的计算机执行的基于页面解析进行自动化检查的装置700的框图。装置700包括：解析模块710、处理模块720、确定模块730、获取模块740和检查模块750。解析模块710被配置为在接收到新的页面信息之后，对页面的统一资源定位符URL进行解析。处理模块720被配置为当所述页面URL中不存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，对所述页面进行处理以确定接口URL和接口类型。确定模块730被配置为根据所述接口类型来确定功能接口。获取模块740被配置为根据所述接口URL通过所确定的功能接口来获取页面数据。检查模块750被配置为对所述页面数据进行自动化检查。

装置700还包括：扫描模块，被配置为以预定的扫描方式对存储页面信息的数据库进行扫描，以确定是否接收到新的页面信息。

装置700与方法100相对应。以上对方法100的具体描述和解释同样适用于装置700，在此不再赘述。

图8示出了根据本发明实施例的计算机执行的基于页面解析进行自动化检查的系统800的示意图。系统800包括处理器810，例如，数字信号处理器(DSP)。处理器810可以是用于执行本文所描述的过程的不同动作的单个单元或多个单元。系统800还可以包括输入/输出(I/O)单元830，用于从其他实体接收信号或者向其他实体发送信号。

此外，系统800包括存储器820，该存储器820可以具有以下形式：非易失性或易失性存储器，例如，电可擦除可编程只读存储器(EEPROM)、闪存等。存储器820存储计算机可读指令，当处理器810执行该计算机可读指令时，该计算机可读指令使处理器执行本文所述的动作。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了检查方法和系统的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims

1.一种计算机执行的基于页面解析进行自动化检查的方法，包括：

当所述页面URL中不存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，对所述页面进行phantomJS解析，以获得接口URL；

当所述接口URL中存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，确定所述接口类型是第一类接口类型；

根据所述接口类型来确定功能接口；

对所述页面数据进行自动化检查。

2.根据权利要求1所述的方法，其中，当对所述页面进行phantomJS解析之后所述页面中还存在未确定接口类型的区域时：

3.根据权利要求1所述的方法，其中，当所述页面URL中存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，确定针对后台业务系统的接口类型是第一类接口类型。

4.根据权利要求2所述的方法，其中，根据所述页面源代码确定针对后台业务系统的接口类型和相应的接口URL包括：

根据所述页面源代码确定关键字；以及

根据所述关键字产生具有所述第一类接口类型的接口URL。

5.根据权利要求4所述的方法，其中，所述关键字是活动标识和区域标识。

6.根据权利要求2所述的方法，其中，根据所述页面源代码确定针对后台业务系统的接口类型和相应的接口URL包括：

根据所述页面源代码确定关键字；以及

7.根据权利要求6所述的方法，其中，所述关键字包括webpagebegin和webpageend。

8.根据权利要求1所述的方法，还包括：

9.根据权利要求8所述的方法，其中，所述预定的扫描方式包括实时扫描方式和定时扫描方式。

10.一种计算机执行的基于页面解析进行自动化检查的装置，包括：

处理模块，被配置为当所述页面URL中不存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，对所述页面进行phantomJS解析，以获得接口URL；确定所述接口URL中是否存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字；当所述接口URL中存在与针对后台业务系统的第一类接口类型的关键字相匹配的关键字时，确定所述接口类型是第一类接口类型；

确定模块，被配置为根据所述接口类型来确定功能接口；

检查模块，被配置为对所述页面数据进行自动化检查。

11.根据权利要求10所述的装置，其中，所述处理模块被进一步配置为：

当对所述页面进行phantomJS解析之后所述页面中还存在未确定接口类型的区域时，对所述页面中未确定接口类型的区域进行解析以获得页面源代码；以及

12.根据权利要求10所述的装置，其中，所述处理模块被进一步配置为：

13.根据权利要求11所述的装置，其中，所述处理模块被进一步配置为：

根据所述页面源代码确定关键字；以及

根据所述关键字产生具有所述第一类接口类型的接口URL。

14.根据权利要求13所述的装置，其中，所述关键字是活动标识和区域标识。

15.根据权利要求11所述的装置，其中，所述处理模块被进一步配置为：

根据所述页面源代码确定关键字；以及

16.根据权利要求15所述的装置，其中，所述关键字包括webpagebegin和webpageend。

17.根据权利要求10所述的装置，还包括：

18.根据权利要求17所述的装置，其中，所述预定的扫描方式包括实时扫描方式和定时扫描方式。

19.一种自动化检查装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至9中任一项所述的自动化检查方法。

20.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至9中任一项所述的自动化检查方法。