CN107329894B - 应用程序系统测试方法、装置及电子设备 - Google Patents

Abstract

本申请提供应用程序系统测试方法、装置及电子设备，该方法适用于生产版本的应用程序，主要包括:当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器；所述服务器存储应用程序相应的多个客户端发送的标识信息和环境信息，统计存储的同一标识信息相应的环境信息出现的概率，输出统计结果。采用本申请可以降低异常搜寻及处理的人工、时间及经济成本。

Description

应用程序系统测试方法、装置及电子设备

技术领域

本申请涉及异常测试领域，尤其涉及应用程序系统测试方法、装置及电子设备。

背景技术

应用程序的测试是使用人工操作或者软件自动运行的方式来检验它是否满足规定的需求，或分析预期结果与实际结果之间的差别的过程。一般情况下，对应用程序开发版本的测试通常是通过在应用程序中封装“断言”来实现，所谓“断言”表示为一些布尔表达式，在程序中的某个特定点，如果不存在异常，那么该布尔表达式值为真，否则为假，当布尔表达式的判断结果为假时，被称为命中断言，当命中断言时，应用程序的测试人员会根据该被命中的断言，来找出异常的位置，再找到异常发生的原因，解决异常。但是，由于很多异常与用户真实的使用环境息息相关，所以，在运行开发版本时，很多异常不会被触发，而应用程序的生产版本在系统环境下运行时这些异常才会被触发。目前，对于生产版本的测试通常是使用异常日志来实现，但是异常日志通常很难定位到异常的准确位置，因此增加了应用程序的测试的人工、时间及经济成本，也给应用程序长期安全、顺畅的运行制造了很大的阻力。

发明内容

有鉴于此，本申请提供一种应用程序系统测试方法、装置及电子设备，以降低应用程序测试中，异常搜寻及处理的人工、时间及经济成本。

具体地，本申请是通过如下技术方案实现的：

一种应用程序系统测试方法，适用于生产版本的应用程序，包括：

当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器；

所述服务器存储应用程序相应的多个客户端发送的标识信息和环境信息，统计存储的同一标识信息相应的环境信息出现的概率，输出统计结果。

在某些例子中，所述服务器包含异常数据库，将所述标识信息和环境信息发送给服务器之后，该方法还包括：

将发送给服务器的标识信息与异常数据库中的数据进行比对，若异常数据库中不存在所述标识信息，将所述标识信息、应用程序的环境信息保存到异常数据库中；

若异常数据库中存在所述标识信息时，记录所述标识信息被发送的次数，将应用程序环境信息保存到异常数据库中。

在某些例子中，所述标识信息包括：应用程序开发人员相关信息；

输出统计结果的步骤，包括：当所述标识信息被发送的次数大于预设值，获取标识信息对应的应用程序开发人员信息，通知相应应用程序开发人员。

一种应用程序的系统测试方法，适用于生产版本的应用程序，该方法运行于客户端，包括：

当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器。

在某些例子中，所述标识信息包括以下至少任一：信息-摘要算法值、应用程序的功能模块名、断言所在的行号、应用程序版本号。

在某些例子中，所述环境信息包括以下至少任一：应用程序所在终端的硬件信息、应用程序所在的网络环境信息、应用程序运行环境信息、模块注入信息、应用程序所在系统程序信息、应用程序所在系统程序用户自定义设置信息、及应用程序客户端用户自定义设置信息。

在某些例子中，该方法还包括：当断言被命中时，获取异常日志信息发送至服务器。

在某些例子中，当触发预设条件时，将标识信息和环境信息给服务器；

所述预设条件包括：预设时间条件、或预设数量条件。

一种电子设备，包括：

存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：

当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器。

一种应用程序系统测试装置，包括：

处理模块，当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息；

发送模块，将处理模块获取的标识信息和环境信息发送给服务器。

本申请通过在应用程序的生产版本中封装若干断言，当异常被触发时，相应的断言被命中，将该断言的标识信息及应用程序的环境信息发送给服务器，且服务器接收应用程序相应多个客户端发送的标识信息和环境信息，这样，由于标识信息包含了异常表达式在应用程序中的定位信息，测试或开发人员可以通过标识信息快速定位异常；而且由于环境信息包含了异常表达式被命中时的应用程序所处的软件及硬件信息，测试或开发人员可以通过服务器对多个应用程序客户端发送环境信息的统计结果，分析出异常产生的原因，减少对测试或开发人员经验的要求，也降低异常搜寻及处理的人工、时间及经济成本。

附图说明

图1是本申请一示例性实施例示出的一种应用程序系统测试方法的部分流程图；

图2是本申请一示例性实施例示出的一种应用程序系统测试方法的部分流程图；

图3是本申请一示例性实施例中一种电子设备的硬件架构图；

图4是本申请一示例性实施例中的应用程序逻辑框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请提供一种应用程序系统测试方法，适用于生产版本的应用程序，应用程序系统测试是针对应用程序的生产版本，来验证系统是否存在异常，找出异常，分析触发异常的原因，从而处理异常。由于系统测试是针对整个系统进行的，很多异常会在系统测试阶段被触发。而生产版本被安装在多个终端设备上，每个终端设备上的应用程序都可通过网络与服务器进行通信。每个终端设备上的应用程序所处的用户环境不同，这样会触发一些属于特定用户环境下才会被触发的异常，比如，用户自定义设置了应用程序的某些快捷键而触发的异常，只有将测试的广度扩展到广大用户，才能保证对异常的全面测试。上述终端设备可以为移动终端、平板电脑、台式电脑、笔记本电脑、智能手机、车载终端、可穿戴设备、便携式媒体播放器等。本申请对设备的类型并不做限制。

图1为本申请应用程序系统测试方法的部分步骤：

S101：当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

S102：获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器；

S103：所述服务器存储应用程序相应的多个客户端发送的标识信息和环境信息，统计存储的同一标识信息相应的环境信息出现的概率，输出统计结果。

断言为一些布尔表达式，在程序中的某个特定点，如果不存在异常，那么该布尔表达式值为真，否则为假，当布尔表达式的判断结果为假时，被称为命中断言，当命中断言时，应用程序的测试人员会根据该被命中的断言，来找出异常的位置，再通过前述多个应用程序的异常被触发数据可以分析出异常被触发的原因，从而处理异常。

在某些例子中，可以由应用程序客户端来执行数据的获取及发送到服务器的操作，当然，在另一些例子中，根据操作系统的差异，可以通过操作系统或其他执行主体来执行数据的获取或发送到服务器的操作。某些例子中，执行数据的获取或发送到服务器的实体可以执行如图2所示的部分步骤：

S201：当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

由于应用程序可能由数百万行代码及数百个组件构成，一旦异常被触发，异常的快速定位问题就显得至关重要，所以本申请在某些例子中，将该应用程序生产版本中封装了若干断言，若干个断言将应用程序分成若干个子集，若某个断言被命中，则该异常极大可能发生在该断言所在的子测试集中，例如：在应用程序的登录模块的第10行封装了一个断言1，25行封装了一个断言2，那么当异常测试表达式2被命中时，说明异常出现在登录模块的11行到24行之间。这样，减小了异常的定位范围。

当然，应用程序中封装了若干个断言，若断言与断言之间不能有效的做出区分，那么某个断言被命中后，异常的定位依然存在困难。在某些例子中，每个断言拥有其独特的标识信息，使得该断言与其他断言区分开，换而言之，标识信息是每个断言的身份证明，通过标识信息可以明确被命中的断言的位置，进而可以通过标识信息很快定位异常的位置。在某些例子中，标识信息可以为直接揭示断言所在位置或子集的信息，如：应用程序的模块名、异常测试表达式所在的行号、应用程序版本号等，在某些例子中也可以通过唯一的信息将断言区分，如：数字及信息-摘要算法值(md5)值等。在某些例子中，为了满足某些功能的需求，标识信息还可以包含应用程序开发人员相关信息等，本申请对标识信息的类型不做限制。

S202：获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器。

在某些例子中，环境信息包括：应用程序所在终端的硬件信息、应用程序所在的网络环境信息、应用程序运行环境信息、第三方应用程序注入信息、应用程序所在系统程序信息、应用程序所在系统程序用户自定义设置信息、及应用程序客户端用户自定义设置信息等，任何可能触发应用程序异常的因素所对应的相关信息都是本申请所保护的范围。由于异常的触发与应用程序的运行环境息息相关，可以通过获取环境信息快速找出异常被触发的原因。

在某些例子中，断言被命中后，还可以获取错误日志的相关内容，并将错误日志的相关内容发送给服务器，以帮助开发人员更好地处理异常。

在某些例子中，为了保证发送给服务器的信息的安全性，获取到标识信息和环境信息后，对上述标识信息和环境信息进行加密，本申请对加密的方式不做限定。

为了减少客户端与服务器之间的交互，在某些例子中，获取到标识信息和环境信息后，可以将上述标识信息和环境信息存储在应用程序客户端所在终端上，当触发设定的条件时，将终端存储的标识信息和环境信息给服务器。该设定条件在某些例子中可以是时间条件，如每天凌晨3点；在某些例子中也可以是数量条件，如存储的标识信息和环境信息达到一定数量；本申请对设定条件不做限制。这样，不仅减少应用程序客户端与服务器之间的交互，还能应对应用程序客户端失去网络连接时，标识信息和环境信息丢失的情况。

在某些例子中，服务器包含异常数据库，服务器将应用程序发送的标识信息和环境信息存储在异常数据库中。以下以服务器作为实行主体，来举例描述。

在某些例子中，服务器接收到应用程序发送的标识信息和环境信息后，将该标识信息与异常数据库中的数据进行比对，若异常数据库中不存在所述标识信息，可以认为该标识信息对应的断言是第一次被命中，异常数据库中没有详细记录过该断言的标识信息，接着将标识信息的详细内容、应用程序的环境信息保存到异常数据库中；

若异常数据库中存在所述标识信息时，可以认为该标识信息并非第一次发送给服务器，由于同一个断言所对应的标识信息一样，所以为了节省服务器的存储空间，不在异常数据库中重复记录已存在的标识信息，仅在该标识信息被发送的次数上加一，再将环境信息保存到异常数据库中。

在某些实施例中，将发送给服务器的标识信息和环境信息分成如表1及表2的两张表格进行存储，表1为标识信息比对表，包括md5值、标识信息被发送的次数，标识信息更新时间；表2为异常信息记录表，存储着详细的标识信息和环境信息；当服务器接收到应用程序发送的标识信息和环境信息后，将标识信息中的md5值与异常数据库中所有表1中的md5值进行比对，若不存在相同的md5值，那么将标识信息和环境信息按表1及表2的内容生成两张表格；若存在相同的md5值，则在命中md5值的表1中增加标识信息被发送的次数，及更新标识信息更新时间，在命中md5值的表2中增加环境信息的数据。在某些例子中，表1和表2可以预先在终端设备中生成，本申请对表生成的执行主体不做限制。这样的存储方式不仅节省了服务器的存储空间，而且提高了数据读写的效率。

表1标识信息比对表

1	md5值	xxxxx
			2	标识信息被发送的次数	180次
3	标识信息更新时间	2017.05.23

表2异常信息记录表

1	md5值	xxxx
			2	模块名	登录模块
3	用户账号	ID4567
			4	版本号	2.0版
5	版本号长度	xxxx
			6	环境信息	xxxx
7	环境信息长度	xxxx
			8	相关开发人员信息	张三
……

在某些例子中，为了更好的分析出异常被触发的原因，服务器统计所述异常数据库中的同一标识信息相应的环境信息出现的概率。统计结果中某一环境信息出现的概率越高越有可能是触发异常的原因，测试及开发人员可以根据异常统计结果很快找出触发异常的原因，这样即使不是经验非常丰富的工程师也能有效处理异常，为应用程序测试节约了人工及时间成本。

一个应用程序一般由多个开发人员甚至多个开发团队合作完成，而异常被触发时，选择解决异常的人员或团队也对异常处理的效率造成一定的影响。显然，最佳的方式是由最初的开发人员来处理该异常，所以在某些例子中，标识信息包括：应用程序开发人员相关信息，当标识信息被发送的次数大于预设值，获取对应的应用程序开发人员信息，通知对应应用程序开发人员。通知对应应用程序开发人员的方式在某些例子中，可以是服务器将异常数据库的数据公布到网站上，并将每个断言被命中的次数按高低排序，并将相应开发人员的单位、科室、姓名及联系方式等信息公布出来。这样开发人员可以通过网站上公布的内容处理其开发的异常。在某些例子中，服务器将异常数据库的数据公布到网站上后，开发人员可以通过搜索开发人员信息的方式查看或获取该开发人员开发的应用程序所出现的异常及相关数据。在某些例子中，通知对应应用程序开发人员的方式可以为：将异常相关的标识信息及环境信息的存储链接地址发送给相关开发人员。本申请对通知对应应用程序开发人员的方式并不做限定。

本申请应用程序系统测试装置可以应用在电子设备上。

与前述应用程序系统测试方法的实施例相对应，本申请还提供了应用程序系统测试装置的实施例。

本申请应用程序测试装置的实施例可以应用在应用程序系统测试装置上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在终端设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本申请应用程序测试装置所在终端设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的终端设备通常根据该终端设备的实际功能，还可以包括其他硬件，对此不再赘述。

某些例子中，当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器。

请参考图4，一种应用程序系统测试装置400，包括：

处理模块401，当应用程序触发异常事件时，应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息；

发送模块402，将所述标识信息和环境信息发送给服务器。

在某些例子，所述标识信息包括以下任一或多个：信息-摘要算法值(md5值)、应用程序的功能模块名、断言所在的行号、应用程序版本号。

在某些例子中，所述环境信息包括以下任一或多个：应用程序所在终端的硬件信息、应用程序所在的网络环境信息、应用程序运行环境信息、模块注入信息、应用程序所在系统程序信息、应用程序所在系统程序用户自定义设置信息、及应用程序客户端用户自定义设置信息。

在某些例子中，所述服务器包含异常数据库，将所述标识信息和环境信息发送给服务器之后，该方法还包括：

将发送给服务器标识信息与异常数据库中的数据进行比对，若异常数据库中不存在所述标识信息，将所述标识信息、应用程序的环境信息保存到异常数据库中；

若异常数据库中存在所述标识信息时，记录所述标识信息被发送的次数，将应用程序环境信息保存到异常数据库中。

在某些例子中，当触发预设条件时，将标识信息和环境信息给服务器；所述预设条件包括：预设时间条件、或预设数量条件。

在某些例子中，当断言被命中时，获取异常日志信息发送至服务器。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种应用程序系统测试方法，其特征在于，适用于生产版本的应用程序，所述生产版本的应用程序封装有若干断言，所述生产版本的应用程序被安装在多个终端设备上，每个所述终端设备的应用程序通过网络与服务器通信，每个所述终端设备上的应用程序所处的用户环境不同，包括：

当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器；

所述服务器存储应用程序相应的多个客户端发送的标识信息和环境信息，统计存储的同一标识信息相应的环境信息出现的概率，输出统计结果。

2.根据权利要求1所述的应用程序系统测试方法，其特征在于，所述服务器包含异常数据库，将所述标识信息和环境信息发送给服务器之后，该方法还包括：

将发送给服务器的标识信息与异常数据库中的数据进行比对，若异常数据库中不存在所述标识信息，将所述标识信息、应用程序的环境信息保存到异常数据库中；

若异常数据库中存在所述标识信息时，记录所述标识信息被发送的次数，将应用程序环境信息保存到异常数据库中。

3.根据权利要求2所述的应用程序系统测试方法，其特征在于，所述标识信息包括：应用程序开发人员相关信息；

输出统计结果的步骤，包括：当所述标识信息被发送的次数大于预设值，获取标识信息对应的应用程序开发人员信息，通知相应应用程序开发人员。

4.一种应用程序的系统测试方法，其特征在于，适用于生产版本的应用程序，所述生产版本的应用程序封装有若干断言，所述生产版本的应用程序被安装在多个终端设备上，每个所述终端设备的应用程序通过网络与服务器通信，每个所述终端设备上的应用程序所处的用户环境不同，该方法运行于客户端，包括：

当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器。

5.根据权利要求4所述应用程序的系统测试方法，其特征在于，所述标识信息包括以下至少任一：信息-摘要算法值、应用程序的功能模块名、断言所在的行号、应用程序版本号。

6.根据权利要求4所述应用程序的系统测试方法，其特征在于，所述环境信息包括以下至少任一：应用程序所在终端的硬件信息、应用程序所在的网络环境信息、应用程序运行环境信息、模块注入信息、应用程序所在系统程序信息、应用程序所在系统程序用户自定义设置信息、及应用程序客户端用户自定义设置信息。

7.根据权利要求4所述应用程序的系统测试方法，其特征在于，该方法还包括：当断言被命中时，获取异常日志信息发送至服务器。

8.根据权利要求4所述应用程序的系统测试方法，其特征在于，当触发预设条件时，将标识信息和环境信息发送给服务器；

所述预设条件包括：预设时间条件、或预设数量条件。

9.一种电子设备，其特征在于，安装有生产版本的应用程序，所述生产版本的应用程序封装有若干断言，所述生产版本的应用程序被安装在多个所述电子设备上，每个所述电子设备的应用程序通过网络与服务器通信，每个所述电子设备上的应用程序所处的用户环境不同，包括：

存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：

当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息，将所述标识信息和环境信息发送给服务器。

10.一种应用程序系统测试装置，其特征在于，适用于生产版本的应用程序，所述生产版本的应用程序封装有若干断言，所述生产版本的应用程序被安装在多个终端设备上，每个所述终端设备的应用程序通过网络与服务器通信，每个所述终端设备上的应用程序所处的用户环境不同，包括：

处理模块，当应用程序触发异常事件时，所述应用程序中封装的相应断言被命中，获取所述断言的标识信息，所述标识信息包含断言的定位信息；

获取应用程序所在客户端的环境信息，所述环境信息包含断言被命中时，应用程序运行的相关软件及硬件信息；

发送模块，将处理模块获取的标识信息和环境信息发送给服务器。

Images