CN103902590A - 终端自动化测试方法及其装置 - Google Patents
终端自动化测试方法及其装置 Download PDFInfo
- Publication number
- CN103902590A CN103902590A CN201210580608.7A CN201210580608A CN103902590A CN 103902590 A CN103902590 A CN 103902590A CN 201210580608 A CN201210580608 A CN 201210580608A CN 103902590 A CN103902590 A CN 103902590A
- Authority
- CN
- China
- Prior art keywords
- match objects
- case
- terminal
- matching
- matching instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/244—Grouping and aggregation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/24—Arrangements for testing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及通信领域,公开了一种终端自动化测试方法及其装置。本发明中,对用于与终端执行结果进行匹配的匹配对象进行了分组保存,每个匹配对象组中的各匹配对象,均设有唯一标识本匹配对象的关键标识。在根据编写的用例控制终端进行自动化测试时,根据匹配指令中的关键标识从数据库中获取匹配对象,将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入执行过程信息LOG文件夹中。通过具备关键标识的匹配对象作为异常分类的依据,使得终端的自动化测试,能以匹配对象为异常类型实现异常分类,无需测试人员在执行测试后再统计异常原因,节省了大量人力,并且也能保证统计结果的准确性。
Description
技术领域
本发明涉及通信领域,特别涉及终端的自动化测试。
背景技术
目前手机行业竞争非常激烈,每年都可以看到非常多的产品推出,这必然让开发周期与测试周期非常短。而为了保证产品的质量,测试强度不可能减少,因此采用自动化测试代替人工测试终端稳定性问题、压力问题已成为最好选择。
目前的终端自动化测试领域,都是以执行指定动作后获取终端返回的文字、终端此时的界面图片、终端发出的声音,然后与指导字符、图片、声音片段匹配,判断此时终端是否异常,如有异常,将异常信息在LOG(执行过程信息)文件夹中输出,记录此用例执行失败。
现有终端自动化测试大多没有异常分类统计、或者以输出信息作为异常分类统计。后者需要专门的异常分类管理模块,在用例编写时需要对异常进行定义管理,测试人员必须对每一个异常所代表的意思非常清晰,也很容易将差不多类型的问题但实际不同的问题归成同一个异常,这必定会对异常统计造成遗漏。
具体地说,自动化测试LOG输出一般分为2种:输出到文件和输出到数据库。
输出到数据库:虽然有方便查询统计的优点,但终端自动化测试大量的图片、声音片段对数据库存储压力非常大,加上数据库不方便流通、开发相对复杂等缺点,在自动化测试领域很少使用。
输出到文件:是目前的终端自动化测试领域保存测试LOG的常规手段。文件相对于数据库,查询速度相对较慢、查询灵活性较差,如果LOG文件比较大,打开与查询都非常慢,对LOG的统计与分析工作带来很多不便。目前以文件为LOG保存媒介的自动化测试软件,大部分执行LOG的保存管理方式如图1所示。
从图1中可以看到,A循环与B循环的LOG是相互独立的,A循环失败的原因与B循环、C循环失败的原因有可能是相同的,A循环中执行的1000次,失败了10次,可能这10次失败的原因是不同的,需要具体分析每条失败用例的LOG才能完整的判断本次测试出现的所有异常。
综上所述,在出现问题后,虽然能看到A、B、C……执行了多少次,失败了多少次,但作为自动化测试最重要的数据,本次测试出现过多少种不同类型的异常时,必须手动展开,一个一个分析,这对自动化测试中动则上千次、上万次的测试,非常费时,还很容易遗漏问题。
虽然为此很多公司推出了专用的LOG统计分析工具进行查询统计,但当面对自动化测试一夜下来就是几G的测试LOG,查询统计的速度让人很头痛。而且测试LOG的查看还需要特殊的工具,对流通也带来了很多不便。
发明内容
本发明的目的在于提供一种终端自动化测试方法及其装置,使得终端的自动化测试,能以匹配对象为异常类型实现异常分类,无需测试人员在执行测试后再统计异常原因,节省了大量人力,并且也能保证统计结果的准确性。
为解决上述技术问题,本发明的实施方式提供了一种终端自动化测试方法,包含以下步骤:
预先将用于与终端执行结果进行匹配的匹配对象保存在数据库中,其中,所述匹配对象根据自身的关键信息进行分组保存,每个匹配对象组中的各匹配对象,均设有唯一标识本匹配对象的关键标识;
在根据编写的用例控制终端进行自动化测试时,根据包含在所述用例中的匹配指令,从所述数据库中获取与当前从终端中获取的终端执行结果数据进行匹配的匹配对象,并根据匹配结果判定用例是否执行异常;其中,所述匹配指令包含待获取的匹配对象的所述关键标识;
将所述匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入执行过程信息LOG文件夹中。
本发明的实施方式还提供了一种终端自动化测试装置,包含:
数据库,用于预先保存用于与终端执行结果进行匹配的匹配对象,其中,所述匹配对象根据自身的关键信息进行分组保存,每个匹配对象组中的各匹配对象,均设有唯一标识本匹配对象的关键标识;
匹配对象获取单元,用于在根据编写的用例控制终端进行自动化测试时,根据包含在所述用例中的匹配指令,从所述数据库中获取与当前从终端中获取的终端执行结果数据进行匹配的匹配对象;其中,所述匹配指令包含待获取的匹配对象的所述关键标识;
匹配单元,用于将所述匹配对象获取单元从数据库中获取的匹配对象,与从终端中获取的终端执行结果数据进行匹配,并根据匹配结果判定用例是否执行异常;
写入单元,用于将所述匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入执行过程信息LOG文件夹中。
本发明实施方式相对于现有技术而言,对用于与终端执行结果进行匹配的匹配对象进行了分组保存,每个匹配对象组中的各匹配对象,均设有唯一标识本匹配对象的关键标识。在根据编写的用例控制终端进行自动化测试时,根据匹配指令中的关键标识从数据库中获取匹配对象,将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入执行过程信息LOG文件夹中。由于各匹配对象均设有唯一标识本匹配对象的关键标识,以匹配指令的方式实现关键标识与执行过程匹配判断绑定,因此无论是在用例的执行过程中,还是在LOG文件夹的写入过程中,都可通过具备关键标识的匹配对象作为异常分类的依据,使得终端的自动化测试,能以匹配对象为异常类型实现异常分类,无需测试人员在执行测试后再统计异常原因,节省了大量人力,并且也能保证统计结果的准确些。
另外,将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入LOG文件夹的步骤中,将根据匹配结果判定用例执行正常的用例,与根据匹配结果判定用例执行异常的用例,分别写入表示用例成功的LOG文件夹和表示用例失败的LOG文件夹。采用异常LOG与正常LOG分开存放的方式方便LOG传递共享。
另外,在用例执行过程中,按照执行顺序统计整个用例执行的全过程;其中,以链接地址的方式记录各匹配指令的执行过程信息在所述表示用例成功的LOG文件夹或所述表示用例失败的LOG文件夹中的位置,并记录匹配指令在执行过程中出现异常的异常行号。通过将每次用例执行保存成单独的LOG文件,用超链接的方式记录存放文件的路径,这样大LOG就被分解成许多的小LOG,每次打开实际加载的数据非常少,没有了查看LOG因为文件太大打开慢的烦恼。在异常统计LOG的超链接中记录了异常点的行号,通过链接可以快速定位到异常LOG对应的行。
另外,在将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入LOG文件夹后,根据表示用例失败的LOG文件夹,统计导致用例执行异常的匹配对象信息。避免了由测试人员手动展开本次测试出现过的各种类型的异常分析,进一步节省了人力资源。
另外,采用超文本标记语言(htm)的文件方式保存LOG文件夹。由于LOG文件能以htm格式输出,使得LOG能快速查看、统计,快速体现此次测试的不同异常点。无需开发其他工具进行统计查看、统计,对于LOG流通非常方便。
附图说明
图1是根据现有技术中自动化测试的LOG保存管理示意图;
图2是根据本发明第一实施方式的终端自动化测试方法原理图;
图3是根据本发明第一实施方式中终端自动化测试的模块化实现示意图;
图4是根据本发明第一实施方式中一个用例的执行流程示意图;
图5是根据本发明第一实施方式的LOG输出效果示意图;
图6是根据本发明第二实施方式的LOG文件部署示意图;
图7是根据本发明第三实施方式的终端自动化测试装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
本发明的第一实施方式涉及一种终端自动化测试方法。其原理流程如图2所示。
在步骤210中,预先将用于与终端执行结果进行匹配的匹配对象保存在数据库中,其中,匹配对象根据自身的关键信息进行分组保存,每个匹配对象组中的各匹配对象,均设有唯一标识本匹配对象的关键标识。
具体地说,匹配对象自身的关键信息包含:匹配对象组名、匹配名称、数据类型、数据内容。包含在同一个匹配对象组内的各匹配对象的匹配名称,均不相同。在本实施方式中,匹配对象的关键标识为匹配对象组名与匹配名称的组合。数据类型包含:字符、图片、声音。
也就是说,在数据库中预先保存匹配对象组名、匹配名称、数据类型、数据内容等关键信息,如表1所示,每个匹配对象如表2所示。
表1
表2
在根据编写的用例控制终端进行自动化测试时,进入步骤220,根据包含在用例中的匹配指令,从数据库中获取与当前从终端中获取的终端执行结果数据进行匹配的匹配对象,并根据匹配结果判定用例是否执行异常;其中,匹配指令包含待获取的匹配对象的关键标识。并且,在从终端中获取终端执行结果数据时,可以根据匹配指令包含的待获取的匹配对象的关键标识,获知该匹配对象的数据类型,并直接从当前终端内获取相同数据类型的终端执行结果数据。
本领域技术人员可以理解,用例由指令构成,用例编辑采用指令为最小执行单元方式。因此,在本实施方式中,当需要匹配文字、图片、声音片段时,将匹配指令的匹配对象指向匹配数据管理模块中的匹配对象,组名+匹配名称作为关键标识。匹配指令每一个匹配项都有匹配成功判定异常、匹配失败判定异常选项,当满足条件时,判断用例执行失败。也就是说,匹配对象的数据内容,可以是正常数据内容,也可以是异常数据内容。如果根据匹配指令从数据库中获取的匹配对象的数据内容,为正常数据内容,则在匹配结果为失败时判断用例执行异常;如果根据匹配指令从数据库中获取的匹配对象的数据内容,为异常数据内容,则在匹配结果为成功时判断用例执行异常。
在步骤230中,测试系统将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入LOG文件夹中。在本实施方式中,将根据匹配结果判定用例执行正常的用例,与根据匹配结果判定用例执行异常的用例,分别写入表示用例成功的LOG文件夹和表示用例失败的LOG文件夹。并且,在本实施方式中,在用例执行过程中,按照执行顺序统计整个用例执行的全过程。其中,以链接地址的方式记录各匹配指令的执行过程信息在所述表示用例成功的LOG文件夹或所述表示用例失败的LOG文件夹中的位置,并记录匹配指令在执行过程中出现异常的异常行号。也就是说,需要将用例执行信息与结果保存到内存中的执行过程LOG统计序列中,如表3所示:
表3
表3所示的整个用例执行的全过程不对具体异常做统计,以用例循环为分组。LOG链接地址中的成功LOG都放passLog目录中,失败LOG都放failLog目录中。值得一提的是,将执行正常的用例与执行异常的用例的LOG分开存放,使得在将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入LOG文件夹后,可以根据表示用例失败的LOG文件夹,统计导致用例执行异常的匹配对象信息,如表4所示。
表4
从表4中可以看出,异常LOG统计按照组名、匹配名称、匹配结果为分组顺序的方式统计所有失败的LOG,异常LOG链接地址都在failLog目录中。
由于终端自动化测试软件大多以指令动作为最小单元,将多条指令组合成一个用例,然后对多个用例进行管理与执行,最后输出执行LOG与执行结果统计。因此,本实施方式中如图2所示的流程,具体可通过如图3所示的匹配数据管理模块、用例编辑管理模块、终端连接模块、用例执行模块、匹配模块、统计模块和LOG输出模块实现,具体如下:
匹配数据管理模块:管理匹配数据,将如表1、表2所示的匹配对象保存至数据库中。即匹配数据管理模块保存匹配对象组名、匹配名称、数据类型、数据等关键信息,组名+匹配名称作为匹配对象的关键标识。匹配对象可以直接设置,也可以通过终端连接模块连接终端,从终端中获取如图片、声音片段、文字等数据类型的匹配对象。
用例编辑管理模块:对指令与用例进行管理,用例编写过程中,将用例中需要匹配的字符、图片、声音片段从匹配数据管理模块中获取。用例编辑采用指令为最小执行单元方式,用例由指令构成。在用例编辑模块中实现匹配指令的方式为:当需要匹配文字、图片、声音片段时,将匹配指令的匹配对象指向匹配数据管理模块中的匹配对象,组名+匹配名称作为关键标识。匹配指令每一个匹配项都有匹配成功判定异常(即在匹配结果为成功时判定用例执行异常)、匹配失败判定异常(即在匹配结果为失败时判定用例执行异常)选项,当满足条件时,判断用例执行失败。
终端连接模块:连接终端设备,能从终端获取文字、图片、声音数据。
匹配模块:提供当前文字、图片、声音与匹配数据管理模块中的文字、图片、声音匹配功能。即将从终端中获取的终端执行结果数据,如文字、图片、声音片段与匹配数据管理模块中的匹配对象进行匹配比较,返回匹配的结果。
统计模块:提供结果LOG统计功能。统计模块用来统计执行用例的执行结果,本实施方式中划分为执行过程LOG统计模块与异常LOG统计模块。
(1)执行过程LOG统计模块:
执行过程中,用例执行完毕,调用执行过程LOG统计模块接口,将用例执行信息与结果保存到内存中的执行过程LOG统计序列中,如表3所示。
(2)异常LOG统计模块
用例执行过程中,当执行匹配指令且判定执行失败时,调用异常LOG统计模块接口,将用例执行信息与结果保存到内存中的异常LOG统计序列中,并将执行LOG从passLog文件夹移动到fileLog文件夹,如表4所示。
LOG输出模块:实现LOG输出。
用例执行模块:能够执行用例,执行过程中,控制终端连接,调用匹配模块匹配数据,能调用统计模块进行统计,调用LOG输出模块进行LOG输出。在用例执行模块中实现:当执行匹配指令时,调用匹配模块接口,实现从当前终端获取的字符、图片、声音片段与指令匹配要求的关键标识对象进行对比。
也就是说,在编写的一个用例中,包含有匹配指令,指令中的匹配关键标识指向匹配管理模块中的关键标识。通过用例执行模块开始执行此用例,执行过程中的交互数据直接保存到执行LOG文件。如图4所示,当执行到匹配指令时,调用匹配模块:匹配模块根据匹配的数据类型获取终端对应类型的数据(文字、图片、声音),根据匹配结果判定此匹配是否导致用例失败。如果判定用例执行失败,根据匹配的关键标识、匹配结果,调用统计模块的异常LOG统计功能:当异常LOG统计中没有此关键标识时,新建此关键标识的类型统计;将本次执行LOG文件移动到失败LOG文件夹中,在异常统计LOG中添加此执行LOG的路径、异常行号、循环名、结果等数据,并写异常统计LOG文件。当用例执行结束时,更新统计LOG数据,写统计LOG文件。
本领域技术人员可以理解,由于各匹配对象均设有唯一标识本匹配对象的关键标识,以匹配指令的方式实现关键标识与执行过程匹配判断绑定,因此无论是在用例的执行过程中,还是在LOG文件夹的写入过程中,都可通过具备关键标识的匹配对象作为异常分类的依据,使得终端的自动化测试,能以匹配对象为异常类型实现异常分类,无需测试人员在执行测试后再统计异常原因,节省了大量人力,并且也能保证统计结果的准确些。
比如说,如图5所示,A、B、C 3组用例进行循环多次执行后,最后输出的异常LOG可以看到所有执行了新建联系人,失败原因为原因1的用例LOG链接,在链接上表明了属于哪个循环,这样也能让测试分析人员区分可能因为循环顺序带来的测试结果不一样。
本发明的第二实施方式涉及一种终端自动化测试方法。第二实施方式在第一实施方式的基础上进行了改进,主要改进之处在于,在本发明第二实施方式中,采用超文本标记语言(htm)的文件方式保存所述LOG文件夹。
具体地说,第一实施方式中的LOG输出模块将每次执行LOG、执行过程统计LOG、异常统计LOG保存为htm格式文件。
如图6所示,执行过程统计LOG文件用web树型表结构记录所有用例执行的次数、测试结果、测试时间等,并将每次用例执行详细LOG用超链接方式指出。执行过程统计LOG呈现完整的测试任务的执行过程。异常统计LOG文件也采用web树型表结构记录所有异常的触发次数,点击展开后,可以看到每一次异常LOG的链接信息,点击链接处,可以打开LOG中异常出现的具体行位置。异常统计LOG呈现整个测试出现的所有异常,并作出统计。
由于本实施方式是在第一实施方式的基础上进行改进,因此本实施方式同样可以达到以下技术效果:
(1)异常分类统计方式优点:以匹配的字符、图片、声音片段为异常类型,实现了异常的快速分类,无需专门的异常分类管理模块,让用例编写人员无需考虑异常的输出分类,简化用例编写。匹配的字符、图片、声音片段是本身具有唯一性,测试全过程都会以此为判断依据,以此进行分类不会有异常遗漏,也避免同一个异常被统计判断成两个异常类型。
(2)LOG输出方式的优点:
a)依据如上异常分类统计,在执行过程中将异常执行LOG文件分目录存放,在执行过程中将异常统计信息单独存储成异常统计LOG文件,无需执行后再统计,就能统计出所有的异常分类。
b)由于采用htm的文件方式进行LOG保存与统计,无需开发其他工具进行统计查看、统计,对于LOG流通非常方便。
c)将每次用例执行保存成单独的LOG文件,用超链接的方式记录存放文件的路径,这样大LOG就被分解成许多的小LOG,每次打开实际加载的数据非常伤,没有了查看LOG因为文件太大打开慢的烦恼。支持了大量LOG的快速查看。
d)在异常统计LOG的超链接中记录了异常点的行号,通过链接可以快速定位到异常LOG对应的行。支持了测试异常LOG快速定位到异常具体LOG位置。
e)将自动化测试中最重要的数据:异常统计信息、异常LOG信息明确的展现出来,只需要很少的分析定位就能发出测试报告,相对传统的需要每条异常LOG都要分析的情况,节省非常多的人力,而且不会有异常遗漏。
f)支持异常LOG轻量快速共享传递:传统的LOG共享传递有:将所有LOG一起传递,当LOG大时,传递非常不方便;或者将异常的LOG文件一一复制出来,再进行共享传递,当异常的文件比较多时,一一寻找比较费时。而本实施方式采用执行时将异常LOG单独保存到异常LOG文件夹,在正常的LOG统计中以超链接的方式访问异常LOG,当需要共享传递时,只需要将异常LOG文件夹共享传递就可以。
本发明第三实施方式涉及一种终端自动化测试装置,如图7所示,包含:
数据库,用于预先保存用于与终端执行结果进行匹配的匹配对象,其中,所述匹配对象根据自身的关键信息进行分组保存,每个匹配对象组中的各匹配对象,均设有唯一标识本匹配对象的关键标识;
匹配对象获取单元,用于在根据编写的用例控制终端进行自动化测试时,根据包含在所述用例中的匹配指令,从所述数据库中获取与当前从终端中获取的终端执行结果数据进行匹配的匹配对象;其中,所述匹配指令包含待获取的匹配对象的所述关键标识;
匹配单元,用于将所述匹配对象获取单元从数据库中获取的匹配对象,与从终端中获取的终端执行结果数据进行匹配,并根据匹配结果判定用例是否执行异常;
写入单元,用于将所述匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入执行过程信息LOG文件夹中。
具体地说,写入单元将根据匹配结果判定用例执行正常的用例,与根据匹配结果判定用例执行异常的用例,分别写入表示用例成功的LOG文件夹和表示用例失败的LOG文件夹。写入单元还用于在用例执行过程中,按照执行顺序统计整个用例执行的全过程;其中,以链接地址的方式记录各匹配指令的执行过程信息在所述表示用例成功的LOG文件夹或所述表示用例失败的LOG文件夹中的位置,并记录匹配指令在执行过程中出现异常的异常行号。另外,写入单元还用于在将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入LOG文件夹后,根据所述表示用例失败的LOG文件夹,统计导致用例执行异常的匹配对象信息。
其中,匹配对象自身的关键信息包含:匹配对象组名、匹配名称、数据类型、数据内容;包含在同一个所述匹配对象组内的各匹配对象的匹配名称,均不相同;所述匹配对象的关键标识为匹配对象组名与匹配名称的组合。
匹配单元根据所述匹配指令包含的待获取的匹配对象的所述关键标识,获知该匹配对象的数据类型,并从当前终端内获取相同数据类型的终端执行结果数据。
不难发现,本实施方式为与第一实施方式相对应的系统实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本发明第四实施方式涉及一种终端自动化测试装置。第四实施方式在第三实施方式的基础上进行了改进,主要改进之处在于:在本发明第四实施方式中,写入单元采用超文本标记语言的文件方式保存所述LOG文件夹。
由于第二实施方式与本实施方式相互对应,因此本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,在第一实施方式中所能达到的技术效果在本实施方式中也同样可以实现,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (16)
1.一种终端自动化测试方法,其特征在于,包含以下步骤:
预先将用于与终端执行结果进行匹配的匹配对象保存在数据库中,其中,所述匹配对象根据自身的关键信息进行分组保存,每个匹配对象组中的各匹配对象,均设有唯一标识本匹配对象的关键标识;
在根据编写的用例控制终端进行自动化测试时,根据包含在所述用例中的匹配指令,从所述数据库中获取与当前从终端中获取的终端执行结果数据进行匹配的匹配对象,并根据匹配结果判定用例是否执行异常;其中,所述匹配指令包含待获取的匹配对象的所述关键标识;
将所述匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入执行过程信息LOG文件夹中。
2.根据权利要求1所述的终端自动化测试方法,其特征在于,所述将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入LOG文件夹的步骤中,包含以下子步骤:
将根据匹配结果判定用例执行正常的用例,与根据匹配结果判定用例执行异常的用例,分别写入表示用例成功的LOG文件夹和表示用例失败的LOG文件夹。
3.根据权利要求2所述的终端自动化测试方法,其特征在于,还包含以下步骤:
在用例执行过程中,按照执行顺序统计整个用例执行的全过程;
其中,以链接地址的方式记录各匹配指令的执行过程信息在所述表示用例成功的LOG文件夹或所述表示用例失败的LOG文件夹中的位置,并记录匹配指令在执行过程中出现异常的异常行号。
4.根据权利要求2所述的终端自动化测试方法,其特征在于,还包含以下步骤:
在将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入LOG文件夹的步骤后,根据所述表示用例失败的LOG文件夹,统计导致用例执行异常的匹配对象信息。
5.根据权利要求1至4中任一项所述的终端自动化测试方法,其特征在于,
所述匹配对象自身的关键信息包含:匹配对象组名、匹配名称、数据类型、数据内容;包含在同一个所述匹配对象组内的各匹配对象的匹配名称,均不相同;
所述匹配对象的关键标识为匹配对象组名与匹配名称的组合。
6.根据权利要求5所述的终端自动化测试方法,其特征在于,所述数据类型包含:
字符、图片、声音。
7.根据权利要求5所述的终端自动化测试方法,其特征在于,所述根据包含在所述用例中的匹配指令,从所述数据库中获取与当前从终端中获取的终端执行结果数据进行匹配的匹配对象的步骤中,包含以下子步骤:
根据所述匹配指令包含的待获取的匹配对象的所述关键标识,获知该匹配对象的数据类型,并从当前终端内获取相同数据类型的终端执行结果数据。
8.根据权利要求5所述的终端自动化测试方法,其特征在于,所述根据匹配结果判定用例是否执行异常的步骤中,包含以下子步骤:
所述匹配对象的数据内容,为正常数据内容或异常数据内容;
如果根据所述匹配指令从所述数据库中获取的匹配对象的数据内容,为正常数据内容,则在匹配结果为失败时判断所述用例执行异常;如果根据所述匹配指令从所述数据库中获取的匹配对象的数据内容,为异常数据内容,则在匹配结果为成功时判断所述用例执行异常。
9.根据权利要求1所述的终端自动化测试方法,其特征在于,
采用超文本标记语言的文件方式保存所述LOG文件夹。
10.一种终端自动化测试装置,其特征在于,包含:
数据库,用于预先保存用于与终端执行结果进行匹配的匹配对象,其中,所述匹配对象根据自身的关键信息进行分组保存,每个匹配对象组中的各匹配对象,均设有唯一标识本匹配对象的关键标识;
匹配对象获取单元,用于在根据编写的用例控制终端进行自动化测试时,根据包含在所述用例中的匹配指令,从所述数据库中获取与当前从终端中获取的终端执行结果数据进行匹配的匹配对象;其中,所述匹配指令包含待获取的匹配对象的所述关键标识;
匹配单元,用于将所述匹配对象获取单元从数据库中获取的匹配对象,与从终端中获取的终端执行结果数据进行匹配,并根据匹配结果判定用例是否执行异常;
写入单元,用于将所述匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入执行过程信息LOG文件夹中。
11.根据权利要求10所述的终端自动化测试装置,其特征在于,所述写入单元将根据匹配结果判定用例执行正常的用例,与根据匹配结果判定用例执行异常的用例,分别写入表示用例成功的LOG文件夹和表示用例失败的LOG文件夹。
12.根据权利要求11所述的终端自动化测试装置,其特征在于,所述写入单元还用于在用例执行过程中,按照执行顺序统计整个用例执行的全过程;
其中,以链接地址的方式记录各匹配指令的执行过程信息在所述表示用例成功的LOG文件夹或所述表示用例失败的LOG文件夹中的位置,并记录匹配指令在执行过程中出现异常的异常行号。
13.根据权利要求11所述的终端自动化测试装置,其特征在于,
所述写入单元还用于在将匹配指令的执行过程和该匹配指令中的匹配对象的关键标识写入LOG文件夹后,根据所述表示用例失败的LOG文件夹,统计导致用例执行异常的匹配对象信息。
14.根据权利要求10至13中任一项所述的终端自动化测试装置,其特征在于,
所述匹配对象自身的关键信息包含:匹配对象组名、匹配名称、数据类型、数据内容;包含在同一个所述匹配对象组内的各匹配对象的匹配名称,均不相同;
所述匹配对象的关键标识为匹配对象组名与匹配名称的组合。
15.根据权利要求14所述的终端自动化测试装置,其特征在于,
所述匹配单元根据所述匹配指令包含的待获取的匹配对象的所述关键标识,获知该匹配对象的数据类型,并从当前终端内获取相同数据类型的终端执行结果数据。
16.根据权利要求10所述的终端自动化测试装置,其特征在于,
所述写入单元采用超文本标记语言的文件方式保存所述LOG文件夹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210580608.7A CN103902590B (zh) | 2012-12-27 | 2012-12-27 | 终端自动化测试方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210580608.7A CN103902590B (zh) | 2012-12-27 | 2012-12-27 | 终端自动化测试方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103902590A true CN103902590A (zh) | 2014-07-02 |
CN103902590B CN103902590B (zh) | 2017-11-10 |
Family
ID=50993918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210580608.7A Active CN103902590B (zh) | 2012-12-27 | 2012-12-27 | 终端自动化测试方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103902590B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105068930A (zh) * | 2015-08-07 | 2015-11-18 | 天津市康凯特软件科技有限公司 | 移动终端测试生成数据的智能分析方法及装置 |
CN107223257A (zh) * | 2017-04-26 | 2017-09-29 | 深圳市汇顶科技股份有限公司 | 测试方法、测试服务器及系统 |
CN109992497A (zh) * | 2017-12-29 | 2019-07-09 | 中国电力科学研究院有限公司 | 一种配电自动化终端标准测试用例更新发布的方法及系统 |
CN114168468A (zh) * | 2021-12-07 | 2022-03-11 | 广州掌动智能科技有限公司 | 软件测试系统及其控制方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6823478B1 (en) * | 2000-09-12 | 2004-11-23 | Microsoft Corporation | System and method for automating the testing of software processing environment changes |
US20070038982A1 (en) * | 2005-08-11 | 2007-02-15 | International Business Machines Corporation | Method and process to automatically perform test builds or translated files for a software product |
US20070061625A1 (en) * | 2005-09-15 | 2007-03-15 | Acosta Juan Jr | Automation structure for software verification testing |
CN101118515A (zh) * | 2007-09-11 | 2008-02-06 | 腾讯科技(深圳)有限公司 | 一种表单的自动测试方法及装置 |
CN101556550A (zh) * | 2009-05-22 | 2009-10-14 | 北京星网锐捷网络技术有限公司 | 一种自动化测试日志分析方法和装置 |
US20100162050A1 (en) * | 2008-12-19 | 2010-06-24 | Cathro Ian A | Fault replay system and method |
-
2012
- 2012-12-27 CN CN201210580608.7A patent/CN103902590B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6823478B1 (en) * | 2000-09-12 | 2004-11-23 | Microsoft Corporation | System and method for automating the testing of software processing environment changes |
US20070038982A1 (en) * | 2005-08-11 | 2007-02-15 | International Business Machines Corporation | Method and process to automatically perform test builds or translated files for a software product |
US20070061625A1 (en) * | 2005-09-15 | 2007-03-15 | Acosta Juan Jr | Automation structure for software verification testing |
CN101118515A (zh) * | 2007-09-11 | 2008-02-06 | 腾讯科技(深圳)有限公司 | 一种表单的自动测试方法及装置 |
US20100162050A1 (en) * | 2008-12-19 | 2010-06-24 | Cathro Ian A | Fault replay system and method |
CN101556550A (zh) * | 2009-05-22 | 2009-10-14 | 北京星网锐捷网络技术有限公司 | 一种自动化测试日志分析方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105068930A (zh) * | 2015-08-07 | 2015-11-18 | 天津市康凯特软件科技有限公司 | 移动终端测试生成数据的智能分析方法及装置 |
CN107223257A (zh) * | 2017-04-26 | 2017-09-29 | 深圳市汇顶科技股份有限公司 | 测试方法、测试服务器及系统 |
CN107223257B (zh) * | 2017-04-26 | 2021-03-19 | 深圳市汇顶科技股份有限公司 | 测试方法、测试服务器及系统 |
CN109992497A (zh) * | 2017-12-29 | 2019-07-09 | 中国电力科学研究院有限公司 | 一种配电自动化终端标准测试用例更新发布的方法及系统 |
CN114168468A (zh) * | 2021-12-07 | 2022-03-11 | 广州掌动智能科技有限公司 | 软件测试系统及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103902590B (zh) | 2017-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110399293B (zh) | 系统测试方法、装置、计算机设备和存储介质 | |
CN109446063A (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
CN105553769B (zh) | 一种数据采集分析系统和方法 | |
CN109710508A (zh) | 测试方法、测试装置、测试设备及计算机可读存储介质 | |
CN108920364A (zh) | 软件缺陷定位方法、装置、终端及计算机可读存储介质 | |
CN108197200A (zh) | 日志追踪方法、装置、计算机设备和存储介质 | |
CN111061696B (zh) | 一种交易报文日志的解析方法及装置 | |
EP2902908A1 (en) | System operation trace method in distributed system | |
CN110083581B (zh) | 一种日志追溯的方法、装置、存储介质及计算机设备 | |
CN107003931B (zh) | 将测试验证从测试执行分离 | |
CN106529304B (zh) | 一种安卓应用并发漏洞检测系统 | |
CN103577310A (zh) | 记录软件调试日志的方法以及装置 | |
CN111258881B (zh) | 一种用于工作流程测试的智能测试系统 | |
US20160321036A1 (en) | Dynamically monitoring code execution activity to identify and manage inactive code | |
CN103902590A (zh) | 终端自动化测试方法及其装置 | |
CN111831574B (zh) | 回归测试规划方法、装置、计算机系统和介质 | |
CN103810094B (zh) | 一种测试案例的执行方法、装置和测试工具 | |
CN101739340B (zh) | 一种脚本文件的验证方法和装置 | |
CN108399125A (zh) | 自动化测试方法、装置、计算机设备和存储介质 | |
CN113220597A (zh) | 测试方法、测试装置、电子设备及存储介质 | |
CN108009086B (zh) | 基于用例分解和功能学习的系统自动化测试方法 | |
CN111125066B (zh) | 检测数据库审计设备功能的方法及装置 | |
CN113127280A (zh) | 一种api接口自动化录入方法及系统 | |
US20170206153A1 (en) | Simulating process variable changes during process runtime | |
CN105991322B (zh) | 一种采集适配器管理系统的处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20140702 Assignee: Shanghai Li Ke Semiconductor Technology Co., Ltd. Assignor: Leadcore Technology Co., Ltd. Contract record no.: 2018990000159 Denomination of invention: Method and device for automated testing of terminal Granted publication date: 20171110 License type: Common License Record date: 20180615 |
|
EE01 | Entry into force of recordation of patent licensing contract |