CN109800153A - 移动应用测试方法与装置、电子设备、存储介质 - Google Patents

移动应用测试方法与装置、电子设备、存储介质 Download PDF

Info

Publication number
CN109800153A
CN109800153A CN201811534140.1A CN201811534140A CN109800153A CN 109800153 A CN109800153 A CN 109800153A CN 201811534140 A CN201811534140 A CN 201811534140A CN 109800153 A CN109800153 A CN 109800153A
Authority
CN
China
Prior art keywords
mobile application
information
topography
image
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811534140.1A
Other languages
English (en)
Inventor
郑如刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201811534140.1A priority Critical patent/CN109800153A/zh
Publication of CN109800153A publication Critical patent/CN109800153A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本公开属于计算机技术领域,涉及一种移动应用测试方法及装置、电子设备、计算机可读存储介质。该方法包括:运行针对移动应用的测试脚本,测试脚本用于模拟用户在移动应用的用户界面上实施的控制操作;在测试脚本的运行过程中,获取移动应用的界面图像;获取用户界面图像中目标区域的局部图像,并提取局部图像中的特征信息;对比特征信息和一目标特征信息,并判断特征信息是否与目标特征信息一致;当特征信息与目标特征信息存在差异时,根据差异输出异常信息。本公开采用图像提取的方式进行移动应用的性能测试,一方面可以对图像中不易观察到的细节测试节点做出测试验证,另一方面可以对渲染后的页面进行测试,使测试结果更加接近真实场景。

Description

移动应用测试方法与装置、电子设备、存储介质
技术领域
本公开涉及计算机应用技术领域,尤其涉及一种移动应用测试方法与移动应用测试装置、电子设备及计算机可读存储介质。
背景技术
移动应用(Mobile Application)包含个人以及企业级应用,在企业信息化的各个领域都是无处不在的。例如运行于智能手机上的各种APP程序。在移动应用上线前,通常需要进行各种性能测试。目前,针对APP程序的主流测试基本会用到Appium等各种自动化测试工具。
相关技术中的移动应用测试通常是针对个别元素(例如控件)进行功能测试。这种测试方法无法对移动应用的整体显示效果做出评估,特别是在文本内容、配色方案、位置布局等细节特征的测试方面存在较大缺陷。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种移动应用测试方法与移动应用测试装置、电子设备及计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制而导致的移动应用在测试方面的各种缺陷。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种移动应用测试方法,所述方法包括:运行针对移动应用的测试脚本,所述测试脚本用于模拟用户在所述移动应用的控制操作;在所述测试脚本的运行过程中,获取所述移动应用的界面图像;获取用户界面图像中目标区域的局部图像,并提取局部图像中的特征信息;对比特征信息和一目标特征信息,并判断所述特征信息是否与所述目标特征信息一致;当所述特征信息与所述目标特征信息存在差异时,根据所述差异输出异常信息。
在本公开的一种示例性实施例中,所述获取所述移动应用的界面图像包括:根据所述测试脚本的测试内容预设一个或多个图像采集节点;实时监听所述测试脚本的运行进度,并判断所述运行进度是否到达所述图像采集节点;当所述运行进度到达所述图像采集节点时,采集所述移动应用的界面图像。
在本公开的一种示例性实施例中,所述获取所述移动应用的界面图像包括:以预设时间为间隔,周期性采集所述移动应用的界面图像。
在本公开的一种示例性实施例中,所述特征信息包括文本信息、编码信息和/或色彩信息。
在本公开的一种示例性实施例中,所述提取所述局部图像中的特征信息,包括:通过滤波算法对所述局部图像进行噪声去除;对所述局部图像进行角度校正;通过卷积神经网络算法对所述局部图像进行字符识别,以获得所述文本信息。
在本公开的一种示例性实施例中,所述提取所述局部图像中的特征信息,包括:对所述局部图像进行灰度化处理后得到灰度图;对所述灰度图中的各个像素点的像素值进行二值化处理;按照预设顺序对经过二值化处理后的各个像素点的像素值进行级联,以获得所述编码信息。
在本公开的一种示例性实施例中,所述获取所述用户界面图像中目标区域的局部图像,包括:设置局部区域选择框,局部区域选择框的形状与目标区域形状相同;调整所述局部区域选择框的位置,以使之与所述目标区域重合;截取所述局部区域选择框中的图像作为所述局部图像。
根据本公开的一个方面,提供一种移动应用测试装置,所述装置包括:脚本运行模块,被配置为运行针对移动应用的测试脚本,所述测试脚本用于模拟用户在所述移动应用的控制操作;图像获取模块,被配置为在所述测试脚本的运行过程中,获取所述移动应用的界面图像;特征提取模块,被配置为获取所述用户界面图像中目标区域的局部图像,并提取所述局部图像中的特征信息;特征对比模块,被配置为对比所述特征信息和一目标特征信息,并判断所述特征信息是否与目标特征信息一致;信息输出模块,被配置为当所述特征信息与所述目标特征信息存在差异时,根据所述差异输出异常信息。
根据本公开的一个方面,提供一种电子设备,包括:处理器和存储器;其中,存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例的移动应用测试方法。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意示例性实施例中的移动应用测试方法。
本公开的示例性实施例具有以下有益效果:
在本公开的示例性实施例提供的方法及装置中,基于图像提取的方式对移动应用整体的加载和显示效果进行监控测试。一方面,在移动应用运行测试过程中获取界面图像,可以直观地对测试过程中的运行效果做出对比,特别是对于图像中不易观察到的细节测试点,例如广告内容、文本信息、页面配色、位置布局等内容,可以准确地做出测试验证。另一方面,采用图像提取、图像识别和分析对比的方式可以使测试效果更加接近真实应用场景。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种移动应用测试方法的流程图;
图2示意性示出本公开实施例中一种移动应用测试方法的部分步骤流程图;
图3示意性示出本公开实施例中一种移动应用测试方法的部分步骤流程图;
图4示意性示出本公开实施例中一种移动应用测试方法的部分步骤流程图;
图5示意性示出本公开实施例中一种移动应用测试方法的部分步骤流程图;
图6示意性示出本公开示例性实施例中一种移动应用测试装置的结构示意图;
图7示意性示出本公开示例性实施例中一种用于实现移动应用测试方法的电子设备;
图8示意性示出本公开示例性实施例中一种用于实现移动应用测试方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例性实施方式。然而,示例性实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例性实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
需要说明的是,本公开中,用语“包括”、“配置有”、“设置于”用以表示开放式的包括在内的意思,并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”、“第二”等仅作为标记使用,不是对其对象数量或次序的限制。
在本公开的示例性实施例中,首先提供了一种移动应用测试方法,该方法可以应用于对各种移动应用的性能测试中,其中移动应用可以运行于手机、笔记本、平板电脑等各种移动终端中。参考图1中所示,该移动应用测试方法主要可以包括以下步骤:
步骤S101.运行针对移动应用的测试脚本,测试脚本用于模拟用户对移动应用的用户界面上实施的控制操作。
针对待测试的移动应用,本步骤可以首先运行一套预先编写的测试脚本。其中,该测试脚本是指移动应用的运行脚本,用于模拟用户对移动应用的用户界面实施的相关操作,例如针对移动应用中的元素(例如控件)的点击、滑动等操作。
步骤S102.在测试脚本的运行过程中,获取移动应用的用户界面图像。
当测试脚本运行时,响应于测试脚本中模拟的控制操作,移动应用会做出相应的反馈,例如加载文字、图片、广告、跳转页面等等。本步骤在测试脚本的运行过程中,可以实时获取移动应用的所有用户界面图像,也可以仅在预先设定的测试脚本运行节点获取移动应用的指定用户界面图像。另外,本步骤中获取的用户界面图像可以是移动应用的完整用户界面图像,也可以是移动应用在指定区域内的部分用户界面图像,本示例性实施例对此均不做特殊限定。
步骤S103.获取用户界面图像中目标区域的局部图像,并提取局部图像中的特征信息。
在步骤S102中可以获得移动应用的至少一个用户界面图像,本步骤将对目标区域的用户界面图像进行处理以获得用户界面图像中的特征信息,获取的目标区域的用户界面图像应是用户界面图像的局部图像。该特征信息例如可以包括文本信息、色彩信息、编码信息等诸多类型,本步骤可以根据移动应用的测试需求获取相应区域的一种或多种类型的特征信息。
步骤S104.对比特征信息和一目标特征信息,并判断特征信息是否与目标特征信息一致。
由步骤S103提取到局部图像的相应区域的特征信息之后,本步骤将把提取到的特征信息与目标特征信息进行对比,并判断二者是否一致。其中,目标特征信息可以是从移动应用的设计图中提取得到的,另外,也可以是根据测试需要而预先设定的,本示例性实施例对此不做特殊限定。
步骤S105.当特征信息与目标特征信息存在差异时,根据二者差异输出异常信息。
根据步骤S104的对比和判断结果,如果提取到的特征信息与目标特征信息存在差异,那么可以判定待测试的移动应用存在异常,本步骤便可以根据对比得到的差异结果输出异常信息。该异常信息可以包括差异结果所在的局部图像信息、差异结果在相应局部图像中的位置信息以及差异结果对应的特征信息类型。根据输出的异常信息,测试人员可以很快定位得到异常位置和异常特征,并相应地对出现异常的移动应用做出调整和修复。
根据本示例实施例中的移动应用测试方法,一方面,在移动应用运行测试过程中提取局部图像,可以直观地获得测试过程中移动应用的实际运行效果,特别是对于图像中不易观察到的细节测试点,例如文本信息、页面配色、位置布局等内容,可以准确地做出测试验证。另外一方面,直接针对渲染后的页面进行监控,可以使监控更加接近真实场景。
在以上实施例的基础上,如图2所示,步骤S102中的获取移动应用的用户界面图像可以包括以下步骤:
步骤S201.根据测试脚本的测试内容预设一个或多个图像采集节点。
当用户提供测试需求时,可以识别用户的测试需求进行图像采集节点的预设。例如,首先可以获取测试脚本中各命令语句的实现功能,用户提供三个测试需求,根据这些测试需求可以在命令语句中标记出对应于用户测试需求的三条或其他数量的相关命令语句,并将标记出的命令语句执行步骤设置为图像采集节点。
除此之外,在测试脚本的测试内容中包括对多个控件的点击操作,为了测试在点击相应控件后,移动应用的显示状态是否正常,那么便可以将测试脚本中执行点击控件操作后的节点作为图像采集节点。例如,用户需要测试广告页面的跳转和加载效果,那么可以将点击广告页面加载控件的命令语句作为一个图像采集节点。另外,还可以将测试脚本中执行点击控件操作前的节点作为图像采集节点,用以提高后续的对比效果。并且,针对其他的测试需求,也可以设置相应的节点。
步骤S202.实时监听测试脚本的运行进度,并判断运行进度是否到达图像采集节点。
由步骤S201预设至少一个图像采集节点后,本步骤将对测试脚本的运行进度进行实时监听,同时判断测试脚本的运行进度是否达到预设的图像采集节点。
步骤S203.当运行进度到达图像采集节点时,采集移动应用的用户界面图像。
根据步骤S202的监听结果,如果判断测试脚本的运行进度到达预设的图像采集节点,那么本步骤将采集该节点下移动应用的用户界面图像。如果步骤S201中预设的图像采集节点有多个,那么本步骤也将相应地采集到多个用户界面图像。
本实施例中根据测试脚本的测试内容预设多个图像采集节点,可以有针对性地采集移动应用的用户界面图像,适用于测试目标明确的应用场景。
在另一示例性实施例中,步骤S202中的获取移动应用的界面图像也可以包括:以预设时间为间隔,周期性采集移动应用的界面图像。
例如,测试脚本的运行总时长为0.5秒,预设时间为运行总时长的十分之一,即0.05秒。那么可以从测试脚本开始运行作为计时起点,每隔0.05秒采集一次移动应用的界面图像,当测试脚本运行结束时便可以得到10个界面图像。这种连续采集界面图像的方式适用于对测试目标没有明确限定的应用场景,预设时间间隔越短,获得的界面图像也越多,具有测试普遍性。
在本公开的另一示例性实施例中,在步骤S203中所提取的界面图像的特征信息可以包括文本信息、编码信息和/或色彩信息。
例如,在一些应用场景中,如果需要测试移动应用的配色方案是否正常,那么步骤S203便可以提取采集到的界面图像的色彩信息;如果需要测试移动应用的文本加载是否正常,那么步骤S203便可以提取采集到的界面图像的文本信息;此外,如果需要测试移动应用中控件或者其他元素的位置布局是否正常,那么步骤S203便可以提取采集到的界面图像的编码信息,该编码信息主要可以利用像素值反映界面图像中各个元素的边界关系,进而间接地反映出界面图像中各个元素的位置布局。利用多种特征信息类型的组合可以对移动应用进行多维度的页面测试,获得更好的测试效果。
针对文本信息这一特征信息类型,提取界面图像中的文本信息主要用于标识图像中涉及的文字部分,主要可以用于对比文字内容等特征信息是否与目标特征信息一致。其中,提取文本信息的方式可以利用光学字符识别技术(optical character recognition,简称OCR),具体可以包括:噪声去除、角度校正、字符识别等步骤。
如图3所示,在本公开的一种示例性实施例中,步骤S103提取局部图像中的特征信息,可以进一步包括以下步骤:
步骤S301.通过滤波算法对局部图像进行噪声去除。
局部图像的噪声去除可以通过滤波算法来实现,例如可以采用中值滤波、高斯滤波等滤波算法。以中值滤波算法为例,该方法通过将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值,让每个像素点周围的像素值接近真实值,从而消除孤立的噪声点。
步骤S302.对局部图像进行角度校正。
由步骤S301对局部图像进行噪声去除后,本步骤将对经过噪声去除后的局部图像进行角度校正。角度校正具体可以包括:对待校正的局部图像进行膨化处理,检测膨化后的局部图像的边缘、对检测到的边缘点进行hough变换找到最长线段的角度、得到直线角度并旋转图像角度。
步骤S303.通过卷积神经网络算法对局部图像进行字符识别,获得文本信息。
在步骤S302得到的局部图像可以进行字符识别来获得文本信息。字符识别可以采用卷积神经网络算法,具体可以包括:利用滴水算法进行字符切割,获得局部图像中的多个单字图;分别将每个单字图输入到预先训练得到的目标卷积神经网络中,进行向前传播,获得每个单字图的字符识别结果,最后对各个单字图识别得到的字符进行组合以得到局部图像中的完整的文本信息。
其中,目标卷积神经网络的训练过程可以包括:获得训练数据集和测试数据集,训练数据集包含设定第一数量的单字图样本,测试数据集包含设定第二数量的单字图样本;初始化卷积神经网络,设定网络结构和初始网络参数;利用训练数据集对卷积神经网络进行训练,调整网络参数,确定训练过程中的误差;将测试数据集输入到卷积神经网络中进行测试,获得测试正确率;重复执行训练和测试步骤,直至卷积神经网络的误差低于预设第一阈值,并且测试正确率高于预设第二阈值,完成目标卷积神经网络的训练。
本实施例可以用来提取局部图像的文本信息特征,对局部图像的文本信息的描述和理解有着重要价值,是移动应用的用户界面图像检索的关键线索。
针对编码信息这一特征信息类型,提取局部图像中的编码信息主要可以用来测试局部图像中的各个元素(例如控件)的位置关系是否符合预期。
如图4所示,提取局部图像中的编码信息的方法可以包括以下步骤:
步骤S401.将局部图像进行灰度化处理后得到灰度图。
在本步骤中,将对移动应用的局部图像进行处理,使其成为灰度图。灰度图与移动应用的局部图像一样,都可以反映图像的整体和局部的色度和亮度等级的分布和特征。灰度化处理可以采用最大值法、平均值法、加权平均法或者其他任意的灰度化处理方法。例如,采用最大值法进行灰度化处理,可以将局部图像中的RGB三分量亮度的最大值作为灰度图的灰度值;采用平均值法进行灰度化处理,可以将局部图像的RGB三分量亮度求平均作为灰度图的灰度值;采用加权平均法进行灰度化处理,可以对RGB三分量亮度进行加权求和作为灰度图的灰度值。
步骤S402.将所述灰度图中的各个像素点进行二值化处理。
针对在步骤S401中经过灰度化处理的局部图像,需要本步骤继续对其进行二值化处理,例如可以将灰度图上的像素点的灰度值设置为0或255,整幅图像呈现出黑和白的视觉效果。具体而言,可以设定一个阈值将灰度化处理后的局部图像中的像素点分成两部分,对于灰度值大于阈值的像素点,可以将其灰度值统一设置为0,而对于灰度值小于阈值的像素点,可以将其灰度值统一设置为255。除此之外,本步骤还可以对设定的阈值进行动态调节,从而可以动态观察其分割图像的具体结果,以便根据图像分割效果相应地做出调整。
步骤S403.按照预设顺序对经过二值化处理后的各个像素点的像素值进行级联,获得编码信息。
由步骤S402完成二值化处理后,本步骤可以对局部图像中各个像素点的像素值(即灰度图的灰度值)按照预设顺序进行级联以获得编码信息。为了简化编码信息,本步骤还可以对经过二值化处理的各个像素点的像素值进行归一化处理。例如,步骤S402中将各个像素点进行二值化处理后得到0和255两种灰度值,那么本步骤可以对灰度值为0的像素点取编码值为0,而对灰度值为255的像素点取编码值为1。举例而言,针对一个大小为16*16的灰度图,本步骤中可以按照以下坐标顺序对各个像素点的像素值进行级联:(1,1)、(1,2)、(1,3)、(1,4)、(1,5)、(1,6)、(1,7)、(1,8)、(1,9)、(1,10)、(1,11)、(1,12)、(1,13)、(1,14)、(1,15)、(1,16)、(2,1)、(2,2)、(2,3)、(2,4)、(2,5)、(2,6)、(2,7)、(2,8)、(2,9)、(2,10)、(2,11)、(2,12)、(2,13)、(2,14)、(2,15)、(2,16)、……。完成级联后可以得到一个长度为256位、由0和1组成的字符串,该字符串即为该灰度图的编码信息。
本实施例通过提取局部图像的编码信息,可以针对性地对局部图像中的相关元素(例如控件)的位置关系进行标识,以便判断移动应用的局部图像与目标局部图像中各元素位置的布局差异性。
针对色彩信息这一特征信息类型,提取局部图像中的色彩信息主要测试局部图像中的配色方案是否正常。
例如,获取局部图像的色彩信息可以采用生成颜色直方图的方法。即通过提取颜色直方图计算得到颜色相似度,从而得到配色方面的对比结果。其中,颜色直方图可以基于RGB颜色空间,也可以是基于HSV颜色空间。RGB颜色空间是指以红(Red)、绿(Green)、蓝(Blue)三种色光原色加法混合而成的色彩模型。HSV颜色空间是把色调(Hue)、饱和度(Saturation)和明度(Value)作为色值来定位颜色空间,相比较于RGB颜色空间,HSV颜色空间是面向对象的,能够非常直观地表达色彩的明暗、色调以及鲜艳程度,方便进行颜色之间的对比。
在本公开的另一示例性实施例中,步骤S103获取用户界面图像中目标区域的局部图像,可以进一步包括如图5所示的以下步骤:
步骤S501.设置局部区域选择框,局部区域选择框的形状与目标区域形状相同。
在本步骤中,可以将需要提取特征信息的局部区域作为目标区域,例如目标区域可以是广告、按钮或者其他元素的所在区域。为了获取该局部区域的特征信息需要设置一个局部区域选择框,其形状与目标区域形状相同,例如可以是矩形、圆形、圆角矩形等。
步骤S502.调整局部区域选择框的位置,使之与目标区域重合。
由步骤S501设置目标区域的相应局部区域选择框后,本步骤需要对设置好的局部区域选择框的位置进行调整,可以使其与步骤S501中需要提取特征信息的局部区域刚好重合。
步骤S503.截取局部区域选择框中的图像作为局部图像。
由步骤S502将局部区域选择框重合于目标区域后,可以用提取文字信息、编码信息和色彩信息的实施例的实施方式对局部图像的特征信息进行提取。例如,目标区域是广告部分的图像,可以将提取得到的特征信息与实时获取到的最新广告信息进行对比。如果文字信息相同而色彩信息不同,那么可以判断当前广告是最新广告,但是配色显示上存在问题,如果文字信息和色彩信息均不同,那么可以判断当前广告不是最新广告,应当进一步检测广告推送接口是否存在问题。例如,目标区域是按钮部分,可以对连续采集的用户界面图像进行自身对比,通过对提取到的色彩信息进行对比,即可获知按钮是否常亮以及按钮配色是否正常。
基于以上实施例,在本公开的一种优选实施方式中,可以分别得到局部图像的文本信息、编码信息、色彩信息,并同时得到与局部图像对应的目标图像(例如移动应用的设计图)的文本信息、编码信息和色彩信息。然后,可以将局部图像与目标图像的文本信息进行对比,如若二者之间存在差异,则输出对比结果。同样,可对局部图像和目标图像的编码信息进行对比,并分别对局部图像和目标色彩信息进行对比,二者不一致时,分别输出各对比结果。该异常信息可以包括差异结果所在的局部图像信息、差异结果在相应局部图像中的位置信息以及差异结果对应的特征信息类型。在得到上述各差异性结果之后,可将其发送给开发人员,供开发人员进行参考和进行进一步的优化和测试等。
在本实施例中,对局部图像的各特征信息的差异性进行对比的方式仅为举例说明,在实际应用中,具体执行顺序可根据实际需要而定。例如,在得到局部图像和目标图像的文本信息之后,即可对两者进行对比,而不必得到所有特征信息之后再进行对比。
需要说明的是,虽然以上示例性实施例的实施方式以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或者必须执行全部的步骤才能实现期望的结果。附加地或者备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
此外,在本公开的示例实施例中,还提供了一种移动应用测试装置。参照图6所示,移动应用测试装置600可以包括:脚本运行模块601、图像获取模块602、特征提取模块603、特征对比模块604以及信息输出模块605。其中:
文本数据获取模块601可用于运行针对移动应用的测试脚本,该测试脚本用于模拟用户对移动应用的控制操作;图像获取模块602可以用于在测试脚本的运行过程中,获取移动应用的用户界面图像;特征提取模块603可以用于获取用户界面图像中目标区域的局部图像,并提取局部图像中的特征信息;特征对比模块604可以用于对比特征信息和一目标特征信息并判断特征信息是否与目标特征信息一致;信息输出模块605可以用于当特征信息与目标特征信息存在差异时,根据该差异输出异常信息。
上述移动应用测试装置的具体细节已经在对应的移动应用测试方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了移动应用测试装置600的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
下面参照图7来描述根据本发明的这种实施例的电子设备700。图7显示的电子设备700仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于:上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元710执行,使得所述处理单元710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202,还可以进一步包括只读存储单元(ROM)7203。
存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204,这样的程序模块7205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备700交互的设备通信,和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器740通过总线730与电子设备700的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图8所示,描述了根据本发明的实施例的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种移动应用测试方法,其特征在于,包括:
运行针对移动应用的测试脚本,所述测试脚本用于模拟用户在所述移动应用的用户界面上实施的控制操作;
在所述测试脚本的运行过程中,获取所述移动应用的用户界面图像;
获取所述用户界面图像中目标区域的局部图像,并提取所述局部图像中的特征信息;
对比所述特征信息和一目标特征信息,并判断所述特征信息是否与所述目标特征信息一致;
当所述特征信息与所述目标特征信息存在差异时,根据所述差异输出异常信息。
2.根据权利要求1所述的移动应用测试方法,其特征在于,所述获取所述移动应用的用户界面图像包括:
根据所述测试脚本的测试内容预设一个或多个图像采集节点;
实时监听所述测试脚本的运行进度,并判断所述运行进度是否到达所述图像采集节点;
当所述运行进度到达所述图像采集节点时,获取所述移动应用的用户界面图像。
3.根据权利要求1所述的移动应用测试方法,其特征在于,所述获取所述移动应用的用户界面图像包括:
以预设时间为间隔,周期性采集所述移动应用的用户界面图像。
4.根据权利要求1所述的移动应用测试方法,其特征在于,所述特征信息包括文本信息、编码信息和/或色彩信息。
5.根据权利要求4所述的移动应用测试方法,其特征在于,所述提取所述局部图像中的特征信息,包括:
通过滤波算法对所述局部图像进行噪声去除;
对所述局部图像进行角度校正;
通过卷积神经网络算法对所述局部图像进行字符识别,以获得所述文本信息。
6.根据权利要求4所述的移动应用测试方法,其特征在于,所述提取所述局部图像中的特征信息,包括:
对所述局部图像进行灰度化处理后得到灰度图;
对所述灰度图中的各个像素点的像素值进行二值化处理;
按照预设顺序对经过二值化处理后的各个像素点的像素值进行级联,以获得所述编码信息。
7.根据权利要求1所述的移动应用测试方法,其特征在于,所述获取所述用户界面图像中目标区域的局部图像,包括:
设置局部区域选择框,所述局部区域选择框的形状与目标区域形状相同;
调整所述局部区域选择框的位置,以使之与所述目标区域位置重合;
截取所述局部区域选择框中的图像作为所述局部图像。
8.一种移动应用测试装置,其特征在于,包括:
脚本运行模块,被配置为运行针对移动应用的测试脚本,所述测试脚本用于模拟用户在所述移动应用的用户界面上实施的控制操作;
图像获取模块,被配置为在所述测试脚本的运行过程中,获取所述移动应用的用户界面图像;
特征提取模块,被配置为获取所述用户界面图像中目标区域的局部图像,并提取所述局部图像中的特征信息;
特征对比模块,被配置为对比所述特征信息和一目标特征信息,并判断所述特征信息是否与所述目标特征信息一致;
信息输出模块,被配置为当所述特征信息与所述目标特征信息存在差异时,根据所述差异输出异常信息。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现权利要求1至7中任意一项所述的移动应用测试方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的移动应用测试方法。
CN201811534140.1A 2018-12-14 2018-12-14 移动应用测试方法与装置、电子设备、存储介质 Pending CN109800153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811534140.1A CN109800153A (zh) 2018-12-14 2018-12-14 移动应用测试方法与装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811534140.1A CN109800153A (zh) 2018-12-14 2018-12-14 移动应用测试方法与装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN109800153A true CN109800153A (zh) 2019-05-24

Family

ID=66556808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811534140.1A Pending CN109800153A (zh) 2018-12-14 2018-12-14 移动应用测试方法与装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN109800153A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619630A (zh) * 2019-09-10 2019-12-27 南京知倍信息技术有限公司 一种基于机器人的移动设备可视化测试系统及测试方法
CN110765015A (zh) * 2019-10-24 2020-02-07 北京云聚智慧科技有限公司 一种对被测应用进行测试的方法和电子设备
CN111026644A (zh) * 2019-11-20 2020-04-17 东软集团股份有限公司 操作结果的标注方法、装置、存储介质和电子设备
CN111273178A (zh) * 2020-02-27 2020-06-12 广州能源检测研究院 电池测试中断识别方法、装置、系统、介质和计算设备
CN111611144A (zh) * 2020-05-27 2020-09-01 中国工商银行股份有限公司 用于处理性能测试数据的方法、装置、计算设备和介质
CN111881054A (zh) * 2020-08-04 2020-11-03 携程计算机技术(上海)有限公司 用户界面自动化测试方法、系统、设备及存储介质
CN112084103A (zh) * 2019-06-12 2020-12-15 百度在线网络技术(北京)有限公司 界面测试方法、装置、设备和介质
CN112308069A (zh) * 2020-10-29 2021-02-02 恒安嘉新(北京)科技股份公司 一种软件界面的点击测试方法、装置、设备及存储介质
CN112738705A (zh) * 2021-01-05 2021-04-30 北京小米移动软件有限公司 一种音效调节方法、装置、电子设备及存储介质
CN112988586A (zh) * 2021-03-25 2021-06-18 腾讯科技(深圳)有限公司 一种控件测试方法、装置、电子设备及存储介质
CN113805977A (zh) * 2020-06-11 2021-12-17 中移(苏州)软件技术有限公司 测试取证方法及模型训练方法、装置、设备、存储介质

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084103B (zh) * 2019-06-12 2023-12-08 百度在线网络技术(北京)有限公司 界面测试方法、装置、设备和介质
CN112084103A (zh) * 2019-06-12 2020-12-15 百度在线网络技术(北京)有限公司 界面测试方法、装置、设备和介质
CN110619630A (zh) * 2019-09-10 2019-12-27 南京知倍信息技术有限公司 一种基于机器人的移动设备可视化测试系统及测试方法
CN110619630B (zh) * 2019-09-10 2023-04-07 南京知倍信息技术有限公司 一种基于机器人的移动设备可视化测试系统及测试方法
CN110765015A (zh) * 2019-10-24 2020-02-07 北京云聚智慧科技有限公司 一种对被测应用进行测试的方法和电子设备
CN111026644A (zh) * 2019-11-20 2020-04-17 东软集团股份有限公司 操作结果的标注方法、装置、存储介质和电子设备
CN111026644B (zh) * 2019-11-20 2023-09-26 东软集团股份有限公司 操作结果的标注方法、装置、存储介质和电子设备
CN111273178A (zh) * 2020-02-27 2020-06-12 广州能源检测研究院 电池测试中断识别方法、装置、系统、介质和计算设备
CN111611144B (zh) * 2020-05-27 2023-09-19 中国工商银行股份有限公司 用于处理性能测试数据的方法、装置、计算设备和介质
CN111611144A (zh) * 2020-05-27 2020-09-01 中国工商银行股份有限公司 用于处理性能测试数据的方法、装置、计算设备和介质
CN113805977B (zh) * 2020-06-11 2024-03-19 中移(苏州)软件技术有限公司 测试取证方法及模型训练方法、装置、设备、存储介质
CN113805977A (zh) * 2020-06-11 2021-12-17 中移(苏州)软件技术有限公司 测试取证方法及模型训练方法、装置、设备、存储介质
CN111881054A (zh) * 2020-08-04 2020-11-03 携程计算机技术(上海)有限公司 用户界面自动化测试方法、系统、设备及存储介质
CN111881054B (zh) * 2020-08-04 2023-12-22 携程计算机技术(上海)有限公司 用户界面自动化测试方法、系统、设备及存储介质
CN112308069A (zh) * 2020-10-29 2021-02-02 恒安嘉新(北京)科技股份公司 一种软件界面的点击测试方法、装置、设备及存储介质
CN112738705A (zh) * 2021-01-05 2021-04-30 北京小米移动软件有限公司 一种音效调节方法、装置、电子设备及存储介质
CN112988586B (zh) * 2021-03-25 2023-07-14 腾讯科技(深圳)有限公司 一种控件测试方法、装置、电子设备及存储介质
CN112988586A (zh) * 2021-03-25 2021-06-18 腾讯科技(深圳)有限公司 一种控件测试方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109800153A (zh) 移动应用测试方法与装置、电子设备、存储介质
CN109784369A (zh) H5页面测试方法与装置、电子设备、存储介质
US10984517B2 (en) Utilizing a machine learning model to automatically visually validate a user interface for multiple platforms
CN109783360A (zh) 操作系统对比测试方法与装置、电子设备、存储介质
US20190266434A1 (en) Method and device for extracting information from pie chart
CN109815156A (zh) 页面中视觉元素的展示测试方法、装置、设备和存储介质
CN109345553B (zh) 一种手掌及其关键点检测方法、装置和终端设备
CN109255369A (zh) 利用神经网络识别图片的方法及装置、介质和计算设备
CN111652087B (zh) 验车方法、装置、电子设备和存储介质
CN108229485A (zh) 用于测试用户界面的方法和装置
CN106775241B (zh) 信息呈现方法、设备和计算机可读存储介质
JP7286208B2 (ja) 生体顔検出方法、生体顔検出装置、電子機器、及びコンピュータプログラム
CN115210752A (zh) 缺陷检测方法及装置、模型训练方法及装置及电子设备
CN108805035A (zh) 基于手势识别的教学互动方法以及装置
CN112560649A (zh) 一种行为动作检测方法、系统、设备及介质
CN113610069A (zh) 基于知识蒸馏的目标检测模型训练方法
CN115205883A (zh) 基于ocr和nlp的资料审核方法、装置、设备、存储介质
CN113034421A (zh) 一种图像检测方法、装置及存储介质
CN108665769B (zh) 基于卷积神经网络的网络教学方法以及装置
CN113191478A (zh) 神经网络模型的训练方法、装置和系统
CN115269359A (zh) 终端界面测试方法及装置
CN112950443A (zh) 基于图像贴纸的自适应隐私保护方法、系统、设备及介质
CN110008923A (zh) 图像处理方法和训练方法、以及装置、介质、计算设备
CN113269730B (zh) 图像处理方法、装置、计算机设备及存储介质
CN110348436A (zh) 对图像中的文本信息进行识别的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201, room 518000, building A, No. 1, front Bay Road, Qianhai Shenzhen Guangdong Shenzhen Hong Kong cooperation zone (Qianhai business secretary)

Applicant after: Shenzhen one ledger Intelligent Technology Co., Ltd.

Address before: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A

Applicant before: Shenzhen one ledger Intelligent Technology Co., Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination