CN111651361A - 一种基于可视化页面的无脚本自动化测试方法 - Google Patents

一种基于可视化页面的无脚本自动化测试方法 Download PDF

Info

Publication number
CN111651361A
CN111651361A CN202010520172.7A CN202010520172A CN111651361A CN 111651361 A CN111651361 A CN 111651361A CN 202010520172 A CN202010520172 A CN 202010520172A CN 111651361 A CN111651361 A CN 111651361A
Authority
CN
China
Prior art keywords
test
layer
algorithm
script
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010520172.7A
Other languages
English (en)
Inventor
宋文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010520172.7A priority Critical patent/CN111651361A/zh
Publication of CN111651361A publication Critical patent/CN111651361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于可视化页面的无脚本自动化测试方法，包括以下步骤：(1)在应用层输入测试任务，将测视任务发送至实现层；(2)实现层接收测试任务并将需要测试的页面以图片形式上传；(3)AI能力层接收图片，在图片中获取元素的位置信息和内容信息并将元素的位置信息和内容信息回传至实现层；(4)实现层与AI能力层循环交互完成测试动作，将测试后的结果反馈到应用层。本发明基于视觉效果进行数据提取及自动化测试，适用于不同测试平台(手机、电脑)并且对平台本身系统及承载程序都可实现无脚本自动化测试，减少了测试前准备工作，减少测试环节带来的时间消耗，提高测试效率，减少测试成本，降低测试要求，能够快速响应测试需求。

Description

一种基于可视化页面的无脚本自动化测试方法
技术领域
本发明属于互联网技术领域，尤其涉及一种基于可视化页面的无脚本自动化测试方法。
背景技术
软件产品再投入使用前，需要对其进行测试，用户界面是系统和用户之间进行交互和信息交换的媒介。它实现信息的内部形式与人类可以接受形式之间的转换。用户界面的目的在于使得用户能够方便有效率地去操作硬件以达成双向之交互，完成所希望借助硬件完成之工作。用户界面使用广泛，随着移动通信以及电子商务等技术的发展，装载于移动终端中的应用越来越多，例如外卖应用，即时通信应用等等，不同的应用的用户界面一般包含有适量的页面元素以实现应用之操作功能。在软件产品开发阶段，需要对其用户界面中的页面元素进行测试。
现有市场其一是通过开发语言编写测试适用于测试平台运行的自动化脚本，其二是通过适用于测试平台的第三方封装的工具进行脚本录制，然后进行自动化测试；现有自动化测试方式中，整个测试流程通过编写一个自动化测试脚本实现，在每个页面元素测试时，均需手动配置页面元素定位代码以及测试代码，即同一个页面元素需要被多次点击测试时，需要重复配置定位代码以及测试代码，此外，对于同一应用的不同版本，由于其页面元素的定位方式可能不同，导致需要为其不同版本单独编写自动化测试脚本。因此，现有的用户界面页面元素测试方法操作繁琐、工作量大。而且现有技术都无法快速进行测试，特别是在系统或者相关程序有功能进行更新时，测试准备工作较繁琐，维护工作量大，耗时多。
发明内容
本发明针对现有技术中的问题，提供了一种基于可视化页面的无脚本自动化测试方法。
为了达到目的，本发明提供的技术方案为：
本发明涉及一种基于可视化页面的无脚本自动化测试方法，自动化测试的测试系统包括应用层、实现层和AI能力层，所述的自动化测试方法包括以下步骤：
(1)在应用层输入测试任务，将测视任务发送至实现层；
(2)实现层接收测试任务并将需要测试的页面以图片形式上传；
(3)AI能力层接收图片，在图片中获取元素的位置信息和内容信息并将元素的位置信息和内容信息回传至实现层；
(4)实现层与AI能力层循环交互完成测试动作，将测试后的结果反馈到应用层。
优选地，步骤(3)中获取元素的位置信息和内容信息的具体步骤为：
(3.1)目标检测：通过YOLOv3算法检测出图片中所包含的物体，并定位物体所在的位置和对应的物体类别；
(3.2)文字检测：通过PSEnet算法对任意形状的文本进行定位并识别相邻文本；
(3.3)文字识别：通过DeepText算法预测输出字符序列；
(3.4)位置匹配：通过SIFT算法找出不同尺度空间上的特征点，并计算出特征点的方向。
优选地，步骤(3.2)中识别相邻文本以宽度优先搜索算法为基础，从具有最小尺度的核开始，通过逐步在较大的核中加入更多的像素来扩展它们的区域，完成直到发现最大的核。
优选地，步骤(3.3)中，文字识别包括以下步骤：
(3.3.1)变换：使用空间变换网络归一化输入文本图像；
(3.3.2)特征提取：将输入的文本图像映射到专注于与字符识别相关的属性的表示形式，同时抑制不相关的特征；
(3.3.3)序列建模：捕获字符序列中的上下文信息；
(3.3.4)预测：从已识别的图像特征中预测输出字符序列。
优选地，步骤(3.4)中位置匹配的具体步骤为：
(3.4.1)尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点；
(3.4.2)关键点定位：在每个候选的位置上，确定位置和尺度；
(3.4.3)方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；
(3.4.4)关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。
优选地，步骤(3.1)目标检测过程中，通过双log函数减小回归损失，具体公式为
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002531332160000032
Figure BDA0002531332160000033
log log(b/p)＝t；
式中：
cx和cy为网格的坐标相对于整个图像featuremap的偏移坐标；
σ(tx)和σ(ty)为sigmoid激活过后的偏移；
pw和ph为预设的anchor box的宽和高；
tx、ty、tw和th为整个网络的输出值；
bx为最终得到的目标框的左上角x坐标值；
by为最终得到的目标框的左上角y坐标值；
bw为最终得到的目标框的宽；
bh为最终得到的目标框的高。
优选地，步骤(3.1)目标检测过程中，通过损失函数优化解决目标数据比例失衡，优化公式为
Figure BDA0002531332160000031
式中：
Lfl为总损失，包括正样本损失和负样本损失；
α为Focal_loss的比重；
1-α为负样本的比重；
y为真实的概率；
y’为预测的概率；
logy’为y’预测概率的信息量；
γ为解决简单和困难样本平衡的系数。
优选地，步骤(3.3)文字识别过程中，文字识别过程中通过Adam算法进行优化，Adam算法的计算公式为：
mt＝μ×mt-1+(1-μ)×gt
Figure BDA0002531332160000041
Figure BDA0002531332160000042
Figure BDA0002531332160000043
Figure BDA0002531332160000044
式中：
式中：
mt为对梯度的一阶矩估计；
nt为对梯度的二阶矩估计；
μ、v为矩估计的指数衰减速率
mt-1为mt的上一期值；
nt-1为nt的上一期值；
gt为时间步序列上的梯度；
Figure BDA0002531332160000046
为对mt的校正；
Figure BDA0002531332160000047
为对nt的校正；
η为步长；
∈为用于数值稳定的常数；
Δθt为第t步时的权重更新的梯度值。
优选地，步骤(3.4)位置匹配过程中，通过在SIFT算法中加入NMS算法和IOU算法进行高质量位置信息提取，IOU算法的计算公式为：
Figure BDA0002531332160000045
式中：
IoU为模型预测的bbox和Groud Truth之间的交并比；
DetectionResult为预测的边框；
GroundTruth为真实的边框；
NMS算法的计算公式为：
Figure BDA0002531332160000051
式中：
si为第i个框的得分；
Nt为设定的阈值；
M为预测框中得分最大的边框；
b为预测的边框集合；
bi为预测的边框第i个边框
iou(M,bi)为M与bi的iou值。
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
1、本发明基于视觉效果进行数据提取及自动化测试，适用于不同测试平台(手机、电脑)并且对平台本身系统及承载程序都可实现无脚本自动化测试，只需录入测试步骤，即可完成测试执行。
2、本发明大大减少测试前准备工作，减少测试环节带来的时间消耗，提高测试效率，减少测试成本，降低测试要求，能够快速响应测试需求。
附图说明
图1为本发明的流程框图。
具体实施方式
为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
参照图1，本实施例涉及一种基于可视化页面的无脚本自动化测试方法，自动化测试的测试系统包括应用层、实现层和AI能力层，所述的自动化测试方法包括以下步骤：
(1)在应用层输入测试任务，将测视任务发送至实现层；
(2)实现层接收测试任务并将需要测试的页面以图片形式上传；
(3)AI能力层接收图片，在图片中获取元素的位置信息和内容信息并将元素的位置信息和内容信息回传至实现层。
(4)实现层与AI能力层循环交互完成测试动作，将测试后的结果反馈到应用层。
实现层为客户端，AI能力层为服务端，应用层中的测试步骤维护和测试案例维护可以让测试人员用纯文本的形式去定义需要去做什么，多个步骤组成一个案例，摒弃脚本编写。
步骤(3)中获取元素的位置信息和内容信息的具体步骤为：
(3.1)目标检测：通过YOLOv3算法检测出图片中所包含的物体，并定位物体所在的位置和对应的物体类别；
(3.2)文字检测：通过PSEnet算法对任意形状的文本进行定位并识别相邻文本；
(3.3)文字识别：通过DeepText算法预测输出字符序列；
(3.4)位置匹配：通过SIFT算法找出不同尺度空间上的特征点，并计算出特征点的方向。
步骤(3.2)中识别相邻文本以宽度优先搜索算法为基础，从具有最小尺度的核开始，通过逐步在较大的核中加入更多的像素来扩展它们的区域，完成直到发现最大的核。
步骤(3.3)中，文字识别包括以下步骤：
(3.3.1)变换：使用空间变换网络归一化输入文本图像；
(3.3.2)特征提取：将输入的文本图像映射到专注于与字符识别相关的属性的表示形式，同时抑制不相关的特征；
(3.3.3)序列建模：捕获字符序列中的上下文信息；
(3.3.4)预测：从已识别的图像特征中预测输出字符序列。
优选地，步骤(3.4)中位置匹配的具体步骤为：
(3.4.1)尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点；
(3.4.2)关键点定位：在每个候选的位置上，确定位置和尺度；关键点的选择依据于它们的稳定程度。
(3.4.3)方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
(3.4.4)关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。
步骤(3.1)目标检测过程中，通过双log函数减小回归损失，具体公式为：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002531332160000071
Figure BDA0002531332160000072
log log(b/p)＝t；
式中：
cx和cy为网格的坐标相对于整个图像featuremap的偏移坐标；
σ(tx)和σ(ty)为sigmoid激活过后的偏移；
pw和ph为预设的anchor box的宽和高；
tx、ty、tw和th为整个网络的输出值；
bx为最终得到的目标框的左上角x坐标值；
by为最终得到的目标框的左上角y坐标值；
bw为最终得到的目标框的宽；
bh为最终得到的目标框的高。
在目标检测中由于anchor长宽回归时，实际框和anchor框的比是不定的，可能远大于1。通常，IOU计算后置信度、标签、中心点回归的值的范围在0--1之间。如果长宽回归值远大于中心点和置信度会影响检测框中心点回归和分类置信度，采用双log函数不仅能提高模型在分类类别上的置信度，还能让模型在目标检测上进行更精准的检测。
步骤(3.1)目标检测过程中，通过Focal loss损失函数优化解决目标数据比例失衡的问题，损失函数会降低了大量简单负样本在训练中所占的权重，既解决了样本不平衡问题，又解决了区分简单与复杂样本的问题，优化方程为
Figure BDA0002531332160000081
式中：
Lfl为总损失，，包括正样本损失和负样本损失；
α为Focal_loss的比重；
1-α为负样本的比重；
y为真实的概率；
y’为预测的概率；
logy’为y’预测概率的信息量；
γ为解决简单和困难样本平衡的系数。
步骤(3.3)文字识别过程中，通过Adam算法进行优化，Adam(Adaptive MomentEstimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam相对来说更适用于大数据集，它占用的内存较小，同时会根据不同的参数计算不同的自适应学习率，一定程度上能提高文字识别准确率。Adam算法的计算公式为：
mt＝μ×mt-1+(1-μ)×gt
Figure BDA0002531332160000082
Figure BDA0002531332160000083
Figure BDA0002531332160000084
Figure BDA0002531332160000085
式中：
mt为对梯度的一阶矩估计；
ny为对梯度的二阶矩估计；
μ、v为矩估计的指数衰减速率
mt-1为mt的上一期值；
ni-1为nt的上一期值；
gt为时间步序列上的梯度；
Figure BDA0002531332160000086
为对mt的校正；
Figure BDA0002531332160000091
为对nt的校正；
η为步长；
∈为用于数值稳定的常数；
Δθt为第t步时的权重更新的梯度值。
步骤(3.4)中通过在SIFT算法中加入NMS算法和IOU算法进行高质量位置信息提取，NMS算法和IOU算法不仅对SIFT算法输出的候选框进行重叠度过滤，并且去除了匹配度不高的候选框，减少误检率。IOU(Intersection over Union)，即交并比，是目标检测中常见的评价标准，主要是衡量候选框之间的重叠程度IOU算法的计算公式为：
Figure BDA0002531332160000092
式中：
IoU为模型预测的bbox和Groud Truth之间的交并比；
DetectionResult为预测的边框；
GroundTruth为真实的边框；
NMS(Non-maximum suppression)，即非极大值抑制。在位置匹配中，每一个候选框都会其匹配度评分，选择合适的阈值对候选框进行筛选NMS算法的计算公式为：
Figure BDA0002531332160000093
式中：
si为第i个框的得分；
Nt为设定的阈值；
M为预测框中得分最大的边框；
b为预测的边框集合；
bi为预测的边框第i个边框
iou(M,bi)为M与bi的iou值。
实现层与能力层之间的循环交互包括以下几个功能点：
1、对上传图片进行检测，检测是否符合测试要求。
2、对上传的图片检测所有文字的坐标以及所有文字内容信息。
3、根据某个区域识别该区域的文字信息。
4、根据某个小图片匹配这个小图片在原始截图上的位置
采用SIFT算法获取关键点的坐标，计算变换矩阵，使用得到的变换矩阵对原图像的四个角进行变换，获得在目标图像上对应的坐标。
5、根据某个文字信息找到该文字信息在该截图上的位置坐标。
功能点2、3、5的步骤如下：
步骤1：首先会对上传图片进行目标检测，识别出图片的弹框、等待界面、关闭按钮:
①有弹窗、有关闭按钮的情况下将返回具体坐标并模拟点击关闭；
②无弹框无关闭按钮，有等待界面的情况下将返回等待信号；
③无任何检测信息情况将进行下一步。
步骤2：重新上传完成步骤1处理后的图片，对图片内的文字进行位置检测，输出各文字的位置。
步骤3：识别步骤2中检测出来的文字内容。
步骤4：根据功能需求，对文字位置和内容进行整理，输出最后结果。
功能点4的步骤如下：
步骤1：首先会对上传图片进行目标检测，识别出图片的弹框、等待界面、关闭按钮:
①有弹窗、有关闭按钮的情况下将返回具体坐标并模拟点击关闭；
②无弹框无关闭按钮，有等待界面的情况下将返回等待信号；
③无任何检测信息情况将进行下一步。
步骤2：采用SIFT获取关键点的坐标，并获得小图像在目标图像上对应的坐标。
实现层通过返回元素的坐标信息进行动作执行，一个页面检测一次，直至所有页面检测完毕，动作分为：点击，等待，输入，截屏，滑动，取值，返回，点击密码键盘，点击指定图片，获取图形验证码。
1、等待，截屏，滑动使用辅助模式底层AccessibilityService功能实现
2、文字点击：Android端截取手机当前页面图片，上传图片到AI接口，如果接口返回有弹窗则执行弹窗动作，完成后再截取手机当前页面图片上传一次，获取无弹窗的页面；如无弹窗AI接口正常返回文字对应的坐标，再使用辅助模式中的GestureDescription点击该坐标，从而达到点击文字的效果。
3、取值：Android端截取手机当前页面图片，上传图片到AI接口，如果接口返回有弹窗则执行弹窗动作，完成后再截取手机当前页面图片上传一次，获取无弹窗的页面；如无弹窗AI接口正常返回坐标对应的文字信息
4、点击指定图片：Android端截取手机当前页面图片，上传图片和指定图片到AI接口，如果接口返回有弹窗则执行弹窗动作，完成后再截取手机当前页面图片上传一次，获取无弹窗的页面；如无弹窗AI接口正常返回图片对应的坐标，再使用辅助模式中的GestureDescription点击该坐标，从而达到点击图片的效果
5、获取图形验证码：Android端截取手机当前页面图片，上传图片到AI接口，如果接口返回有弹窗则执行弹窗动作，完成后再截取手机当前页面图片上传一次，获取无弹窗的页面；如无弹窗AI接口正常返回图形验证码信息
6、点击密码键盘：Android端截取手机当前页面图片，上传图片到AI接口，如果接口返回有弹窗则执行弹窗动作，完成后再截取手机当前页面图片上传一次，获取无弹窗的页面；如无弹窗AI接口正常返回该页面所有文字信息，Android端从中获取各个键盘对应的坐标，从而去循环点击任务所要求的密码位置
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方案，实际的结构并不局限于此。所以本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.一种基于可视化页面的无脚本自动化测试方法，其特征在于，自动化测试的测试系统包括应用层、实现层和AI能力层，所述的自动化测试方法包括以下步骤：
(1)在应用层输入测试任务，将测视任务发送至实现层；
(2)实现层接收测试任务并将需要测试的页面以图片形式上传；
(3)AI能力层接收图片，在图片中获取元素的位置信息和内容信息并将元素的位置信息和内容信息回传至实现层；
(4)实现层与AI能力层循环交互完成测试动作，将测试后的结果反馈到应用层。
2.根据权利要求1所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3)中获取元素的位置信息和内容信息的具体步骤为：
(3.1)目标检测：通过YOLOv3算法检测出图片中所包含的物体，并定位物体所在的位置和对应的物体类别；
(3.2)文字检测：通过PSEnet算法对任意形状的文本进行定位并识别相邻文本；
(3.3)文字识别：通过DeepText算法预测输出字符序列；
(3.4)位置匹配：通过SIFT算法找出不同尺度空间上的特征点，并计算出特征点的方向。
3.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.2)中识别相邻文本以宽度优先搜索算法为基础，从具有最小尺度的核开始，通过逐步在较大的核中加入更多的像素来扩展它们的区域，完成直到发现最大的核。
4.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.3)中，文字识别包括以下步骤：
(3.3.1)变换：使用空间变换网络归一化输入文本图像；
(3.3.2)特征提取：将输入的文本图像映射到专注于与字符识别相关的属性的表示形式，同时抑制不相关的特征；
(3.3.3)序列建模：捕获字符序列中的上下文信息；
(3.3.4)预测：从已识别的图像特征中预测输出字符序列。
5.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.4)中位置匹配的具体步骤为：
(3.4.1)尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点；
(3.4.2)关键点定位：在每个候选的位置上，确定位置和尺度；
(3.4.3)方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；
(3.4.4)关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。
6.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.1)目标检测过程中，通过双log函数减小回归损失，具体公式为：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure FDA0002531332150000021
Figure FDA0002531332150000022
loglog(b/p)＝t；
式中：
cx和cy为网格的坐标相对于整个图像featuremap的偏移坐标；
σ(tx)和σ(ty)为sigmoid激活过后的偏移；
pw和ph为预设的anchor box的宽和高；
tx、ty、tw和th为整个网络的输出值；
bx为最终得到的目标框的左上角x坐标值；
by为最终得到的目标框的左上角y坐标值；
bw为最终得到的目标框的宽；
bh为最终得到的目标框的高。
7.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.1)目标检测过程中，通过Focal loss损失函数优化，优化公式为
Figure FDA0002531332150000031
式中：
Lfl为总损失，包括正样本损失和负样本损失；
α为Focal_loss的比重；
1-α为负样本的比重；
y为真实的概率；
y’为预测的概率；
logy’为y’预测概率的信息量；
γ为解决简单和困难样本平衡的系数。
8.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.3)文字识别过程中，通过Adam算法进行优化，Adam算法的计算公式为：
mt＝μ×mt-1+(1-μ)×gt
Figure FDA0002531332150000032
Figure FDA0002531332150000033
Figure FDA0002531332150000034
Figure FDA0002531332150000035
式中：
mt为对梯度的一阶矩估计；
nt为对梯度的二阶矩估计；
μ、v为矩估计的指数衰减速率
mt-1为mt的上一期值；
nt-1为nt的上一期值；
gt为时间步序列上的梯度；
Figure FDA0002531332150000036
为对mt的校正；
Figure FDA0002531332150000037
为对nt的校正；
η为步长；
∈为用于数值稳定的常数；
Δθt为第t步时的权重更新的梯度值。
9.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.4)位置匹配过程中，通过在SIFT算法中加入NMS算法和IOU算法进行高质量位置信息提取，IOU算法的计算公式为：
Figure FDA0002531332150000038
式中：
IoU为模型预测的bbox和Groud Truth之间的交并比；
DetectionResult为预测的边框；
GroundTruth为真实的边框；
NMS算法的计算公式为：
Figure FDA0002531332150000041
式中：
si为第i个框的得分；
Nt为设定的阈值；
M为预测框中得分最大的边框；
b为预测的边框集合；
bi为预测的边框第i个边框；
iou(M,bi)为M与bi的iou值。
CN202010520172.7A 2020-06-10 2020-06-10 一种基于可视化页面的无脚本自动化测试方法 Pending CN111651361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010520172.7A CN111651361A (zh) 2020-06-10 2020-06-10 一种基于可视化页面的无脚本自动化测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010520172.7A CN111651361A (zh) 2020-06-10 2020-06-10 一种基于可视化页面的无脚本自动化测试方法

Publications (1)

Publication Number Publication Date
CN111651361A true CN111651361A (zh) 2020-09-11

Family

ID=72345647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010520172.7A Pending CN111651361A (zh) 2020-06-10 2020-06-10 一种基于可视化页面的无脚本自动化测试方法

Country Status (1)

Country Link
CN (1) CN111651361A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083973A (zh) * 2020-09-18 2020-12-15 珠海豹趣科技有限公司 一种窗口关闭方法、装置、电子设备及存储介质
CN112308069A (zh) * 2020-10-29 2021-02-02 恒安嘉新（北京）科技股份公司 一种软件界面的点击测试方法、装置、设备及存储介质
CN112363918A (zh) * 2020-11-02 2021-02-12 北京云聚智慧科技有限公司 用户界面ai自动化测试方法、装置、设备和存储介质
CN112699046A (zh) * 2021-01-12 2021-04-23 北京字节跳动网络技术有限公司 应用程序测试方法及装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815156A (zh) * 2019-02-28 2019-05-28 北京百度网讯科技有限公司 页面中视觉元素的展示测试方法、装置、设备和存储介质
CN110298355A (zh) * 2018-03-23 2019-10-01 刘小英 一种不同尺度空间特征寻找方法
CN110321755A (zh) * 2018-03-28 2019-10-11 中移(苏州)软件技术有限公司 一种识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298355A (zh) * 2018-03-23 2019-10-01 刘小英 一种不同尺度空间特征寻找方法
CN110321755A (zh) * 2018-03-28 2019-10-11 中移(苏州)软件技术有限公司 一种识别方法及装置
CN109815156A (zh) * 2019-02-28 2019-05-28 北京百度网讯科技有限公司 页面中视觉元素的展示测试方法、装置、设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083973A (zh) * 2020-09-18 2020-12-15 珠海豹趣科技有限公司 一种窗口关闭方法、装置、电子设备及存储介质
CN112308069A (zh) * 2020-10-29 2021-02-02 恒安嘉新（北京）科技股份公司 一种软件界面的点击测试方法、装置、设备及存储介质
CN112363918A (zh) * 2020-11-02 2021-02-12 北京云聚智慧科技有限公司 用户界面ai自动化测试方法、装置、设备和存储介质
CN112363918B (zh) * 2020-11-02 2024-03-08 北京云聚智慧科技有限公司 用户界面ai自动化测试方法、装置、设备和存储介质
CN112699046A (zh) * 2021-01-12 2021-04-23 北京字节跳动网络技术有限公司 应用程序测试方法及装置、电子设备和存储介质
CN112699046B (zh) * 2021-01-12 2024-03-29 抖音视界有限公司 应用程序测试方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
TWI773189B (zh) 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體
CN111651361A (zh) 一种基于可视化页面的无脚本自动化测试方法
US20190130232A1 (en) Font identification from imagery
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
JP2008537198A (ja) 人工知能を使用した外来のアプリケーションユーザインタフェースからの情報のインテリジェントインポート
US20200242398A1 (en) Information processing method and information processing system
JP2016206837A (ja) オブジェクト検出方法及び画像検索システム
CN114155244A (zh) 缺陷检测方法、装置、设备及存储介质
CN110647607A (zh) 一种基于图片识别的poi数据的验证方法和装置
CN113762269A (zh) 基于神经网络的中文字符ocr识别方法、系统、介质及应用
CN115063875A (zh) 模型训练方法、图像处理方法、装置和电子设备
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN113516113A (zh) 一种图像内容识别方法、装置、设备及存储介质
CN112308069A (zh) 一种软件界面的点击测试方法、装置、设备及存储介质
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN111738252B (zh) 图像中的文本行检测方法、装置及计算机系统
CN113221855B (zh) 基于尺度敏感损失与特征融合的小目标检测方法和系统
CN113468979A (zh) 文本行语种识别方法、装置、电子设备
CN115905016A (zh) 一种BIOS Setup搜索功能测试方法、装置、电子设备及存储介质
CN115631374A (zh) 控件操作方法、控件检测模型的训练方法、装置和设备
CN115661542A (zh) 一种基于特征关系迁移的小样本目标检测方法
CN111046883B (zh) 一种基于古钱币图像的智能评估方法及系统
CN111950451A (zh) 基于多尺度预测cnn及龙芯芯片的多类别目标识别方法
CN117975176B (zh) 一种基于工业动态视觉自我提示的钢铁缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination