CN113254333B - 基于机器学习识别第三方应用结果自动化测试方法 - Google Patents

基于机器学习识别第三方应用结果自动化测试方法 Download PDF

Info

Publication number
CN113254333B
CN113254333B CN202110527633.8A CN202110527633A CN113254333B CN 113254333 B CN113254333 B CN 113254333B CN 202110527633 A CN202110527633 A CN 202110527633A CN 113254333 B CN113254333 B CN 113254333B
Authority
CN
China
Prior art keywords
screenshot
result
click
test
matching degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110527633.8A
Other languages
English (en)
Other versions
CN113254333A (zh
Inventor
周恩宇
范渊
吴永越
郑学新
刘韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu DBAPPSecurity Co Ltd
Original Assignee
Chengdu DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu DBAPPSecurity Co Ltd filed Critical Chengdu DBAPPSecurity Co Ltd
Priority to CN202110527633.8A priority Critical patent/CN113254333B/zh
Publication of CN113254333A publication Critical patent/CN113254333A/zh
Application granted granted Critical
Publication of CN113254333B publication Critical patent/CN113254333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于机器学习识别第三方应用结果自动化测试方法，通过直接提取测试过程中操作运维客户端的点击截图以及得到的结果截图构成截图训练集，并将截图训练集中的正确点击截图和正确结果截图提取构成截图验证集，通过建立神经网络模型将截图训练集中的截图与截图验证集中的截图进行图像识别拟合得到截图之间的匹配度，进而根据匹配度对截图训练集中的截图进行更新优化，然后再次进行图像识别拟合，迭代重复上述过程直到匹配度达标得到训练模型，然后即可通过训练模型调取运维客户端进行高效准确的自动化测试，去除人为确认因素影响，达到自动化测试的目的，大大提高测试效率和准确性。

Description

基于机器学习识别第三方应用结果自动化测试方法
技术领域
本发明属于自动化测试的技术领域，具体涉及基于机器学习识别第三方应用结果自动化测试方法。
背景技术
随着互联网的快速发展，BS架构的自动化测试已经非常成熟，也较好的第三方的库支持，但一些最初的互联网的公司产品仍然使用CS 架构，有的即使已转型BS架构，但是在使用时仍然会大量调用其他厂商的应用客户端来完成整套系统使用操作。针对调用第三方应用客户端情况，本公司的测试人员是无法要求第三方公司来提供相关的api来满足自己公司的自动化测试需求，所以大部分情况都是由测试人员手动测试来确认第三方客户端上的结果是否正确。简单测试场景，通过类似按键精灵的图像识别在做少量的半自动化测试，由于这种图像识别的准确率太低，最终还是需要测试人员手工比对测结果，因此有一种迫切的需求如何将这种情况下的手工测试转化成自动化测试，来提升测试效率。
发明内容
本发明的目的在于提供基于机器学习识别第三方应用结果自动化测试方法，能够针对不同的运维客户端进行高效自动化测试。
本发明通过下述技术方案实现：
基于机器学习识别第三方应用结果自动化测试方法，包括以下步骤：
步骤A、建立测试用例，并将测试用例分发至各个测试机，并根据测试用例调用不同的运维客户端对测试机进行测试；
步骤B、在测试过程中，鼠标每次点击运维客户端中的测试图标时即进行截图，直到得到测试结果，并对测试结果进行截图；并按照调取的运维客户端类型将步骤B中得到的截图分类上传至结果服务器；
步骤C、对结果服务器中的截图进行像素值缩放，生成相应的截图训练集；提取截图训练集中对应鼠标正确点击图标得到的正确点击截图以及对应正确点击得到的正确结果截图构建截图验证集；
步骤D、建立神经网络模型对截图训练集中的截图进行截图识别训练，并将截图识别结果与截图验证集中的截图进行比对得到匹配度；
步骤E、根据匹配度对步骤B中的截图进行迭代优化，并重复进行步骤C-步骤D，直到截图识别结果与截图验证集中的截图的比对结果的匹配度达标，即得到训练模型；
步骤F、采用训练模型进行调取运维客户端进行对测试机进行自动化测试。
为了更好的实现本发明，进一步地，所述步骤B具体包括：
步骤B1、鼠标点击运维客户端中的测试图标时，以鼠标点击位置为中心点截取矩形的点击截图；
步骤B2、对步骤B1中得到的点击截图赋值截图偏移量与颜色深度调整值，使得鼠标每次点击测试图标时的点击截图不同；
步骤B3、对点击测试图标结束后得到的测试结果区域进行截图得到结果截图；
步骤B4、对步骤B3中得到的结果截图赋值截图偏移量与颜色深度调整值，使得每次点击完成后的结果截图不同。
为了更好的实现本发明，进一步地，所述步骤C具体包括：
步骤C1、调取结果服务器中的点击截图与结果截图，并将点击截图与结果截图解码为RGB像素网格；
步骤C2、计算RGB像素网格的浮点数张量；
步骤C3、根据浮点数张量将RGB像素网格的像素值缩放至0-1像素的区间之内以得到截图训练集；
步骤C4、对截图训练集中对应鼠标正确点击图标得到的正确点击截图以及对应正确点击得到的正确结果截图进行标注并提取以得到截图验证集。
为了更好的实现本发明，进一步地，所述步骤C1中调取的点击截图与结果截图预先缩放至0-255像素。
为了更好的实现本发明，进一步地，所述步骤D具体包括：
步骤D1、建立神经网络模型，将截图训练集中的点击截图输入神经网络模型进行图像识别拟合得到点击预测值，将截图验证集中的正确点击截图输入神经网络模型进行图像识别拟合得到点击标准值；
步骤D2、根据点击预测值与点击标准值计算点击匹配度；
步骤D3、将截图训练集中的结果截图输入神经网络模型进行图像识别拟合得到结果预测值，将截图验证集中的正确结果截图输入神经网络模型进行图像识别拟合得到结果标准值；
步骤D4、 根据结果预测值与结果标准值计算结果匹配度。
为了更好的实现本发明，进一步地，所述步骤D1与步骤D3中采用Keras神经网络库中的fit模块进行图像识别拟合，并采用重复的K折验证方法评估图像识别拟合结果。
为了更好的实现本发明，进一步地，所述步骤E具体包括：
步骤E1、提取与正确点击截图的点击匹配度最高的点击截图中的鼠标点击位置为迭代中心点；提取与正确点击截图的点击匹配度最高的点击截图中的截图偏移量与颜色深度调整值作为迭代参考值，根据迭代中心点重新截取矩形的点击截图，并对迭代参考值进行正向或负向调整重新得到截图偏移量与颜色深度调整值，得到迭代优化后的点击截图；
步骤E2、提取与正确结果截图的结果匹配度最高的结果截图的测试结果区域作为迭代参考区域；提取与正确结果截图的结果匹配度最高的结果截图中的截图偏移量与颜色深度调整值作为迭代参考值；对迭代参考区域进行正向扩大或负向缩小重新得到测试结果区域，对迭代参考值进行正向或负向调整重新得到截图偏移量与颜色深度调整值，得到迭代优化后的结果截图；
步骤E3、对迭代优化后得到的点击截图与结果截图重复步骤C-步骤D，直到点击匹配度与结果匹配度的波动介于匹配度达标区间之内，即得到训练模型。
为了更好的实现本发明，进一步地，所述调用的运维客户端包括winscp客户端、xshell客户端、putty客户端。
本发明与现有技术相比，具有以下优点及有益效果：
（1）本发明通过直接提取测试过程中操作运维客户端的点击截图以及得到的结果截图构成截图训练集，并将截图训练集中的正确点击截图和正确结果截图提取构成截图验证集，通过建立神经网络模型将截图训练集中的截图与截图验证集中的截图进行图像识别拟合得到截图之间的匹配度，进而根据匹配度对截图训练集中的截图进行更新优化，然后再次进行图像识别拟合，迭代重复上述过程直到匹配度达标得到训练模型，然后即可通过训练模型调取运维客户端进行高效准确的自动化测试，在不能获取第三方API 获取的情况下，通过训练模型调取操作第三方运维客户端并判定测试产品在第三方运维应用客户端上产生的结果数据，去除人为确认因素影响，达到自动化测试的目的，大大提高测试效率和准确性；
（2）本发明根据匹配度调节截图的截图偏移量与颜色深度调整值，进而使得内依次截图都不同，解决了特定情况下通过神经网络模型学习时训练集较少的情况，保证最终生成泛化的训练模型。
附图说明
图1为本发明的流程步骤示意图。
具体实施方式
实施例1：
本实施例的基于机器学习识别第三方应用结果自动化测试方法，如图1所示，包括以下步骤：
步骤A、建立测试用例，并将测试用例分发至各个测试机，并根据测试用例调用不同的运维客户端对测试机进行测试；
测试用例需要针对不同的运维客户端在不同分辨率下的几个常用版本进行相应配置，如更改系统分辨率、设置运维用户、设置运维资产协议、安装相应的运维客户端等。用selenium操作游览器登录堡垒机web进行界面操作运维。在堡垒机web上点击相关运维程序，调用运维客户端对测试机进行测试。
步骤B、在测试过程中，鼠标每次点击运维客户端中的测试图标时即进行截图，直到得到测试结果，并对测试结果进行截图；并按照调取的运维客户端类型将步骤B中得到的截图分类上传至结果服务器；
针对不同的测试机或测试要求，需要通过堡垒机web调用不同的运维客户端，而不同的运维客户端的才做截面不同，调用不同运维客户端进行运维需要点击的图标流程也不同。因此，需要将点击图标过程中得到的截图以及通过测试结果得到的截图根据运维客户端的种类进行相应的分类，避免不同运维客户端截图之间相互冗杂影响。
步骤C、对结果服务器中的截图进行像素值缩放，生成相应的截图训练集；提取截图训练集中对应鼠标正确点击图标得到的正确点击截图以及对应正确点击得到的正确结果截图构建截图验证集；
由于神经网络模型通常适配于较小的输入模型，因此不能直接将截取得到的截图导入神经网络模型，而是需要对棘突进行像素值缩放处理，将缩放后的截图构建成截图训练集。截图训练集中的截图包含正确点击截图与正确结果截图、错误点击截图与错误结果截图，将正确点击截图与正确结果截图单端提取构成截图验证集，用于进行后续图像识别验证。
步骤D、建立神经网络模型对截图训练集中的截图进行截图识别训练，并将截图识别结果与截图验证集中的截图进行比对得到匹配度；
建立神经网络模型，并将截图训练集中的截图输入神经网络模型，将截图训练集中的截图与截图验证集中的截图进行图像识别拟合，通过神经网络模型中自带的损失函数计算截图训练集中的截图与截图验证集中的截图的匹配度，匹配度越高则代表当前输入神经网络模型中的截图与正确结果之间差异越小。
步骤E、根据匹配度对步骤B中的截图进行迭代优化，并重复进行步骤C-步骤D，直到截图识别结果与截图验证集中的截图的比对结果的匹配度达标，即得到训练模型；
选取步骤D中匹配度高的截图作为参照，并根据参照对截图的大小、颜色深度、截图位置等参数进行调节以得到更新后的截图，并将更新后的截图加入截图训练集再次输入神经网络模型，重复步骤C-步骤D，实现对截图训练集中截图的不断迭代优化，并计算迭代过程中截图训练集中的截图与截图验证集中截图的匹配度，直到匹配度波动趋于达标区间之内，即得到训练模型。
步骤F、采用训练模型进行调取运维客户端进行对测试机进行自动化测试。
实施例2：
本实施例在实施例1的基础上做进一步优化，所述步骤B具体包括：
步骤B1、鼠标点击运维客户端中的测试图标时，以鼠标点击位置为中心点截取矩形的点击截图；
步骤B2、对步骤B1中得到的点击截图赋值截图偏移量与颜色深度调整值，使得鼠标每次点击测试图标时的点击截图不同；第一次截图过程中随机赋值截图偏移量与颜色深度调整值，并保证后续每一次赋值的截图偏移量与颜色深度调整值均不同。
步骤B3、对点击测试图标结束后得到的测试结果区域进行截图得到结果截图；
步骤B4、对步骤B3中得到的结果截图赋值截图偏移量与颜色深度调整值，使得每次点击完成后的结果截图不同，第一次截图过程中随机赋值截图偏移量与颜色深度调整值，并保证后续每一次赋值的截图偏移量与颜色深度调整值均不同。
通过对截图赋予不同的截图偏移量与颜色深度调整值，保证每次截图均不同，有效解决截图训练集元素单一的问题，进而保证后期通过神经网络模型进行训练时能够得到优良的泛化模型。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1或2的基础上做进一步优化，所述步骤C具体包括：
步骤C1、调取结果服务器中的点击截图与结果截图，并将点击截图与结果截图解码为RGB像素网格；通常截取的截图为JEPG格式或PNG格式，采用Keras中的图像处理模块将JEPG格式或PNG格式的截图解码为RGB像素网格。
步骤C2、计算RGB像素网格的浮点数张量；
步骤C3、根据浮点数张量将RGB像素网格的像素值缩放至0-1像素的区间之内以得到截图训练集；
步骤C4、对截图训练集中对应鼠标正确点击图标得到的正确点击截图以及对应正确点击得到的正确结果截图进行标注并提取以得到截图验证集。
进一步的，所述步骤C1中调取的点击截图与结果截图预先缩放至0-255像素，避免输入Keras的图像过大造成解码效率降低。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
本实施例在上述实施例1-3任一项的基础上做进一步优化，所述步骤D具体包括：
步骤D1、建立神经网络模型，将截图训练集中的点击截图输入神经网络模型进行图像识别拟合得到点击预测值，将截图验证集中的正确点击截图输入神经网络模型进行图像识别拟合得到点击标准值；
步骤D2、根据点击预测值与点击标准值计算点击匹配度；
步骤D3、将截图训练集中的结果截图输入神经网络模型进行图像识别拟合得到结果预测值，将截图验证集中的正确结果截图输入神经网络模型进行图像识别拟合得到结果标准值；
步骤D4、 根据结果预测值与结果标准值计算结果匹配度。
进一步的，所述步骤D1与步骤D3中采用Keras神经网络库中的fit模块进行图像识别拟合，并采用重复的K折验证方法评估图像识别拟合结果。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
实施例5：
本实施例在上述实施例1-4任一项的基础上做进一步优化，所述步骤E具体包括：
步骤E1、提取与正确点击截图的点击匹配度最高的点击截图中的鼠标点击位置为迭代中心点；提取与正确点击截图的点击匹配度最高的点击截图中的截图偏移量与颜色深度调整值作为迭代参考值，根据迭代中心点重新截取矩形的点击截图，并对迭代参考值进行正向或负向调整重新得到截图偏移量与颜色深度调整值，得到迭代优化后的点击截图；
步骤E2、提取与正确结果截图的结果匹配度最高的结果截图的测试结果区域作为迭代参考区域；提取与正确结果截图的结果匹配度最高的结果截图中的截图偏移量与颜色深度调整值作为迭代参考值；对迭代参考区域进行正向扩大或负向缩小重新得到测试结果区域，对迭代参考值进行正向或负向调整重新得到截图偏移量与颜色深度调整值，得到迭代优化后的结果截图；
步骤E3、对迭代优化后得到的点击截图与结果截图重复步骤C-步骤D，直到点击匹配度与结果匹配度的波动介于匹配度达标区间之内，即得到训练模型。
本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
实施例6：
本实施例在上述实施例1-5任一项的基础上做进一步优化，所述调用的运维客户端包括winscp客户端、xshell客户端、putty客户端。
本实施例的其他部分与上述实施例1-5任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.基于机器学习识别第三方应用结果自动化测试方法，其特征在于，包括以下步骤：
步骤A、建立测试用例，并将测试用例分发至各个测试机，并根据测试用例调用不同的运维客户端对测试机进行测试；
步骤B、在测试过程中，鼠标每次点击运维客户端中的测试图标时即进行截图，直到得到测试结果，并对测试结果进行截图；并按照调取的运维客户端类型将步骤B中得到的截图分类上传至结果服务器；
步骤C、对结果服务器中的截图进行像素值缩放，生成相应的截图训练集；提取截图训练集中对应鼠标正确点击图标得到的正确点击截图以及对应正确点击得到的正确结果截图构建截图验证集；
步骤D、建立神经网络模型对截图训练集中的截图进行截图识别训练，并将截图识别结果与截图验证集中的截图进行比对得到匹配度；
步骤E、根据匹配度对步骤B中的截图进行迭代优化，并重复进行步骤C-步骤D，直到截图识别结果与截图验证集中的截图的比对结果的匹配度达标，即得到训练模型；
步骤F、采用训练模型进行调取运维客户端进行对测试机进行自动化测试；
所述步骤D具体包括：
步骤D1、建立神经网络模型，将截图训练集中的点击截图输入神经网络模型进行图像识别拟合得到点击预测值，将截图验证集中的正确点击截图输入神经网络模型进行图像识别拟合得到点击标准值；
步骤D2、根据点击预测值与点击标准值计算点击匹配度；
步骤D3、将截图训练集中的结果截图输入神经网络模型进行图像识别拟合得到结果预测值，将截图验证集中的正确结果截图输入神经网络模型进行图像识别拟合得到结果标准值；
步骤D4、 根据结果预测值与结果标准值计算结果匹配度；
所述步骤E具体包括：
步骤E1、提取与正确点击截图的点击匹配度最高的点击截图中的鼠标点击位置为迭代中心点；提取与正确点击截图的点击匹配度最高的点击截图中的截图偏移量与颜色深度调整值作为迭代参考值，根据迭代中心点重新截取矩形的点击截图，并对迭代参考值进行正向或负向调整重新得到截图偏移量与颜色深度调整值，得到迭代优化后的点击截图；
步骤E2、提取与正确结果截图的结果匹配度最高的结果截图的测试结果区域作为迭代参考区域；提取与正确结果截图的结果匹配度最高的结果截图中的截图偏移量与颜色深度调整值作为迭代参考值；对迭代参考区域进行正向扩大或负向缩小重新得到测试结果区域，对迭代参考值进行正向或负向调整重新得到截图偏移量与颜色深度调整值，得到迭代优化后的结果截图；
步骤E3、对迭代优化后得到的点击截图与结果截图重复步骤C-步骤D，直到点击匹配度与结果匹配度的波动介于匹配度达标区间之内，即得到训练模型。
2.根据权利要求1所述的基于机器学习识别第三方应用结果自动化测试方法，其特征在于，所述步骤B具体包括：
步骤B1、鼠标点击运维客户端中的测试图标时，以鼠标点击位置为中心点截取矩形的点击截图；
步骤B2、对步骤B1中得到的点击截图赋值截图偏移量与颜色深度调整值，使得鼠标每次点击测试图标时的点击截图不同；
步骤B3、对点击测试图标结束后得到的测试结果区域进行截图得到结果截图；
步骤B4、对步骤B3中得到的结果截图赋值截图偏移量与颜色深度调整值，使得每次点击完成后的结果截图不同。
3.根据权利要求2所述的基于机器学习识别第三方应用结果自动化测试方法，其特征在于，所述步骤C具体包括：
步骤C1、调取结果服务器中的点击截图与结果截图，并将点击截图与结果截图解码为RGB像素网格；
步骤C2、计算RGB像素网格的浮点数张量；
步骤C3、根据浮点数张量将RGB像素网格的像素值缩放至0-1像素的区间之内以得到截图训练集；
步骤C4、对截图训练集中对应鼠标正确点击图标得到的正确点击截图以及对应正确点击得到的正确结果截图进行标注并提取以得到截图验证集。
4.根据权利要求3所述的基于机器学习识别第三方应用结果自动化测试方法，其特征在于，所述步骤C1中调取的点击截图与结果截图预先缩放至0-255像素。
5.根据权利要求1所述的基于机器学习识别第三方应用结果自动化测试方法，其特征在于，所述步骤D1与步骤D3中采用Keras神经网络库中的fit模块进行图像识别拟合，并采用重复的K折验证方法评估图像识别拟合结果。
6.根据权利要求1所述的基于机器学习识别第三方应用结果自动化测试方法，其特征在于，所述调用的运维客户端包括winscp客户端、xshell客户端、putty客户端。
CN202110527633.8A 2021-05-14 2021-05-14 基于机器学习识别第三方应用结果自动化测试方法 Active CN113254333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110527633.8A CN113254333B (zh) 2021-05-14 2021-05-14 基于机器学习识别第三方应用结果自动化测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110527633.8A CN113254333B (zh) 2021-05-14 2021-05-14 基于机器学习识别第三方应用结果自动化测试方法

Publications (2)

Publication Number Publication Date
CN113254333A CN113254333A (zh) 2021-08-13
CN113254333B true CN113254333B (zh) 2023-07-04

Family

ID=77181950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110527633.8A Active CN113254333B (zh) 2021-05-14 2021-05-14 基于机器学习识别第三方应用结果自动化测试方法

Country Status (1)

Country Link
CN (1) CN113254333B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359056A (zh) * 2018-12-21 2019-02-19 北京搜狗科技发展有限公司 一种应用程序测试方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5931806B2 (ja) * 2013-06-24 2016-06-08 日本電信電話株式会社 画像認識による自動操作装置、その方法及びプログラム
US9135151B2 (en) * 2013-09-18 2015-09-15 Yahoo! Inc. Automatic verification by comparing user interface images
CN108334440A (zh) * 2017-01-19 2018-07-27 阿里巴巴集团控股有限公司 一种获取应用性能测试结果的处理方法及装置、客户端
CN109298820A (zh) * 2018-10-09 2019-02-01 平安科技（深圳）有限公司 交互设计工具文件生成方法、装置、电子设备及存储介质
CN109408384B (zh) * 2018-10-16 2022-07-29 网易（杭州）网络有限公司 软件应用的测试方法、装置、处理器及电子装置
CN109871326B (zh) * 2019-02-13 2022-03-15 北京云测信息技术有限公司 一种脚本录制的方法和装置
JP7186120B2 (ja) * 2019-03-27 2022-12-08 オリンパス株式会社 画像ファイル生成装置
CN112446366A (zh) * 2019-08-29 2021-03-05 北京搜狗科技发展有限公司 一种图像翻译评测方法、装置和用于图像翻译评测的装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359056A (zh) * 2018-12-21 2019-02-19 北京搜狗科技发展有限公司 一种应用程序测试方法及装置

Also Published As

Publication number Publication date
CN113254333A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN108399405B (zh) 营业执照识别方法和装置
AU2016427827B2 (en) Image quality assessment and improvement for performing optical character recognition
JP2021532434A (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN111709931B (zh) 一种耐张线夹缺陷检测识别报告自动获取方法及系统
CN111008641B (zh) 一种基于卷积神经网络的输电线路杆塔外力破坏检测方法
CN116910752B (zh) 一种基于大数据的恶意代码检测方法
CN112527676A (zh) 模型自动化测试方法、装置及存储介质
CN110276587A (zh) 项目审批的方法、装置、计算设备及计算机可读存储介质
CN117115614B (zh) 户外影像的对象识别方法、装置、设备及存储介质
CN113254333B (zh) 基于机器学习识别第三方应用结果自动化测试方法
CN114782967A (zh) 一种基于代码可视化学习的软件缺陷预测方法
CN111368835A (zh) 验证码自动识别方法及装置
CN112541926A (zh) 一种基于改进FCN和DenseNet的歧义像素优化分割方法
CN113065407B (zh) 基于注意力机制和生成对抗网络的财务票据印章擦除方法
CN113505780A (zh) 一种基于二维码的智能检测维保的方法和设备
CN113328986A (zh) 基于卷积神经网络与lstm结合的网络流量异常检测方法
CN113077009A (zh) 一种基于迁移学习模型的隧道围岩岩性识别方法
Qin et al. Hybrid NSS features for no‐reference image quality assessment
CN114594103B (zh) 核工业设备表面缺陷自动检测及报告自动生成方法及系统
CN111382787A (zh) 一种基于深度学习的目标检测方法
CN111340137A (zh) 图像识别方法、装置及存储介质
CN117729015A (zh) 一种基于对齐原型网络的小样本异常流量分类方法
CN116094778B (zh) 一种基于互联网的实时监控系统
CN117197651B (zh) 一种结合边缘检测与语义分割的田块提取方法及系统
CN117726627B (zh) 芯片表面缺陷检测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant