CN115658523A - 一种人机交互界面的自动控制及测试方法和计算机设备 - Google Patents
一种人机交互界面的自动控制及测试方法和计算机设备 Download PDFInfo
- Publication number
- CN115658523A CN115658523A CN202211350880.6A CN202211350880A CN115658523A CN 115658523 A CN115658523 A CN 115658523A CN 202211350880 A CN202211350880 A CN 202211350880A CN 115658523 A CN115658523 A CN 115658523A
- Authority
- CN
- China
- Prior art keywords
- test
- standard
- script
- program
- executable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title claims abstract description 27
- 230000003993 interaction Effects 0.000 title claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 187
- 238000013515 script Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000005477 standard model Effects 0.000 claims abstract description 20
- 238000010561 standard procedure Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000011161 development Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供了一种人机交互界面的自动控制及测试方法和计算机设备。该方法包括：根据获取的标准术语清单编写测试用例；将测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型；通过标准模型对界面图像进行识别，获取界面图像中元素的元素属性，并将元素属性作为参数传入脚本生成器，生成测试程序；遍历测试用例集，逐条生成可执行测试脚本，测试用例集为所述测试程序的集合；执行可执行测试脚本。本发明实施例提供的技术方案中，通过将指令标准化、元素标准化，使得测试用例的开发及可执行测试脚本的自动化开发十分便利，提高了测试的效率和准确性。
Description
【技术领域】
本发明涉及计算机技术领域，尤其涉及人机交互界面的自动控制及测试方法和计算机设备。
【背景技术】
目前的比较高效的人机交互界面(Human Machine Interface，简称HMI)自动化测试方案主要有两种，一种是通过直接发送指令实现屏幕功能，这种方式并非模拟用户触屏操作，因此其测试结果与实际使用场景存在差异，使得测试不准确。
另一种是通过机械臂的触控，实现模拟用户操作，这种方式主要是通过元素坐标、元素身份标识号码(Identity document，简称ID)等方式定位操作目标，通过机械臂的触控来实现相应的点击、拖动等操作。这种方式也存在一些缺点，比如某些按钮的位置或者坐标并不固定，且依赖于操作人员提供的元素ID等信息，而这些信息在开发过程中可能随时会更新，会使得测试不准确，也对自动化测试脚本的开发和脚本的实时性带来了极大的不便。
【发明内容】
有鉴于此，本发明实施例提供了一种人机交互界面的自动控制及测试方法和计算机设备，用以提高测试的效率和准确性。
一方面，本发明实施例提供了一种人机交互界面的自动控制及测试方法，包括：
根据获取的标准术语清单编写测试用例；
将所述测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型；
通过所述标准模型对界面图像进行识别，获取所述界面图像中元素的元素属性，并将所述元素属性作为参数传入脚本生成器，生成测试程序；遍历测试用例集，逐条生成可执行测试脚本，所述测试用例集为所述测试程序的集合；
执行所述可执行测试脚本。
可选地，所述标准术语清单包括标准指令清单和标准元素清单。
可选地，所述指令库是根据所述标准指令清单编写的一系列指令程序的方法库。
可选地，所述元素模型库是通过图像识别算法对所述标准元素清单和被测设备的界面图像进行元素样本学习生成的。
可选地，所述遍历测试用例集，逐条生成可执行测试脚本，包括：
遍历所述测试用例集，将所述测试用例集中每个测试程序的前置条件、测试步骤和预期结果描述在存储的标准库中查找每个测试程序对应的测试方法和测试元素；
根据每个测试程序对应的测试方法和测试元素，生成每个测试程序对应的可执行测试脚本。
可选地，所述执行所述可执行测试脚本，包括：
对被测设备进行截屏，生成截屏图像；
通过图像识别算法识别所述截屏图像中的界面元素，以获取测试元素；
查询出所述测试元素对应的可执行测试脚本；
执行所述测试元素对应的可执行测试脚本。
可选地，所述元素属性包括元素图像和元素坐标。
另一方面，本发明实施例提供了一种人机交互界面的测试装置，包括：
编写模块，用于根据获取的标准术语清单编写测试用例；
调用模块，用于将所述测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型；
智能识别模块，用于通过所述标准模型对界面图像进行识别，获取所述界面图像中元素的元素属性，并将所述元素属性作为参数传入脚本生成器，生成测试程序；
生成模块，用于遍历测试用例集，逐条生成可执行测试脚本，所述测试用例集为所述测试程序的集合；
测试模块，用于执行所述可执行测试脚本。
另一方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述人机交互界面的自动控制及测试方法。
另一方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现上述人机交互界面的自动控制及测试方法的步骤。
本发明实施例提供的技术方案中，根据获取的标准术语清单编写测试用例；将测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型；通过标准模型对界面图像进行识别，获取界面图像中元素的元素属性，并将元素属性作为参数传入脚本生成器，生成测试程序；遍历测试用例集，逐条生成可执行测试脚本，测试用例集为所述测试程序的集合；执行可执行测试脚本。本发明实施例提供的技术方案中，通过将指令标准化、元素标准化，使得测试用例的开发及可执行测试脚本的自动化开发十分便利，提高了测试的效率和准确性。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一实施例提供的一种人机交互界面的自动控制及测试方法的流程图；
图2为本发明一实施例提供的一种人机交互界面的自动控制及测试方法的示意图；
图3为本发明一实施例提供的一种人机交互界面的自动控制及测试装置的结构示意图；
图4为本发明实施例提供的一种计算机设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本发明一实施例将人工智能(Artificial Intelligence，简称AI)中的图像识别算法结合机械臂操作装置，应用到HMI自动化测试当中，以实现高效的模拟用户操作的HMI自动化测试。
本发明一实施例提供了一种人机交互界面的自动控制及测试方法，图1为本发明一实施例提供的一种人机交互界面的自动控制及测试方法的流程图，图2为本发明一实施例提供的一种人机交互界面的自动控制及测试方法的示意图，如图1或图2所示，该方法包括：
步骤102、根据获取的标准术语清单编写测试用例。
本发明一实施例中，各步骤由计算机设备执行。例如，计算机设备包括计算机或平板电脑。
本发明一实施例中，根据获取的标准术语清单编写测试用例，可实现测试用例的标准化。
本发明一实施例中，标准术语清单包括标准指令清单和标准元素清单。
本发明一实施例中，标准指令清单是整理汇总HMI控制指令的标准化描述。
其中，标准指令清单为HMI测试所能用到的指令及其描述。例如，标准指令清单包括：点击、滑动、拖动、检查、对比、选择、下拉、添加、发送信号、确认等指令及其描述。
本发明一实施例中，标准元素清单是将常用的用户界面(User Interface，简称UI)元素进行分类整理并汇总的标准化元素描述。
其中，标准元素清单中的每一个元素都有对应的样本图像，可作为智能识别训练集。
本发明一实施例中，将HMI操作中能用到的所有操作指令归纳、分类，并整理成标准指令清单，为其定义标准化指令术语，并附上案例以供参考，便于操作者读取和识别。此标准指令清单在测试开发过程中可持续维护。
本发明一实施例中，标准元素清单包括UI元素。例如，标准元素清单包括：图标(icon)、按钮(button)、标签(tab)、文本框控件(TextView)、区域、弹框、文本、状态显示等分类，每种分类下有各种具体内容，按钮分类下包括多个条目，例如，按钮分类下包括：返回按钮、关闭按钮、折叠按钮、播放按钮等。每一个条目都包含至少一个样本，如“返回”按钮包含“返回”字样、
图标或其他表示“返回”的图标，这些样本将作为图像识别算法的训练集，用于机器学习生成算法模型，定义为“返回”，以便被可执行测试脚本调用并在截屏图像识别查找对应的测试元素。
本发明一实施例中，测试用例中的前置条件、测试步骤、预期结果描述，均按标准术语清单中的标准术语进行编写，其中前置条件可分为两类：HMI显示状态(开机状态)、HMI非显示状态(关机状态、休眠状态)。
步骤104、将测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型。
本发明一实施例中，指令库是根据标准指令清单编写的一系列指令程序的方法库。
具体地，指令库是一系列操作指令和方法的集合，需要根据标准指令清单进行定制化编写，即将标准指令清单中的指令一一编写成脚本方法，并将该脚本方法整理成指令库。
本发明一实施例中，元素模型库是通过图像识别算法对标准元素清单和被测设备的界面图像进行元素样本学习生成的。
本发明一实施例中，元素模型库包括众多类型的元素，元素模型库是采集一定数量的界面图像(UI)中的元素作为训练集，通过对训练集进行学习生成的。
元素模型库为通过AI智能图片识别后生成的算法模型的集合。
本发明实施例提供的技术方案中，元素模型库可包含被测设备的UI的原始设计图像，能够大大提高图像识别的准确率。
本发明一实施例中，元素样本学习的步骤为：基于图像识别算法，对标准元素清单中的元素进行AI训练，生成元素的模型并存储到标准库中，即生成元素模型库。
步骤106、通过标准模型对界面图像进行识别，获取界面图像中元素的元素属性，并将元素属性作为参数传入脚本生成器，生成测试程序。
本发明一实施例中，元素属性包括元素图像和元素坐标。
步骤108、遍历测试用例集，逐条生成可执行测试脚本，测试用例集为测试程序的集合。
本发明一实施例中，将每一条测试程序集合到一起，生成测试用例集。
具体地，步骤108可包括：
步骤1082、遍历测试用例集，将测试用例集中每个测试程序的前置条件、测试步骤和预期结果描述在存储的标准库中查找每个测试程序对应的测试方法和测试元素。
步骤1084、根据每个测试程序对应的测试方法和测试元素，生成每个测试程序对应的可执行测试脚本。
具体地，可执行测试脚本包括测试方法和测试方法对应的变量。本发明一实施例中，将测试用例转化为“方法”+“变量”的可执行测试脚本，以实现测试脚本的自动生成。
本发明一实施例中，步骤1084之后，操作人员可手动检查并完善可执行测试脚本。
步骤110、执行可执行测试脚本。
具体地，步骤110可包括：
步骤1102、对被测设备进行截屏，生成截屏图像。
本发明一实施例中，被测设备为触摸屏电子产品。例如，被测设备包括：手机、平板电脑、车载中控屏、可穿戴设备、带触摸屏的笔记本电脑等。
本发明一实施例中，被测设备为被操作对象。测试时，将通过相机或截屏的方式，获取被测设备的截屏图像，用于查找测试元素。
步骤1104、通过图像识别算法识别截屏图像中的界面元素，以获取测试元素。
本发明一实施例中，通过图像识别算法对被测设备的截屏图像进行识别，查找测试元素，返回查找结果及其属性。如未找到，则返回“未找到”，并保存图片反馈给用户。用户根据反馈结果，核查测试用例和元素模型库，分析原因，完善测试用例或者补充训练集对标准元素清单中的元素进行进一步训练。
本发明实施例提供的技术方案中，可基于图像识别算法有效获取被测设备的屏幕上显示的界面元素，并对该界面元素进行测试。
步骤1106、查询出测试元素对应的可执行测试脚本。
例如，若测试元素包括“返回”，则查询出测试元素“返回”对应的可执行测试脚本。
步骤1108、执行测试元素对应的可执行测试脚本。
例如，执行测试元素“返回”对应的可执行测试脚本。具体地，机械臂操作装置点击被测设备上显示的“返回”，则被测设备从当前页面返回至上一页面。
本发明实施例提供的技术方案中，根据获取的标准术语清单编写测试用例；将测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型；通过标准模型对界面图像进行识别，获取界面图像中元素的元素属性，并将元素属性作为参数传入脚本生成器，生成测试程序；遍历测试用例集，逐条生成可执行测试脚本，测试用例集为所述测试程序的集合；执行可执行测试脚本。本发明实施例提供的技术方案中，通过将指令标准化、元素标准化，使得测试用例的开发及可执行测试脚本的自动化开发十分便利，提高了测试的效率和准确性。
本发明实施例提供的技术方案中，实现了将HMI的测试用例自动化生成可执行测试脚本，可以高效地实现HMI自动化测试，并有效减少自动化测试对操作人员的依赖。
本发明实施例提供的技术方案中，可减轻测试工作中操作人员的工作内容，操作人员秩序维护标准指令清单和标准元素清单即可，同时有助于测试用例标准化，提高测试效率。
本发明实施例提供的技术方案中，随着智能识别技术的广泛应用和不断优化，现在人脸识别技术的识别率以达到99.9％，而在图像识别领域，汽车动态运行下的交通标志识别率也能达到98％。将截屏图像识别应用到静态的触摸屏电子产品的UI识别，相应的识别率与动态场景对比，将会有明显的提高。
本发明一实施例提供了一种人机交互界面的自动控制及测试装置。图3为本发明一实施例提供的一种人机交互界面的自动控制及测试装置的结构示意图，如图3所示，该装置包括：编写模块11、调用模块12、智能识别模块13、生成模块14和测试模块15。
编写模块11用于根据获取的标准术语清单编写测试用例。
调用模块12用于将测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型。
智能识别模块13用于通过标准模型对界面图像进行识别，获取界面图像中元素的元素属性，并将元素属性作为参数传入脚本生成器，生成测试程序。
生成模块14用于遍历测试用例集，逐条生成可执行测试脚本，测试用例集为测试程序的集合。测试模块15用于执行可执行测试脚本。
本发明实施例中，标准术语清单包括标准指令清单和标准元素清单。
本发明实施例中，指令库是根据标准指令清单编写的一系列指令程序的方法库。
本发明实施例中，元素模型库是通过图像识别算法对标准元素清单和被测设备的界面图像进行元素样本学习生成的。
本发明实施例中，生成模块14具体用于遍历测试用例集，将测试用例集中每个测试程序的前置条件、测试步骤和预期结果描述在存储的标准库中查找每个测试程序对应的测试方法和测试元素；根据每个测试程序对应的测试方法和测试元素，生成每个测试程序对应的可执行测试脚本。
本发明实施例中，测试模块15具体用于对被测设备进行截屏，生成截屏图像；通过图像识别算法识别截屏图像中的界面元素，以获取测试元素；查询出测试元素对应的可执行测试脚本；执行测试元素对应的可执行测试脚本。
本发明实施例中，元素属性包括元素图像和元素坐标。
本发明实施例提供的技术方案中，根据获取的标准术语清单编写测试用例；将测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型；通过标准模型对界面图像进行识别，获取界面图像中元素的元素属性，并将元素属性作为参数传入脚本生成器，生成测试程序；遍历测试用例集，逐条生成可执行测试脚本，测试用例集为所述测试程序的集合；执行可执行测试脚本。本发明实施例提供的技术方案中，通过将指令标准化、元素标准化，使得测试用例的开发及可执行测试脚本的自动化开发十分便利，提高了测试的效率和准确性。
本实施例提供的人机交互界面的测试装置可用于实现上述图1中的人机交互界面的自动控制及测试方法，具体描述可参见上述人机交互界面的自动控制及测试方法的实施例，此处不再重复描述。
本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述人机交互界面的自动控制及测试方法的实施例的各步骤，具体描述可参见上述人机交互界面的自动控制及测试方法的实施例。
本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述人机交互界面的自动控制及测试方法的实施例的各步骤，具体描述可参见上述人机交互界面的自动控制及测试方法的实施例。
图4为本发明实施例提供的一种计算机设备的示意图。如图4所示，该实施例的计算机设备20包括：处理器21、存储器22以及存储在存储器22中并可在处理器21上运行的计算机程序23，该计算机程序23被处理器21执行时实现实施例中的应用于人机交互界面的自动控制及测试方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器21执行时实现实施例中应用于人机交互界面的自动控制及测试装置中各模型/单元的功能，为避免重复，此处不一一赘述。
计算机设备20包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，图4仅仅是计算机设备20的示例，并不构成对计算机设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器22可以是计算机设备20的内部存储单元，例如计算机设备20的硬盘或内存。存储器22也可以是计算机设备20的外部存储设备，例如计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器22还可以既包括计算机设备20的内部存储单元也包括外部存储设备。存储器22用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器22还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种人机交互界面的自动控制及测试方法，其特征在于，包括：
根据获取的标准术语清单编写测试用例；
将所述测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型；
通过所述标准模型对界面图像进行识别，获取所述界面图像中元素的元素属性，并将所述元素属性作为参数传入脚本生成器，生成测试程序；遍历测试用例集，逐条生成可执行测试脚本，所述测试用例集为所述测试程序的集合；
执行所述可执行测试脚本。
2.根据权利要求1所述的方法，其特征在于，所述标准术语清单包括标准指令清单和标准元素清单。
3.根据权利要求2所述的方法，其特征在于，所述指令库是根据所述标准指令清单编写的一系列指令程序的方法库。
4.根据权利要求2所述的方法，其特征在于，所述元素模型库是通过图像识别算法对所述标准元素清单和被测设备的界面图像进行元素样本学习生成的。
5.根据权利要求1所述的方法，其特征在于，所述遍历测试用例集，逐条生成可执行测试脚本，包括：
遍历所述测试用例集，将所述测试用例集中每个测试程序的前置条件、测试步骤和预期结果描述在存储的标准库中查找每个测试程序对应的测试方法和测试元素；
根据每个测试程序对应的测试方法和测试元素，生成每个测试程序对应的可执行测试脚本。
6.根据权利要求1所述的方法，其特征在于，所述执行所述可执行测试脚本，包括：
对被测设备进行截屏，生成截屏图像；
通过图像识别算法识别所述截屏图像中的界面元素，以获取测试元素；
查询出所述测试元素对应的可执行测试脚本；
执行所述测试元素对应的可执行测试脚本。
7.根据权利要求1所述的方法，其特征在于，所述元素属性包括元素图像和元素坐标。
8.一种人机交互界面的自动控制及测试装置，其特征在于，包括：
编写模块，用于根据获取的标准术语清单编写测试用例；
调用模块，用于将所述测试用例中的标准方法和标准元素输入脚本生成器，以调用指令库和元素模型库中对应的标准指令和标准模型；
智能识别模块，用于通过所述标准模型对界面图像进行识别，获取所述界面图像中元素的元素属性，并将所述元素属性作为参数传入脚本生成器，生成测试程序；
生成模块，用于遍历测试用例集，逐条生成可执行测试脚本，所述测试用例集为所述测试程序的集合；；
测试模块，用于执行所述可执行测试脚本。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的人机交互界面的自动控制及测试方法。
10.一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现权利要求1至7任意一项所述的人机交互界面的自动控制及测试方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211350880.6A CN115658523A (zh) | 2022-10-31 | 2022-10-31 | 一种人机交互界面的自动控制及测试方法和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211350880.6A CN115658523A (zh) | 2022-10-31 | 2022-10-31 | 一种人机交互界面的自动控制及测试方法和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115658523A true CN115658523A (zh) | 2023-01-31 |
Family
ID=84995176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211350880.6A Pending CN115658523A (zh) | 2022-10-31 | 2022-10-31 | 一种人机交互界面的自动控制及测试方法和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115658523A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116955207A (zh) * | 2023-09-18 | 2023-10-27 | 中国兵器装备集团兵器装备研究所 | 识别测试用例完成软硬件的自动化测试方法、系统及介质 |
| CN117234946A (zh) * | 2023-11-10 | 2023-12-15 | 深圳市金政软件技术有限公司 | 项目库系统的自动化测试方法及相关设备 |
-
2022
- 2022-10-31 CN CN202211350880.6A patent/CN115658523A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116955207A (zh) * | 2023-09-18 | 2023-10-27 | 中国兵器装备集团兵器装备研究所 | 识别测试用例完成软硬件的自动化测试方法、系统及介质 |
| CN117234946A (zh) * | 2023-11-10 | 2023-12-15 | 深圳市金政软件技术有限公司 | 项目库系统的自动化测试方法及相关设备 |
| CN117234946B (zh) * | 2023-11-10 | 2024-02-02 | 深圳市金政软件技术有限公司 | 项目库系统的自动化测试方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109542399B (zh) | 软件开发方法、装置、终端设备及计算机可读存储介质 | |
| US11321583B2 (en) | Image annotating method and electronic device | |
| CN106844217B (zh) | 对应用的控件进行埋点的方法及装置、可读存储介质 | |
| CN115658523A (zh) | 一种人机交互界面的自动控制及测试方法和计算机设备 | |
| CN110785736A (zh) | 自动代码生成 | |
| US10592211B2 (en) | Generation of application behaviors | |
| CN108351828A (zh) | 用于设备无关的自动应用测试的技术 | |
| US20110099498A1 (en) | Graphical user interface hierarchy generation | |
| CN111581208A (zh) | 一种数据可视化展示方法及装置 | |
| CN112131121B (zh) | 用户界面的模糊检测方法、装置、电子设备和存储介质 | |
| CN111126487A (zh) | 设备性能测试方法、装置及电子设备 | |
| CN110490237A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN111124863A (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN112528608B (zh) | 页面编辑方法、装置、电子设备和存储介质 | |
| CN113609028A (zh) | 一种页面测试方法、计算设备及可读存储介质 | |
| CN111954079B (zh) | 图像处理方法、装置、电子设备及介质 | |
| CN110674123B (zh) | 数据预处理方法、装置、设备及介质 | |
| CN112506503A (zh) | 一种编程方法、装置、终端设备及存储介质 | |
| CN111460235A (zh) | 图谱数据的处理方法、装置、设备及存储介质 | |
| CN114265777B (zh) | 应用程序的测试方法、装置、电子设备及存储介质 | |
| CN115481025A (zh) | 自动化测试的脚本录制方法、装置、计算机设备及介质 | |
| CN114860221A (zh) | 一种工作流引擎及其实现方法 | |
| KR20150097250A (ko) | 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
| CN111639705B (zh) | 一种批量图片标注方法、系统、机器可读介质及设备 | |
| US10782947B2 (en) | Systems and methods of diagram transformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240114 Address after: No. 13 Xingxiang Road, Zengjia Town, High tech Zone, Shapingba District, Chongqing, 400039 Applicant after: Chongqing Selis Phoenix Intelligent Innovation Technology Co.,Ltd. Address before: Room 2901, Floor 29, Unit 1, Building 1, No. 151, Tianfu Second Street, Chengdu Hi tech Zone, Chengdu Free Trade Pilot Zone, 610,000, Sichuan Applicant before: Chengdu Thalys Technology Co.,Ltd. |