CN110727436A - 操作界面的脚本执行方法、装置、终端设备及存储介质 - Google Patents
操作界面的脚本执行方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN110727436A CN110727436A CN201911016914.6A CN201911016914A CN110727436A CN 110727436 A CN110727436 A CN 110727436A CN 201911016914 A CN201911016914 A CN 201911016914A CN 110727436 A CN110727436 A CN 110727436A
- Authority
- CN
- China
- Prior art keywords
- interface
- script
- logic model
- operation interface
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种操作界面的脚本执行方法、装置、终端设备及可计算机读存储介质，通过构建当前操作界面的第一界面逻辑模型，并获取所述操作界面对应脚本中保存界面的第二界面逻辑模型；比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配；当确认所述操作界面与所述保存界面相匹配时，按照所述脚本对所述操作界面执行对应动作。本发明实现了，基于构建界面逻辑模型进行比对，从而使得脚本的执行不受操作界面中各操作元素在图像层面上发生改变(如接口位置、显示形状发生变化)的影响，仍可稳定的在操作界面上执行相应的动作，提升了执行软件按照脚本与操作界面进行交互的执行效率。
Description
技术领域
本发明涉及Fintech(金融科技)技术领域，尤其涉及一种操作界面的脚本执行方法、装置、终端设备及计算机可读存储介质。
背景技术
网页爬取和流程自动化等领域均会涉及到执行软件(爬虫程序，自动化程序)与操作界面的交互。
目前这些交互均通过执行预先保存的脚本来完成，即在执行每一步操作时，按照脚本记录的信息(如页面脚本字段或函数，界面图像，操作元素区域图像)对操作界面执行相应动作。然而，现有的脚本执行方式，在操作界面的显示或者接口发生改变的情况下，该预先保存的脚本即无法执行，导致在操作界面上自动交互的执行效率低。
发明内容
本发明的主要目的在于提供一种操作界面的脚本执行方法、装置、终端设备及计算机可读存储介质，旨在解决现有的脚本执行方式，在操作界面的显示或者接口发生改变的情况下，在操作界面上自动交互的执行效率低的技术问题。
为实现上述目的，本发明提供一种操作界面的脚本执行方法，所述操作界面的脚本执行方法包括：
构建当前操作界面的第一界面逻辑模型，并获取所述操作界面对应脚本中保存界面的第二界面逻辑模型；
比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配；
当确认所述操作界面与所述保存界面相匹配时，按照所述脚本对所述操作界面执行对应动作。
进一步地，所述比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配的步骤，包括：
遍历所述第一界面逻辑模型和所述第二界面逻辑模型的各操作元素；
检测各所述操作元素相互之间的匹配程度是否满足预设条件；
若是，则确认所述操作界面与所述保存界面相匹配；
若否，则确认所述操作界面与所述保存界面不相匹配。
进一步地，遍历各所述操作元素时，至少遍历所述操作元素的类型和属性，
所述检测各所述操作元素相互之间的匹配程度是否满足预设条件的步骤，包括：
当检测到所述类型和所述属性均匹配时，确定各对应的所述操作元素之间的匹配程度满足预设条件；
当检测到所述类型不匹配和/或所述属性不匹配时，确定各对应的所述操作元素之间的匹配程度不满足预设条件。
进一步地，在所述获取所述操作界面对应脚本中保存界面的第二界面逻辑模型的步骤之前，还包括：
提取所述脚本中保存界面的图像，基于所述图像构建所述第二界面逻辑模型。
进一步地，所述提取所述脚本中保存界面的图像，基于所述图像构建所述第二界面逻辑模型的步骤，包括：
在所述脚本录制所述操作界面上的执行动作时，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型；或者，
在构建所述第一界面逻辑模型的同时，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型。
进一步地，所述按照所述脚本对所述操作界面执行对应动作的步骤，包括：
识别并获取所述脚本中保存的操作执行点；
针对所述操作界面执行所述操作执行点对应的操作动作。
进一步地，所述构建当前操作界面的第一界面逻辑模型的步骤，包括：
对所述操作界面的图像进行解析，并基于解析结果构建所述操作界面的第一界面逻辑模型，其中，所述解析结果包括界面类型、各区域位置及类型，各区域内元素的类型、属性、相互关系和操作方式中的一种或者多种。
此外，为实现上述目的，本发明还提供一种操作界面的脚本执行装置，所述操作界面的脚本执行装置包括：
构建模块，用于构建当前操作界面的第一界面逻辑模型，并获取所述操作界面对应脚本中保存界面的第二界面逻辑模型；
比对模块，用于比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配；
执行模块，用于当确认所述操作界面与所述保存界面相匹配时，按照所述脚本对所述操作界面执行对应动作。
本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的操作界面的脚本执行程序，所述操作界面的脚本执行程序被所述处理器执行时实现如上述中的操作界面的脚本执行方法的步骤。
本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的操作界面的脚本执行方法的步骤。
本发明提出的操作界面的脚本执行方法、装置、终端设备以及计算机可读存储介质，通过构建当前操作界面的第一界面逻辑模型，并获取所述操作界面对应脚本中保存界面的第二界面逻辑模型；比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配；当确认所述操作界面与所述保存界面相匹配时，按照所述脚本对所述操作界面执行对应动作。本发明构建当前操作界面的第一界面逻辑模型，并通过将第一界面逻辑模型与脚本中预先存储的保存界面的第二界面逻辑模型进行比对，来检查该保存界面是否与当前操作界面相匹配，在确认匹配时，基于脚本在当前操作界面上执行对应动作。从而实现了，基于构建界面逻辑模型进行比对，从而使得脚本的执行不受操作界面中各操作元素在图像层面上发生改变(如接口位置、显示形状发生变化)的影响，仍可稳定的在操作界面上执行相应的动作，提升了执行软件按照脚本与操作界面进行交互的执行效率。
附图说明
图1是本发明实施例方案涉及的硬件运行的结构示意图；
图2是本发明一种操作界面的脚本执行方法第一实施例的流程示意图；
图3是本发明一种操作界面的脚本执行方法一实施例中步骤S200的细化流程示意图；
图4是本发明一种操作界面的脚本执行装置的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。本发明实施例终端设备可以是PC，便携计算机等终端设备。
如图1所示，该终端设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及分布式任务的处理程序。其中，操作系统是管理和控制样本终端设备硬件和软件资源的程序，支持分布式任务的处理程序以及其它软件或程序的运行。
在图1所示的终端设备中，用户接口1003主要用于与各个终端进行数据通信；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的操作界面的脚本执行程序，并执行以下操作：
构建当前操作界面的第一界面逻辑模型，并获取所述操作界面对应脚本中保存界面的第二界面逻辑模型；
比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配；
当确认所述操作界面与所述保存界面相匹配时，按照所述脚本对所述操作界面执行对应动作。
进一步地，处理器1001可以调用存储器1005中存储的操作界面的脚本执行程序，还执行以下操作：
遍历所述第一界面逻辑模型和所述第二界面逻辑模型的各操作元素；
检测各所述操作元素相互之间的匹配程度是否满足预设条件；
若是，则确认所述操作界面与所述保存界面相匹配；
若否，则确认所述操作界面与所述保存界面不相匹配。
进一步地，处理器1001可以调用存储器1005中存储的操作界面的脚本执行程序，还执行以下操作：
当检测到所述类型和所述属性均匹配时，确定各对应的所述操作元素之间的匹配程度满足预设条件；
当检测到所述类型不匹配和/或所述属性不匹配时，确定各对应的所述操作元素之间的匹配程度不满足预设条件。
进一步地，处理器1001可以调用存储器1005中存储的操作界面的脚本执行程序，在执行获取所述操作界面对应脚本中保存界面的第二界面逻辑模型之前，还执行以下操作：
提取所述脚本中保存界面的图像，基于所述图像构建所述第二界面逻辑模型。
进一步地，处理器1001可以调用存储器1005中存储的操作界面的脚本执行程序，还执行以下操作：
在所述脚本录制所述操作界面上的执行动作时，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型；或者，
在构建所述第一界面逻辑模型的同时，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型。
进一步地，处理器1001可以调用存储器1005中存储的操作界面的脚本执行程序，还执行以下操作：
识别并获取所述脚本中保存的操作执行点；
针对所述操作界面执行所述操作执行点对应的操作动作。
进一步地，处理器1001可以调用存储器1005中存储的操作界面的脚本执行程序，还执行以下操作：
对所述操作界面的图像进行解析，并基于解析结果构建所述操作界面的第一界面逻辑模型，其中，所述解析结果包括界面类型、各区域位置及类型，各区域内元素的类型、属性、相互关系和操作方式中的一种或者多种。
基于上述的结构，提出本发明操作界面的脚本执行方法的各个实施例。
请参照图2，图2为本发明操作界面的脚本执行方法第一实施例的流程示意图。
本发明实施例提供了操作界面的脚本执行方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例操作界面的脚本执行方法应用于上述终端设备，本发明实施例终端设备可以是PC，便携计算机等终端设备，在此不做具体限制。
本实施例操作界面的脚本执行方法包括：
步骤S100，构建当前操作界面的第一界面逻辑模型，并获取所述操作界面对应脚本中保存界面的第二界面逻辑模型。
在检测到对当前操作界面执行操作时，基于界面解析方法对当前操作界面进行建模，以构建当前操作界面的第一界面逻辑模型，并在当前第一界面逻辑模型构建完成之后，获取在当前操作界面上执行动作所依据的脚本命令中包含的保存界面的第二界面逻辑模型。
进一步地，步骤S100中，构建当前操作界面的第一界面逻辑模型，包括：
步骤S101，对所述操作界面的图像进行解析，并基于解析结果构建所述操作界面的第一界面逻辑模型，其中，所述解析结果包括界面类型、各区域位置及类型，各区域内元素的类型、属性、相互关系和操作方式中的一种或者多种。
在依据脚本命令中的执行步骤开始在当前操作界面上执行操作动作时，获取当前操作界面的界面图像，并调用图像的界面解析算法对该界面图像进行解析，得出当前操作界面的界面类型、界面中各区域位置及类型、各区域内操作元素的类型和属性以及操作元素相互之间的逻辑关系等，来构建得到当前操作界面的第一界面逻辑模型。
具体地，例如，当脚本命令指示当前的执行步骤是在某网页的搜索框中输入搜索内容，然后点击查询按钮，则在开始执行该脚本时获取当前网页的图像，并通过调用图像的界面解析算法对当前网页的图像进行解析，以得到搜索框与查询按钮这两个必须的操作元素，并解析得出该搜索框与查询按钮两个操作元素相互之间的逻辑关系为附属关系，从而构建出当前网页的界面逻辑模型，且该界面逻辑模型包含两个操作元素以及两个操作元素相互之间逻辑关系。
需要说明的是，本实施例中，在构建当前操作界面的界面逻辑关系时，可以仅根据在当前操作界面上执行对应动作所必需的解析内容，对当前操作界面的界面图像进行解析以构建模型，而无需对操作界面的全部特征(如界面类型、界面中各区域位置及类型、各区域内操作元素的类型和属性以及操作元素相互之间的逻辑关系、各操作元素所能够实现的操作动作等)均进行解析，如此，避免了长时间进行界面逻辑模型构建和最终模型中存在无用特征，提升了脚本在当前操作界面上的执行效率。
步骤S200，比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配。
在构建得出当前操作界面的第一界面逻辑模型并获取到脚本命令中所包含的保存界面的第二界面逻辑模型之后，通过比较第一界面逻辑模型与第二界面逻辑模型之间的相似性，来确定当前操作界面是否与脚本命令中所包含的保存界面相匹配。
进一步地，请参照图3，图3为步骤S200的细化流程示意图，步骤S200，包括：
步骤S201，遍历所述第一界面逻辑模型和所述第二界面逻辑模型的各操作元素。
分别遍历第一界面逻辑模型所包含的操作元素和第二界面逻辑模型所包含的操作元素。
具体地，例如，在检测到当前操作界面的第一界面逻辑和保存界面的第二界面逻辑模型中各自所包含的界面类型、界面中各区域位置及类型均互相对应匹配(即第一界面逻辑中的界面类型与第二界面逻辑模型中的界面类型相对应匹配，且第一界面逻辑中的界面中各区域位置及类型与第二界面逻辑模型中的界面中各区域位置及类型相对应匹配)之后，开始遍历查询第一界面逻辑模型中所包含的全部界面各区域内操作元素，并同时遍历查询第二界面逻辑模型中所包含的全部界面各区域内操作元素。
步骤S202，检测各所述操作元素相互之间的匹配程度是否满足预设条件。
在遍历查询到第一界面逻辑模型和第二界面逻辑模型各自所包含的操作元素之后，进一步检测各对应的操作元素相互之间对应的匹配程度对否满足预设条件。
需要说明的是，本实施例中，预设条件为根据脚本命令在当前操作界面上执行操作动作的需求，对应设置的要求当前操作界面与脚本命令中保存界面之间所至少达到的对应匹配程度的高低，例如，完全匹配。
需要说明的是，本实施例中，在遍历查询第一界面逻辑模型和第二界面逻辑模型各自所包含的操作元素时，至少需要查询到各操作元素的类型以及属性。
进一步地，步骤S202，检测各所述操作元素相互之间的匹配程度是否满足预设条件，包括：
步骤S2021，当检测到所述类型和所述属性均匹配时，确定各对应的所述操作元素之间的匹配程度满足预设条件。
具体地，例如，当检测到遍历查询到的第一界面逻辑模型中所包含的全部界面各区域内操作元素的类型，与遍历查询到的第二界面逻辑模型中所包含的全部界面各区域内操作元素的类型一一对应，并且第一界面逻辑模型中所包含的全部界面各区域内操作元素的属性，也与第二界面逻辑模型中所包含的全部界面各区域内操作元素的属性一一对应，则确认第一界面逻辑模型和第二界面逻辑模型中各自所包含的各操作元素相互之间的匹配程度满足完全匹配的条件。
步骤S2022，当检测到所述类型不匹配和/或所述属性不匹配时，确定各对应的所述操作元素之间的匹配程度不满足预设条件。
具体地，例如，当检测到遍历查询到的第一界面逻辑模型中所包含的全部界面各区域内操作元素的类型，与遍历查询到的第二界面逻辑模型中所包含的全部界面各区域内操作元素的类型未一一对应，或者第一界面逻辑模型中所包含的全部界面各区域内操作元素的属性，与第二界面逻辑模型中所包含的全部界面各区域内操作元素的属性未一一对应，则确认第一界面逻辑模型和第二界面逻辑模型中各自所包含的各操作元素相互之间的匹配程度不满足完全匹配的条件。
步骤S203，确认所述操作界面与所述保存界面相匹配；
步骤S204，确认所述操作界面与所述保存界面不相匹配。
具体地，例如，在确认第一界面逻辑模型和第二界面逻辑模型中各自所包含的各操作元素，相互之间的匹配程度满足完全匹配的条件时，即可确定依据脚本命令中的执行步骤执行操作动作的当前操作界面，与该脚本命令中留存的保存界面是相匹配的，或者，在确认第一界面逻辑模型和第二界面逻辑模型中各自所包含的各操作元素，相互之间的匹配程度不满足完全匹配的条件时，即可确定依据脚本命令中的执行步骤执行操作动作的当前操作界面，与该脚本命令中留存的保存界面是不相匹配的。
步骤S300，当确认所述操作界面与所述保存界面相匹配时，按照所述脚本对所述操作界面执行对应动作。
当确定当前操作界面与脚本命令中所包含的保存界面相互对应匹配时，即可按照该脚本命令中执行步骤的操作动作，对当前操作界面执行对应的动作。
进一步地，步骤S300中，按照所述脚本在所述操作界面上执行对应动作，包括：
步骤S301，识别并获取所述脚本中保存的操作执行点。
识别脚本命令中保存界面的第二界面逻辑模型中，界面各区域内的操作元素的操作动作，并获取动作的操作执行点。
具体地，例如，当脚本命令指示当前的执行步骤是在某网页的搜索框中输入搜索内容，然后点击查询按钮，则识别出该脚本命令中预先录制当前网页的第二界面逻辑模型中包含的“搜索框”操作元素和“查询按钮”操作元素，各自的操作动作为“在搜索框中输入搜索内容”和“点击查询按钮”，从而获取该“搜索框”操作元素和“查询按钮”操作元素，各自的操作动作的操作执行点，即“输入内容”和“点击按键”。
步骤S302，针对所述操作界面执行所述操作执行点对应的操作动作。
根据识别获取到的脚本命令中保存界面的第二界面逻辑模型中，各操作元素代表操作动作的操作执行点，在当前操作界面上的对应的操作元素上执行脚本命令所指示的执行动作。
具体地，例如，按照识别获取到的第二界面逻辑模型中包含的“搜索框”操作元素和“查询按钮”操作元素，各自操作动作--即“在搜索框中输入搜索内容”和“点击查询按钮”的操作执行点--即“输入内容”和“点击按键”，在当前网页中的“搜索框”操作元素和“查询按钮”操作元素上，对应执行在搜索框中输入搜索内容”和“点击查询按钮”动作。
在本实施例中，通过在检测到对当前操作界面执行操作时，基于界面解析方法对当前操作界面进行建模，以构建当前操作界面的第一界面逻辑模型，并在当前第一界面逻辑模型构建完成之后，获取在当前操作界面上执行动作所依据的脚本命令中包含的保存界面的第二界面逻辑模型，在构建得出当前操作界面的第一界面逻辑模型并获取到脚本命令中所包含的保存界面的第二界面逻辑模型之后，通过比较第一界面逻辑模型与第二界面逻辑模型之间的相似性，来确定当前操作界面是否与脚本命令中所包含的保存界面相匹配，当确定当前操作界面与脚本命令中所包含的保存界面相互对应匹配时，即可按照该脚本命令中执行步骤的执行操作，在当前操作界面上执行对应的动作。
实现了，基于构建界面逻辑模型进行比对，从而使得脚本的执行不受操作界面中各操作元素在图像层面上发生改变(如接口位置、显示形状发生变化)的影响，仍可稳定的在操作界面上执行相应的动作，提升了脚本执行的鲁棒性。
进一步地，基于上述操作界面的脚本执行方法第一实施例，提出本发明操作界面的脚本执行方法的第二实施例。
在本发明操作界面的脚本执行方法的第二实施例中，在上述步骤S100中，获取所述操作界面对应脚本中保存界面的第二界面逻辑模型之前，本发明操作界面的脚本执行方法，还包括：
步骤A，提取所述脚本中保存界面的图像，基于所述图像构建所述第二界面逻辑模型。
获取脚本命令中所包含的保存界面的界面图像，并调用图像的界面解析算法对该界面图像进行解析，得出当前操作界面的界面类型、界面中各区域位置及类型、各区域内操作元素的类型和属性以及操作元素相互之间的逻辑关系等，来构建得到该保存界面的第二界面逻辑模型。
具体地，例如，当脚本命令指示当前的执行步骤是在某网页的搜索框中输入搜索内容，然后点击查询按钮，则获取该脚本命令中所包含的保存界面的界面图像，并通过调用图像的界面解析算法对该保存界面的图像进行解析，以得到搜索框与查询按钮这两个必须的操作元素，并解析得出该搜索框与查询按钮两个操作元素相互之间的逻辑关系为附属关系，从而构建出该保存界面的界面逻辑模型，且该界面逻辑模型包含两个操作元素以及两个操作元素相互之间逻辑关系。
进一步地，步骤A，包括：
步骤A1，当所述脚本在所述操作界面上执行对应动作之后，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型。
在每一次脚本对操作界面上所执行的操作动作进行录制的过程中，即获取脚本命令中所包含的保存界面的界面图像，并调用图像的界面解析算法对该界面图像进行解析，以构建得到该保存界面的第二界面逻辑模型。
具体地，例如，在脚本录制某网页上执行的“在搜索框中输入搜索内容，然后点击查询按钮”时，提取当前时刻脚本所录制的网页的界面图像，并通过调用图像的界面解析算法对该保存界面的图像进行解析，以得到搜索框与查询按钮这两个必须的操作元素，并解析得出该搜索框与查询按钮两个操作元素相互之间的逻辑关系为附属关系，从而构建出该保存界面的界面逻辑模型。
本实施例中，通过在进行脚本录制的过程中，即完成对脚本命令中包含保存界面的第二界面逻辑模型的构建，从而实现了在按照该脚本命令对操作界面进行操作时，可直接调取已经构建好的第二界面逻辑模型进行比对，从而提升了在操作界面上执行脚本的执行效率。
步骤A2，在构建所述第一界面逻辑模型的同时，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型。
在检测到提取当期操作界面的图像以开始构建当前操作界面的第一界面逻辑模型时，同时提取出脚本命令中包含的保存界面的图像，以同步创建保存界面的第二界面逻辑模型。
具体地，例如，在为依据脚本命令指示的执行步骤在某网页上执行“在搜索框中输入搜索内容，然后点击查询按钮”的操作动作，而开始提取当前网页的截面图像从而构建当前网页的界面逻辑模型时，同步提取该脚本命令中包含的保存界面的界面图像，并解析得出该搜索框与查询按钮两个操作元素相互之间的逻辑关系为附属关系，从而构建出保存界面的界面逻辑模型。
本实施例中，通过同步构建当前操作界面的第一界面逻辑模型和脚本包含的保存界面的第二界面逻辑模型，然后通过比对界面逻辑模型来确认当前操作界面是否与保存界面相匹配，从而使得脚本的执行不受操作界面中各操作元素在图像层面上发生改变(如接口位置、显示形状发生变化)的影响，仍可稳定的在操作界面上执行相应的动作，提升了脚本执行的鲁棒性。
此外，请参照图4，本发明实施例还提出一种操作界面的脚本执行装置，本发明操作界面的脚本执行装置，包括：
构建模块，用于构建当前操作界面的第一界面逻辑模型，并获取所述操作界面对应脚本中保存界面的第二界面逻辑模型；
比对模块，用于比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配；
执行模块，用于当确认所述操作界面与所述保存界面相匹配时，按照所述脚本对所述操作界面执行对应动作。
优选地，比对模块，包括：
遍历单元，用于遍历所述第一界面逻辑模型和所述第二界面逻辑模型的各操作元素；
检测单元，用于检测各所述操作元素相互之间的匹配程度是否满足预设条件；
第一确认单元，用于确认所述操作界面与所述保存界面相匹配；
第二确认单元，用于确认所述操作界面与所述保存界面不相匹配。
优选地，检测单元，还包括：
第一确定子单元，用于当检测到所述类型和所述属性均匹配时，确定各对应的所述操作元素之间的匹配程度满足预设条件；
第二确定子单元，用于当检测到所述类型不匹配和/或所述属性不匹配时，确定各对应的所述操作元素之间的匹配程度不满足预设条件。
优选地，本发明操作界面的脚本执行装置的构建模块，用于提取所述脚本中保存界面的图像，基于所述图像构建所述第二界面逻辑模型。
优选地，构建模块，还包括：
第一构建单元，用于在所述脚本录制所述操作界面上的执行动作时，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型；
第二构建单元，用于在构建所述第一界面逻辑模型的同时，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型。
优选地，执行模块，包括：
识别单元，用于识别并获取所述脚本中保存的操作执行点；
执行单元，用于针对所述操作界面执行所述操作执行点对应的操作动作。
优选地，构建模块，还包括：
第三构建单元，用于对所述操作界面的图像进行解析，并基于解析结果构建所述操作界面的第一界面逻辑模型，其中，所述解析结果包括界面类型、各区域位置及类型，各区域内元素的类型、属性、相互关系和操作方式中的一种或者多种。
本实施例提出的操作界面的脚本执行装置各个功能模块在运行时实现如上所述的操作界面的脚本执行方法的步骤，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，应用于计算机，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质上存储有操作界面的脚本执行程序，所述操作界面的脚本执行程序被处理器执行时实现如上所述的操作界面的脚本执行方法的步骤。
其中，在所述处理器上运行的操作界面的脚本执行程序被执行时所实现的步骤可参照本发明操作界面的脚本执行方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种操作界面的脚本执行方法，其特征在于，所述操作界面的脚本执行方法，包括：
构建当前操作界面的第一界面逻辑模型，并获取所述操作界面对应脚本中保存界面的第二界面逻辑模型；
比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配；
当确认所述操作界面与所述保存界面相匹配时，按照所述脚本对所述操作界面执行对应动作。
2.如权利要求1所述的操作界面的脚本执行方法，其特征在于，所述比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配的步骤，包括：
遍历所述第一界面逻辑模型和所述第二界面逻辑模型的各操作元素；
检测各所述操作元素相互之间的匹配程度是否满足预设条件；
若是，则确认所述操作界面与所述保存界面相匹配；
若否，则确认所述操作界面与所述保存界面不相匹配。
3.如权利要求2所述的操作界面的脚本执行方法，其特征在于，遍历各所述操作元素时，至少遍历所述操作元素的类型和属性，
所述检测各所述操作元素相互之间的匹配程度是否满足预设条件的步骤，包括：
当检测到所述类型和所述属性均匹配时，确定各对应的所述操作元素之间的匹配程度满足预设条件；
当检测到所述类型不匹配和/或所述属性不匹配时，确定各对应的所述操作元素之间的匹配程度不满足预设条件。
4.如权利要求1所述的操作界面的脚本执行方法，其特征在于，在所述获取所述操作界面对应脚本中保存界面的第二界面逻辑模型的步骤之前，还包括：
提取所述脚本中保存界面的图像，基于所述图像构建所述第二界面逻辑模型。
5.如权利要求4所述的操作界面的脚本执行方法，其特征在于，所述提取所述脚本中保存界面的图像，基于所述图像构建所述第二界面逻辑模型的步骤，包括：
在所述脚本录制所述操作界面上的执行动作时，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型；或者，
在构建所述第一界面逻辑模型的同时，提取所述脚本中保存界面的图像，并基于所述图像构建所述第二界面逻辑模型。
6.如权利要求1所述的操作界面的脚本执行方法，其特征在于，所述按照所述脚本对所述操作界面执行对应动作的步骤，包括：
识别并获取所述脚本中保存的操作执行点；
针对所述操作界面执行所述操作执行点对应的操作动作。
7.如权利要求1所述的操作界面的脚本执行方法，其特征在于，所述构建当前操作界面的第一界面逻辑模型的步骤，包括：
对所述操作界面的图像进行解析，并基于解析结果构建所述操作界面的第一界面逻辑模型，其中，所述解析结果包括界面类型、各区域位置及类型，各区域内元素的类型、属性、相互关系和操作方式中的一种或者多种。
8.一种操作界面的脚本执行装置，其特征在于，所述操作界面的脚本执行装置，包括：
构建模块，用于构建当前操作界面的第一界面逻辑模型，并获取所述操作界面对应脚本中保存界面的第二界面逻辑模型；
比对模块，用于比对所述第一界面逻辑模型与所述第二界面逻辑模型以确认所述操作界面是否与所述保存界面相匹配；
执行模块，用于当确认所述操作界面与所述保存界面相匹配时，按照所述脚本对所述操作界面执行对应动作。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的操作界面的脚本执行程序，所述操作界面的脚本执行程序被所述处理器执行时实现如权利要求1至7中任一项所述的操作界面的脚本执行方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的操作界面的脚本执行方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911016914.6A CN110727436A (zh) | 2019-10-24 | 2019-10-24 | 操作界面的脚本执行方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911016914.6A CN110727436A (zh) | 2019-10-24 | 2019-10-24 | 操作界面的脚本执行方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110727436A true CN110727436A (zh) | 2020-01-24 |
Family
ID=69223039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911016914.6A Pending CN110727436A (zh) | 2019-10-24 | 2019-10-24 | 操作界面的脚本执行方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110727436A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112732559A (zh) * | 2020-12-30 | 2021-04-30 | 广东粤云工业互联网创新科技有限公司 | 图片比对方法、自动拨测方法及系统、存储介质 |
| CN112799656A (zh) * | 2021-04-15 | 2021-05-14 | 智道网联科技(北京)有限公司 | 自动化操作的脚本文件配置方法、装置、设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102253946A (zh) * | 2010-05-20 | 2011-11-23 | 腾讯科技（北京）有限公司 | 基于lua脚本交互信息的方法、Web引擎和嵌入式终端 |
| CN103577526A (zh) * | 2013-08-01 | 2014-02-12 | 星云融创（北京）信息技术有限公司 | 一种验证页面是否被修改的方法、系统及浏览器 |
| US20140156689A1 (en) * | 2012-12-05 | 2014-06-05 | The Mathworks, Inc. | Mechanism for comparison of disparate data in data structures |
| US20160306502A1 (en) * | 2015-04-14 | 2016-10-20 | Ebay Inc. | Standardizing user interface elements |
| CN106528402A (zh) * | 2016-09-28 | 2017-03-22 | 惠州Tcl移动通信有限公司 | 一种测试终端的方法及系统 |
| CN109189686A (zh) * | 2018-08-30 | 2019-01-11 | 中国平安人寿保险股份有限公司 | 自动化回归测试方法、装置、存储介质和计算机设备 |
| CN109947650A (zh) * | 2019-03-20 | 2019-06-28 | 广州云测信息技术有限公司 | 脚本步骤处理方法、装置和系统 |
| US20190259144A1 (en) * | 2018-02-20 | 2019-08-22 | Capital One Services, Llc | Utilizing a machine learning model to automatically visually validate a user interface for multiple platforms |
-
2019
- 2019-10-24 CN CN201911016914.6A patent/CN110727436A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102253946A (zh) * | 2010-05-20 | 2011-11-23 | 腾讯科技（北京）有限公司 | 基于lua脚本交互信息的方法、Web引擎和嵌入式终端 |
| US20140156689A1 (en) * | 2012-12-05 | 2014-06-05 | The Mathworks, Inc. | Mechanism for comparison of disparate data in data structures |
| CN103577526A (zh) * | 2013-08-01 | 2014-02-12 | 星云融创（北京）信息技术有限公司 | 一种验证页面是否被修改的方法、系统及浏览器 |
| US20160306502A1 (en) * | 2015-04-14 | 2016-10-20 | Ebay Inc. | Standardizing user interface elements |
| CN106528402A (zh) * | 2016-09-28 | 2017-03-22 | 惠州Tcl移动通信有限公司 | 一种测试终端的方法及系统 |
| US20190259144A1 (en) * | 2018-02-20 | 2019-08-22 | Capital One Services, Llc | Utilizing a machine learning model to automatically visually validate a user interface for multiple platforms |
| CN109189686A (zh) * | 2018-08-30 | 2019-01-11 | 中国平安人寿保险股份有限公司 | 自动化回归测试方法、装置、存储介质和计算机设备 |
| CN109947650A (zh) * | 2019-03-20 | 2019-06-28 | 广州云测信息技术有限公司 | 脚本步骤处理方法、装置和系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112732559A (zh) * | 2020-12-30 | 2021-04-30 | 广东粤云工业互联网创新科技有限公司 | 图片比对方法、自动拨测方法及系统、存储介质 |
| CN112799656A (zh) * | 2021-04-15 | 2021-05-14 | 智道网联科技(北京)有限公司 | 自动化操作的脚本文件配置方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10970097B2 (en) | Adaptive web-based robotic process automation | |
| CN108363587B (zh) | 应用程序运行监控方法、装置、计算机设备和存储介质 | |
| CN108304201B (zh) | 对象更新方法、装置及设备 | |
| CN108399124B (zh) | 应用测试方法、装置、计算机设备和存储介质 | |
| CN110955416A (zh) | 接口文档生成方法、装置、设备和计算机存储介质 | |
| CN108399072B (zh) | 应用页面更新方法和装置 | |
| CN111475694B (zh) | 一种数据处理方法、装置、终端及存储介质 | |
| CN111068328B (zh) | 游戏广告配置表格的生成方法、终端设备及介质 | |
| CN110780965B (zh) | 基于视觉的流程自动化方法、设备及可读存储介质 | |
| CN111866158B (zh) | 路由方法、装置、计算机设备和存储介质 | |
| CN112394908A (zh) | 埋点页面自动生成的方法、装置、计算机设备及存储介质 | |
| JP2020013571A (ja) | アプリケーション更新方法、アプリケーション更新装置、電子機器およびコンピュータ読み取り可能な記憶媒体 | |
| CN110727436A (zh) | 操作界面的脚本执行方法、装置、终端设备及存储介质 | |
| CN115033894A (zh) | 一种基于知识图谱的软件组件供应链安全检测方法及装置 | |
| CN110727595B (zh) | 一种应用登录界面识别方法、智能终端及存储介质 | |
| CN115576600A (zh) | 基于代码变更的差异处理方法、装置、终端及存储介质 | |
| KR102307380B1 (ko) | 자연어 처리 기반 콜센터 지원 시스템 및 방법 | |
| CN109948107A (zh) | 面积曲面积分计算方法、装置、设备及存储介质 | |
| JP4602312B2 (ja) | 機器設定装置、機器設定方法、情報取得装置、情報取得方法、記録媒体及びプログラム | |
| CN111143001A (zh) | 终端的语言检测方法、用户设备、存储介质及装置 | |
| CN111090651A (zh) | 数据源的处理方法、装置、设备及可读存储介质 | |
| CN115469849A (zh) | 一种业务处理系统、方法、电子设备和存储介质 | |
| CN114895884A (zh) | 一种终端设备rpa脚本的编写及执行方法、系统 | |
| CN109284097B (zh) | 实现复杂数据分析的方法、设备、系统及存储介质 | |
| CN107861969B (zh) | 语句修改方法、扫描平台和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200124 |
|
| RJ01 | Rejection of invention patent application after publication |