CN107168705A - 图形界面语义描述系统及其建立方法和操作路径生成方法 - Google Patents

Abstract

本发明涉及智能控制领域，特别涉及一种图形界面语义描述系统及其建立方法和操作路径生成方法。本发明提供的图形界面语义描述系统及其建立方法和操作路径生成方法，给出了一种采用两层关系模型描述软件架构的系统，其采用了更适合视窗风格的软件图形界面的场景语义对软件系统进行描述，相较于常规的单层语义网络模型在同一层中用不同关系词（如包含关系、属于关系等）来描述场景中实体元素之间联系的方式，本发明提供的双层架构便于划分和推断场景中包含实体种类和实体之间的关系。

Description

图形界面语义描述系统及其建立方法和操作路径生成方法

技术领域

本发明涉及智能控制领域，特别涉及一种图形界面语义描述系统及其建立方法和操作路径生成方法。

背景技术

在信息技术和工业自动化相结合的领域，实现具有人工智能的自动化生产和测试是近年来发展的热点之一，用智能机械化操作替代人工操作的智能自动化控制是一个发展趋势；另外，一些综合性强、构成复杂的产品，如飞机、汽车、轮船等，在投入使用之前，需要进行大量的功能模拟、性能测试和结果分析，而工业机器人广泛的应用于自动化生产和测试过程中，其不仅可以减轻劳动强度，提高劳动生产率、降低劳动成本，而且对提高产品的质量，改善劳动环境有很重要的意义。

然而，对复杂产品的智能自动化测试必然与计算机软件的自动化操作密不可分。这是因为，工业生产过程中对自动化设备的人机交互操作和测试就是通过软件执行一系列操作，如响应命令、响应异常、记录异常状态等；通过软件系统自动规划操作路径，再将软件系统发出的指令传导至机械装置(常见的如机械臂)辅助自动完成操作。另外，计算机软件的自动化操作还用于远程交互中，如远程操作、远程培训和远程协助。获取远程设备上的图像在本地进行分析，根据操作命令(可以是本地设定的命令、也可以是远程设备传达的命令)规划好操作路径传送到远程设备上，远程设备的后台程序(如具有模拟鼠标、键盘等操作的一些程序)按照路径自动进行操作。

因此，在具有图形图像的人机界面的软件自动化测试(操作)过程中，特别解决的关键问题是分析软件界面特征和构成，建立起软件图形界面的表述和描述模型，根据测试需求产生控制命令，生成操作路径。界面特征通常用屏幕位图、API解析界面元素、图像识别等方式表示。屏幕位图方式产生的数据量大，特别是支持多任务同时运行的视窗应用软件，其图形用户界面的灵活多变，难以通过位图比较分析，因而测试结果可靠性低。API解析界面元素的方法依赖于源程序、开发和调试环境，通用性较差。随着图像分析与识别技术发展和CPU、GPU性能的大幅度，基于此的图形界面方法具有较高的可靠性，而且不依赖于待分析软件程序源代码、开发和调试环境。

图形界面的描述方法的建模，现有的方法一般是采用树状结构的描述模型。将待分析对象中的内容按种类进行划分，不同种类对应于一棵子树，子树中记录所有的信息以便于查找，如专利申请号201410452282.9《一种基于自动化测试平台的测试需求自动分析方法》中提到的TRM模型，就是以树状的结构记录待测试产品的相关信息如名称、版本号等。由于视窗软件的各界面之间都是有联系的，这种联系可以是双向也可以是单向，因此树状结构不能反应各子树之间的联系，也不能完全满足需求。有的方法采用有限状态机FSM表示，图形界面的内容表现形式作为状态节点，对软件的输入输出作为状态转移的事件，这类方法会因界面内容变化多样，而产生状态爆炸的问题。还有的方法采用Event-Flow事件流的综合方式，同时解决软件界面描述和测试用例的生成问题，该类方法还是难以解决因事件数量增加而模型空间急剧增大的问题。

发明内容

针对以上出现的问题，本发明提出了一种不依赖待分析软件程序源代码、开发和调试环境，仅仅基于待分析软件的图形界面，对待分析软件整体进行语义描述的语义描述系统建立方法

为了实现上述发明目的，本发明提供了以下技术方案：

一种图像界面语义描述系统建立方法，包含如下步骤：

包括采集所有界面图像信息的步骤；应注意的是，本文中提到的所有界面均指待分析软件的所有窗口界面；在一些实施例中，待分析软件系统的窗口界面可能是全部以页面的形式或者一部分是窗口界面，一部分是页面的方式展现，应声明的是，本发明中提到界面时，界面同时包含窗口界面、页面的含义。

包括采集各个界面静态属性信息的步骤；

包括采集各个界面中可以触发操作的标识的图像信息的步骤；

包括采集可执行操作的步骤；

包括将可执行操作与触发该操作的标识进行对应的步骤。

其中，各个采集步骤可以是自动采集也可以是人工手动采集，或者自动采集和人工采集相结合，比如，各个界面的图像信息完全可以实现自动采集，而各个界面中出发操作的标识，可以采用自动采集加人工校正的方式进行采集；而可执行操作，既可以是通过数据导入的方式进行采集，也可以依靠人工进行输入校正；而将可执行操作和标识进行对应的步骤，优选采用人工操作的方式实现，以提高正确率；但是不排除可以采用相应算法自动完成对应操作。

进一步的，还包括从可执行操作中提取界面之间的跳转关系并记录的步骤，如上所述，各个界面之间的跳转，当然既包含窗口界面之间的跳转，也包含页面之间的跳转，或者窗口界面和页面之间的跳转；跳转包括通过链接或按钮打开新的界面，也包括通过按钮或者图标标识进行相应操作关闭相应界面。

进一步的，所述界面的静态属性信息包括界面的制约属性，制约属性为真是，说明该界面为模态界面，反之，则说明该界面为非模态界面；众所周知的是，所谓模态界面指，用户想要操作其他界面时，必须关闭该界面，常见的视窗操作系统中，大多数弹出式对话框均为模态对话框，即，当其存在时，用户无法操作同一软件系统中的其他界面。

同时，静态属性信息还包括界面的ID号、界面包含的文字以及界面包含的按钮中的一项或多项。

进一步的，标识包括按钮标识、文本标识、菜单标识、滚条标识中一种或多种。

本发明同时提供一种基于图形界面语义描述待分析软件系统整体架构的描述系统，包括，视图模块及操作模块；其中，

所述视图模块包括待操作对象(待分析软件)中所有界面的图像信息以及各个界面中可以触发操作的标识信息，一些实施例中，视图模块也可以包括各个界面中不会触发操作的其他信息，比如仅仅起到展示或者其他作用的图片信息、文本信息、色彩信息等；

所述操作模块包括待操作对象中所有的可执行操作的信息；所述可执行操作信息与触发该操作的标识一一对应，相应的，各个可执行操作，也根据触发该操作的标识所在的界面的不同而分组；一般的，将同一界面中，所有可以触发的可执行操作分为操作组，为了方便管理可对各个可执行操作以及操作组进行编号或者采用其他标识方法进行表示区分；进一步的，视图模块中存储有各个界面的可跳转关系；而相应的，在操作模块中，由于各个可执行操作按照触发标识的归属也进行了对应分组，因此，操作模块中也可以存储有各个操作组的跳转关系，理所当然的，操作组的跳转关系和各个操作组对应的界面的跳转关系完全相同；可以将界面之间的跳转关系定位为第一跳转关系，而将操作组之间的跳转关系定义为第二跳转关系；则第一跳转关系和第二跳转关系之间为对应的。

综上，本系统采用两层关系模型来描述待分析软件(待操作软件、待操作对象)的具有视窗风格的软件图形界面，两层模型具体指是视图模块构成的视图层以及操作模块构成的操作层；通过建立该两层模型全面的描述了整个待分析软件的框架结构，形成待处理软件界面图像的一个语义网络图；其中，视图层(视图模块)描述了待处理软件各页面(窗口界面)之间的跳转关系，操作层则描述了待处理软件各页面(窗口界面)种包含的各种操作标识(如图标、图画、按钮、滑条、文本框)的属性以及他们所触发的操作，该操作比如可以是，不同窗口界面或者页面的跳转，跳出、界面或者页面的放大、缩小、关闭、移动；当然操作也包括对受控机械设备发出指令；简而言之，视图层和操作层通过按按钮集合和页面间的从属关系产生联系，这是生成路径的数据基础。

在上述内容的基础上，本发明同时提供一种应用上述图形界面语义描述系统自动产生对软件的操作路径的生成方法，包括，

接收目标控制指令，根据目标控制指令确定目标界面；如该目标控制指令可以是向受软件系统控制的机械设备发出某一特定指令；当目标控制指令确定后，可自图形界面语义描述系统中的操作模块中寻找该特定指令，进而寻找到视图模块中触发该特定指令的界面；该界面即为目标界面。

基于图像识别当前界面；当前界面可能是一个也可能是多个；通过图像采集，并将采集到的图像和视图模块中预存的各个界面的信息进行对比，获取当前界面信息；

根据当前存在的各个界面的制约属性选择起始界面，理所当然的，如果当前界面中存在制约属性为真的界面，其一定是起始界面，因为制约属性为真意味着，该界面的存在会阻止其他界面被操作；而若当前界面中不存在制约属性为真的界面时，根据预定规则或者随机选择起始界面；该预订规则比如可以是，比较各个界面展现的完整度，完整度最高的界面定位起始界面；该预订规则比如还可以是，比较各个当前界面的展现面积，将面积较大的界面定位起始界面等等；

根据路径算法生成自起始界面跳转至目标界面的路径，路径算法如可以是Dijkstra算法、遗传算法、蚁群算法、郭涛算法、SK算法，可以根据上述算法中的一个或多个结合各个界面之间的跳转关系计算路径。

根据各个界面中的标识和可执行操作的对应关系生成操作路径。

一些实施例中，在识别界面的步骤中，基于TF‐IDF进行识别，具体包括，

对样本中图标、文字TF‐IDF值权值进行设定；

采集待识别界面图像；

提取界面中图标、文字TF‐IDF值；

根据特征对界面进行划分。这是由于，通常软件运行的结果或者状态主要在视窗界面或者页面显示，视窗页面内的指示符号信息不是固定不变的，但是视图页面的基本框架、组成结构、标识却是不变或者可预测的，通过上述的页面识别分类方式，不但能识别视图页面窗口的分类，还能确定页面内的变化内容。因此对图形界面的软件测试结果和分析是完备的，不会导致界面显示的信息丢失。

进一步的，当从起始界面到目标界面的路径有多条时，根据路径计算算法选择最优路径。

进一步的，一些情况下，在路径生成后，如果仅仅根据产生的路径进行操作，在操作路径不固定或存在多步操作时，由于同时存在多个当前界面，且当前界面有时会有大小的变化或者意外遮挡的情况，造成原有规划路径无法顺利执行，此时，需要每进行一步操作后对页面重新分析规划下一步路径；即，在从起始界面到目标界面进行跳转的过程中，每执行一步操作，均检测当前界面是否与生成的规划中路径界面符合，如果不符合则重新规划路径。

与现有技术相比，本发明的有益效果：本发明提供的图形界面语义描述系统及其建立方法和操作路径生成方法，给出了一种采用两层关系模型描述软件架构的系统，其采用了更适合视窗风格的软件图形界面的场景语义对软件系统进行描述，相较于常规的单层语义网络模型在同一层中用不同关系词(如包含关系、属于关系等)来描述场景中实体元素之间联系的方式，本发明提供的双层架构便于划分和推断场景中包含实体种类和实体之间的关系。

同时，本发明提供的两层关系模型也优于具有图形化界面的软件自动化测试中常规采用的有限状态机和事件流方法，这是因为基于两层关系模型的语义图是以视图页面为主要节点，而视图页面的数量和表现形式通常是不变的。这样就大大简化了语义图中节点的数量，可有效避免状态爆炸。

由于对视窗风格软件的图形界面进行语义描述的最终目的是实现自动规划操作路径，从而实现自动化的对被描述软件系统进行操作(测试)，而本发明提供的两层模型可以很方便地将页面(相当于实体)之间的关系、操作按钮(实体的成份)和页面之间的关系表达出来，进而产生适应于两层模型的软件操作路径的生成方法；即，依靠本发明提供的两层架构，可以非常容易的根据操作目标在视图层生成页面路径，再通过页路径映射生成操作路径。

附图说明：

图1为本发明提供语义描述系统具体应用示意图。

图2为本发明提供的图形界面语义描述系统示例图。

图3为视图模块结构示例图。

图4为操作模块中可执行操作分组示意图。

图5为应用本发明提供的系统产生路径示意图。

图6为本发明中提供的操作路径生成及按照路径操作示例图。

图7为以平衡机测量软件为例采集的视图模块结构图。

图8为以平衡机测量软件为例的语义描述系统产生路径示例。

图9a至图9g为图8产生的路径涉及到的界面展示。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1：本实施例提供一种图像界面语义描述系统建立方法，包含如下步骤：

S110：采集所有界面图像信息。应注意的是，本文中提到的所有界面均指待分析软件的所有窗口界面；在一些实施例中，待分析软件系统的窗口界面可能是全部以页面的形式或者一部分是窗口界面，一部分是页面的方式展现，应声明的是，本发明中提到界面时，界面同时包含窗口界面、页面的含义。

S120：采集各个界面静态属性信息。所述界面的静态属性信息包括界面的制约属性，制约属性为真是，说明该界面为模态界面，反之，则说明该界面为非模态界面；众所周知的是，所谓模态界面指，用户想要操作其他界面时，必须关闭该界面，常见的视窗操作系统中，大多数弹出式对话框均为模态对话框，即，当其存在时，用户无法操作同一软件系统中的其他界面。同时，静态属性信息还包括界面的ID号、界面的包含的文字以及界面包含的按钮中的一项或多项。

S130：采集各个界面中可以触发操作的标识的图像信息；标识包括按钮标识、文本标识、菜单标识、滚条标识中一种或多种。

S140：采集可执行操作。可执行操作比如可以是页面关闭、打开、隐藏、扩大、缩小、输入参数、发出指令、产生事件响应等任何软件常见的操作；应注意的是，以上各个采集步骤可以是自动采集也可以是人工手动采集，或者自动采集和人工采集相结合，比如，各个界面的图像信息完全可以实现自动采集，而各个界面中出发操作的标识，可以采用自动采集加人工校正的方式进行采集；而可执行操作，既可以是通过数据导入的方式进行采集，也可以依靠人工进行输入校正；而将可执行操作和标识进行对应的步骤，优选采用人工操作的方式实现，以提高正确率；但是不排除可以采用相应算法自动完成对应操作。

S150：将可执行操作与触发该操作的标识进行对应。进一步的，在将可执行操作与触发该操作的标识进行对应后，一方面还包括步骤S151：从可执行操作中提取界面之间的跳转关系并记录；各个界面之间的跳转，当然既包含窗口界面之间的跳转，也包含页面之间的跳转，或者窗口界面和页面之间的跳转；跳转包括通过链接或按钮打开新的界面，也包括通过按钮或者图标标识进行相应操作关闭相应界面；而相应的，还包括步骤S152：将各个可执行操作按照触发标识的界面归属进行分组形成操作组，即每个界面都对应一个其可执行操作组成的操作组。理所当然的，操作组的跳转关系和各个操作组对应的界面的跳转关系完全相同；可以将界面之间的跳转关系定位为第一跳转关系，而将操作组之间的跳转关系定义为第二跳转关系；则第一跳转关系和第二跳转关系之间为对应的。

实施例2：本实施例则提供一种图形界面语义描述系统，其包括视图模块(视图层)及操作模块(操作层)；其中，

所述视图模块包括待操作对象(待分析软件)中所有界面的图像信息以及各个界面中可以触发操作的标识信息，一些实施例中，视图模块也可以包括各个界面中不会触发操作的其他信息，比如仅仅起到展示或者其他作用的图片信息、文本信息、色彩信息等；而操作模块包括待操作对象中所有的可执行操作的信息；所述可执行操作信息与触发该操作的标识一一对应，相应的，各个可执行操作，也根据触发该操作的标识所在的界面的不同而分组；一般的，将同一界面中，所有可以触发的可执行操作分为操作组，为了方便管理可对各个可执行操作以及操作组进行编号或者采用其他标识方法进行表示区分；进一步的，视图模块中存储有各个界面的可跳转关系；而相应的，在操作模块中，由于各个可执行操作按照触发标识的归属也进行了对应分组，因此，操作模块中也可以存储有各个操作组的跳转关系，理所当然的，操作组的跳转关系和各个操作组对应的界面的跳转关系完全相同；可以将界面之间的跳转关系定位为第一跳转关系，而将操作组之间的跳转关系定义为第二跳转关系；则第一跳转关系和第二跳转关系之间为对应的。

具体的，如图3所示，视层模块(视图层)主要描述软件界面图像的静态信息，将每个界面视为一个PageNode，具体示例中，每个PageNode包含的信息比如可以如表1所示：

表1

本示例中，PageNode描述子包含页面信息和关联信息两类信息。页面信息包含了页面的基本属性和图文元素。每个页面有唯一的ID编号供区分。比如，在Windows系统下，软件视窗界面都是以文档窗口、对话框等为基础。就对话框而言，有模态和非模态之分，而模态对话框往往会制约其他所有的页面，若需操作其他页面，必须先关闭模态对话框。用isRestrained来描述页面的制约属性。image表示该界面包含的图标集合，这些图标既可以是可操作项，也可以是非操作项。一个页面中包含了多条文本信息text。每条文本信息text包含character，color，isboder属性。character用来描述页面上的静态文本内容，color描述文本的颜色、isboder表示文字外围是否含有边框。在对一幅图像进行分析并检测该图像包含哪些页面时，需要通过概率的方法利用这些信息决策。关联信息是与操作层关联元素的页内相关信息belongbuttons。操作路径的生成需要从视图层映射到操作层，则视图层与操作层的关系需要有所体现。因此belongbuttons用于描述一个页面中存在的所有可操作按钮的集合，建立视图层和操作层之间的联系。

与之对应的，如图4所示，操作模块(操作层)内的每一个元素记为OptionNode，同一个页面内所有可操作按钮组成一个按钮集合OptionSet，操作层主要描述软件的可操作性信息，OptionNode和OptionSet的描述子如表2和表3所示。

表2OptionNode描述子

表3OptionSet的描述子

如表2所示，OptionNode包含两类信息，可操作的按钮信息(data)以及与下级菜单中按钮的关联信息(nextbuttons)。可操作项分为两种图标按钮和文本按钮。对于一个可操作项而言，需要知道它的操作方式operatestyle，按钮属性ishidden。对于文本按钮这类可操作项而言，除操作方式和按钮属性之外还需要知道它的组成文字character、文本颜色color和文字的边框信息isborder。操作方式一般有很多种，具体根据软件的设计方式确定。以Windows操作系统为例，软件界面中的一个菜单项可能会有子菜单，而子项是不会直接显示在当前软件界面图像中的，称这种特点为隐藏属性。ishidden就用来描述该属性。操作按钮会出现两种情况，如果含有子菜单，还停留在当前页面，否则会跳转到其他页面。linkpage就是用来记录操作按钮后的跳转页面。与下级菜单中按钮的关联信息nextbuttons。由于按钮存在隐藏属性，生成路径的过程需要知道具有该属性的按钮的上一级是哪个按钮，因此不具有隐藏属性的按钮的OptionSet中需要记录与之相关联的有隐藏属性的按钮集合信息。如表3所示，OptionSet包含两类信息，所属页面编号(PageID)和按钮集合相关信息(pnodes)。PageID描述这一按钮集合位于视图层的哪一个页面上。pnodes描述这一按钮集合的所有信息，通过pnodes可以知道该页面所有具有隐藏属性的按钮及每一个按钮的data和nextbuttons信息。

图2给出了本发明提供的语义描述系统的视图模块示例图，如图所示，视图模块包含了待分析软件的所有界面的基于图形的信息page1、page2、page3；而操作模块中则包含了各个界面中可以触发的可执行操作，如界面page1中可触发的可执行操作包括OP11、OP12、......、OP1n；界面page2中可触发的可执行操作包括OP21、OP22、......、OP2m；界面page3中可触发的可执行操作包括OP31、OP32；而界面page2和界面page3为可互相跳转的关系，将这种可互相跳转的关系定义为DA(p2，p3),而与之对应的是，界面page2只能单向跳转至界面page1，将这种跳转关系记为SA(p2，p1)，其中p1表示page1,p2表示page2,p3表示page3；而可执行操作和对应的界面之间的联系用In(p1,b1)来定义，其中，b1表示可执行操作OP11；与此同时，图4则给出了将操作层中各个可执行操作按照所属界面进行分组示例。

综上，本系统采用两层关系模型来描述待分析软件(待操作软件、待操作对象)的具有视窗风格的软件图形界面，两层模型具体指是视图模块构成的视图层以及操作模块构成的操作层；通过建立该两层模型全面的描述了整个待分析软件的框架结构，形成待处理软件界面图像的一个语义网络图；其中，视图层(视图模块)描述了待处理软件各页面(窗口界面)之间的跳转关系，操作层则描述了待处理软件各页面(窗口界面)种包含的各种操作标识(如图标、图画、按钮、滑条、文本框)的属性以及他们所触发的操作，该操作比如可以是，不同窗口界面或者页面的跳转，跳出、界面或者页面的放大、缩小、关闭、移动；当然操作也包括对受控机械设备发出指令；简而言之，视图层和操作层通过按按钮集合和页面间的从属关系产生联系，这是生成路径的数据基础。

实施例3：本实施例则提供一种应用实施例2提供的系统产生自动操作路径的方法，其步骤包括，

S210：接收目标控制指令，根据目标控制指令确定目标界面；如该目标控制指令可以是向受软件系统控制的机械设备发出某一特定指令；当目标控制指令确定后，可自图形界面语义描述系统中的操作模块中寻找该特定指令，进而寻找到视图模块中触发该特定指令的界面；该界面即为目标界面。

S220：基于图像识别当前界面；当前界面可能是一个也可能是多个；通过图像采集，并将采集到的图像和视图模块中预存的各个界面的信息进行对比，获取当前界面信息；

S230：根据当前存在的各个界面的制约属性选择起始界面，理所当然的，如果当前界面中存在制约属性为真的界面，其一定是起始界面，因为制约属性为真意味着，该界面的存在会阻止其他界面被操作；而若当前界面中不存在制约属性为真的界面时，根据预定规则或者随机选择起始界面；该预订规则比如可以是，比较各个界面展现的完整度，完整度最高的界面定位起始界面；该预订规则比如还可以是，比较各个当前界面的展现面积，将面积较大的界面定位起始界面等等；

S240：根据路径算法生成自起始界面跳转至目标界面的路径，路径算法如可以是Dijkstra算法、遗传算法、蚁群算法、郭涛算法、SK算法，可以根据上述算法中的一个或多个结合各个界面之间的跳转关系计算路径。

S250：结合各个界面中的标识和可执行操作的对应关系生成操作路径。

图5给出了生成的路径的具体示例，首先确定目标界面是PN8，而当前界面是PN9，根据各个界面之间的跳转关系，寻找PN8跳转至PN9的路径为PN8→PN1→PN2→PN4→PN8；继而根据界面中可执行操作的归属关系以及跳转执行方式，确定操作层的操作路径为OP91→OP13→OP22→OP45→OP81。

根据特征对界面进行划分。这是由于，通常软件运行的结果或者状态主要在视窗界面或者页面显示，视窗页面内的指示符号信息不是固定不变的，但是视图页面的基本框架、组成结构、标识却是不变或者可预测的，通过上述的页面识别分类方式，不但能识别视图页面窗口的分类，还能确定页面内的变化内容。因此对图形界面的软件测试结果和分析是完备的，不会导致界面显示的信息丢失。

而在具体应用上述规划的路径执行自动测试时，其应用原理如图1、图6所示，将目标控制指令(操作目的)输入至图形界面语义描述系统，系统按照上述步骤，利用图像识别系统自动识别屏幕上界面图文信息，并进一步的自动生成操作路径，系统按照该步骤控制待测试软件(实施例中的待分析软件系统)。待测试软件根据指令控制自动化机械装置或者其他后台程序。

当从起始界面到目标界面的路径有多条时，根据路径计算算法选择最优路径。而一些情况下，在路径生成后，如果仅仅根据产生的路径进行操作，在操作路径不固定或存在多步操作时，由于同时存在多个当前界面，且当前界面有时会有大小的变化或者意外遮挡的情况，造成原有规划路径无法顺利执行，此时，需要每进行一步操作后对页面重新分析规划下一步路径；即，在从起始界面到目标界面进行跳转的过程中，每执行一步操作，均检测当前界面是否与生成的规划中路径界面符合，如果不符合则重新规划路径。

实施例4：具体实施例中，在识别界面的步骤中，采用基于TF‐IDF的方式对界面进行识别划分，具体包括，

对样本中图标、文字TF‐IDF值权值进行设定；

采集待识别界面图像；

提取界面中图标、文字TF‐IDF值；TF是词频，表示特征词在单个样本中出现的频率。IDF是逆向文本频率，指该特征词出现在样本库样本中的频率。设样本库为S＝{s₁,s₂,s₃,…,s_n}，n是样本库中样本的数量。特征词集合为F＝{f₁,f₂,f₃,…,f_m}，m是特征词的个数，则特征词f_i在某一样本中的TF-IDF权值由式计算获得。

TF-IDF(f_i)＝TF(f_i)×IDF(f_i) (1)

式中num(f_i|s_t)表示f_i在样本s_t中出现的次数，num(s_t)表示样本s_t中所有的文本总数。式中d(f_i)表示样本中含有特征词f_i的样本个数，分母加1是为了避免分母为0的情况。

借助TF-IDF的思想，给定图标TF-IDF值的含义及计算方法。TF解释为图标的区域频率，表示某一图标在页面上的所有图标中出现的频率。IDF解释为逆图标区域频率，表示页面图像集合中含有某一图标的不同页面的个数。图标的TF-IDF值由式获得。

TF-IDF(I_k,j)＝TF(I_k,j)×IDF(I_k)＝TF(I_k,j)×log(N/df(I_k)) (4)

式中TF(I_k,j)表示第k个图标在界面j中出现的频率，N表示界面总个数，df(I_k)表示包含第k个图标的页面个数。由于特征图标一定在某界面中，因此df(I_k)一定大于0；应注意的是，公式(1)、公式(4)中“TF-IDF”为一个整体，其中的连字符“-”不是减号，同理，本文中出现的“TF-IDF”均为表示一个整体，而非TF减去IDF。

样本中图标和文字的TF-IDF值设定。根据双层模型中视图层记录的静态信息，分别设定每个页面节点中图标和文字的TF-IDF值，可由式(1)和式(4)计算获得；在待分类页面的图标和文字被识别之后，该待分类页面中文字和图标的TF-IDF值同样由式(1)和式(4)计算获得。

根据特征进行页面分类。在获得样本和待分类页面的图标和文字的TF-IDF特征之后，分别计算样本和待分类页面之间的欧式距离，距离越小，待分类页面属于该类样本的可能性就越大。根据实验设定相应的阈值，如果距离小于这个值，则认为图像中存在这些类别的页面。

实施例5：如图7、图8、图9a至图9g所示，本实施例以平衡机测量软件为例展示了应用本发明提供的语义描述系统的具体应用；其中图7展示了应用实施例1的方法采集的视图模块结构图，图中展示了平衡机测量软件部分界面的跳转关系。而图8则给出了起始页面为“添加自定义页面尺寸”，目标界面为“转子参数设置”的操作路径图，以及具体操作路径。图9a至图9g为图8产生的路径涉及到的界面展示，其中，图9a为起始界面“添加自定义页面尺寸”，图9b为“添加编辑自定义页面尺寸”界面，图9c为“自定义页面大小”界面，图9d为“打印布局”界面，图9e为“打印”界面，图9f为“平衡机测量主界面”，图9g为目标界面“转子参数设置”。

Claims (10)

1.一种图像界面语义描述系统建立方法，其特征在于，包含如下步骤：

包括采集所有界面图像信息的步骤；

包括采集各个界面静态属性信息的步骤；

包括采集各个界面中可以触发操作的标识的图像信息的步骤；

包括采集可执行操作的步骤；

包括将可执行操作与触发该操作的标识进行对应的步骤。

2.如权利要求1所述的图像界面语义描述系统建立方法，其特征在于，还包括从可执行操作中提取界面之间的跳转关系并记录的步骤。

3.如权利要求1所述的图像界面语义描述系统建立方法，其特征在于，所述界面的静态属性信息包括界面的制约属性；

同时，静态属性信息还包括界面的ID号、界面的包含的文字以及界面包含的按钮中的一项或多项。

4.如权利要求1所述的图像界面语义描述系统建立方法，其特征在于，标识包括按钮标识、文本标识、菜单标识、滚条标识中一种或多种。

5.一种图形界面语义描述系统，其特征在于，包括，视图模块及操作模块；其中，

所述视图模块包括待操作对象中所有界面的图像信息以及各个界面中可以触发操作的标识信息；

所述操作模块包括待操作对象中所有的可执行操作信息；所述可执行操作信息与触发该操作的标识一一对应。

6.如权利要求所述的系统，其特征在于，视图模块中记录有所有界面的跳转关系。

7.一种操作路径生成方法，其特征在于，包括，

接收目标控制指令，根据目标控制指令确定目标界面；

基于图像识别当前界面；

根据各个界面的制约属性选择起始界面；

根据路径算法生成自起始界面跳转至目标界面的路径；

根据各个界面中的标识和可执行操作的对应关系生成操作路径。

8.如权利要求7所述的方法，其特征在于，在识别界面的步骤中，具体包括，

对样本中图标、文字TF-IDF值权值进行设定；

采集待识别界面图像；

提取界面中图标、文字TF-IDF值；

根据特征对界面进行划分。

9.如权利要求7所述的方法，其特征在于，当从起始界面到目标界面的路径有多条时，根据路径计算算法选择最优路径。

10.如权利要求7所述的方法，其特征在于，在从起始界面到目标界面进行跳转的过程中，每执行一步操作，均检测当前界面是否与生成的规划中路径界面符合，如果不符合则重新规划路径。