CN114153352A - 一种移动应用图形用户界面变更的识别方法、系统及装置 - Google Patents
一种移动应用图形用户界面变更的识别方法、系统及装置 Download PDFInfo
- Publication number
- CN114153352A CN114153352A CN202111493827.7A CN202111493827A CN114153352A CN 114153352 A CN114153352 A CN 114153352A CN 202111493827 A CN202111493827 A CN 202111493827A CN 114153352 A CN114153352 A CN 114153352A
- Authority
- CN
- China
- Prior art keywords
- component
- version
- gui
- type
- xpath
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000010276 construction Methods 0.000 claims description 14
- 230000000712 assembly Effects 0.000 claims description 12
- 238000000429 assembly Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及互联网技术领域，公开了一种移动应用图形用户界面变更的识别方法、系统及装置。本发明对GUI页面对应不同版本类别的元数据进行多次采集，并对采集的元数据进行解析，构造各元数据对应GUI组件的XPath，并基于XPath算法来进行GUI组件间的匹配，根据匹配结果对版本迭代所导致的GUI变更进行识别；本发明能够避免将合理的动态变化导致的GUI变更识别为版本迭代所导致的GUI变更，进一步提高GUI变更识别的精确性。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种移动应用图形用户界面变更的识别方法、系统及装置。
背景技术
随着智能终端的普及，移动应用已经成为最重要的软件领域之一，越来越多的用户和平台对移动应用的软件质量提出了更高的要求。在安卓环境中，有两个逻辑结构组成了移动应用的GUI(图形用户界面)，一个是GUI组件，另一个是GUI容器。GUI组件有多种不同的类型(如文本框、按钮、图片)，每一种类型的组件都有其特定的功能，而每个组件都有一个边界框，以用于规定组件所占的区域。GUI容器主要用于为GUI提供空间结构，并定义有关背景或画布的样式细节，GUI组件则在这些背景或画布上呈现。当GUI组件和GUI容器组合在一起时，就构成了GUI层次，它通常为根树的形式，其中较小的组件和容器存在于一个单独的容器中，而这个容器就是GUI层次的根。
移动应用的GUI通常在文件中定义，与应用程序的主逻辑分离，因此GUI的开发影响到GUI的最终呈现。目前有一些工作致力于在移动应用的迭代版本中识别和总结GUI的变更，以帮助开发人员对GUI的相关代码进行验证。这些方法大多都基于计算机视觉技术，它们通过图片的视觉特征，将不同版本中的GUI组件进行匹配和对比，从而找出变化。然而，现代移动应用的GUI中常常会包含动态内容(如新闻文本)，这些动态内容导致的GUI变更应当被认为是合理的，这时使用基于计算机视觉的方法会产生较多的误报，将合理的GUI变更误认为是应用版本迭代所致，识别精度不高。
发明内容
本发明提供了一种移动应用图形用户界面变更的识别方法、系统及装置，解决了现有移动应用GUI变更识别方法精度不高的技术问题。
本发明第一方面提供一种移动应用图形用户界面变更的识别方法，包括：
多次采集GUI页面对应不同版本类别的元数据，所述版本类别包括基础版本和更新版本；
对各所述元数据进行解析，生成各所述元数据的GUI组件的XPath列表，所述XPath列表包括基于绝对路径的第一XPath；
根据所述第一XPath，将同一版本类别的两相邻采集时间所对应的GUI页面中的GUI组件进行匹配，将匹配失败的GUI组件标记为A类组件；
对所述A类组件进行聚类,判断所述A类组件所在簇是否仅存在于所述基础版本或仅存在于所述更新版本，若是，将所述A类组件所在簇的所有GUI组件的变更判定为版本迭代导致的变更，输出对应的第一识别结果。
根据本发明第一方面的一种能够实现的方式，所述输出对应的第一识别结果，包括：
若所述A类组件所在簇仅存在于所述基础版本，输出所述A类组件所在簇的所有GUI组件为删除的组件的识别结果；
若所述A类组件所在簇仅存在于所述更新版本，输出所述A类组件所在簇的所有GUI组件为增加的组件的识别结果。
根据本发明第一方面的一种能够实现的方式，所述方法还包括：
若所述A类组件所在簇同时存在于所述基础版本和所述更新版本，将所述A类组件所在簇的所有GUI组件的变更判定为合理变更，输出对应的第二识别结果。
根据本发明第一方面的一种能够实现的方式，所述XPath列表还包括基于属性的第二XPath，所述方法还包括：
对于匹配成功的GUI组件，若GUI组件包含动态属性，将此GUI组件标记为B类组件，否则标记为C类组件；
根据所述第二XPath，将所述B类组件在所述基础版本和更新版本之间进行组件匹配；若所述B类组件仅存在于所述基础版本，将所述B类组件判定为删除的组件；若所述B类组件仅存在于所述更新版本，将所述B类组件判定为增加的组件；若所述B类组件同时存在于所述基础版本和所述更新版本，判断所述B类组件的静态属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述B类组件判定为修改的组件；
根据所述第二XPath，将所述C类组件在所述基础版本和更新版本之间进行组件匹配，若所述C类组件仅存在于所述基础版本，将所述C类组件判定为删除的组件；若所述C类组件仅存在于所述更新版本，将所述C类组件判定为增加的组件；若所述C类组件同时存在于所述基础版本和所述更新版本，判断所述C类组件的所有属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述C类组件判定为修改的组件。
根据本发明第一方面的一种能够实现的方式，所述生成各所述元数据的GUI组件的XPath列表，包括：
根据改进的基于元素属性的构造方法生成所述基于属性的第二XPath；
其中，所述改进的基于元素属性的构造方法为：
若一个元素无法用自身属性值来构造唯一的XPath，则从其父节点开始递归地去查找祖先节点，从其最近可精确定位的祖先节点的子孙节点中，获取对应所述元素的唯一属性值，将该元素的XPath表示为其最近可精确定位的祖先节点的XPath加上所述唯一属性值。
本发明第二方面提供一种移动应用图形用户界面变更的识别系统，包括：
元数据采集模块，用于多次采集GUI页面对应不同版本类别的元数据，所述版本类别包括基础版本和更新版本；
元数据解析模块，用于对各所述元数据进行解析，生成各所述元数据的GUI组件的XPath列表，所述XPath列表包括基于绝对路径的第一XPath；
第一匹配模块，用于根据所述第一XPath，将同一版本类别的两相邻采集时间所对应的GUI页面中的GUI组件进行匹配，将匹配失败的GUI组件标记为A类组件；
第一识别模块，用于对所述A类组件进行聚类,判断所述A类组件所在簇是否仅存在于所述基础版本或仅存在于所述更新版本，若是，将所述A类组件所在簇的所有GUI组件的变更判定为版本迭代导致的变更，输出对应的第一识别结果。
根据本发明第二方面的一种能够实现的方式，所述第一识别模块包括：
第一识别单元，用于在所述A类组件所在簇仅存在于所述基础版本时，输出所述A类组件所在簇的所有GUI组件为删除的组件的识别结果；
第二识别单元，用于在所述A类组件所在簇仅存在于所述更新版本时，输出所述A类组件所在簇的所有GUI组件为增加的组件的识别结果。
根据本发明第二方面的一种能够实现的方式，所述第一识别模块还用于：
若所述A类组件所在簇同时存在于所述基础版本和所述更新版本，将所述A类组件所在簇的所有GUI组件的变更判定为合理变更，输出对应的第二识别结果。
根据本发明第二方面的一种能够实现的方式，所述XPath列表还包括基于属性的第二XPath，所述系统还包括：
标记模块，用于对于匹配成功的GUI组件，若GUI组件包含动态属性，将此GUI组件标记为B类组件，否则标记为C类组件；
第二识别模块，用于根据所述第二XPath，将所述B类组件在所述基础版本和更新版本之间进行组件匹配；若所述B类组件仅存在于所述基础版本，将所述B类组件判定为删除的组件；若所述B类组件仅存在于所述更新版本，将所述B类组件判定为增加的组件；若所述B类组件同时存在于所述基础版本和所述更新版本，判断所述B类组件的静态属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述B类组件判定为修改的组件；
第三识别模块，用于根据所述第二XPath，将所述C类组件在所述基础版本和更新版本之间进行组件匹配，若所述C类组件仅存在于所述基础版本，将所述C类组件判定为删除的组件；若所述C类组件仅存在于所述更新版本，将所述C类组件判定为增加的组件；若所述C类组件同时存在于所述基础版本和所述更新版本，判断所述C类组件的所有属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述C类组件判定为修改的组件。
根据本发明第二方面的一种能够实现的方式，所述元数据解析模块包括第二XPath生成单元，所述第二XPath生成单元用于：
根据改进的基于元素属性的构造方法生成所述基于属性的第二XPath；
其中，所述改进的基于元素属性的构造方法为：
若一个元素无法用自身属性值来构造唯一的XPath，则从其父节点开始递归地去查找祖先节点，从其最近可精确定位的祖先节点的子孙节点中，获取对应所述元素的唯一属性值，将该元素的XPath表示为其最近可精确定位的祖先节点的XPath加上所述唯一属性值。
本发明第三方面提供了一种移动应用图形用户界面变更的识别装置，包括：
存储器，用于存储指令；其中，所述指令为可实现如上任意一项能够实现的方式所述的移动应用图形用户界面变更的识别方法的指令；
处理器，用于执行所述存储器中的指令。
本发明第四方面一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项能够实现的方式所述的移动应用图形用户界面变更的识别方法。
从以上技术方案可以看出，本发明具有以下优点：
本发明对GUI页面对应不同版本类别的元数据进行多次采集，并对采集的元数据进行解析，构造各元数据对应GUI组件的XPath，并基于XPath算法来进行GUI组件间的匹配，根据匹配结果对版本迭代所导致的GUI变更进行识别；本发明能够避免将合理的动态变化导致的GUI变更识别为版本迭代所导致的GUI变更，进一步提高GUI变更识别的精确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一个可选实施例提供的一种移动应用图形用户界面变更的识别方法的流程图；
图2为本发明一个可选实施例提供的一种移动应用图形用户界面变更的识别系统的结构示意图。
附图说明：
1-元数据采集模块；2-元数据解析模块；3-第一匹配模块；4-第一识别模块。
具体实施方式
本发明实施例提供了一种移动应用图形用户界面变更的识别方法、系统及装置，用于解决现有移动应用GUI变更识别方法精度不高的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为更好地理解本发明，对本发明下述实施例所述的各术语进行如下解释：
GUI页面：移动设备中所呈现的应用画面；
GUI元文件：用以定义GUI的文件；
XML：一种扩展标记语言，被设计用来传输和存储数据；
XPath：一门在XML文档中查找信息的语言，它的作用就是在XML文档中通过路径或属性来查找元素。
请参阅图1，图1示出了本发明实施例提供的一种移动应用图形用户界面变更的识别方法的流程图。
本发明实施例提供一种移动应用图形用户界面变更的识别方法，包括步骤S1-S4。
步骤S1，多次采集GUI页面对应不同版本类别的元数据，所述版本类别包括基础版本和更新版本。
具体地，给定移动应用的两个版本，一个为基础版本，另一个为更新版本。本发明实施例首先使用广度优先搜索对移动应用的基础版本进行一次遍历，并且在遍历的过程中记录点击事件序列以及GUI页面转移图。在采集了GUI元文件(其中包含了GUI页面的元数据)之后，进一步在移动应用的基础版本以及更新版本上重放点击事件序列，再次对GUI页面的元数据进行采集。如此，对于一个GUI页面，将搜集到它对应于基础版本以及更新版本的多个元数据。其中，每个版本的每个GUI页面的元数据至少搜集两次。
步骤S2，对各所述元数据进行解析，生成各所述元数据的GUI组件的XPath列表，所述XPath列表包括基于绝对路径的第一XPath。
XPath可使用绝对路径和相对路径来进行元素定位，绝对路径描述了从XML文件的根节点到目标节点的路径，而相对路径则描述了从任意节点到目标节点的路径通过元素和属性进行定位。本发明实施例中采用绝对路径作为该第一XPath。
步骤S3，根据所述第一XPath，将同一版本类别的两相邻采集时间所对应的GUI页面中的GUI组件进行匹配，将匹配失败的GUI组件标记为A类组件。
在步骤S1中，进行元数据的采集时，本发明对移动应用的每个版本的GUI页面都进行了多次搜集，目的是为了判断并找出哪些GUI组件会在非版本迭代时(即单个版本中)发生动态变化，在之后进行GUI变更识别时，这些动态变化将被认为是合理的。
本发明实施例通过步骤S3来找出这些动态变化。具体实施时，对每个GUI页面，都将它的多个元数据进行对比，从而判断该GUI页面中GUI组件的状态在单个版本中是否会发生变化。由于移动应用单个版本中的GUI页面层次结构不会发生变化，故对于GUI页面不同元数据中的GUI组件，本发明实施例使用了绝对路径构造的第一XPath来进行匹配。
步骤S4，对所述A类组件进行聚类,判断所述A类组件所在簇是否仅存在于所述基础版本或仅存在于所述更新版本，若是，将所述A类组件所在簇的所有GUI组件的变更判定为版本迭代导致的变更，输出对应的第一识别结果。
在一种能够实现的方式中，所述输出对应的第一识别结果，包括：
若所述A类组件所在簇仅存在于所述基础版本，输出所述A类组件所在簇的所有GUI组件为删除的组件的识别结果；
若所述A类组件所在簇仅存在于所述更新版本，输出所述A类组件所在簇的所有GUI组件为增加的组件的识别结果。
在一种能够实现的方式中，所述方法还包括：
若所述A类组件所在簇同时存在于所述基础版本和所述更新版本，将所述A类组件所在簇的所有GUI组件的变更判定为合理变更，输出对应的第二识别结果。
在移动应用单一版本中也可能存在GUI组件的增删，本发明上述实施例实现了对该类GUI组件(A类组件)的识别。通过将此类GUI组件进行聚类，且在进行GUI变更识别时，不对A类组件进行匹配(即不判断A类组件是否发生了数量上的增减)，而直接判断该A类组件所在聚类是否同时存在于移动应用的基础版本和更新版本中。倘若该聚类在移动应用的基础版本以及更新版本中都存在，则将此聚类中包含的GUI组件的增删变化视为合理的，否则将该聚类中所有的GUI组件找出，视为删减或者增加组件。本发明实施例能够避免将合理的动态变化导致的GUI变更识别为版本迭代所导致的GUI变更，进一步提高GUI变更识别的精确性。
在一种实施方式中，所述对所述A类组件进行聚类，包括：
确定两所述A类组件的相似度，若相似度不小于0.8，归为同一个簇。
其中，确定两所述A类组件的相似度的方法为：
若两个GUI组件所在GUI结构树上的层次不同，相似度为0；
若两个GUI组件所在GUI结构树上的层次相同：
如果两个GUI组件的id都不为空，且相等，那么相似度为1；
如果两个组件的id不全为空，且不相等，那么相似度为0；
如果两个组件的id都为空：
初始化socre＝0；
如果两个组件的横坐标或者纵坐标相等，那么scroe＝score+0.4；
如果两个组件的长度或者宽度相等,那么score＝score+0.4；
输出相似度为score的最终值。
本发明实施例的聚类方法简单便捷，易于实施。
在一种能够实现的方式中，所述XPath列表还包括基于属性的第二XPath，所述方法还包括：
对于匹配成功的GUI组件，若GUI组件包含动态属性，将此GUI组件标记为B类组件，否则标记为C类组件；
根据所述第二XPath，将所述B类组件在所述基础版本和更新版本之间进行组件匹配；若所述B类组件仅存在于所述基础版本，将所述B类组件判定为删除的组件；若所述B类组件仅存在于所述更新版本，将所述B类组件判定为增加的组件；若所述B类组件同时存在于所述基础版本和所述更新版本，判断所述B类组件的静态属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述B类组件判定为修改的组件；
根据所述第二XPath，将所述C类组件在所述基础版本和更新版本之间进行组件匹配，若所述C类组件仅存在于所述基础版本，将所述C类组件判定为删除的组件；若所述C类组件仅存在于所述更新版本，将所述C类组件判定为增加的组件；若所述C类组件同时存在于所述基础版本和所述更新版本，判断所述C类组件的所有属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述C类组件判定为修改的组件。
根据本发明实施例的标记方法可知，该B类组件为存在属性值变化的非增删组件，而C类组件为所有属性值不变的增删组件。本发明实施例通过对B类组件和C类组件进行进一步识别，实现了对增加的组件、删除的组件及修改的组件这三种GUI变更类型的识别，方法简单便捷。
其中，通过对比GUI组件的若干属性来判断这些属性是否发生变化，如果属性发生了变化，则标记该属性为动态属性，否则标记为静态属性。
由于本发明的目的是对移动应用的GUI界面变更进行识别，在一种实施方式中，本发明实施例选择与GUI有关的属性进行标记，这些属性如表1所示：
表1
由于在移动应用的单个版本中，GUI页面的层次结构不会发生变化，故可使用绝对路径构造的XPath进行GUI组件匹配；而对于移动应用的基础版本以及更新版本而言，两者内部的GUI页面的层次结构可能发生较多的变化，此时若使用绝对路径构造的XPath进行GUI组件匹配会遇到困难，因此，本发明上述实施例，根据第二XPath来进行移动应用基础版本和更新版本之间的GUI组件匹配。由于移动应用的基础版本和更新版本中的GUI页面的GUI层次结构可能会发生变化，且GUI组件属性值在GUI页面中的唯一性也可能发生变化，故在构造GUI组件的第二XPath时，本发明将每个组件所有可用来唯一定位的第二XPath都存储在了一个列表中。假设有一个GUI页面G，G在移动应用的基础版本中有一个GUI组件为e1,在移动应用的更新版本中有一个GUI组件为e2，那么GUI组件的匹配方式为：遍历e1和e2的XPath列表，如果e1和e2的XPath列表有交集，那么e1和e2则为移动应用基础版本和更新版本之间的一对GUI组件匹配对。
进一步地，如果有的GUI组件根据XPath列表仍然无法进行匹配，则采取坐标匹配的方法尝试为未匹配的GUI组件在其相对立的版本中找到一个匹配。若以上两种匹配方法都失败，则说明这些未匹配的GUI组件为移动应用基础版本删除的GUI组件或者更新版本增加的GUI组件。
在一种实施方式中，给出两个GUI组件的集合X1和X2，那么对集合X1和X2中的元素进行匹配的方法为：
遍历X1中的元素，利用下列公式计算这个元素与集合X2中每个未匹配元素的相似得分，X2中与这个元素相似得分最高的元素被认为是这个元素的匹配：
S＝(|x1-x2|+|y1-y2|+|w1-w2|+|h1-h2|)
式中，S表示相似得分，x1，y1，w1，h1分别为元素E1的横坐标、纵坐标、宽度以及高度，x2，y2，w2，h2分别为元素E2的横坐标、纵坐标、宽度以及高度。
在一种能够实现的方式中，所述生成各所述元数据的GUI组件的XPath列表，包括：
根据改进的基于元素属性的构造方法生成所述基于属性的第二XPath；
其中，所述改进的基于元素属性的构造方法为：
若一个元素无法用自身属性值来构造唯一的XPath，则从其父节点开始递归地去查找祖先节点，从其最近可精确定位的祖先节点的子孙节点中，获取对应所述元素的唯一属性值，将该元素的XPath表示为其最近可精确定位的祖先节点的XPath加上所述唯一属性值。
现有技术中，XPath可以根据元素属性进行定位，如果一个元素的某个属性的值在整个XML文档中是唯一的话，那么XPath可以直接表示为这个属性的值(单属性表示)。如果一个元素的单个属性值不是唯一的，但其多个属性值的组合是唯一的，那么XPath可以表示为多个属性值的组合(多属性组合表示)。如果一个元素的所有属性值的组合依旧不是唯一的，即无法精确定位该元素，那么可以从其父节点开始递归地去查找祖先节点，直至找到一个祖先节点是可以精确定位的，那么该元素的XPath为其最近可精确定位的祖先节点的XPath加上该祖先节点到该元素的路径(祖先节点表示)，否则元素无法通过元素属性构造XPath。为了使得XPath的定位更加精确有效，本发明实施例对现有根据元素属性构造XPath的方法进行了改进。
例如，通过现有方法得到的现有XPath为：
I＝[[LineraLayout@id＝′12]/LinearLayout[1]/TextView@id＝′b1′]
该XPath中包含了元素索引即LinearLayout[1]，该索引将随着GUI层次的变化而变化，因此使用包含有索引的XPath进行GUI组件匹配，无法保证匹配的正确性，本发明实施例的改进的基于元素属性的构造方法构造的XPath为：I＝[[LinearLayout@id＝′12]/TextView@id＝′b1′]。
进一步地，本发明实施例的方法还包括：
根据识别结果生成相应的GUI变更识别报告。
本发明还提供了一种移动应用图形用户界面变更的识别系统。
请参阅图2，图2示出了本发明实施例提供的一种移动应用图形用户界面变更的识别系统的结构示意图。
本发明实施例的一种移动应用图形用户界面变更的识别系统，包括：
元数据采集模块1，用于多次采集GUI页面对应不同版本类别的元数据，所述版本类别包括基础版本和更新版本；
元数据解析模块2，用于对各所述元数据进行解析，生成各所述元数据的GUI组件的XPath列表，所述XPath列表包括基于绝对路径的第一XPath；
第一匹配模块3，用于根据所述第一XPath，将同一版本类别的两相邻采集时间所对应的GUI页面中的GUI组件进行匹配，将匹配失败的GUI组件标记为A类组件；
第一识别模块4，用于对所述A类组件进行聚类,判断所述A类组件所在簇是否仅存在于所述基础版本或仅存在于所述更新版本，若是，将所述A类组件所在簇的所有GUI组件的变更判定为版本迭代导致的变更，输出对应的第一识别结果。
在一种能够实现的方式中，所述第一识别模块4包括：
第一识别单元，用于在所述A类组件所在簇仅存在于所述基础版本时，输出所述A类组件所在簇的所有GUI组件为删除的组件的识别结果；
第二识别单元，用于在所述A类组件所在簇仅存在于所述更新版本时，输出所述A类组件所在簇的所有GUI组件为增加的组件的识别结果。
在一种能够实现的方式中，所述第一识别模块4还用于：
若所述A类组件所在簇同时存在于所述基础版本和所述更新版本，将所述A类组件所在簇的所有GUI组件的变更判定为合理变更，输出对应的第二识别结果。
在一种能够实现的方式中，所述XPath列表还包括基于属性的第二XPath，所述系统还包括：
标记模块，用于对于匹配成功的GUI组件，若GUI组件包含动态属性，将此GUI组件标记为B类组件，否则标记为C类组件；
第二识别模块，用于根据所述第二XPath，将所述B类组件在所述基础版本和更新版本之间进行组件匹配；若所述B类组件仅存在于所述基础版本，将所述B类组件判定为删除的组件；若所述B类组件仅存在于所述更新版本，将所述B类组件判定为增加的组件；若所述B类组件同时存在于所述基础版本和所述更新版本，判断所述B类组件的静态属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述B类组件判定为修改的组件；
第三识别模块，用于根据所述第二XPath，将所述C类组件在所述基础版本和更新版本之间进行组件匹配，若所述C类组件仅存在于所述基础版本，将所述C类组件判定为删除的组件；若所述C类组件仅存在于所述更新版本，将所述C类组件判定为增加的组件；若所述C类组件同时存在于所述基础版本和所述更新版本，判断所述C类组件的所有属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述C类组件判定为修改的组件。
在一种能够实现的方式中，所述元数据解析模块2包括第二XPath生成单元，所述第二XPath生成单元用于：
根据改进的基于元素属性的构造方法生成所述基于属性的第二XPath；
其中，所述改进的基于元素属性的构造方法为：
若一个元素无法用自身属性值来构造唯一的XPath，则从其父节点开始递归地去查找祖先节点，从其最近可精确定位的祖先节点的子孙节点中，获取对应所述元素的唯一属性值，将该元素的XPath表示为其最近可精确定位的祖先节点的XPath加上所述唯一属性值。
本发明还提供了一种移动应用图形用户界面变更的识别装置，包括：
存储器，用于存储指令；其中，所述指令为可实现如上任意一项实施例所述的移动应用图形用户界面变更的识别方法的指令；
处理器，用于执行所述存储器中的指令。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项实施例所述的移动应用图形用户界面变更的识别方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种移动应用图形用户界面变更的识别方法，其特征在于，包括：
多次采集GUI页面对应不同版本类别的元数据，所述版本类别包括基础版本和更新版本；
对各所述元数据进行解析，生成各所述元数据的GUI组件的XPath列表，所述XPath列表包括基于绝对路径的第一XPath；
根据所述第一XPath，将同一版本类别的两相邻采集时间所对应的GUI页面中的GUI组件进行匹配，将匹配失败的GUI组件标记为A类组件；
对所述A类组件进行聚类,判断所述A类组件所在簇是否仅存在于所述基础版本或仅存在于所述更新版本，若是，将所述A类组件所在簇的所有GUI组件的变更判定为版本迭代导致的变更，输出对应的第一识别结果。
2.根据权利要求1所述的移动应用图形用户界面变更的识别方法，其特征在于，所述输出对应的第一识别结果，包括：
若所述A类组件所在簇仅存在于所述基础版本，输出所述A类组件所在簇的所有GUI组件为删除的组件的识别结果；
若所述A类组件所在簇仅存在于所述更新版本，输出所述A类组件所在簇的所有GUI组件为增加的组件的识别结果。
3.根据权利要求2所述的移动应用图形用户界面变更的识别方法，其特征在于，所述方法还包括：
若所述A类组件所在簇同时存在于所述基础版本和所述更新版本，将所述A类组件所在簇的所有GUI组件的变更判定为合理变更，输出对应的第二识别结果。
4.根据权利要求1所述的移动应用图形用户界面变更的识别方法，其特征在于，所述XPath列表还包括基于属性的第二XPath，所述方法还包括：
对于匹配成功的GUI组件，若GUI组件包含动态属性，将此GUI组件标记为B类组件，否则标记为C类组件；
根据所述第二XPath，将所述B类组件在所述基础版本和更新版本之间进行组件匹配；若所述B类组件仅存在于所述基础版本，将所述B类组件判定为删除的组件；若所述B类组件仅存在于所述更新版本，将所述B类组件判定为增加的组件；若所述B类组件同时存在于所述基础版本和所述更新版本，判断所述B类组件的静态属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述B类组件判定为修改的组件；
根据所述第二XPath，将所述C类组件在所述基础版本和更新版本之间进行组件匹配，若所述C类组件仅存在于所述基础版本，将所述C类组件判定为删除的组件；若所述C类组件仅存在于所述更新版本，将所述C类组件判定为增加的组件；若所述C类组件同时存在于所述基础版本和所述更新版本，判断所述C类组件的所有属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述C类组件判定为修改的组件。
5.根据权利要求4所述的移动应用图形用户界面变更的识别方法，其特征在于，所述生成各所述元数据的GUI组件的XPath列表，包括：
根据改进的基于元素属性的构造方法生成所述基于属性的第二XPath；
其中，所述改进的基于元素属性的构造方法为：
若一个元素无法用自身属性值来构造唯一的XPath，则从其父节点开始递归地去查找祖先节点，从其最近可精确定位的祖先节点的子孙节点中，获取对应所述元素的唯一属性值，将该元素的XPath表示为其最近可精确定位的祖先节点的XPath加上所述唯一属性值。
6.一种移动应用图形用户界面变更的识别系统，其特征在于，包括：
元数据采集模块，用于多次采集GUI页面对应不同版本类别的元数据，所述版本类别包括基础版本和更新版本；
元数据解析模块，用于对各所述元数据进行解析，生成各所述元数据的GUI组件的XPath列表，所述XPath列表包括基于绝对路径的第一XPath；
第一匹配模块，用于根据所述第一XPath，将同一版本类别的两相邻采集时间所对应的GUI页面中的GUI组件进行匹配，将匹配失败的GUI组件标记为A类组件；
第一识别模块，用于对所述A类组件进行聚类,判断所述A类组件所在簇是否仅存在于所述基础版本或仅存在于所述更新版本，若是，将所述A类组件所在簇的所有GUI组件的变更判定为版本迭代导致的变更，输出对应的第一识别结果。
7.根据权利要求6所述的移动应用图形用户界面变更的识别系统，其特征在于，所述第一识别模块包括：
第一识别单元，用于在所述A类组件所在簇仅存在于所述基础版本时，输出所述A类组件所在簇的所有GUI组件为删除的组件的识别结果；
第二识别单元，用于在所述A类组件所在簇仅存在于所述更新版本时，输出所述A类组件所在簇的所有GUI组件为增加的组件的识别结果。
8.根据权利要求7所述的移动应用图形用户界面变更的识别系统，其特征在于，所述第一识别模块还用于：
若所述A类组件所在簇同时存在于所述基础版本和所述更新版本，将所述A类组件所在簇的所有GUI组件的变更判定为合理变更，输出对应的第二识别结果。
9.根据权利要求6所述的移动应用图形用户界面变更的识别系统，其特征在于，所述XPath列表还包括基于属性的第二XPath，所述系统还包括：
标记模块，用于对于匹配成功的GUI组件，若GUI组件包含动态属性，将此GUI组件标记为B类组件，否则标记为C类组件；
第二识别模块，用于根据所述第二XPath，将所述B类组件在所述基础版本和更新版本之间进行组件匹配；若所述B类组件仅存在于所述基础版本，将所述B类组件判定为删除的组件；若所述B类组件仅存在于所述更新版本，将所述B类组件判定为增加的组件；若所述B类组件同时存在于所述基础版本和所述更新版本，判断所述B类组件的静态属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述B类组件判定为修改的组件；
第三识别模块，用于根据所述第二XPath，将所述C类组件在所述基础版本和更新版本之间进行组件匹配，若所述C类组件仅存在于所述基础版本，将所述C类组件判定为删除的组件；若所述C类组件仅存在于所述更新版本，将所述C类组件判定为增加的组件；若所述C类组件同时存在于所述基础版本和所述更新版本，判断所述C类组件的所有属性的值在所述基础版本和所述更新版本之间是否发生变化，若是，将所述C类组件判定为修改的组件。
10.根据权利要求9所述的移动应用图形用户界面变更的识别系统，其特征在于，所述元数据解析模块包括第二XPath生成单元，所述第二XPath生成单元用于：
根据改进的基于元素属性的构造方法生成所述基于属性的第二XPath；
其中，所述改进的基于元素属性的构造方法为：
若一个元素无法用自身属性值来构造唯一的XPath，则从其父节点开始递归地去查找祖先节点，从其最近可精确定位的祖先节点的子孙节点中，获取对应所述元素的唯一属性值，将该元素的XPath表示为其最近可精确定位的祖先节点的XPath加上所述唯一属性值。
11.一种移动应用图形用户界面变更的识别装置，其特征在于，包括：
存储器，用于存储指令；其中，所述指令为可实现如权利要求1-5任意一项所述的移动应用图形用户界面变更的识别方法的指令；
处理器，用于执行所述存储器中的指令。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的移动应用图形用户界面变更的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111493827.7A CN114153352A (zh) | 2021-12-08 | 2021-12-08 | 一种移动应用图形用户界面变更的识别方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111493827.7A CN114153352A (zh) | 2021-12-08 | 2021-12-08 | 一种移动应用图形用户界面变更的识别方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114153352A true CN114153352A (zh) | 2022-03-08 |
Family
ID=80453925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111493827.7A Pending CN114153352A (zh) | 2021-12-08 | 2021-12-08 | 一种移动应用图形用户界面变更的识别方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114153352A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070094608A1 (en) * | 2005-10-26 | 2007-04-26 | Microsoft Corporation | Runtime modification of data presented in a graphical element |
| CN102799426A (zh) * | 2012-06-21 | 2012-11-28 | 华为技术有限公司 | 业务组件的处理方法和系统以及设备 |
| CN103984554A (zh) * | 2014-05-26 | 2014-08-13 | 中国工商银行股份有限公司 | 软件设计文档的生成方法及装置 |
| US8839126B1 (en) * | 2009-06-17 | 2014-09-16 | Google Inc. | Secure HTML components for building client-side user interface |
| CN104516633A (zh) * | 2014-11-19 | 2015-04-15 | 微梦创科网络科技（中国）有限公司 | 一种用户界面元素管理方法和装置 |
| US10713068B1 (en) * | 2019-09-19 | 2020-07-14 | Walkme Ltd. | Acquisition process of GUI elements using user input |
| CN112181579A (zh) * | 2019-12-24 | 2021-01-05 | 习得智交互软件开发公司 | 图形用户界面原型提供方法以及装置 |
| CN112685433A (zh) * | 2021-01-07 | 2021-04-20 | 网易（杭州）网络有限公司 | 元数据更新方法、装置、电子设备及计算机可读存储介质 |
| CN113110871A (zh) * | 2021-04-27 | 2021-07-13 | 东南大学 | 一种基于文本比较的多版本软件演化历史静态分析方法及系统 |
-
2021
- 2021-12-08 CN CN202111493827.7A patent/CN114153352A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070094608A1 (en) * | 2005-10-26 | 2007-04-26 | Microsoft Corporation | Runtime modification of data presented in a graphical element |
| US8839126B1 (en) * | 2009-06-17 | 2014-09-16 | Google Inc. | Secure HTML components for building client-side user interface |
| CN102799426A (zh) * | 2012-06-21 | 2012-11-28 | 华为技术有限公司 | 业务组件的处理方法和系统以及设备 |
| CN103984554A (zh) * | 2014-05-26 | 2014-08-13 | 中国工商银行股份有限公司 | 软件设计文档的生成方法及装置 |
| CN104516633A (zh) * | 2014-11-19 | 2015-04-15 | 微梦创科网络科技（中国）有限公司 | 一种用户界面元素管理方法和装置 |
| US10713068B1 (en) * | 2019-09-19 | 2020-07-14 | Walkme Ltd. | Acquisition process of GUI elements using user input |
| CN112181579A (zh) * | 2019-12-24 | 2021-01-05 | 习得智交互软件开发公司 | 图形用户界面原型提供方法以及装置 |
| CN112685433A (zh) * | 2021-01-07 | 2021-04-20 | 网易（杭州）网络有限公司 | 元数据更新方法、装置、电子设备及计算机可读存储介质 |
| CN113110871A (zh) * | 2021-04-27 | 2021-07-13 | 东南大学 | 一种基于文本比较的多版本软件演化历史静态分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8032532B2 (en) | Efficient multifaceted search in information retrieval systems | |
| JP5721818B2 (ja) | 検索におけるモデル情報群の使用 | |
| US7805440B2 (en) | System and method for simplifying and manipulating k-partite graphs | |
| US7840891B1 (en) | Method and system for content extraction from forms | |
| US8290923B2 (en) | Performing large scale structured search allowing partial schema changes without system downtime | |
| US8606788B2 (en) | Dictionary for hierarchical attributes from catalog items | |
| EP1875388B1 (en) | Classification dictionary updating apparatus, computer program product therefor and method of updating classification dictionary | |
| US20070073734A1 (en) | Method of constructing preferred views of hierarchical data | |
| MXPA04006932A (es) | Segmentacion de documentos con base en la vision. | |
| US20110225038A1 (en) | System and Method for Efficiently Evaluating Complex Boolean Expressions | |
| JP2004240954A (ja) | 階層データを提示する方法 | |
| US20100106719A1 (en) | Context-sensitive search | |
| WO2014210387A2 (en) | Concept extraction | |
| Sarkhel et al. | Visual segmentation for information extraction from heterogeneous visually rich documents | |
| US7519574B2 (en) | Associating information related to components in structured documents stored in their native format in a database | |
| CN110546633A (zh) | 文档的基于命名实体的类别标签添加 | |
| US20090234852A1 (en) | Sub-linear approximate string match | |
| US20210271637A1 (en) | Creating descriptors for business analytics applications | |
| Wu et al. | Modeling and extracting deep-web query interfaces | |
| US11645312B2 (en) | Attribute extraction apparatus and attribute extraction method | |
| Jayashree et al. | Multimodal web page segmentation using self-organized multi-objective clustering | |
| CN108399093B (zh) | 节点处理方法、装置及电子设备 | |
| WO2023136875A1 (en) | List extraction and visualization in web pages | |
| CN114153352A (zh) | 一种移动应用图形用户界面变更的识别方法、系统及装置 | |
| CN113360496B (zh) | 一种构建元数据标签库的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |