CN110427929B - 一种基于多级元素融合的app界面模式识别方法 - Google Patents
一种基于多级元素融合的app界面模式识别方法 Download PDFInfo
- Publication number
- CN110427929B CN110427929B CN201910653056.XA CN201910653056A CN110427929B CN 110427929 B CN110427929 B CN 110427929B CN 201910653056 A CN201910653056 A CN 201910653056A CN 110427929 B CN110427929 B CN 110427929B
- Authority
- CN
- China
- Prior art keywords
- mode
- main
- app
- segmentation
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
一种基于多级元素融合的APP界面模式识别方法,包括以下步骤:(1)定义模式;(2)对APP内截图做模式识别。本发明给出了APP基于视觉的模式定义;可以通过截图甚至摄像头拍摄的方式确认画面或者APP的主要模式,进行进一步的自动信息提取与分析;允许独立于模式以外的元素存在,具有较高的鲁棒性。
Description
技术领域
本发明涉及图像处理技术领域。
背景技术
自动测试行业相关技术的欠缺是制约该行业发展的主要因素之一,以手机自动测试为例,测试主体为人时,需要大量的知识体系与学习背景才能顺畅的进行手机操控,进而做手机测试。以测试人员的测试流程为基础,以人的思维模式为学习目标,是无法通过端对端的基于视觉方法完成的,对该过程进行技术拆分,其中有一项关键的自动化技术就是界面模式自动识别。这里的模式是指相对应APP的界面组成元素的组合,这种组合在开发领域多体现为一个控件集,包含:按钮、画布、编辑框、静态文本等,在同界面中会以较高的频率出现,如图1所示。模式自动识别的基础上,可以进而做信息提取与分析,判断画面迁移,构建相关知识图谱。
现阶段还没有相关技术涉及APP模式的定义、检测与识别,与之相近的算法(勉强算接近)是图像分割算法,分割目标是界面中的背景、图标、文字或者按钮。做模式自动识别的过程,元素分割是必不可少的,但是仅通过定位页面内的元素位置信息无法获知目标间的关系,也就无法预知。
发明内容
为了实现APP模式的定义、检测与识别,本发明提供了一种基于多级元素融合的APP界面模式识别方法。
本发明为实现上述目的所采用的技术方案是:一种基于多级元素融合的APP界面模式识别方法,包括以下步骤:
(1)定义模式,包括以下步骤:
1-1.对APP内可能出现的元素做属性划分;
1-2.当分析对象为APP内多幅截图时,按照图像匹配的方式,将多个截图拼成整个画面的图;
1-3.当分析对象为APP单张截图或多幅截图的拼接画面时,利用划分的元素定义,对图像做超像素级的分割;
1-4.一个APP的控件模式包括两个信息,一个是不同种类的元素排列组合;一个是排列方向;
(2)对APP内截图做模式识别,输入是步骤1-3分割后含有类别信息的分割图,包括以下步骤:
2-1.对分割图做形态学处理;
2-2.根据做完处理的分割图,提取不同种类的分割结果,结果包括每个类别图像的独立闭包区域,区域的中心、大小;
2-3.按照区域大小对干扰区域做剔除,具体方法是:规定最小区域限制△,假如某个区域大小小于△,认为是干扰区域;
2-4.选择其中一类作为基准类,然后计算该类的任意区域与其他任何类别的区域中心的空间距离,做排序,找到与该区域最近区域的类别信息、排列位置信息;
2-5.对基准类的所有区域进行步骤2-4的信息计算,得到所有区域的最接近类别信息与位置信息,对所有子模式做分布统计,取有更多分布的子模式做主模式;
2-6.对上一级的独立主模式区域做合并,形成新的分割结果,形成下一级的输入,包括主模式区域、未做融合的元素分割区域;
2-7.对给定的本级输入,按照步骤2-2的计算方法,统计不同类别的区域信息,将主模式作为参考模式,按照主方向、基于区域边界将图像分为多个搜索区间,竖直方向为主方向则以区域的宽为参考划分搜索区间,水平方向为主方向则以区域的高为参考划分搜索区间;
2-8.按照空间排列,保留区域几乎在区间范围内的整体模式;
2-9.对范围内的整体模式做重复性判定,假定整体模式中仅存在上一级主模式,则认为一级主模式即为界面模式,完成模式识别,否则进行步骤2-10;
2-10.在主方向上取下一个非主模式,组成本级主模式,假如所有区域都不存在非主模式,认为完成模式识别,否则给出一个空模式来代替其他非主模式,统计所有区间的本级主模式,主模式组成用步骤2-5的方法,给出本级主模式的定义,以上级方向为主方向作为本级主方向;
2-11.重复步骤2-6~2-10,直到整体模式中仅有一种模式,或者主方向上不存在任何非主模式,将给出的主模式作为最终模式。
所述步骤1-2中,拼接的方法为LK光流法。
所述步骤1-3中,分割的结果中包括背景、文字与图像,分割的方法为Unet分割方法或用模板特征做SVM分类。
所述步骤2-1中,形态学处理方法为开运算。
所述步骤2-4中,类别信息与基准类可以形成包含两个元素的子模式,排列位置信息有4种,即在基准类上、在基准类下、在基准类左、在基准类右,判定方法是:计算最近区域中心到该区域中心的方向向量,当方向向量更接近(-1,0)时,为在基准类左,更接近(1,0)时,为在基准类右,更接近(0,-1)时,为在基准类上,其他为在基准类下。
本发明的基于多级元素融合的APP界面模式识别方法,给出了APP(包括安卓界面)基于视觉的模式定义;可以通过截图甚至摄像头拍摄的方式确认画面或者APP的主要模式,进行进一步的自动信息提取与分析;允许独立于模式以外的元素存在,具有较高的鲁棒性。
附图说明
图1是APP界面模式示意图。
图2是拼接画面示意图。
图3是APP元素构成示意图。
图4是按照主模式的宽分区示意图。
具体实施方式
本发明针对自动测试中模式识别与后续分析的需求,旨在提供具体模式的视觉定义与规范;提供合理的方法可以完成针对APP页面内连续截图的自动模式识别方法。本发明的基于多级元素融合的APP界面模式识别方法,包括以下步骤:
(1)对模式做出定义:
1-1、对APP内可能出现的元素做属性划分,比如划分为2类(文字、图像),分别用A类、B类来表示;
1-2、当分析对象为APP内多幅截图时,按照图像匹配的方式,将多个截图拼成整个画面的图,如图2所示,拼接的方法可以参考Lucas Kanade的LK光流法;
1-3、当分析对象为APP单张截图时,或者提供多幅截图的拼接画面时,利用划分的两类元素定义,对图像做超像素级的分割,分割的结果中,包括背景、文字与图像(或者其他,分割的方法一致),分割的方法可以采用pixel2pixel的Unet分割方法,或者用模板特征做SVM分类;
1-4、一个APP的控件模式,包括两个主要信息,一个是不同种类的元素排列组合,比如{A,B,B,A},代表模式的组成方式,一个是排列方向,这里假设APP设计方式是非游戏或者3D交互方式,排列方向主要有横、纵两个方向,每个APP内是包括模式控件与其他控件的,如图3所示。
(2)具体对APP内截图做模式识别的方法,输入是1-3分割后含有类别信息的分割图:
2-1.对分割图做形态学处理,建议做开运算;
2-2.根据做完处理的分割图,提取不同种类的分割结果,结果包括每个类别图像的独立闭包区域,区域的中心、大小等;
2-3.按照区域大小对干扰区域做剔除,具体方法是:规定最小区域限制△,假如某个区域大小小于△,认为是干扰区域,剔除,这里△∈(0,+∞],建议取值为10左右;
2-4.选择其中一类作为基准类,然后计算该类的任意区域与其他任何类别的区域中心的空间距离,做排序,找到与该区域最近区域的类别信息、排列位置信息;这里的类别信息与基准类可以形成包含两个元素的子模式,即AB或者AA;排列位置信息只有4种,即在基准类上、在基准类下、在基准类左、在基准类右,这里的判定方法是计算最近区域中心到该区域中心的方向向量,当方向向量更接近(-1,0)时,为在基准类左,更接近(1,0)时,为在基准类右,更接近(0,-1)时,为在基准类上,其他为在基准类下;
2-5.对基准类的所有区域进行2-4的信息计算,得到所有区域的最接近类别信息与位置信息,对所有子模式做分布统计,取有更多分布的子模式做主模式(数量相等时以不同模式组合子模式为主模式),比如:AB模式的数量有10个,AA模式的数量有5个,那么AB是主模式,然后对主模式下的排列信息做分布统计,取最多分布的方向做主方向,比如:在上方的有3个,下方的有6个,左侧的有1个,右侧的没有,则认为主方向为竖直方向,且搜索方式为向下方搜索,完成第一层级的主模式与主方向的确认;
2-6.对上一级的独立主模式区域做合并,形成新的分割结果,形成下一级的输入,包括主模式区域、未做融合的元素分割区域;
2-7.对给定的本级输入,按照2-2的计算方法,统计不同类别的区域信息,将主模式作为参考模式,按照主方向、基于区域边界将图像分为多个搜索区间,竖直方向为主方向则以区域的宽为参考划分搜索区间,水平方向为主方向则以区域的高为参考划分搜索区间,比如AB模式是主模式,主方向是向下的,则以AB模式区间的平均宽度为步长,将AB模式所在列分割成等宽的搜索区间,如图4所示;
2-8.按照空间排列,保留区域几乎在区间范围内(区间内面积占整体面积的α%,α∈(0,100],建议取值80以上)的整体模式,比如{AB{AB}AB{AB}};
2-9.对范围内的整体模式做重复性判定,假定整体模式中仅存在上一级主模式,则认为一级主模式即为界面模式,完成模式识别,否则进行2-10;
2-10.在主方向上取下一个非主模式,组成本级主模式,比如{ABA},假如所有区域都不存在非主模式,认为完成模式识别,否则给出一个空模式来代替其他非主模式,统计所有区间的本级主模式,主模式组成用2-5的方法,给出本级主模式的定义,以上级方向为主方向作为本级主方向;
2-11.重复2-6~2-10,直到整体模式中仅有一种模式,或者主方向上不存在任何非主模式,将给出的主模式作为最终模式。
本发明是通过实施例进行描述的,本领域技术人员知悉,在不脱离本发明的精神和范围的情况下,可以对这些特征和实施例进行各种改变或等效替换。另外,在本发明的教导下,可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此,本发明不受此处所公开的具体实施例的限制,所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。
Claims (5)
1.一种基于多级元素融合的APP界面模式识别方法,其特征在于:包括以下步骤:
(1)定义模式,包括以下步骤:
1-1.对APP内可能出现的元素做属性划分;
1-2.当分析对象为APP内多幅截图时,按照图像匹配的方式,将多个截图拼成整个画面的图;
1-3.当分析对象为APP单张截图或多幅截图的拼接画面时,利用划分的元素定义,对图像做超像素级的分割;
1-4.一个APP的控件模式包括两个信息,一个是不同种类的元素排列组合;一个是排列方向;
(2)对APP内截图做模式识别,输入是步骤1-3分割后含有类别信息的分割图,包括以下步骤:
2-1.对分割图做形态学处理;
2-2.根据做完处理的分割图,提取不同种类的分割结果,结果包括每个类别图像的独立闭包区域,区域的中心、大小;
2-3.按照区域大小对干扰区域做剔除,具体方法是:规定最小区域限制△,假如某个区域大小小于△,认为是干扰区域;
2-4.选择其中一类作为基准类,然后计算该类的任意区域与其他任何类别的区域中心的空间距离,做排序,找到与计算该类的任意区域最近区域的类别信息、排列位置信息;
2-5.对基准类的所有区域进行步骤2-4的信息计算,得到所有区域的最接近类别信息与位置信息,对所有子模式做分布统计,取有更多分布的子模式做主模式;
2-6.对上一级的独立主模式区域做合并,形成新的分割结果,形成下一级的输入,包括主模式区域、未做融合的元素分割区域;
2-7.对给定的本级输入,按照步骤2-2的计算方法,统计不同类别的区域信息,将主模式作为参考模式,按照主方向、基于区域边界将图像分为多个搜索区间,竖直方向为主方向则以区域的宽为参考划分搜索区间,水平方向为主方向则以区域的高为参考划分搜索区间;2-8.按照空间排列,保留区域几乎在区间范围内的整体模式;
2-9.对范围内的整体模式做重复性判定,假定整体模式中仅存在上一级主模式,则认为一级主模式即为界面模式,完成模式识别,否则进行步骤2-10;
2-10.在主方向上取下一个非主模式,组成本级主模式,假如所有区域都不存在非主模式,认为完成模式识别,否则给出一个空模式来代替其他非主模式,统计所有区间的本级主模式,主模式组成用步骤2-5的方法,给出本级主模式的定义,以上一级主模式方向为主方向作为本级主方向;
2-11.重复步骤2-6~2-10,直到整体模式中仅有一种模式,或者主方向上不存在任何非主模式,将给出的主模式作为最终模式。
2.根据权利要求1所述的一种基于多级元素融合的APP界面模式识别方法,其特征在于:所述步骤1-2中,拼接的方法为LK光流法。
3.根据权利要求1所述的一种基于多级元素融合的APP界面模式识别方法,其特征在于:所述步骤1-3中,分割的结果中包括背景、文字与图像,分割的方法为Unet分割方法或用模板特征做SVM分类。
4.根据权利要求1所述的一种基于多级元素融合的APP界面模式识别方法,其特征在于:所述步骤2-1中,形态学处理方法为开运算。
5.根据权利要求1所述的一种基于多级元素融合的APP界面模式识别方法,其特征在于:所述步骤2-4中,类别信息与基准类可以形成包含两个元素的子模式,排列位置信息有4种,即在基准类上、在基准类下、在基准类左、在基准类右,判定方法是:计算最近区域中心到该区域中心的方向向量,当方向向量更接近(-1,0)时,为在基准类左,更接近(1,0)时,为在基准类右,更接近(0,-1)时,为在基准类上,其他为在基准类下。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910653056.XA CN110427929B (zh) | 2019-07-19 | 2019-07-19 | 一种基于多级元素融合的app界面模式识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910653056.XA CN110427929B (zh) | 2019-07-19 | 2019-07-19 | 一种基于多级元素融合的app界面模式识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110427929A CN110427929A (zh) | 2019-11-08 |
CN110427929B true CN110427929B (zh) | 2023-04-28 |
Family
ID=68410079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910653056.XA Active CN110427929B (zh) | 2019-07-19 | 2019-07-19 | 一种基于多级元素融合的app界面模式识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110427929B (zh) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902625B (zh) * | 2012-11-14 | 2015-04-22 | 北京奇虎科技有限公司 | 软件性能测试系统和方法 |
CN104866414B (zh) * | 2014-02-24 | 2018-07-06 | 腾讯科技(深圳)有限公司 | 应用程序的测试方法、装置及系统 |
CN105630316B (zh) * | 2014-10-30 | 2020-07-28 | 北京搜狗科技发展有限公司 | 一种显示对象的排列方法及电子设备 |
CN104461545B (zh) * | 2014-12-12 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 将移动终端中内容提供至用户的方法及装置 |
CN105094520B (zh) * | 2015-05-18 | 2018-11-16 | 努比亚技术有限公司 | 一种显示方法及终端 |
US10489577B2 (en) * | 2016-08-11 | 2019-11-26 | Onenigma LLC | Identifying one or more users based on typing pattern and/or behavior |
US20180157386A1 (en) * | 2016-12-05 | 2018-06-07 | Jiawen Su | System and Method for detection, exploration, and interaction of graphic application interface |
CN108875451B (zh) * | 2017-05-10 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 一种定位图像的方法、装置、存储介质和程序产品 |
US10856807B2 (en) * | 2017-06-29 | 2020-12-08 | Goddess Approved Productions, Llc | System and method for analyzing items using image recognition, optical character recognition, voice recognition, manual entry, and bar code scanning technology |
CN109426830B (zh) * | 2017-08-29 | 2022-05-17 | 武汉安天信息技术有限责任公司 | 一种自动识别移动终端场景的方法和装置 |
CN109947967B (zh) * | 2017-10-10 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质和计算机设备 |
CN109933756B (zh) * | 2019-03-22 | 2022-04-15 | 腾讯科技(深圳)有限公司 | 基于ocr的图像转档方法、装置、设备及可读存储介质 |
-
2019
- 2019-07-19 CN CN201910653056.XA patent/CN110427929B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110427929A (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106570453B (zh) | 用于行人检测的方法、装置和系统 | |
CN107871124B (zh) | 一种基于深度神经网络的遥感图像目标检测方法 | |
CN106940799B (zh) | 文本图像处理方法和装置 | |
CN110232713B (zh) | 一种图像目标定位修正方法及相关设备 | |
CN104424482B (zh) | 图像处理设备和图像处理方法 | |
CN103714338B (zh) | 图像处理装置和图像处理方法 | |
CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
CN115601374A (zh) | 一种染色体图像分割方法 | |
CN107194323A (zh) | 车辆定损图像获取方法、装置、服务器和终端设备 | |
US10007834B2 (en) | Detection control device, detection system, non-transitory storage medium, and detection control method | |
CN105160355B (zh) | 一种基于区域相关和视觉单词的遥感图像变化检测方法 | |
CN105868708A (zh) | 一种图像目标识别方法及装置 | |
CN104077594A (zh) | 一种图像识别方法和装置 | |
CN111079638A (zh) | 基于卷积神经网络的目标检测模型训练方法、设备和介质 | |
CN111061898A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN110390327B (zh) | 前景提取方法、装置、计算机设备及存储介质 | |
CN103544480A (zh) | 车辆颜色识别方法 | |
KR101836811B1 (ko) | 이미지 상호간의 매칭을 판단하는 방법, 장치 및 컴퓨터 프로그램 | |
CN111784735A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN110737785A (zh) | 一种图片标注的方法及装置 | |
CN106331746A (zh) | 用于识别视频文件中的水印位置的方法和装置 | |
CN109711372A (zh) | 一种车道线的识别方法和系统、存储介质、服务器 | |
CN105404682A (zh) | 一种基于数字图像内容的图书检索方法 | |
CN110427929B (zh) | 一种基于多级元素融合的app界面模式识别方法 | |
CN109657577B (zh) | 一种基于熵和运动偏移量的动物检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method for APP Interface Pattern Recognition Based on Multilevel Element Fusion Effective date of registration: 20230726 Granted publication date: 20230428 Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd. Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd. Registration number: Y2023980049989 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |