CN109446061A - 一种页面检测方法、计算机可读存储介质及终端设备 - Google Patents
一种页面检测方法、计算机可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN109446061A CN109446061A CN201811081616.0A CN201811081616A CN109446061A CN 109446061 A CN109446061 A CN 109446061A CN 201811081616 A CN201811081616 A CN 201811081616A CN 109446061 A CN109446061 A CN 109446061A
- Authority
- CN
- China
- Prior art keywords
- page
- baseline control
- view
- image
- control image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于计算机技术领域,尤其涉及一种基于图像识别的页面检测方法、计算机可读存储介质及终端设备。所述方法从在终端设备上显示的待检测页面中分离出构成所述待检测页面的各个显示视图;从预设的基准对照图像库中提取各个基准对照图像,其中,每个基准对照图像均为在页面显示异常情况下呈现的显示视图;分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度;若在所述待检测页面中存在一个显示视图与所述基准对照图像库中的一个基准对照图像之间的图像相似度大于相似度阈值,则判定所述待检测页面在所述终端设备上存在显示异常。通过底层的显示视图来进行检测,大大提高了检测结果的准确率。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种页面检测方法、计算机可读存储介质及终端设备。
背景技术
现有技术在对应用程序(APP)中的页面在指定终端设备上的显示效果进行检测时,一般是对该页面做截图,然后将该截图与预设的标准图像作对比,若两者一致,则说明该页面在该终端设备上显示正常,若两者不一致,则说明该页面在该终端设备上显示异常。
但是,同样的页面在不同的终端上即使都显示正常,但具体的显示效果仍然可能存在很多差异,这可能是因为不同的终端设备分辨率不一致导致的,例如,同样一个列表有的终端设备一屏显示为5行,而有的终端设备一屏显示为4行;也可能是因为页面存在动态展示而导致的,例如,有轮播的广告位可能是一张动图,截取成静态图之后区分进行有效对比;还可能是因为不同的终端设备自定义的一些基本展示而导致的,例如,同一页面在不同终端设备上的背景可能是不一样的。由于以上这些原因的存在,使得这样的页面检测方法准确率较低。
发明内容
有鉴于此,本发明实施例提供了一种页面检测方法、计算机可读存储介质及终端设备,以解决现有的页面检测方法准确率较低的问题。
本发明实施例的第一方面提供了一种页面检测方法,可以包括:
从在终端设备上显示的待检测页面中分离出构成所述待检测页面的各个显示视图;
从预设的基准对照图像库中提取各个基准对照图像,其中,每个基准对照图像均为在页面显示异常情况下呈现的显示视图;
分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度;
若在所述待检测页面中存在一个显示视图与所述基准对照图像库中的一个基准对照图像之间的图像相似度大于预设的相似度阈值,则判定所述待检测页面在所述终端设备上存在显示异常。
本发明实施例的第二方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如下步骤:
从在终端设备上显示的待检测页面中分离出构成所述待检测页面的各个显示视图;
从预设的基准对照图像库中提取各个基准对照图像,其中,每个基准对照图像均为在页面显示异常情况下呈现的显示视图;
分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度;
若在所述待检测页面中存在一个显示视图与所述基准对照图像库中的一个基准对照图像之间的图像相似度大于预设的相似度阈值,则判定所述待检测页面在所述终端设备上存在显示异常。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现如下步骤:
从在终端设备上显示的待检测页面中分离出构成所述待检测页面的各个显示视图;
从预设的基准对照图像库中提取各个基准对照图像,其中,每个基准对照图像均为在页面显示异常情况下呈现的显示视图;
分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度;
若在所述待检测页面中存在一个显示视图与所述基准对照图像库中的一个基准对照图像之间的图像相似度大于预设的相似度阈值,则判定所述待检测页面在所述终端设备上存在显示异常。
本发明实施例与现有技术相比存在的有益效果是:现有的页面检测方法是通过对页面最终的显示效果做截图并进行比对检测的,而本发明实施例则是下探到页面的底层显示视图来进行比对检测的,具体地,预先设置了在页面显示异常情况下呈现的各种显示视图,并将其作为比对的基准对照图像,在进行页面检测时,从在终端设备上显示的页面中分离出各个显示视图,然后将这些显示视图与基准对照图像进行比对,计算两两之间的图像相似度,如果存在某一显示视图与基准对照图像较为相似,这说明该页面在该终端设备上存在显示异常的情况。由于本发明实施例是通过底层的显示视图来进行比对检测的,不同终端设备的分辨率、动图显示、自定义背景等因素均不会对检测结果造成影响,大大提高了检测结果的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种页面检测方法的一个实施例流程图;
图2为本发明实施例中一种页面检测方法的步骤S103在一个应用场景下的示意流程图;
图3为本发明实施例中通过文本信息进行页面检测的示意流程图;
图4为本发明实施例中通过矢量架构进行页面检测的示意流程图;
图5为本发明实施例中一种页面检测装置的一个实施例结构图;
图6为本发明实施例中一种终端设备的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中一种页面检测方法的一个实施例可以包括:
步骤S101、从在终端设备上显示的待检测页面中分离出构成所述待检测页面的各个显示视图。
所述待检测页面可以是指定的应用程序(APP)中的页面,也可以是指定的网页中的页面。显示视图(View)是安卓系统中可视化的界面组件,是构成页面的基本元素,在本实施例中可以通过Android window manager以及Activitymanager分离出构成页面的各个显示视图。
步骤S102、从预设的基准对照图像库中提取各个基准对照图像。
其中,每个基准对照图像均为在页面显示异常情况下呈现的显示视图。在本实施例中,可以根据历史经验预先搜集在各种页面显示异常情况下呈现的显示视图,每个异常的显示视图即作为一个基准对照图像,然后将这些基准对照图像构造成所述基准对照图像库。
步骤S103、分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度。
具体地,可以首先分别计算各个显示视图的特征向量,以及各个基准对照图像的特征向量。
在本实施例中,可以通过局部二值模式(Local Binary Patterns,LBP)算法来计算显示视图的特征向量,具体地,构造一种衡量一个像素点与其周围像素点的关系,对该显示视图中的每个像素,通过计算以其为中心的邻域内各像素和中心像素的大小关系,把像素的灰度值转化为一个八位二进制序列。以中心点的像素值为阈值,如果邻域点的像素值小于中心点,则邻域点被二值化为0,否则为1;将二值化得到的0、1序列看成一个8位二进制数,将该二进制数转化为十进制就可得到中心点处的LBP值。计算出该显示视图的每个像素点的LBP值后,将LBP特征谱的统计直方图确定为该显示视图的特征向量。
由于利用了周围点与该点的关系对该点进行量化。量化后可以更有效地消除光照对图像的影响。只要光照的变化不足以改变两个点像素值之间的大小关系,那么LBP值不会发生变化,即保证了该显示视图特征信息提取的准确性。
基准对照图像的特征向量的计算过程与显示视图的特征向量的计算过程类似,具体可参照上述显示视图的特征向量的计算过程的详细描述,此处不再赘述。
在完成特征向量的计算之后,分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度。
具体地,可以根据下式分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度:
其中,m为显示视图的序号,1≤m≤ViewNum,ViewNum为所述待检测页面中显示视图的总数目,第m个显示视图的特征向量为CharVecXm=(VecEleXm,1,VecEleXm,2,...,VecEleXm,d,...,VecEleXm,Dim),n为基准对照图像的序号,1≤n≤BaseViewNum,BaseViewNum为所述基准对照图像库中的基准对照图像的总数目,第n个基准对照图像的特征向量为CharVecYn=(VecEleYn,1,VecEleYn,2,...,VecEleYn,d,...,VecEleYn,Dim),d为向量的维度序号,1≤d≤Dim,Dim为显示视图的特征向量或基准对照图像的特征向量的维度数目,VecEleXm,d为第m个显示视图的特征向量在第d个维度上的分量,VecEleYn,d为第n个基准对照图像的特征向量在第d个维度上的分量,SimDegm,n为第m个显示视图的特征向量与第n个基准对照图像的特征向量之间的向量相似度。
最后,将两个图像的特征向量之间的向量相似度确定为两个图像之间的图像相似度。
步骤S104、判断预设的判定条件是否成立。
所述判定条件为在所述待检测页面中存在一个显示视图与所述基准对照图像库中的一个基准对照图像之间的图像相似度大于预设的相似度阈值。
若所述判定条件成立,也即在所述待检测页面中存在一个显示视图与所述基准对照图像库中的一个基准对照图像之间的图像相似度大于所述相似度阈值,则执行步骤S105,若所述判定条件不成立,也即所述待检测页面中的任意一个显示视图与所述基准对照图像库中的任意一个基准对照图像之间的图像相似度均小于或等于所述相似度阈值,则执行步骤S106。
步骤S105、判定所述待检测页面在所述终端设备上存在显示异常。
步骤S106、判定所述待检测页面在所述终端设备上显示正常。
需要注意的是,以上方法中,在每次进行页面检测时,最多需要进行ViewNum×BaseViewNum次图像相似度的计算,考虑到某些情况下,在完成所有的图像相似度计算之前,即可得到一个使得所述判定条件成立的图像相似度的取值,从而可以直接判定所述待检测页面在所述终端设备上存在显示异常,而不必完成所有的图像相似度的计算。
优选地,在步骤S103中,还可以通过如图2所示的过程进一步减少计算量:
步骤S201、从预设的数据库中获取历史页面检测记录。
所述历史页面检测记录为在本次页面检测之前进行各次页面检测中记录下来的检测结果。
步骤S202、根据所述历史页面检测记录分别统计各个基准对照图像的有效检测次数。
其中,通过基准对照图像检测到一次页面显示异常即记为一次有效检测,例如,若在历史页面检测记录,通过基准对照图像A共检测到5次页面显示异常,则基准对照图像A的有效检测次数即为5。
步骤S203、根据所述有效检测次数确定各个基准对照图像的优先级。
其中,基准对照图像的优先级与基准对照图像的有效检测次数正相关,若某基准对照图像的有效检测次数越多,则其优先级也越高,反之,若某基准对照图像的有效检测次数越少,则其优先级也越低。
步骤S204、分别计算各个显示视图的特征向量,以及各个基准对照图像的特征向量。
计算特征向量的过程在前述说明中已有详细描述,此处不再赘述。
步骤S205、按照优先级从高到低的顺序依次分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度,并将两个图像的特征向量之间的向量相似度确定为两个图像之间的图像相似度。
优先级的高低代表的是检测出异常情况的几率,优先级越高的基准对照图像,其检测出异常情况的几率也越大。因此,本实施例中首先选取优先级最高的基准对照图像,分别计算各个显示视图与该基准对照图像的图像相似度,若其中得到一个使得所述判定条件成立的图像相似度的取值,从而可以直接判定所述待检测页面在所述终端设备上存在显示异常,而不必完成所有的图像相似度的计算,否则,按照优先级从高到低的顺序再选取下一个优先级最高的基准对照图像,并重复以上步骤,直至得到一个使得所述判定条件成立的图像相似度的取值为止。若遍历完所有的基准对照图像,仍然无法得到一个使得所述判定条件成立的图像相似度的取值,则可以判定所述待检测页面在所述终端设备上显示正常。
优选地,若步骤S104中的所述判定条件不成立,还可以通过如图3所示的步骤对所述待检测页面在所述终端设备上的显示进行进一步地检测:
步骤S301、从所述待检测页面的各个显示视图中选取文本显示视图。
所述文本显示视图为用于显示文本信息的显示视图,这是用来显示字符串的组件,在终端设备的屏幕上展现的就是显示一块文本的区域。在本实施例中,可以首先获取各个显示视图的类型,从中选取类型为textview的显示视图作为所述文本显示视图。
步骤S302、提取所述文本显示视图在所述终端设备上显示的第一文本信息。
也即提取出所述文本显示视图在所述终端设备上显示的文本信息,该文本信息即为所述第一文本信息。
步骤S303、获取与所述文本显示视图对应的第二文本信息。
所述第二文本信息为所述文本显示视图在预设的基准终端设备上显示的文本信息。所述待检测页面在所述基准终端设备上是显示正常的,即该基准终端设备是预先通过了检测的终端设备。
步骤S304、判断所述第一文本信息与所述第二文本信息是否一致。
将所述第一文本信息与所述第二文本信息进行比对,若所述第一文本信息与所述第二文本信息不一致,则执行步骤S305,若所述第一文本信息与所述第二文本信息一致,则执行步骤S306。
步骤S305、判定所述待检测页面在所述终端设备上存在显示异常。
步骤S306、判定所述待检测页面在所述终端设备上显示正常。
优选地,若步骤S104中的所述判定条件不成立,还可以通过如图4所示的步骤对所述待检测页面在所述终端设备上的显示进行进一步地检测:
步骤S401、获取所述待检测页面在所述终端设备上显示的第一矢量架构。
其中,矢量架构为各个显示视图之间的矢量关系。一般地,在安卓系统中,会通过一个树状结构来展示各个显示视图之间的这种矢量关系,若两个显示视图处在该树状结构的同一层级,则这两个显示视图之间为并列关系,若两个显示视图中,其中一个处于另一个的下一层级,则这两个显示视图之间为包含关系。在本实施例中,首先获取所述待检测页面在所述终端设备上显示的矢量架构,也即所述第一矢量架构。
步骤S402、获取与所述待检测页面对应的第二矢量架构。
所述第二矢量架构为所述待检测页面在预设的基准终端设备上显示的矢量架构。
步骤S403、判断所述第一矢量架构与所述第二矢量架构是否一致。
将所述第一矢量架构与所述第二矢量架构进行比对,若所述第一矢量架构与所述第二矢量架构不一致,则执行步骤S404,若所述第一矢量架构与所述第二矢量架构一致,则执行步骤S405。
步骤S404、判定所述待检测页面在所述终端设备上存在显示异常。
步骤S405、判定所述待检测页面在所述终端设备上显示正常。
综上所述,现有的页面检测方法是通过对页面最终的显示效果做截图并进行比对检测的,而本发明实施例则是下探到页面的底层显示视图来进行比对检测的,具体地,预先设置了在页面显示异常情况下呈现的各种显示视图,并将其作为比对的基准对照图像,在进行页面检测时,从在终端设备上显示的页面中分离出各个显示视图,然后将这些显示视图与基准对照图像进行比对,计算两两之间的图像相似度,如果存在某一显示视图与基准对照图像较为相似,这说明该页面在该终端设备上存在显示异常的情况。由于本发明实施例是通过底层的显示视图来进行比对检测的,不同终端设备的分辨率、动图显示、自定义背景等因素均不会对检测结果造成影响,大大提高了检测结果的准确率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种页面检测方法,图5示出了本发明实施例提供的一种页面检测装置的一个实施例结构图。
本实施例中,一种页面检测装置可以包括:
显示视图分离模块501,用于从在终端设备上显示的待检测页面中分离出构成所述待检测页面的各个显示视图;
基准对照图像提取模块502,用于从预设的基准对照图像库中提取各个基准对照图像,其中,每个基准对照图像均为在页面显示异常情况下呈现的显示视图;
图像相似度计算模块503,用于分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度;
第一判定模块504,用于若在所述待检测页面中存在一个显示视图与所述基准对照图像库中的一个基准对照图像之间的图像相似度大于预设的相似度阈值,则判定所述待检测页面在所述终端设备上存在显示异常。
进一步地,所述图像相似度计算模块可以包括:
检测记录获取单元,用于从预设的数据库中获取历史页面检测记录;
有效监测次数统计单元,用于根据所述历史页面检测记录分别统计各个基准对照图像的有效检测次数,其中,通过基准对照图像检测到一次页面显示异常即记为一次有效检测;
优先级确定单元,用于根据所述有效检测次数确定各个基准对照图像的优先级,其中,基准对照图像的优先级与基准对照图像的有效检测次数正相关;
特征向量计算单元,用于分别计算各个显示视图的特征向量,以及各个基准对照图像的特征向量;
向量相似度计算单元,用于按照优先级从高到低的顺序依次分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度,并将两个图像的特征向量之间的向量相似度确定为两个图像之间的图像相似度。
进一步地,所述向量相似度计算单元可以包括:
相似度计算子单元,用于根据下式分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度:
其中,m为显示视图的序号,1≤m≤ViewNum,ViewNum为所述待检测页面中显示视图的总数目,第m个显示视图的特征向量为CharVecXm=(VecEleXm,1,VecEleXm,2,...,VecEleXm,d,...,VecEleXm,Dim),n为基准对照图像的序号,1≤n≤BaseViewNum,BaseViewNum为所述基准对照图像库中的基准对照图像的总数目,第n个基准对照图像的特征向量为CharVecYn=(VecEleYn,1,VecEleYn,2,...,VecEleYn,d,...,VecEleYn,Dim),d为向量的维度序号,1≤d≤Dim,Dim为显示视图的特征向量或基准对照图像的特征向量的维度数目,VecEleXm,d为第m个显示视图的特征向量在第d个维度上的分量,VecEleYn,d为第n个基准对照图像的特征向量在第d个维度上的分量,SimDegm,n为第m个显示视图的特征向量与第n个基准对照图像的特征向量之间的向量相似度。
进一步地,所述页面检测装置还可以包括:
文本显示视图选取模块,用于从所述待检测页面的各个显示视图中选取文本显示视图,所述文本显示视图为用于显示文本信息的显示视图;
第一文本信息提取模块,用于提取所述文本显示视图在所述终端设备上显示的第一文本信息;
第二文本信息获取模块,用于获取与所述文本显示视图对应的第二文本信息,所述第二文本信息为所述文本显示视图在预设的基准终端设备上显示的文本信息;
文本信息比对模块,用于将所述第一文本信息与所述第二文本信息进行比对;
第二判定模块,用于若所述第一文本信息与所述第二文本信息不一致,则判定所述待检测页面在所述终端设备上存在显示异常。
进一步地,所述页面检测装置还可以包括:
第一矢量架构获取模块,用于获取所述待检测页面在所述终端设备上显示的第一矢量架构,其中,矢量架构为各个显示视图之间的矢量关系;
第二矢量架构获取模块,用于获取与所述待检测页面对应的第二矢量架构,所述第二矢量架构为所述待检测页面在预设的基准终端设备上显示的矢量架构;
矢量架构比对模块,用于将所述第一矢量架构与所述第二矢量架构进行比对;
第三判定模块,用于若所述第一矢量架构与所述第二矢量架构不一致,则判定所述待检测页面在所述终端设备上存在显示异常。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图6示出了本发明实施例提供的一种终端设备的示意框图,为了便于说明,仅示出了与本发明实施例相关的部分。
在本实施例中,所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备6可包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机可读指令62,例如执行上述的页面检测方法的计算机可读指令。所述处理器60执行所述计算机可读指令62时实现上述各个页面检测方法实施例中的步骤,例如图1所示的步骤S101至S106。或者,所述处理器60执行所述计算机可读指令62时实现上述各装置实施例中各模块/单元的功能,例如图5所示模块501至504的功能。
示例性的,所述计算机可读指令62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令62在所述终端设备6中的执行过程。
所述处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元,例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备,例如所述终端设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机可读指令以及所述终端设备6所需的其它指令和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种页面检测方法,其特征在于,包括:
从在终端设备上显示的待检测页面中分离出构成所述待检测页面的各个显示视图;
从预设的基准对照图像库中提取各个基准对照图像,其中,每个基准对照图像均为在页面显示异常情况下呈现的显示视图;
分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度;
若在所述待检测页面中存在一个显示视图与所述基准对照图像库中的一个基准对照图像之间的图像相似度大于预设的相似度阈值,则判定所述待检测页面在所述终端设备上存在显示异常。
2.根据权利要求1所述的页面检测方法,其特征在于,所述分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度包括:
从预设的数据库中获取历史页面检测记录;
根据所述历史页面检测记录分别统计各个基准对照图像的有效检测次数,其中,通过基准对照图像检测到一次页面显示异常即记为一次有效检测;
根据所述有效检测次数确定各个基准对照图像的优先级,其中,基准对照图像的优先级与基准对照图像的有效检测次数正相关;
分别计算各个显示视图的特征向量,以及各个基准对照图像的特征向量;
按照优先级从高到低的顺序依次分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度,并将两个图像的特征向量之间的向量相似度确定为两个图像之间的图像相似度。
3.根据权利要求2所述的页面检测方法,其特征在于,所述分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度包括:
根据下式分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度:
其中,m为显示视图的序号,1≤m≤ViewNum,ViewNum为所述待检测页面中显示视图的总数目,第m个显示视图的特征向量为CharVecXm=(VecEleXm,1,VecEleXm,2,...,VecEleXm,d,...,VecEleXm,Dim),n为基准对照图像的序号,1≤n≤BaseViewNum,BaseViewNum为所述基准对照图像库中的基准对照图像的总数目,第n个基准对照图像的特征向量为CharVecYn=(VecEleYn,1,VecEleYn,2,...,VecEleYn,d,...,VecEleYn,Dim),d为向量的维度序号,1≤d≤Dim,Dim为显示视图的特征向量或基准对照图像的特征向量的维度数目,VecEleXm,d为第m个显示视图的特征向量在第d个维度上的分量,VecEleYn,d为第n个基准对照图像的特征向量在第d个维度上的分量,SimDegm,n为第m个显示视图的特征向量与第n个基准对照图像的特征向量之间的向量相似度。
4.根据权利要求1至3中任一项所述的页面检测方法,其特征在于,还包括:
从所述待检测页面的各个显示视图中选取文本显示视图,所述文本显示视图为用于显示文本信息的显示视图;
提取所述文本显示视图在所述终端设备上显示的第一文本信息;
获取与所述文本显示视图对应的第二文本信息,所述第二文本信息为所述文本显示视图在预设的基准终端设备上显示的文本信息;
将所述第一文本信息与所述第二文本信息进行比对;
若所述第一文本信息与所述第二文本信息不一致,则判定所述待检测页面在所述终端设备上存在显示异常。
5.根据权利要求1至3中任一项所述的页面检测方法,其特征在于,还包括:
获取所述待检测页面在所述终端设备上显示的第一矢量架构,其中,矢量架构为各个显示视图之间的矢量关系;
获取与所述待检测页面对应的第二矢量架构,所述第二矢量架构为所述待检测页面在预设的基准终端设备上显示的矢量架构;
将所述第一矢量架构与所述第二矢量架构进行比对;
若所述第一矢量架构与所述第二矢量架构不一致,则判定所述待检测页面在所述终端设备上存在显示异常。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的页面检测方法的步骤。
7.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如下步骤:
从在终端设备上显示的待检测页面中分离出构成所述待检测页面的各个显示视图;
从预设的基准对照图像库中提取各个基准对照图像,其中,每个基准对照图像均为在页面显示异常情况下呈现的显示视图;
分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度;
若在所述待检测页面中存在一个显示视图与所述基准对照图像库中的一个基准对照图像之间的图像相似度大于预设的相似度阈值,则判定所述待检测页面在所述终端设备上存在显示异常。
8.根据权利要求7所述的终端设备,其特征在于,所述分别计算所述待检测页面的各个显示视图与所述基准对照图像库中的各个基准对照图像之间的图像相似度包括:
从预设的数据库中获取历史页面检测记录;
根据所述历史页面检测记录分别统计各个基准对照图像的有效检测次数,其中,通过基准对照图像检测到一次页面显示异常即记为一次有效检测;
根据所述有效检测次数确定各个基准对照图像的优先级,其中,基准对照图像的优先级与基准对照图像的有效检测次数正相关;
分别计算各个显示视图的特征向量,以及各个基准对照图像的特征向量;
按照优先级从高到低的顺序依次分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度,并将两个图像的特征向量之间的向量相似度确定为两个图像之间的图像相似度。
9.根据权利要求8所述的终端设备,其特征在于,所述分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度包括:
根据下式分别计算各个显示视图的特征向量和各个基准对照图像的特征向量之间的向量相似度:
其中,m为显示视图的序号,1≤m≤ViewNum,ViewNum为所述待检测页面中显示视图的总数目,第m个显示视图的特征向量为CharVecXm=(VecEleXm,1,VecEleXm,2,...,VecEleXm,d,...,VecEleXm,Dim),n为基准对照图像的序号,1≤n≤BaseViewNum,BaseViewNum为所述基准对照图像库中的基准对照图像的总数目,第n个基准对照图像的特征向量为CharVecYn=(VecEleYn,1,VecEleYn,2,...,VecEleYn,d,...,VecEleYn,Dim),d为向量的维度序号,1≤d≤Dim,Dim为显示视图的特征向量或基准对照图像的特征向量的维度数目,VecEleXm,d为第m个显示视图的特征向量在第d个维度上的分量,VecEleYn,d为第n个基准对照图像的特征向量在第d个维度上的分量,SimDegm,n为第m个显示视图的特征向量与第n个基准对照图像的特征向量之间的向量相似度。
10.根据权利要求7至9中任一项所述的终端设备,其特征在于,还包括:
从所述待检测页面的各个显示视图中选取文本显示视图,所述文本显示视图为用于显示文本信息的显示视图;
提取所述文本显示视图在所述终端设备上显示的第一文本信息;
获取与所述文本显示视图对应的第二文本信息,所述第二文本信息为所述文本显示视图在预设的基准终端设备上显示的文本信息;
将所述第一文本信息与所述第二文本信息进行比对;
若所述第一文本信息与所述第二文本信息不一致,则判定所述待检测页面在所述终端设备上存在显示异常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811081616.0A CN109446061B (zh) | 2018-09-17 | 2018-09-17 | 一种页面检测方法、计算机可读存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811081616.0A CN109446061B (zh) | 2018-09-17 | 2018-09-17 | 一种页面检测方法、计算机可读存储介质及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109446061A true CN109446061A (zh) | 2019-03-08 |
CN109446061B CN109446061B (zh) | 2022-06-10 |
Family
ID=65533218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811081616.0A Active CN109446061B (zh) | 2018-09-17 | 2018-09-17 | 一种页面检测方法、计算机可读存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109446061B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110221964A (zh) * | 2019-05-06 | 2019-09-10 | 福建天晴数码有限公司 | 基于深度信念网络的ui自动化测试方法、存储介质 |
CN110851349A (zh) * | 2019-10-10 | 2020-02-28 | 重庆金融资产交易所有限责任公司 | 页面异常显示的检测方法、终端设备及存储介质 |
CN111079037A (zh) * | 2019-12-12 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 文档显示效果的评估方法、装置及计算机可读存储介质 |
CN111897672A (zh) * | 2020-07-28 | 2020-11-06 | 北京字节跳动网络技术有限公司 | 处理终端异常的方法、装置、终端和存储介质 |
CN112130944A (zh) * | 2020-09-16 | 2020-12-25 | 北京三快在线科技有限公司 | 页面异常的检测方法、装置、设备及存储介质 |
CN112215284A (zh) * | 2020-10-12 | 2021-01-12 | 北京乐学帮网络技术有限公司 | 排版查错方法及装置、电子设备、存储介质 |
CN113688049A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安财产保险股份有限公司 | 基于录入信息的可回溯性检测方法、装置、设备及介质 |
CN115082400A (zh) * | 2022-06-21 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、计算机设备及可读存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120079370A1 (en) * | 2010-09-28 | 2012-03-29 | Xerox Corporation | System and method for page frame detection |
CN102662833A (zh) * | 2012-03-21 | 2012-09-12 | 天津书生软件技术有限公司 | 一种管理测试用例的方法 |
CN104111960A (zh) * | 2013-04-22 | 2014-10-22 | 阿里巴巴集团控股有限公司 | 一种页面的匹配方法和装置 |
CN104252410A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 一种对页面中的控件进行测试的方法和设备 |
CN104423569A (zh) * | 2013-09-05 | 2015-03-18 | 由田新技股份有限公司 | 指向位置侦测装置、方法及计算机可读取纪录媒体 |
US20150086115A1 (en) * | 2013-09-20 | 2015-03-26 | Oracle International Corporation | Screenshot database for application verification |
CN105550112A (zh) * | 2015-12-17 | 2016-05-04 | 北京海泰方圆科技股份有限公司 | 一种浏览器渲染能力的测试方法 |
WO2016095554A1 (zh) * | 2014-12-19 | 2016-06-23 | 广州博冠信息科技有限公司 | 应用程序的测试方法、设备及系统 |
CN106502891A (zh) * | 2016-10-19 | 2017-03-15 | 广州视源电子科技股份有限公司 | 用户界面的自动检测方法和装置 |
CN106789973A (zh) * | 2016-12-06 | 2017-05-31 | 海信集团有限公司 | 页面的安全性检测方法及终端设备 |
US20180174330A1 (en) * | 2016-12-20 | 2018-06-21 | International Business Machines Corporation | Mobile user interface design testing tool |
CN108334450A (zh) * | 2018-01-26 | 2018-07-27 | 深圳市瑞云科技有限公司 | 一种cg渲染客户端的测试方法 |
CN108363599A (zh) * | 2018-01-12 | 2018-08-03 | 深圳壹账通智能科技有限公司 | 用户界面显示识别方法及终端设备 |
-
2018
- 2018-09-17 CN CN201811081616.0A patent/CN109446061B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120079370A1 (en) * | 2010-09-28 | 2012-03-29 | Xerox Corporation | System and method for page frame detection |
CN102662833A (zh) * | 2012-03-21 | 2012-09-12 | 天津书生软件技术有限公司 | 一种管理测试用例的方法 |
CN104111960A (zh) * | 2013-04-22 | 2014-10-22 | 阿里巴巴集团控股有限公司 | 一种页面的匹配方法和装置 |
CN104252410A (zh) * | 2013-06-27 | 2014-12-31 | 阿里巴巴集团控股有限公司 | 一种对页面中的控件进行测试的方法和设备 |
CN104423569A (zh) * | 2013-09-05 | 2015-03-18 | 由田新技股份有限公司 | 指向位置侦测装置、方法及计算机可读取纪录媒体 |
US20150086115A1 (en) * | 2013-09-20 | 2015-03-26 | Oracle International Corporation | Screenshot database for application verification |
WO2016095554A1 (zh) * | 2014-12-19 | 2016-06-23 | 广州博冠信息科技有限公司 | 应用程序的测试方法、设备及系统 |
CN105550112A (zh) * | 2015-12-17 | 2016-05-04 | 北京海泰方圆科技股份有限公司 | 一种浏览器渲染能力的测试方法 |
CN106502891A (zh) * | 2016-10-19 | 2017-03-15 | 广州视源电子科技股份有限公司 | 用户界面的自动检测方法和装置 |
CN106789973A (zh) * | 2016-12-06 | 2017-05-31 | 海信集团有限公司 | 页面的安全性检测方法及终端设备 |
US20180174330A1 (en) * | 2016-12-20 | 2018-06-21 | International Business Machines Corporation | Mobile user interface design testing tool |
CN108363599A (zh) * | 2018-01-12 | 2018-08-03 | 深圳壹账通智能科技有限公司 | 用户界面显示识别方法及终端设备 |
CN108334450A (zh) * | 2018-01-26 | 2018-07-27 | 深圳市瑞云科技有限公司 | 一种cg渲染客户端的测试方法 |
Non-Patent Citations (2)
Title |
---|
MAXIM MOZGOVOY: "Unity Application Testing Automationwith Appium and Image Recognition", 《HTTPS://LINK.SPRINGER.COM/CHAPTER/10.1007/978-3-319-71734-0_12》 * |
你需要一台永动机: "Android视图加载流程(2)之Window和", 《HTTPS://WWW.JIANSHU.COM/P/4F5F42949262》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110221964A (zh) * | 2019-05-06 | 2019-09-10 | 福建天晴数码有限公司 | 基于深度信念网络的ui自动化测试方法、存储介质 |
CN110851349A (zh) * | 2019-10-10 | 2020-02-28 | 重庆金融资产交易所有限责任公司 | 页面异常显示的检测方法、终端设备及存储介质 |
CN110851349B (zh) * | 2019-10-10 | 2023-12-26 | 岳阳礼一科技股份有限公司 | 页面异常显示的检测方法、终端设备及存储介质 |
CN111079037A (zh) * | 2019-12-12 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 文档显示效果的评估方法、装置及计算机可读存储介质 |
CN111079037B (zh) * | 2019-12-12 | 2023-09-22 | 腾讯科技(深圳)有限公司 | 文档显示效果的评估方法、装置及计算机可读存储介质 |
CN111897672A (zh) * | 2020-07-28 | 2020-11-06 | 北京字节跳动网络技术有限公司 | 处理终端异常的方法、装置、终端和存储介质 |
CN112130944A (zh) * | 2020-09-16 | 2020-12-25 | 北京三快在线科技有限公司 | 页面异常的检测方法、装置、设备及存储介质 |
CN112215284A (zh) * | 2020-10-12 | 2021-01-12 | 北京乐学帮网络技术有限公司 | 排版查错方法及装置、电子设备、存储介质 |
CN113688049A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安财产保险股份有限公司 | 基于录入信息的可回溯性检测方法、装置、设备及介质 |
CN113688049B (zh) * | 2021-08-31 | 2023-06-23 | 中国平安财产保险股份有限公司 | 基于录入信息的可回溯性检测方法、装置、设备及介质 |
CN115082400A (zh) * | 2022-06-21 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、计算机设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109446061B (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109446061A (zh) | 一种页面检测方法、计算机可读存储介质及终端设备 | |
US10885365B2 (en) | Method and apparatus for detecting object keypoint, and electronic device | |
US10467743B1 (en) | Image processing method, terminal and storage medium | |
US10489637B2 (en) | Method and device for obtaining similar face images and face image information | |
EP3985589A1 (en) | Fraud detection device, fraud detection method, and fraud detection program | |
US20220406090A1 (en) | Face parsing method and related devices | |
CN103617413B (zh) | 一种在图像中识别物体的方法 | |
CN108734304A (zh) | 一种数据模型的训练方法、装置、及计算机设备 | |
CN112215271A (zh) | 一种基于多头注意力机制的抗遮挡目标检测方法及设备 | |
CN114978624B (zh) | 钓鱼网页检测方法、装置、设备及存储介质 | |
CN113378958A (zh) | 自动标注方法、装置、设备、存储介质及计算机程序产品 | |
CN114049568A (zh) | 基于图像比对的标的物形变检测方法、装置、设备及介质 | |
US10970531B2 (en) | Digitization of industrial inspection sheets by inferring visual relations | |
CN113537026B (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
CN114937023A (zh) | 一种承压设备的缺陷识别方法及装置 | |
CN111247517B (zh) | 一种图像处理方法、装置及系统 | |
CN112906671B (zh) | 面审虚假图片识别方法、装置、电子设备及存储介质 | |
CN112508005B (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
CN113378837A (zh) | 车牌遮挡识别方法、装置、电子设备和存储介质 | |
CN114882020B (zh) | 产品的缺陷检测方法、装置、设备及计算机可读介质 | |
CN113963211B (zh) | 一种用于手势识别的无监督域适应训练方法及系统 | |
CN113254932A (zh) | 应用程序的风险检测方法、装置、电子设备和介质 | |
CN115393838A (zh) | 指针式仪表读数识别方法、装置、电子设备及存储介质 | |
CN111582262A (zh) | 段式液晶图片内容识别方法、装置、设备和存储介质 | |
CN113157160B (zh) | 用于识别误导播放按钮的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |