CN117291859A - 一种页面异常检测方法、装置、电子设备和存储介质 - Google Patents

一种页面异常检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN117291859A
CN117291859A CN202210682577.XA CN202210682577A CN117291859A CN 117291859 A CN117291859 A CN 117291859A CN 202210682577 A CN202210682577 A CN 202210682577A CN 117291859 A CN117291859 A CN 117291859A
Authority
CN
China
Prior art keywords
image
candidate region
candidate
page
interface element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210682577.XA
Other languages
English (en)
Inventor
张文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Original Assignee
Douyin Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd filed Critical Douyin Vision Co Ltd
Priority to CN202210682577.XA priority Critical patent/CN117291859A/zh
Publication of CN117291859A publication Critical patent/CN117291859A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种页面异常检测方法、装置、电子设备和存储介质，其中，该方法包括：获取待测页面图像，并对其进行图像预处理得到预处理图像，图像预处理包括灰度化处理；根据预处理图像中各界面元素的位置以及尺寸，对其进行分割得到多个候选区域；针对每个候选区域，确定候选区域的全局信息熵和/或基于预设的一个或者多个采样框对候选区域进行采样得到的采样框对应的局部信息熵；针对每个候选区域，基于其全局信息熵和/或一个或者多个局部信息熵以及对应的区域尺度特征，调用预训练的分类器对其进行分类得到用于表征候选区域是否异常空白的异常识别结果；将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域。

Description

一种页面异常检测方法、装置、电子设备和存储介质
技术领域
本公开涉及界面检测技术领域，具体而言，涉及一种页面异常检测方法、装置、电子设备和存储介质。
背景技术
系统页面是用户与系统进行信息交互的重要媒介，它将系统的内部信息转化为用户可接收的信息，因此，系统页面显示是否正常，会在很大程度上影响用户的使用体验。
通常，页面异常检测可通过将采样页面图像与预设的色块颜色或预设的图片进行比较来实现，但上述方法在检测过程中，针对不同的页面异常，需要重新定义预设的色块颜色或图片，通用性差；同时，频繁更改预设的色块颜色或图片，检测效率低，并且，预设色块和图片的方式仅适用于全屏异常，局部异常的情况下难以识别。
发明内容
本公开实施例至少提供一种页面异常检测方法、装置、电子设备和存储介质。
第一方面，本公开实施例提供了一种页面异常检测方法，包括：
获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像；所述图像预处理包括灰度化处理；
根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域；
针对每个候选区域，确定所述候选区域的全局信息熵和/或基于预设的一个或者多个采样框对候选区域进行采样得到的所述采样框对应的局部信息熵；
针对每个候选区域，基于所述候选区域的全局信息熵和/或所述候选区域的一个或者多个局部信息熵以及对应的区域尺度特征，调用预训练的分类器对所述候选区域进行分类得到用于表征所述候选区域是否异常空白的异常识别结果；
将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域。
一种可选的实施方式中，所述针对每个候选区域，确定所述候选区域的全局信息熵，包括：
基于所述候选区域中各个像素点的灰度值，确定各个灰度级数在所述候选区域中的第一出现次数；
基于所述第一出现次数以及所述候选区域中的第一像素点总数，确定所述各个灰度级数在所述候选区域中的第一出现概率；
基于各个灰度级数的所述第一出现概率以及所述第一出现概率对应的负对数之积，确定所述候选区域的全局信息熵。
一种可选的实施方式中，所述针对每个候选区域，确定基于预设一个或者多个采样框对候选区域进行采样得到候选区域的一个或多个局部信息熵，包括：
针对所述候选区域中预设每个采样框，基于该采样框中各个像素点的灰度值，确定各个灰度级数在所述采样框中的第二出现次数；
基于所述第二出现次数以及所述采样框中的第二像素点总数，确定所述各个灰度级数在所述采样框中的第二出现概率；
基于灰度级数的所述第二出现概率以及所述第二出现概率对应的负对数之积，确定所述采样框对应的局部信息熵。
一种可选的实施方式中，所述获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像，所述图像预处理包括灰度化处理，包括：
对所述待测页面图像进行缩放处理，以使缩放后的页面图像与缩放前的待测页面图像之间的相似度大于第一预设阈值，且缩放后的页面图像的分辨率低于第二预设阈值；
将缩放后的页面图像中各个像素点的颜色值转换为灰度值，得到初始灰度图像；
对所述初始灰度图像进行细节增强处理和/或对比度增强处理，得到所述预处理图像。
一种可选的实施方式中，所述候选区域包括目标界面元素候选区域；所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域，包括：
根据所述预处理图像中各界面元素的位置以及尺寸，确定出所述预处理图像中的多个界面元素区域；
基于各个界面元素区域的位置信息，将重叠率满足预设条件的各个界面元素区域进行融合，得到多个初始界面元素候选区域；
基于所述多个初始界面元素候选区域的位置信息以及非极大值抑制机制，从所述多个初始界面元素候选区域中筛选出所述目标界面元素候选区域。
一种可选的实施方式中，所述候选区域还包括非界面元素候选区域；所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域，还包括：
基于所述目标界面元素候选区域的位置信息，确定所述预处理图像中的至少一个初始非界面元素候选区域；
将每个所述初始非界面元素候选区域切割为多个预设形状的非界面元素候选区域。
一种可选的实施方式中，在将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域之后，所述方法还包括：
基于所述异常区域中各个为异常空白的候选区域对应的界面元素类型信息和所述候选区域在图像预处理之前的颜色信息，生成所述待测页面图像的检测结果，所述检测页面结果包括所述待测页面图像对应的异常类型。
第二方面，本公开实施例还提供一种页面异常检测装置，包括：
图像预处理模块，用于获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像；所述图像预处理包括灰度化处理；
分割模块，用于根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域；
信息熵模块，用于针对每个候选区域，确定所述候选区域的全局信息熵和/或基于预设的一个或者多个采样框对候选区域进行采样得到的所述采样框对应的局部信息熵；
分类模块，用于针对每个候选区域，基于所述候选区域的全局信息熵和/或所述候选区域的一个或者多个局部信息熵以及对应的区域尺度特征，调用预训练的分类器对所述候选区域进行分类得到用于表征所述候选区域是否异常空白的异常识别结果；
融合模块，用于将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域。
一种可选的实施方式中，所述信息熵模块在所述针对每个候选区域，确定所述候选区域的全局信息熵时，用于：
基于所述候选区域中各个像素点的灰度值，确定各个灰度级数在所述候选区域中的第一出现次数；
基于所述第一出现次数以及所述候选区域中的第一像素点总数，确定所述各个灰度级数在所述候选区域中的第一出现概率；
基于各个灰度级数的所述第一出现概率以及所述第一出现概率对应的负对数之积，确定所述候选区域的全局信息熵。
一种可选的实施方式中，所述信息熵模块在所述针对每个候选区域，确定基于预设一个或者多个采样框对候选区域进行采样得到候选区域的一个或多个局部信息熵时，用于：
针对所述候选区域中预设每个采样框，基于该采样框中各个像素点的灰度值，确定各个灰度级数在所述采样框中的第二出现次数；
基于所述第二出现次数以及所述采样框中的第二像素点总数，确定所述各个灰度级数在所述采样框中的第二出现概率；
基于灰度级数的所述第二出现概率以及所述第二出现概率对应的负对数之积，确定所述采样框对应的局部信息熵。
一种可选的实施方式中，所述图像预处理模块在所述获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像，所述图像预处理包括灰度化处理时，用于：
对所述待测页面图像进行缩放处理，以使缩放后的页面图像与缩放前的待测页面图像之间的相似度大于第一预设阈值，且缩放后的页面图像的分辨率低于第二预设阈值；
将缩放后的页面图像中各个像素点的颜色值转换为灰度值，得到初始灰度图像；
对所述初始灰度图像进行细节增强处理和/或对比度增强处理，得到所述预处理图像。
一种可选的实施方式中，，所述候选区域包括目标界面元素候选区域；所述分割模块在所述候选区域包括目标界面元素候选区域；所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域时，用于：
根据所述预处理图像中各界面元素的位置以及尺寸，确定出所述预处理图像中的多个界面元素区域；
基于各个界面元素区域的位置信息，将重叠率满足预设条件的各个界面元素区域进行融合，得到多个初始界面元素候选区域；
基于所述多个初始界面元素候选区域的位置信息以及非极大值抑制机制，从所述多个初始界面元素候选区域中筛选出所述目标界面元素候选区域。
一种可选的实施方式中，所述候选区域还包括非界面元素候选区域；所述分割模块所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域时，还用于：
基于所述目标界面元素候选区域的位置信息，确定所述预处理图像中的至少一个初始非界面元素候选区域；
将每个所述初始非界面元素候选区域切割为多个预设形状的非界面元素候选区域。
一种可选的实施方式中，所述装置还包括全屏异常判定模块，用于：
基于所述预处理图像中的界面元素，确定所述预处理图像是否为全屏异常页面；
根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域，包括：
在所述预处理图像不为全屏异常页面的情况下，根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域。
一种可选的实施方式中，所述装置还包括异常类型确定模块，用于：
基于所述异常区域中各个为异常空白的候选区域对应的界面元素类型信息和所述候选区域在图像预处理之前的颜色信息，生成所述待测页面图像的检测结果，所述检测页面结果包括所述待测页面图像对应的异常类型。
第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的一种页面异常检测方法、装置、电子设备和存储介质，将获取的待测页面进行图像预处理后，得到预处理图像；划分候选区域，计算其全局信息熵和基于采样框确定的一个或多个局部信息熵，并结合候选区域的区域尺度特征，通过分类器判定候选区域是否为异常空白区域。本公开中，将页面图像进行灰度化处理，使页面图像由彩色图像转化为灰度图像，使不同类型的页面异常空白均可使用基于灰度图像的信息熵来判定，在页面异常空白检测领域中，适用范围更加广泛，无需针对不同的页面异常空白类型，频繁更换检测方法，大大提高了检测效率；信息熵可以表征候选区域的信息量，即图像细节，信息熵越大，图像细节越丰富，信息熵越小，图像越接近空白，使用信息熵判定页面异常空白，同时结合候选区域的区域尺度特征，使判定结果更加精确。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种页面异常检测方法的流程图；
图2示出了本公开实施例所提供的一种预处理图像的示意图；
图3示出了本公开实施例所提供的一种确定出多个界面元素候选区域的示意图；
图4示出了本公开实施例所提供的一种重叠率满足预设条件的界面元素候选区域融合的示意图；
图5示出了本公开实施例所提供的一种确定出目标界面元素候选区域的示意图；
图6示出了本公开实施例所提供的另一种页面异常检测方法的流程图；
图7示出了本公开实施例所提供的一种空白判定模块的工作流程图；
图8示出了本公开实施例所提供的一种页面异常检测装置的示意图；
图9示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，现有的页面异常检测方法一般采用将待检测页面与预设的色块或图片进行比较，计算其相似度的方法，当页面异常问题的类型不同时，需要更换预设的色块或图片，比如，针对页面全局空白问题的检测，预设的图片为一张空白图片，当出现页面局部空白时，所述页面就无法通过与所述空白图片比较得出正确的检测结果。因此，检测过程需要耗费很多时间用于更换预设图片，效率低下，并且，预设色块和图片的方式仅适用于全屏异常，局部异常的情况下难以识别。
基于上述研究，本公开提供了一种页面异常检测方法，将获取的待测页面进行图像预处理后，得到预处理图像；划分候选区域，计算其全局信息熵和基于采样框确定的一个或多个局部信息熵，并结合候选区域的区域尺度特征，通过分类器判定候选区域是否为异常空白区域。本公开中，将页面图像进行灰度化处理，使页面图像由彩色图像转化为灰度图像，使不同类型的页面异常空白均可使用基于灰度图像的信息熵来判定，在页面异常空白检测领域中，适用范围更加广泛，无需针对不同的页面异常空白类型，频繁更换检测方法，大大提高了检测效率；信息熵可以表征候选区域的信息量，即图像细节，信息熵越大，图像细节越丰富，信息熵越小，图像越接近空白，使用信息熵判定页面异常空白，同时结合候选区域的区域尺度特征，使判定结果更加精确。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种页面异常检测方法进行详细介绍，本公开实施例所提供的页面异常检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备。在一些可能的实现方式中，该页面异常检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例所提供的一种页面异常检测方法的流程图，所述方法包括步骤S101～S105，其中：
S101：获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像；所述图像预处理包括灰度化处理。
其中，待测页面图像具体可以为应用程序界面的截图。图像的灰度化处理是指将彩色页面图像中各个像素点的颜色值转换为灰度值，此过程可以通过加色混色模型(RGB模型，R是指红色，G是指绿色，B是指蓝色)来实现，在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)。
示例性的，上述图像预处理的步骤可以包括：
(1)对待测页面图像进行缩放处理，以使缩放后的页面图像与缩放前的待测页面图像之间的相似度大于第一预设阈值，且缩放后的页面图像的分辨率低于第二预设阈值。
其中，分辨率是指图像分辨率，它决定了图像细节的精细程度，通常情况下，图像的分辨率越高，所包含的像素就越多，图像就越清晰。同时，它也会增加文件占用的存储空间，系统对图片进行处理的时间也会越长。
对页面图像进行缩放处理，使页面图像缩小到预设尺寸，并降低页面图像的分辨率，使得缩放后的页面图像与缩放前的页面图像之间的相似度大于第一预设阈值，这样，缩放后的页面图像仍保留足够的图片细节，避免缩放过度，导致页面图像丢失部分细节，对页面异常检测结果造成影响，比如，第一预设阈值可以为70％～90％；同时，缩放后的页面图像的分辨率低于第二预设阈值，使得在缩小到预设尺寸的页面图像大小一定，且页面图像在保留必要细节的前提下，尽可能的降低分辨率，提高页面图像的处理速度，其中，分辨率是指图像中存储的信息量，是每英寸图像内有多少个像素点，第二预设阈值可以为50～300像素每英寸(PPI，pixel per inch)，即在页面图像缩小到预设尺寸后，将页面图像的分辨率降低到50～300PPI；上述预设尺寸、第一预设阈值和第二预设阈值均可以根据需求设定。
(2)将缩放后的页面图像中各个像素点的颜色值转换为灰度值，得到初始灰度图像。
其中，灰度值是表明图像明暗的数值，即黑白图像中点的颜色深度。范围一般从0到255，白色为255，黑色为0，灰度值越大表示越亮，故黑白图像也可称为灰度图像。
(3)对初始灰度图像进行细节增强处理和/或对比度增强处理，得到预处理图像。
其中，细节增强处理可以为引导滤波、双边滤波或加权最小二乘法；对比度增强处理可以采用灰度变换法或直方图调整法。通过上述操作，可改善初始灰度图像的视觉效果，转换为更适合机器分析处理的形式，突出对机器分析有意义的信息，抑制无用信息，提高图像的使用价值，得到预处理图像。
示例性的，如图2所示，为预处理图像的示意图，待测页面图像在经过缩放处理后，得到在保留图像主要细节的前提下，分辨率尽可能低的页面图像；然后对页面图像进行灰度化处理，使页面图像由彩色图像变为灰度图像，最后，对页面图像进行细节增强处理和/或对比度增强处理，得到预处理图像，如图2所示，处理后的搜索框的颜色为黑色，搜索框的背景颜色为白色，搜索框中的文字和图标的颜色也为白色，颜色对比度增强，图像的显示效果更加清晰。
S102：根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域。
其中，候选区域可以包括目标界面元素候选区域和非目标界面元素候选区域。界面元素是指可满足交互需求的软件或系统界面所包含的满足用户交互要求的一系列元素，比如窗口、菜单、视图或状态栏等，因此，界面元素区域指的是预处理图像中界面元素所在的区域。非界面元素区域是指预处理图像中除界面元素区域以外的区域，在分割出界面元素区域后，可以选择对其求掩码，得到非界面元素候选区域。
示例性的，可通过以下步骤对界面元素区域进行分割，得到目标界面元素候选区域：
(1)基于预处理图像中各界面元素的位置以及尺寸，确定出预处理图像中的多个界面元素区域。
具体的，参见图3所示，为本公开实施例所提供的一种确定出多个界面元素候选区域的示意图，图中菜单、文本视图、图片视图以及状态栏等均为界面元素，基于其对应的位置和尺寸，划分为多个界面元素区域，其中，菜单栏中还包括基于“用户”图标划分的候选区域301和候选区域302。
(2)基于各个界面元素区域的位置信息，将重叠率满足预设条件的各个界面元素区域进行融合，得到多个初始界面元素候选区域。
在确定出预处理图像中的多个界面元素候选区域后，可能会出现候选区域发生重叠的情况，此时，可以将重叠率满足预设条件的各个界面元素区域进行融合，得到多个初始界面元素候选区域。
具体的，参见图4所示，为本公开实施例所提供的一种重叠率满足预设条件的界面元素候选区域融合的示意图，图中界面元素候选区域401～404存在重叠区域，此时，需要将界面元素候选区域401～404进行融合，得到一个融合后的初始界面元素候选区域405，相比较融合前，预处理图像中的待检测的候选区域数量变少，避免了重复检测相同区域造成的资源浪费。
(3)基于多个初始界面元素候选区域的位置信息以及非极大值抑制机制(Non-Maximum Suppression，NMS)，从多个初始界面元素候选区域中筛选出所述目标界面元素候选区域。
其中，NMS顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。常用于计算机视觉中的边缘检测、物体识别等。通过NMS可以判别那些候选区域是无意义的，或者说，通过NMS保留的候选区域可以涵盖被删掉的候选区域范围内的有用信息。
参见图5所示，为本公开实施例所提供的一种确定出目标界面元素候选区域的示意图，在预处理图像中所有重叠率满足预设条件的界面元素候选区域融合后的示意图，重叠率可以为60％～80％等。与图3相比较，图中底端的菜单栏中的“用户”图标，去除了候选区域301，保留了包含候选区域301中的有用信息的候选区域302。
示例性的，可通过以下步骤对非界面元素区域进行分割，得到非目标界面元素候选区域：
(1)基于目标界面元素候选区域的位置信息，确定预处理图像中的至少一个初始非界面元素候选区域。
(2)将每个初始非界面元素候选区域切割为多个预设形状的非界面元素候选区域。
其中，预设形状可以为矩形、正方形或其他形状。
S103：针对每个候选区域，确定候选区域的全局信息熵和/或基于预设的一个或者多个采样框对候选区域进行采样得到的采样框对应的局部信息熵。
其中，信息熵可以指排除了冗余信息后的平均信息量，用于描述信息源各可能事件发生的不确定性，某事件的信息量可以认为是这个事件发生概率的负对数。在数学上，信息熵其实是信息量的期望，其定义如下：离散的随机变量，它有n可能情况：U1、U2……Un，每种情况发生的概率为Pi，i＝1、2、3……n，则它的信息熵H(U)为：
将信息熵的定义延伸到图像领域，随机变量n就是灰度级数，灰度级数是把白色与黑色之间按对数关系分成的若干等级，用来表明图像中不同灰度的最大数量。灰度级越大，图像的亮度范围越大。随机事件发生的概率Pi就是某个灰度级数在整个图像中出现的次数与总像素数量的比值。所以要计算一幅图像的信息熵，只需要对图像进行灰度直方图统计，然后求出各级灰度级数的概率，最后利用信息熵的定义即可计算该图像的信息熵。
具体的，信息熵包括全局信息熵和局部信息熵。全局信息熵是指基于某候选区域所对应的图像整体计算得到的信息熵；局部信息熵是在某候选区域中基于一个或多个采样框对其进行区域划分后，得到候选区域中的局部图像，然后针对局部图像计算得到的信息熵，候选区域中可含有多个局部图像。
上述采样框用于对候选区域进行采样，采样框的位置、尺寸和数量可根据需求灵活调整。不同采样框的位置越接近、尺寸越小、数量越多，得到的局部信息熵就越多，同时，计算量也越大，计算速度越慢，因此，可根据实际需求确定采样框的位置、尺寸和数量。
其中，获取候选区域的全局信息熵，包括：
基于候选区域中各个像素点的灰度值，确定各个灰度级数在候选区域中的第一出现次数；
基于第一出现次数以及候选区域中的第一像素点总数，确定各个灰度级数在候选区域中的第一出现概率；
基于各个灰度级数的第一出现概率以及第一出现概率对应的负对数之积，确定候选区域的全局信息熵特征。
其中，获取候选区域的局部信息熵，包括：
针对候选区域中预设的每个采样框，基于该采样框中各个像素点的灰度值，确定各个灰度级数在采样框中的第二出现次数；
基于第二出现次数以及采样框中的第二像素点总数，确定各个灰度级数在采样框中的第二出现概率；
基于灰度级数的第二出现概率以及第二出现概率对应的负对数之积，确定采样框对应的局部信息熵特征。
S104：针对每个候选区域，基于所述候选区域的全局信息熵和/或所述候选区域的一个或者多个局部信息熵以及对应的区域尺度特征，调用预训练的分类器对所述候选区域进行分类得到用于表征所述候选区域是否异常空白的异常识别结果。
使用预训练的分类器对候选区域进行分类时，所使用的的局部信息熵可以为将候选区域中不同采样框对应的局部信息熵取平均值得到的平均局部信息熵，也可以直接使用候选区域中每个采样框对应的局部信息熵。
示例性的，区域尺度特征可以为候选区域的位置和尺寸。
其中，分类器是数据挖掘中对样本进行分类的方法的统称，包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。收集足量的样本数据对分类器进行训练，得到训练后的分类器，可以基于候选区域的全局信息熵和/或候选区域的一个或者多个局部信息熵以及对应的区域尺度特征对候选区域进行分类，分类结果可以为存在异常空白的候选区域和不存在异常空白的候选区域。
S105：将被分类为异常空白的候选区域进行融合得到待测页面图像中的异常区域。
当存在相邻的两个或两个以上被分类为异常空白的候选区域时，将其进行融合，并去除冗余区域。
可选的，在根据预处理图像中各界面元素的位置以及尺寸，对预处理图像进行区域划分，得到多个候选区域之前，可以先确定预处理图像中是否存在界面元素，若不存在任何界面元素，则确定预处理图像是全屏异常页面，其对应的异常类型为全屏异常；若存在任何界面元素，则确定预处理图像为非全屏异常页面，此时，根据预处理图像中各界面元素的位置以及尺寸，再对预处理图像进行区域划分。
可选的，在将被分类为异常空白的候选区域进行融合得到待测页面图像中的异常区域之后，基于所述异常区域中各个为异常空白的候选区域对应的界面元素类型信息和所述候选区域在图像预处理之前的颜色信息，生成所述待测页面图像的检测结果，所述检测页面结果包括所述待测页面图像对应的异常类型。
具体的，异常类型可以包括全屏异常空白或局部异常空白两大类，首先基于界面元素类型，判定异常空白为全屏异常空白还是局部异常空白，示例性地，若候选区域不存在任何界面元素，则为全屏异常，若候选区域的界面元素类型为视图，则可能为元素缺失或元素加载异常，若候选区域的界面元素类型为窗口，则可能为页面布局异常；根据界面元素类型信息还可以对异常类型进行细化，比如图片异常、用户界面异常、文字异常等，同时，根据候选区域在进行图像预处理之前的颜色信息，可以确定异常空白为白屏、绿屏还是黑屏等；这样，通过异常区域中各个候选区域的界面元素类型信息及其对应的预处理之前的颜色信息，即可确定异常类型。
本公开提供了一种页面异常检测方法，将获取的待测页面进行图像预处理后，得到预处理图像；划分候选区域，计算其全局信息熵和基于采样框确定的一个或多个局部信息熵，并结合候选区域的区域尺度特征，通过分类器判定候选区域是否为异常空白区域。本公开中，将页面图像进行灰度化处理，使页面图像由彩色图像转化为灰度图像，使不同类型的页面异常空白均可使用基于灰度图像的信息熵来判定，在页面异常空白检测领域中，适用范围更加广泛，无需针对不同的页面异常空白类型，频繁更换检测方法，大大提高了检测效率；信息熵可以表征候选区域的信息量，即图像细节，信息熵越大，图像细节越丰富，信息熵越小，图像越接近空白，使用信息熵判定页面异常空白，同时结合候选区域的区域尺度特征，使判定结果更加精确。
参见图6所示，为本公开实施例所提供的另一种页面异常检测方法的流程图，所述方法包括以下步骤：
获取待检测页面图像，对其进行空白区域检测，首先使用空白判定模块判定所述待检测页面图像是否为全屏异常空白：
若是全屏异常空白，则输出检测结果，结束此页面异常检测流程；
若不是全屏异常空白，则对待检测页面图像进行图像预处理，得到保留图像主要细节，分辨率较低，对比度较强的预处理图像，再对所述预处理图像进行候选区域的划分：
若划分后的候选区域为界面元素候选区域，则将所有重叠率满足预设条件的界面元素候选区域融合，得到规则区域；
若划分后的候选区域为非界面元素候选区域，所述非界面元素候选区域为待检测页面图像中除界面元素候选区域以外的区域，通常为不规则形状，而系统对规则形状检测效率更高，则为提高检测效率，将其切割为多个预设形状的非界面元素候选区域，得到规则区域。
针对规则区域，再次使用空白判定模块，判定局部的规则区域是否存在异常空白：
若局部的规则区域存在异常空白，将异常空白区域融合后，则进一步判定其异常类型，所述异常类型包括：元素空白、异常记载；元素缺失、布局异常；异常色块、渲染异常等，最后输出其检测结果及其对应的空白区域的位置坐标，结束此页面异常检测流程；
若局部的规则区域不存在异常空白，则为正常界面区域，最后输出其检测结果，结束此页面异常检测流程。
其中，参见图7所示，为本公开实施例所提供的一种空白判定模块的工作流程图，所述空白判定模块执行以下步骤：
先输入候选区域，对该区域基于灰度级数的信息熵进行计算，其中，所述信息熵可以为全局信息熵或局部信息熵；
再结合所述候选区域的尺度特征，使用分类器将检测结果分为异常空白区域和正常区域。其中，所述分类器选择可以灵活采用当前主流的机器学习分类器，如决策树分类器、选择树分类器或证据分类器等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与页面异常检测方法对应的页面异常检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述页面异常检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图8所示，为本公开实施例所提供的一种页面异常检测装置的示意图，所述装置包括
图像预处理模块801，用于获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像；所述图像预处理包括灰度化处理；
分割模块802，用于根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域；
信息熵模块803，用于针对每个候选区域，确定所述候选区域的全局信息熵和/或基于预设的一个或者多个采样框对候选区域进行采样得到的所述采样框对应的局部信息熵；.
分类模块804，用于针对每个候选区域，基于所述候选区域的全局信息熵和/或所述候选区域的一个或者多个局部信息熵以及对应的区域尺度特征，调用预训练的分类器对所述候选区域进行分类得到用于表征所述候选区域是否异常空白的异常识别结果；
融合模块805，用于将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域。
一种可选的实施方式中，所述信息熵模块803在所述针对每个候选区域，确定所述候选区域的全局信息熵时，用于：
基于所述候选区域中各个像素点的灰度值，确定各个灰度级数在所述候选区域中的第一出现次数；
基于所述第一出现次数以及所述候选区域中的第一像素点总数，确定所述各个灰度级数在所述候选区域中的第一出现概率；
基于各个灰度级数的所述第一出现概率以及所述第一出现概率对应的负对数之积，确定所述候选区域的全局信息熵。
一种可选的实施方式中，所述信息熵模块803在所述针对每个候选区域，确定基于预设一个或者多个采样框对候选区域进行采样得到候选区域的一个或多个局部信息熵时，用于：
针对所述候选区域中预设每个采样框，基于该采样框中各个像素点的灰度值，确定各个灰度级数在所述采样框中的第二出现次数；
基于所述第二出现次数以及所述采样框中的第二像素点总数，确定所述各个灰度级数在所述采样框中的第二出现概率；
基于灰度级数的所述第二出现概率以及所述第二出现概率对应的负对数之积，确定所述采样框对应的局部信息熵。
一种可选的实施方式中，所述图像预处理模块801在所述获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像，所述图像预处理包括灰度化处理时，用于：
对所述待测页面图像进行缩放处理，以使缩放后的页面图像与缩放前的待测页面图像之间的相似度大于第一预设阈值，且缩放后的页面图像的分辨率低于第二预设阈值；
将缩放后的页面图像中各个像素点的颜色值转换为灰度值，得到初始灰度图像；
对所述初始灰度图像进行细节增强处理和/或对比度增强处理，得到所述预处理图像。
一种可选的实施方式中，所述候选区域包括目标界面元素候选区域；所述分割模块802在所述候选区域包括目标界面元素候选区域；所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域时，用于：
根据所述预处理图像中各界面元素的位置以及尺寸，确定出所述预处理图像中的多个界面元素区域；
基于各个界面元素区域的位置信息，将重叠率满足预设条件的各个界面元素区域进行融合，得到多个初始界面元素候选区域；
基于所述多个初始界面元素候选区域的位置信息以及非极大值抑制机制，从所述多个初始界面元素候选区域中筛选出所述目标界面元素候选区域。
一种可选的实施方式中，所述候选区域还包括非界面元素候选区域；所述分割模块802所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域时，还用于：
基于所述目标界面元素候选区域的位置信息，确定所述预处理图像中的至少一个初始非界面元素候选区域；
将每个所述初始非界面元素候选区域切割为多个预设形状的非界面元素候选区域。
一种可选的实施方式中，所述装置还包括全屏异常判定模块，用于：
基于所述预处理图像中的界面元素，确定所述预处理图像是否为全屏异常页面；
根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域，包括：
在所述预处理图像不为全屏异常页面的情况下，根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域。
一种可选的实施方式中，所述装置还包括异常类型确定模块，用于：
基于所述异常区域中各个为异常空白的候选区域对应的界面元素类型信息和所述候选区域在图像预处理之前的颜色信息，生成所述待测页面图像的检测结果，所述检测页面结果包括所述待测页面图像对应的异常类型。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的页面异常检测方法，本公开实施例还提供了一种电子设备900，如图9所示，为本公开实施例提供的电子设备900结构示意图，包括：
处理器91、存储器92、和总线93；存储器92用于存储执行指令，包括内存921和外部存储器922；这里的内存921也称内存储器，用于暂时存放处理器91中的运算数据，以及与硬盘等外部存储器922交换的数据，处理器91通过内存921与外部存储器922进行数据交换，当所述电子设备900运行时，所述处理器91与所述存储器92之间通过总线93通信，使得所述处理器91执行以下指令：
获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像；所述图像预处理包括灰度化处理；
根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域；
针对每个候选区域，确定所述候选区域的全局信息熵和/或基于预设的一个或者多个采样框对候选区域进行采样得到的所述采样框对应的局部信息熵；
针对每个候选区域，基于所述候选区域的全局信息熵和/或所述候选区域的一个或者多个局部信息熵以及对应的区域尺度特征，调用预训练的分类器对所述候选区域进行分类得到用于表征所述候选区域是否异常空白的异常识别结果；
将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域。
一种可选的实施方式中，所述处理器91执行的指令中，所述针对每个候选区域，确定所述候选区域的全局信息熵，包括：
基于所述候选区域中各个像素点的灰度值，确定各个灰度级数在所述候选区域中的第一出现次数；
基于所述第一出现次数以及所述候选区域中的第一像素点总数，确定所述各个灰度级数在所述候选区域中的第一出现概率；
基于各个灰度级数的所述第一出现概率以及所述第一出现概率对应的负对数之积，确定所述候选区域的全局信息熵。
一种可选的实施方式中，所述处理器91执行的指令中，所述针对每个候选区域，确定基于预设一个或者多个采样框对候选区域进行采样得到候选区域的一个或多个局部信息熵，包括：
针对所述候选区域中预设每个采样框，基于该采样框中各个像素点的灰度值，确定各个灰度级数在所述采样框中的第二出现次数；
基于所述第二出现次数以及所述采样框中的第二像素点总数，确定所述各个灰度级数在所述采样框中的第二出现概率；
基于灰度级数的所述第二出现概率以及所述第二出现概率对应的负对数之积，确定所述采样框对应的局部信息熵。
一种可选的实施方式中，所述处理器91执行的指令中，所述获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像，所述图像预处理包括灰度化处理，包括：
对所述待测页面图像进行缩放处理，以使缩放后的页面图像与缩放前的待测页面图像之间的相似度大于第一预设阈值，且缩放后的页面图像的分辨率低于第二预设阈值；
将缩放后的页面图像中各个像素点的颜色值转换为灰度值，得到初始灰度图像；
对所述初始灰度图像进行细节增强处理和/或对比度增强处理，得到所述预处理图像。
一种可选的实施方式中，所述处理器91执行的指令中，所述候选区域包括目标界面元素候选区域；所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域，包括：
根据所述预处理图像中各界面元素的位置以及尺寸，确定出所述预处理图像中的多个界面元素区域；
基于各个界面元素区域的位置信息，将重叠率满足预设条件的各个界面元素区域进行融合，得到多个初始界面元素候选区域；
基于所述多个初始界面元素候选区域的位置信息以及非极大值抑制机制，从所述多个初始界面元素候选区域中筛选出所述目标界面元素候选区域。
一种可选的实施方式中，所述处理器91执行的指令中，所述候选区域还包括非界面元素候选区域；所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域，还包括：
基于所述目标界面元素候选区域的位置信息，确定所述预处理图像中的至少一个初始非界面元素候选区域；
将每个所述初始非界面元素候选区域切割为多个预设形状的非界面元素候选区域。
一种可选的实施方式中，所述处理器91执行的指令中，在根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域之前，所述方法还包括：
基于所述预处理图像中的界面元素，确定所述预处理图像是否为全屏异常页面；
根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域，包括：
在所述预处理图像不为全屏异常页面的情况下，根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域。
一种可选的实施方式中，所述处理器91执行的指令中，在将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域之后，所述方法还包括：
基于所述异常区域中各个为异常空白的候选区域对应的界面元素类型信息和所述候选区域在图像预处理之前的颜色信息，生成所述待测页面图像的检测结果，所述检测页面结果包括所述待测页面图像对应的异常类型。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的页面异常检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的页面异常检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种页面异常检测方法，其特征在于，包括：
获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像；所述图像预处理包括灰度化处理；
根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域；
针对每个候选区域，确定所述候选区域的全局信息熵和/或基于预设的一个或者多个采样框对候选区域进行采样得到所述采样框对应的局部信息熵；
针对每个候选区域，基于所述候选区域的全局信息熵和/或所述候选区域的一个或者多个局部信息熵以及对应的区域尺度特征，调用预训练的分类器对所述候选区域进行分类得到用于表征所述候选区域是否异常空白的异常识别结果；
将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域。
2.根据权利要求1所述的方法，其特征在于，针对每个候选区域，确定所述候选区域的全局信息熵，包括：
基于所述候选区域中各个像素点的灰度值，确定各个灰度级数在所述候选区域中的第一出现次数；
基于所述第一出现次数以及所述候选区域中的第一像素点总数，确定所述各个灰度级数在所述候选区域中的第一出现概率；
基于各个灰度级数的所述第一出现概率以及所述第一出现概率对应的负对数之积，确定所述候选区域的全局信息熵。
3.根据权利要求1所述的方法，其特征在于，针对每个候选区域，确定基于预设一个或者多个采样框对候选区域进行采样得到候选区域的一个或多个局部信息熵，包括：
针对所述候选区域中预设每个采样框，基于该采样框中各个像素点的灰度值，确定各个灰度级数在所述采样框中的第二出现次数；
基于所述第二出现次数以及所述采样框中的第二像素点总数，确定所述各个灰度级数在所述采样框中的第二出现概率；
基于灰度级数的所述第二出现概率以及所述第二出现概率对应的负对数之积，确定所述采样框对应的局部信息熵。
4.根据权利要求1所述的方法，其特征在于，所述获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像，所述图像预处理包括灰度化处理，包括：
对所述待测页面图像进行缩放处理，以使缩放后的页面图像与缩放前的待测页面图像之间的相似度大于第一预设阈值，且缩放后的页面图像的分辨率低于第二预设阈值；
将缩放后的页面图像中各个像素点的颜色值转换为灰度值，得到初始灰度图像；
对所述初始灰度图像进行细节增强处理和/或对比度增强处理，得到所述预处理图像。
5.根据权利要求1所述的方法，其特征在于，所述候选区域包括目标界面元素候选区域；所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域，包括：
根据所述预处理图像中各界面元素的位置以及尺寸，确定出所述预处理图像中的多个界面元素区域；
基于各个界面元素区域的位置信息，将重叠率满足预设条件的各个界面元素区域进行融合，得到多个初始界面元素候选区域；
基于所述多个初始界面元素候选区域的位置信息以及非极大值抑制机制从所述多个初始界面元素候选区域中筛选出所述目标界面元素候选区域。
6.根据权利要求5所述的方法，其特征在于，所述候选区域还包括非界面元素候选区域；所述根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割,得到多个候选区域，还包括：
基于所述目标界面元素候选区域的位置信息，确定所述预处理图像中的至少一个初始非界面元素候选区域；
将每个所述初始非界面元素候选区域切割为多个预设形状的非界面元素候选区域。
7.根据权利要求1所述的方法，其特征在于，在根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域之前，所述方法还包括：
基于所述预处理图像中的界面元素，确定所述预处理图像是否为全屏异常页面；
根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域，包括：
在所述预处理图像为非全屏异常页面的情况下，根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域。
8.根据权利要求1所述的方法，其特征在于，在将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域之后，所述方法还包括：
基于所述异常区域中各个为异常空白的候选区域对应的界面元素类型信息和所述候选区域在图像预处理之前的颜色信息，生成所述待测页面图像的检测结果，所述检测页面结果包括所述待测页面图像对应的异常类型。
9.一种页面异常检测装置，其特征在于，包括：
图像预处理模块，用于获取待测页面图像，并对所述待测页面图像进行图像预处理得到预处理图像；所述图像预处理包括灰度化处理；
分割模块，用于根据所述预处理图像中各界面元素的位置以及尺寸，对所述预处理图像进行分割得到多个候选区域；
信息熵模块，用于针对每个候选区域，确定所述候选区域的全局信息熵和/或基于预设的一个或者多个采样框对候选区域进行采样得到的所述采样框对应的局部信息熵；
分类模块，用于针对每个候选区域，基于所述候选区域的全局信息熵和/或所述候选区域的一个或者多个局部信息熵以及对应的区域尺度特征，调用预训练的分类器对所述候选区域进行分类得到用于表征所述候选区域是否异常空白的异常识别结果；
融合模块，用于将被分类为异常空白的候选区域进行融合得到所述待测页面图像中的异常区域。
10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的页面异常检测方法的步骤。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任意一项所述的页面异常检测方法的步骤。
CN202210682577.XA 2022-06-16 2022-06-16 一种页面异常检测方法、装置、电子设备和存储介质 Pending CN117291859A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210682577.XA CN117291859A (zh) 2022-06-16 2022-06-16 一种页面异常检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210682577.XA CN117291859A (zh) 2022-06-16 2022-06-16 一种页面异常检测方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN117291859A true CN117291859A (zh) 2023-12-26

Family

ID=89257630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210682577.XA Pending CN117291859A (zh) 2022-06-16 2022-06-16 一种页面异常检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117291859A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154713A (zh) * 2024-03-18 2024-06-07 北京数原数字化城市研究中心 场景渲染方法、装置、电子设备、存储介质及程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154713A (zh) * 2024-03-18 2024-06-07 北京数原数字化城市研究中心 场景渲染方法、装置、电子设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN110517246B (zh) 一种图像处理方法、装置、电子设备及存储介质
WO2020140698A1 (zh) 表格数据的获取方法、装置和服务器
CN108229485B (zh) 用于测试用户界面的方法和装置
CN111274957A (zh) 网页页面验证码识别方法、装置、终端和计算机存储介质
CN108579094B (zh) 一种用户界面检测方法及相关装置、系统和存储介质
CN111461070B (zh) 文本识别方法、装置、电子设备及存储介质
CN112529004A (zh) 智能图像识别方法、装置、计算机设备及存储介质
CN110059666B (zh) 一种注意力检测方法及装置
CN112651953B (zh) 图片相似度计算方法、装置、计算机设备及存储介质
US20170169056A1 (en) Logo detection system for automatic image search engines
CN115035539B (zh) 文档异常检测网络模型构建方法、装置、电子设备及介质
CN112417955A (zh) 巡检视频流处理方法及装置
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN114331796A (zh) 屏幕水印显示方法、装置、电子设备及存储介质
CN111784681A (zh) 钢丝绳乱绳检测方法、装置、计算机设备和存储介质
CN117291859A (zh) 一种页面异常检测方法、装置、电子设备和存储介质
Huang et al. Detecting shadows in high-resolution remote-sensing images of urban areas using spectral and spatial features
CN110781811A (zh) 异常工单识别方法、装置、可读存储介质和计算机设备
CN116994721B (zh) 一种数字病理切片图的快速处理系统
CN113486856A (zh) 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法
CN113870196A (zh) 一种基于锚点切图的图像处理方法、装置、设备和介质
CN114519788A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113297514A (zh) 图像处理方法、装置、电子设备和计算机存储介质
US9225876B2 (en) Method and apparatus for using an enlargement operation to reduce visually detected defects in an image
CN112712080B (zh) 一种用于走字屏采集图像的文字识别处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination