CN105357517B - 屏幕的图像检测方法和装置 - Google Patents

Abstract

本发明实施例提供一种屏幕的图像检测方法和装置，该方法包括：依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二图像帧进行分割，获得至少一个第一分割子块和至少一个第二分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若第二分割子块与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。本发明可以准确检测终端设备屏幕的概率性花屏的问题。

Description

屏幕的图像检测方法和装置

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种屏幕的图像检测方法和装置。

背景技术

随着终端设备的飞速发展，终端设备的生产周期也在不断的缩减，因而如何对终端设备进行快速且有效的测试也就越来越重要。

在现有技术中，一般通过终端自动化测试机器人系统对终端设备的屏幕进行检测，在进行检测的过程中，通常利用机械手点击屏幕进行用例操作，如果操作失败则结束测试且用例失败，如果操作完成，则通过工业相机获取当前屏幕所显示的图片，并将获取的图片与预先保存的预期图片按像素进行比对，如果统计的平均误差小于预设值，则认为比对成功。

然而，在现有技术中，由于终端自动化测试机器人系统仅将在特定时刻抓取的图像与预先保存的图像进行比对，因此，现有的测试方式无法准确检测概率性的花屏问题。

发明内容

本发明实施例提供一种屏幕的图像检测方法和装置，可以准确检测终端设备屏幕的概率性花屏的问题。

第一方面，本发明实施例提供一种屏幕的图像检测方法，包括：

依次获取屏幕上相邻的第一图像帧和第二图像帧；

分别对所述第一图像帧和所述第二图像帧进行分割，获得所述第一图像帧的至少一个第一分割子块和所述第二图像帧的至少一个第二分割子块；

对于每个所述第二分割子块，将所述第二分割子块与所述第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若所述第二分割子块与所述第一预测区域中的所有第一分割子块均匹配失败，则将所述第二分割子块确定为匹配失败块；所述第一预测区域为预测的所述第二分割子块在所述第一图像帧中的运动区域；

确定所述第二图像帧中的所有匹配失败块，根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测。

通过依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。由于对屏幕的图像进行检测时，通过录制整个测试过程的视频文件对每帧图像分别进行检测，因此可以准确检测终端设备屏幕的概率性花屏的问题。

结合第一方面，在第一方面的第一种可能的实现方式中，所述将所述第二分割子块与所述第一图像帧中第一预测区域中的第一分割子块进行相似度匹配之前，所述方法还包括：

对第三图像帧进行分割，获得所述第三图像帧的第三分割子块；所述第三图像帧为所述第一图像帧的前一个图像帧；

对于每个所述第一分割子块，将所述第一分割子块分别与所述第三图像帧中第二预测区域中的所有第三分割子块进行相似度匹配；所述第二预测区域为预测的所述第一分割子块在所述第三图像帧中的运动区域；

若匹配成功，则根据匹配成功的第三分割子块与所述第一分割子块的位置信息，确定所述第三分割子块与所述第一分割子块的位置偏差矢量；

根据所述位置偏差矢量与所述第二预测区域，确定所述第一预测区域。

由于通过动态预估第一预测区域，可以有效抑制平缓运动自身带来的图像偏差，由此极大的提高了检测的有效性。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测，包括：

将所述第二图像帧中的所有匹配失败块分别进行分类，获得至少一个类队列；

根据所述类队列，确定各类队列的最小包围区域；所述最小包围区域为包含同一类队列的失败块，且面积最小的矩形区域；

对所述最小包围区域中的图像进行区域直方图比对；

根据比对结果对所述第一图像帧进行检测。

通过构造空间分类器对匹配失败块进行分类，可以有效获取异常区域的空间结果。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述对所述最小包围区域中的图像进行区域直方图比对之前，所述方法还包括：

判断所述最小包围区域的面积是否小于预设阈值；

若所述最小包围区域的面积小于预设阈值，则将所述最小包围区域丢弃；或者，

若所述最小包围区域的面积不小于预设阈值，则执行对所述最小包围区域中的图像进行区域直方图比对的操作。

由于在最小包围区域的面积小于预设阈值时，可以将该最小包围区域丢弃，从而降低噪声干扰，提高图像识别稳定性。

结合第一方面的第二种或第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述对所述最小包围区域中的图像进行区域直方图比对，包括：

将所述最小包围区域中的图像由RGB颜色空间转换为HSL颜色空间；

分别计算所述HSL颜色空间中的色相、明度和饱和度的巴氏距离；

根据所述色相巴氏距离、所述明度巴氏距离和所述饱和度的巴氏距离，计算所述区域直方图的比对相似度；

根据所述比对相似度对所述最小包围区域中的图像进行比对。

由于根据直方图的特性，分别进行亮度及颜色的分布统计，可进一步抑制图像空间位置移动带来的偏差。

第二方面，本发明实施例提供一种屏幕的图像检测装置，包括：

获取模块，用于依次获取屏幕上相邻的第一图像帧和第二图像帧；

分割模块，用于分别对所述第一图像帧和所述第二图像帧进行分割，获得所述第一图像帧的至少一个第一分割子块和所述第二图像帧的至少一个第二分割子块；

匹配模块，用于对于每个所述第二分割子块，将所述第二分割子块与所述第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若所述第二分割子块与所述第一预测区域中的所有第一分割子块均匹配失败，则将所述第二分割子块确定为匹配失败块；所述第一预测区域为预测的所述第二分割子块在所述第一图像帧中的运动区域；

确定模块，用于确定所述第二图像帧中的所有匹配失败块；

检测模块，用于根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测。

结合第二方面，在第二方面的第一种可能的实现方式中，所述装置还包括：

所述分割模块，还用于对第三图像帧进行分割，获得所述第三图像帧的第三分割子块；所述第三图像帧为所述第一图像帧的前一个图像帧；

所述匹配模块，还用于对于每个所述第一分割子块，将所述第一分割子块分别与所述第三图像帧中第二预测区域中的所有第三分割子块进行相似度匹配；所述第二预测区域为预测的所述第一分割子块在所述第三图像帧中的运动区域；

所述确定模块，还用于在所述匹配模块匹配成功时，根据匹配成功的第三分割子块与所述第一分割子块的位置信息，确定所述第三分割子块与所述第一分割子块的位置偏差矢量；

所述确定模块，还用于根据所述位置偏差矢量与所述第二预测区域，确定所述第一预测区域。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述检测模块，包括：

分类单元，用于将所述第二图像帧中的所有匹配失败块分别进行分类，获得至少一个类队列；

确定单元，用于根据所述类队列，确定各类队列的最小包围区域；所述最小包围区域为包含同一类队列的失败块，且面积最小的矩形区域；

比对单元，用于对所述最小包围区域中的图像进行区域直方图比对；

检测单元，用于根据比对结果对所述第一图像帧进行检测。

结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述装置还包括：

判断模块，用于判断所述最小包围区域的面积是否小于预设阈值；

丢弃模块，用于在所述判断模块判断出所述最小包围区域的面积小于预设阈值时，将所述最小包围区域丢弃；

比对模块，用于在所述判断模块判断出所述最小包围区域的面积不小于预设阈值，对所述最小包围区域中的图像进行区域直方图比对。

结合第二方面的第二种或第二方面的第三种可能的实现方式，在第二方面的第三种可能的实现方式中，所述比对单元，具体用于：

将所述最小包围区域中的图像由RGB颜色空间转换为HSL颜色空间；

分别计算所述HSL颜色空间中的色相、明度和饱和度的巴氏距离；

根据所述色相巴氏距离、所述明度巴氏距离和所述饱和度的巴氏距离，计算所述区域直方图的比对相似度；

根据所述比对相似度对所述最小包围区域中的图像进行比对。

本发明提供的屏幕的图像检测方法和装置，通过依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。由于对屏幕的图像进行检测时，通过录制整个测试过程的视频文件对每帧图像分别进行检测，因此可以准确检测终端设备屏幕的概率性花屏的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的屏幕的图像检测方法实施例一的流程示意图；

图2A为对第一图像帧进行子块分割的示意图；

图2B为对第二图像帧进行子块分割的示意图；

图3为本发明提供的屏幕的图像检测方法实施例二的流程示意图；

图4为本发明提供的屏幕的图像检测方法实施例三的流程示意图；

图5为对匹配失败块进行分类的示意图；

图6为确定各类队列的最小包围区域的示意图；

图7A为第一图像帧的HSL直方图示意图；

图7B为第二图像帧的HSL直方图示意图；

图8为本发明屏幕的图像检测装置实施例一的结构示意图；

图9为本发明屏幕的图像检测装置实施例二的结构示意图；

图10为本发明屏幕的图像检测装置实施例三的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例适用于对终端设备的屏幕进行测试的系统中，其具体适用于对终端设备屏幕的花屏情况进行检测的场景，例如：对手机、平板电脑(portable androiddevice；简称：PAD)、照相机等设备的屏幕的测试过程中，本发明的应用场景可以归纳为两类情况：1)依赖终端设备自身屏幕的录制功能的测试系统2)依赖外置传感器的测试系统，传感器例如可以为电荷耦合元件(Charge-coupled Device；简称：CCD)/互补金属氧化物半导体(Complementary Metal Oxide Semiconductor；简称：CMOS)相机、带录像功能的手机、摄像机等设备。其中，测试系统的基本流程为：(1)计算机启动终端屏幕录制/外置传感器图像采集；(2)计算机发送测试指令直到测试用例执行完成，具体地，计算机可以启动手机进行Monkey测试或者UiAutomator等测试用例执行；(3)结束屏幕录制/外置传感器图像采集；(4)使用本发明屏幕的图像检测方法分析录制的视频；(5)结合测试指令结果及视频检测结果判定当前测试用例结果。在上述测试流程中，步骤(1)-(3)可以采用现有的图像采集方法、发送测试指令的方法及结束图像采集的方法，步骤(5)可以采用现有技术中判定当前测试用例结果的方法，因此，本发明对此不再赘述。下面，将详细介绍在采集到图像之后，如何对采集到的图像进行检测的方法。

图1为本发明提供的屏幕的图像检测方法实施例一的流程示意图，本发明实施例提供了一种屏幕的图像检测方法，该方法可以由任意执行屏幕的图像检测方法的装置来执行，该装置可以通过软件和/或硬件实现。本实施例中，该装置可以集成在终端设备中，例如：计算机、移动终端等。如图1所示，本实施例的方法可以包括：

步骤101、依次获取屏幕上相邻的第一图像帧和第二图像帧。

在本实施例中，终端设备采用自身屏幕的录制功能或者采用外置传感器录制视频图像之后，依次获取屏幕上相邻的两帧图像，分别为第一图像帧和第二图像帧。

步骤102、分别对第一图像帧和第二图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二分割子块。

图2A为对第一图像帧进行子块分割的示意图，图2B为对第二图像帧进行子块分割的示意图，终端设备将分别对第一图像帧和第二图像帧按照空间关系进行子块分割，也即对第一图像帧和第二图像帧进行分割时，从相同的坐标位置开始分割。其中，子块的尺寸可以取W*H，W和H的取值可以根据实际情况或者经验进行选取，例如可以为3*3，或者3*5等，对于W和H的具体值，本实施例在此不作限制。通过对第一图像帧和第二图像帧进行分割，可以精确地定位图像帧的异常区域，从而可以提高图像检测的准确性。

步骤103、对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若第二分割子块与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块；第一预测区域为预测的第二分割子块在第一图像帧中的运动区域。

在本实施例中，对第二图像帧进行分割之后，会获得至少一个第二分割子块，对于每个第二分割子块来说，将该第二分割子块与第一图像帧中的第一预测区域中的每个第一分割子块分别进行相似度匹配，其中，第一预测区域为根据第一图像帧和第一图像帧的前一个图像帧预测出的第二分割子块在第一图像帧中的运动区域，在获得相似度值之后，需要判断第二分割子块与第一预测区域中的各第一分割子块是否匹配成功，在具体的实现过程中，可以通过判断获得的相似度值是否高于预设阈值，若高于预设阈值，则说明匹配成功，否则，说明匹配失败。当该第二分割子块与第一预测区域中的所有第一分割子块均匹配失败，则将该第二分割子块确定为匹配失败块。其中，预设阈值可以根据实际情况或者经验进行选取，对于预设阈值的具体取值，本实施例在此不作限制。另外，对于相似度匹配的方法可以采用现有技术中的匹配方法，本实施例在此不再赘述。

步骤104、确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。

在本实施例中，通过重复执行步骤103，可以确定出第二图像帧中的所有匹配失败块，继而可以根据确定出的所有匹配失败块，对第一图像帧进行检测，以确定该第一图像帧是否正常。由于屏幕的花屏现象的突发性特征，因此，通过比对连续图像帧间的数据突变差异可有效检测花屏问题。

本发明实施例提供的屏幕的图像检测方法，通过依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。由于对屏幕的图像进行检测时，通过录制整个测试过程的视频文件对每帧图像分别进行检测，因此可以准确检测终端设备屏幕的概率性花屏的问题。

下面采用几个具体的实施例，对屏幕的图像检测方法实施例一的技术方案进行详细说明。

图3为本发明提供的屏幕的图像检测方法实施例二的流程示意图。本实施例在屏幕的图像检测方法实施例一的基础上，对确定第一图像帧中的第一预测区域的实施例，做详细说明。如图3所示，本实施例的方法可以包括：

步骤301、对第三图像帧进行分割，获得第三图像帧的第三分割子块；第三图像帧为第一图像帧的前一个图像帧。

对第三图像帧进行分割的方式与第一图像帧和第二图像帧的分割方式类似，此处不再赘述。

步骤302、对于每个第一分割子块，将第一分割子块分别与第三图像帧中第二预测区域中的所有第三分割子块进行相似度匹配；第二预测区域为预测的第一分割子块在第三图像帧中的运动区域。

在本实施例中，第一图像帧中的第一预测区域是终端设备在处理第一图像帧与第三图像帧的过程中进行确定的。具体地，终端设备可以对第一图像帧的前一个图像帧进行分割，以获得第三图像帧的至少一个第三分割子块。分割完成之后，由于第一图像帧中包括至少一个第一分割子块，对于每个第一分割子块，将该第一分割子块分别与第三图像帧中第二预测区域中的所有第三分割子块进行相似度匹配，在实际应用中，可以将获得的相似度值与预设阈值进行比较，若获得的相似度值高于预设阈值，则说明匹配成功，否则，匹配失败。值得注意的是，第二预测区域为预测的第一分割子块在第三图像帧中的运动区域，第二预测区域是终端设备在处理第三图像帧与第三图像帧的前一个图像帧的过程中进行确定的，其确定过程类似。

步骤303、若匹配成功，则根据匹配成功的第三分割子块与第一分割子块的位置信息，确定第三分割子块与第一分割子块的位置偏差矢量。

在本实施例中，当前处理的第一分割子块与第二预测区域中所有的第三分割子块分别进行相似度匹配，若与某个第三分割子块匹配成功时，将匹配成功的第三分割子块作为匹配成功子块，当确定出第二预测区域中所有的匹配成功子块之后，可以根据每一个匹配成功子块的中心位置与当前处理的第一分割子块的中心位置(xⁱ,yⁱ)，计算每个匹配成子块与当前处理的第一分割子块的位置偏差矢量，其中，为第m个匹配成功子块的中心位置的坐标，(xⁱ,yⁱ)为当前处理的第一分割子块的中心位置的坐标。具体地，可以根据(xⁱ,yⁱ)和第一分割子块的尺寸大小，确定出的值，继而根据公式(1)计算第m个匹配成子块与当前处理的第一分割子块的位置偏差矢量：

其中，为第m个匹配成功子块与当前处理的第一分割子块的位置偏差矢量。

步骤304、根据位置偏差矢量与第二预测区域，确定第一预测区域。

在本实施例中，终端设备在确定出每个匹配成功子块与当前处理的第一分割子块之间的位置偏差矢量之后，根据公式(2)计算出均值向量

其中，N为匹配成功子块的总数。

在计算出均值向量后，根据第二预测区域和均值向量确定出第一预测区域。例如：假设确定出的均值向量为(1,1)，则将第二预测区域向右下角移动(1,1)，以获得第一预测区域。

需要进行说明的是，第一预测区域和第二预测区域的尺寸大小是相同的，两者的不同之处在于，第一预测区域是第二预测区域根据均值向量进行移动得到的。

本发明实施例提供的屏幕的图像检测方法，通过依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。由于对屏幕的图像进行检测时，通过录制整个测试过程的视频文件对每帧图像分别进行检测，因此可以准确检测终端设备屏幕的概率性花屏的问题。另外，通过动态预估第一预测区域，可以有效抑制平缓运动自身带来的图像偏差，由此极大的提高了检测的有效性。

图4为本发明提供的屏幕的图像检测方法实施例三的流程示意图。本实施例在上述各实施例的基础上，对根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测的实施例，做详细说明。如图4所示，本实施例的方法可以包括：

步骤401、将第二图像帧中的所有匹配失败块分别进行分类，获得至少一个类队列。

在本实施例中，当获取到第二图像帧中的所有匹配失败块之后，将所有匹配失败块经过基于空间位置的分类器进行分类，例如：经过4邻域或8邻域关系的分类器进行分类，从而计算出预测异常区域。在具体的实现过程中，以4邻域关系的分类器为例，可以根据以下步骤对所有的匹配失败块进行分类：(1)对于第一个匹配失败块B₀，可以直接创建类队列C₀，并将第一个匹配失败块B₀归入到类队列C₀中；(2)假设当前存在类队列C₀......C_N，在处理第i个匹配失败块B_i时，需要分别计算匹配失败块B_i与各类队列C₀......C_N中包含的匹配失败块的最近距离，如果匹配失败块B_i与所有类队列C₀......C_N中包含的匹配失败块的最近距离都不满足4邻域关系，则创建类队列C_N+1，并将匹配失败块B_i归入类队列C_N+1中；如果匹配失败块B_i有且仅有一个类队列C_j满足4领域关系，则将匹配失败块B_i归入类队列C_j中，其中，j为大于或等于1且小于或等于N的整数；如果匹配失败块B_i与多个类队列，如：C_m、C_n、C_k均存在4领域关系，则将类队列C_n和C_k合并到类队列C_m中，并删除类队列C_n和C_k，然后将匹配失败块B_i归入类队列C_m中，其中，m、n和k均为大于或等于1且小于或等于N的整数；(3)循环执行步骤(2)，直至将所有的匹配失败块均处理完毕，以此获得所有的类队列。图5为对匹配失败块进行分类的示意图，如图5所示，采用4邻域关系的分类器，可以将匹配失败块分成3个类队列。

步骤402、根据类队列，确定各类队列的最小包围区域；最小包围区域为包含同一类队列的失败块，且面积最小的矩形区域。

在本实施例中，图6为确定各类队列的最小包围区域的示意图，如图6所示，在确定出所有的类队列之后，根据各个类队列，确定出包含同一类队列的所有失败块，同时面积最小的矩形区域，作为各类队列的最小包围区域。

步骤403、判断最小包围区域的面积是否小于预设阈值。

在本实施例中，终端设备在确定出各类队列的最小包围区域之后，需要计算各个最小包围区域的面积，并判断该面积是否小于预设阈值，若小于预设阈值，则执行步骤404，否则，执行步骤405。其中，预设阈值和第二分割子块的尺寸或第二图像帧的分辨率有关，如第二图像帧的分辨率越高，预设阈值的取值越大，对于预设阈值的具体值的选取，本实施例在此不作限制。

步骤404、将最小包围区域丢弃。

在本实施例中，当最小包围区域的面积小于预设阈值时，可以将该最小包围区域丢弃，从而降低噪声干扰，提高图像识别稳定性。

步骤405、对最小包围区域中的图像进行区域直方图比对。

在本实施例中，当最小包围区域的面积不小于预设阈值时，对最小包围区域中的图像进行区域直方图比对。在具体的实现过程中，可以将最小包围区域中的图像由RGB颜色空间转换为HSL颜色空间，并分别计算HSL颜色空间中的色相、明度和饱和度的巴氏距离，根据色相巴氏距离、明度巴氏距离和饱和度的巴氏距离，计算区域直方图的比对相似度，根据该区域直方图的比对相似度对最小包围区域中的图像进行比对。

具体地，为了对彩色图像进行直方图匹配，将图像从RGB颜色空间转换到HSL颜色空间。图7A为第一图像帧的HSL直方图示意图，图7B为第二图像帧的HSL直方图示意图，如图7A-图7B所示，分别对色相(H)、明度(L)和饱和度(S)通道进行直方图统计。直方图统计完成之后，根据公式(1)分别计算HSL颜色空间中的色相、明度和饱和度的巴氏距离，以作为直方图相似度依据：

其中，H₁(I)为第一图像帧局部区域直方图统计结果中第I个区段像素点总数，H₂(I)为第二图像帧局部区域直方图统计结果中第I个区段像素点总数，而且H₂与H₁统计子区段划分保持一致。

根据公式(1)分别计算出HSL各通道的巴氏距离d_h、d_s、d_l之后，区域直方图的比对相似度d可以根据公式(2)获得：

d＝α_hd_h+α_sd_s+α_ld_l (2)

其中，α_h为色相通道的加权系数，α_s为饱和度通道的加权系数，α_l为明度通道的加权系数，且0≤α_h≤1、0≤α_s≤1、0≤α_l≤1、α_h+α_s+α_l＝1。

步骤406、根据比对结果对第一图像帧进行检测。

在本实施例中，在计算出区域直方图的比对相似度d之后，判断d是否大于预设值，若判断出区域直方图的比对相似度d大于预设值，则确定出第一图像帧为异常帧，若不大于预设值，则确定出第一图像帧的当前局部区域为正常区域。其中，预设值可以根据经验或者实际情况选取，在实际应用中，一般将预设值设置为大于0且小于1的值，对于预设值的具体取值的选取，本实施例在此不作限制。

本发明实施例提供的屏幕的图像检测方法，通过依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。由于对屏幕的图像进行检测时，通过录制整个测试过程的视频文件对每帧图像分别进行检测，因此可以准确检测终端设备屏幕的概率性花屏的问题。另外，通过构造空间分类器对匹配失败块进行分类，可以有效获取异常区域的空间结果，而且根据直方图的特性，分别进行亮度及颜色的分布统计，可进一步抑制图像空间位置移动带来的偏差。

图8为本发明屏幕的图像检测装置实施例一的结构示意图，如图8所示，本发明实施例提供的屏幕的图像检测装置包括获取模块11、分割模块12、匹配模块13、确定模块14和检测模块15。

其中，获取模块11用于依次获取屏幕上相邻的第一图像帧和第二图像帧；

分割模块12用于分别对所述第一图像帧和所述第二图像帧进行分割，获得所述第一图像帧的至少一个第一分割子块和所述第二图像帧的至少一个第二分割子块；

匹配模块13用于对于每个所述第二分割子块，将所述第二分割子块与所述第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若所述第二分割子块与所述第一预测区域中的所有第一分割子块均匹配失败，则将所述第二分割子块确定为匹配失败块；所述第一预测区域为预测的所述第二分割子块在所述第一图像帧中的运动区域；

确定模块14用于确定所述第二图像帧中的所有匹配失败块；

检测模块15用于根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测。

本发明实施例提供的屏幕的图像检测装置，通过依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。由于对屏幕的图像进行检测时，通过录制整个测试过程的视频文件对每帧图像分别进行检测，因此可以准确检测终端设备屏幕的概率性花屏的问题。

可选地，所述分割模块12还用于对第三图像帧进行分割，获得所述第三图像帧的第三分割子块；所述第三图像帧为所述第一图像帧的前一个图像帧；

所述匹配模块13还用于对于每个所述第一分割子块，将所述第一分割子块分别与所述第三图像帧中第二预测区域中的所有第三分割子块进行相似度匹配；所述第二预测区域为预测的所述第一分割子块在所述第三图像帧中的运动区域；

所述确定模块14还用于在所述匹配模块匹配成功时，根据匹配成功的第三分割子块与所述第一分割子块的位置信息，确定所述第三分割子块与所述第一分割子块的位置偏差矢量；

所述确定模块14还用于根据所述位置偏差矢量与所述第二预测区域，确定所述第一预测区域。

本发明实施例提供的屏幕的图像检测装置，通过依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。由于对屏幕的图像进行检测时，通过录制整个测试过程的视频文件对每帧图像分别进行检测，因此可以准确检测终端设备屏幕的概率性花屏的问题。另外，通过动态预估第一预测区域，可以有效抑制平缓运动自身带来的图像偏差，由此极大的提高了检测的有效性。

图9为本发明屏幕的图像检测装置实施例二的结构示意图，如图9所示，本实施例在图8所示实施例的基础上，所述检测模块15包括：

分类单元151用于将所述第二图像帧中的所有匹配失败块分别进行分类，获得至少一个类队列；

确定单元152用于根据所述类队列，确定各类队列的最小包围区域；所述最小包围区域为包含同一类队列的失败块，且面积最小的矩形区域；

比对单元153用于对所述最小包围区域中的图像进行区域直方图比对；

检测单元154用于根据比对结果对所述第一图像帧进行检测。

可选地，所述装置还包括：

判断模块16用于判断所述最小包围区域的面积是否小于预设阈值；

丢弃模块17用于在所述判断模块判断出所述最小包围区域的面积小于预设阈值时，将所述最小包围区域丢弃；

所述比对单元153还用于在所述判断模块判断出所述最小包围区域的面积不小于预设阈值，对所述最小包围区域中的图像进行区域直方图比对。

可选地，所述比对单元153具体用于：

将所述最小包围区域中的图像由RGB颜色空间转换为HSL颜色空间；

分别计算所述HSL颜色空间中的色相、明度和饱和度的巴氏距离；

根据所述色相巴氏距离、所述明度巴氏距离和所述饱和度的巴氏距离，计算所述区域直方图的比对相似度；

根据所述比对相似度对所述最小包围区域中的图像进行比对。

本发明实施例提供的屏幕的图像检测装置，通过依次获取屏幕上相邻的第一图像帧和第二图像帧，分别对第一图像帧和第二图像帧进行分割，获得第一图像帧的至少一个第一分割子块和第二图像帧的至少一个第二分割子块，对于每个第二分割子块，将第二分割子块与第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若与第一预测区域中的所有第一分割子块均匹配失败，则将第二分割子块确定为匹配失败块，第一预测区域为预测的第二分割子块在第一图像帧中的运动区域，确定第二图像帧中的所有匹配失败块，根据第二图像帧中的所有匹配失败块，对第一图像帧进行检测。由于对屏幕的图像进行检测时，通过录制整个测试过程的视频文件对每帧图像分别进行检测，因此可以准确检测终端设备屏幕的概率性花屏的问题。另外，通过构造空间分类器对匹配失败块进行分类，可以有效获取异常区域的空间结果，而且根据直方图的特性，分别进行亮度及颜色的分布统计，可进一步抑制图像空间位置移动带来的偏差。

图10为本发明屏幕的图像检测装置实施例三的结构示意图。如图10所示，本实施例提供的屏幕的图像检测装置100包括处理器1001和存储器1002。其中，存储器1002存储执行指令，当屏幕的图像检测装置100运行时，处理器1001与存储器1002之间通信，处理器1001调用存储器1002中的执行指令，用于执行以下操作：

依次获取屏幕上相邻的第一图像帧和第二图像帧；

分别对所述第一图像帧和所述第二图像帧进行分割，获得所述第一图像帧的至少一个第一分割子块和所述第二图像帧的至少一个第二分割子块；

对于每个所述第二分割子块，将所述第二分割子块与所述第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若所述第二分割子块与所述第一预测区域中的所有第一分割子块均匹配失败，则将所述第二分割子块确定为匹配失败块；所述第一预测区域为预测的所述第二分割子块在所述第一图像帧中的运动区域；

确定所述第二图像帧中的所有匹配失败块，根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测。

可选地，所述将所述第二分割子块与所述第一图像帧中第一预测区域中的第一分割子块进行相似度匹配之前，所述方法还包括：

对第三图像帧进行分割，获得所述第三图像帧的第三分割子块；所述第三图像帧为所述第一图像帧的前一个图像帧；

对于每个所述第一分割子块，将所述第一分割子块分别与所述第三图像帧中第二预测区域中的所有第三分割子块进行相似度匹配；所述第二预测区域为预测的所述第一分割子块在所述第三图像帧中的运动区域；

若匹配成功，则根据匹配成功的第三分割子块与所述第一分割子块的位置信息，确定所述第三分割子块与所述第一分割子块的位置偏差矢量；

根据所述位置偏差矢量与所述第二预测区域，确定所述第一预测区域。

可选地，所述根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测，包括：

将所述第二图像帧中的所有匹配失败块分别进行分类，获得至少一个类队列；

根据所述类队列，确定各类队列的最小包围区域；所述最小包围区域为包含同一类队列的失败块，且面积最小的矩形区域；

对所述最小包围区域中的图像进行区域直方图比对；

根据比对结果对所述第一图像帧进行检测。

可选地，所述对所述最小包围区域中的图像进行区域直方图比对之前，所述方法还包括：

判断所述最小包围区域的面积是否小于预设阈值；

若所述最小包围区域的面积小于预设阈值，则将所述最小包围区域丢弃；或者，

若所述最小包围区域的面积不小于预设阈值，则执行对所述最小包围区域中的图像进行区域直方图比对的操作。

可选地，所述对所述最小包围区域中的图像进行区域直方图比对，包括：

将所述最小包围区域中的图像由RGB颜色空间转换为HSL颜色空间；

分别计算所述HSL颜色空间中的色相、明度和饱和度的巴氏距离；

根据所述色相巴氏距离、所述明度巴氏距离和所述饱和度的巴氏距离，计算所述区域直方图的比对相似度；

根据所述比对相似度对所述最小包围区域中的图像进行比对。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种屏幕的图像检测方法，其特征在于，包括：

依次获取屏幕上相邻的第一图像帧和第二图像帧；

分别对所述第一图像帧和所述第二图像帧进行分割，获得所述第一图像帧的至少一个第一分割子块和所述第二图像帧的至少一个第二分割子块；

对于每个所述第二分割子块，将所述第二分割子块与所述第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若所述第二分割子块与所述第一预测区域中的所有第一分割子块均匹配失败，则将所述第二分割子块确定为匹配失败块；所述第一预测区域为预测的所述第二分割子块在所述第一图像帧中的运动区域；

确定所述第二图像帧中的所有匹配失败块，根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测；

所述根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测，包括：

将所述第二图像帧中的所有匹配失败块分别进行分类，获得至少一个类队列；

根据所述类队列，确定各类队列的最小包围区域；所述最小包围区域为包含同一类队列的失败块，且面积最小的矩形区域；

对所述最小包围区域中的图像进行区域直方图比对；

根据比对结果对所述第一图像帧进行检测。

2.根据权利要求1所述的方法，其特征在于，所述将所述第二分割子块与所述第一图像帧中第一预测区域中的第一分割子块进行相似度匹配之前，所述方法还包括：

对第三图像帧进行分割，获得所述第三图像帧的第三分割子块；所述第三图像帧为所述第一图像帧的前一个图像帧；

对于每个所述第一分割子块，将所述第一分割子块分别与所述第三图像帧中第二预测区域中的所有第三分割子块进行相似度匹配；所述第二预测区域为预测的所述第一分割子块在所述第三图像帧中的运动区域；

若匹配成功，则根据匹配成功的第三分割子块与所述第一分割子块的位置信息，确定所述第三分割子块与所述第一分割子块的位置偏差矢量；

根据所述位置偏差矢量与所述第二预测区域，确定所述第一预测区域。

3.根据权利要求1所述的方法，其特征在于，所述对所述最小包围区域中的图像进行区域直方图比对之前，所述方法还包括：

判断所述最小包围区域的面积是否小于预设阈值；

若所述最小包围区域的面积小于预设阈值，则将所述最小包围区域丢弃；或者，

若所述最小包围区域的面积不小于预设阈值，则执行对所述最小包围区域中的图像进行区域直方图比对的操作。

4.根据权利要求1所述的方法，其特征在于，所述对所述最小包围区域中的图像进行区域直方图比对，包括：

将所述最小包围区域中的图像由RGB颜色空间转换为HSL颜色空间；

分别计算所述HSL颜色空间中的色相、明度和饱和度的巴氏距离；

根据所述色相巴氏距离、所述明度巴氏距离和所述饱和度的巴氏距离，计算所述区域直方图的比对相似度；

根据所述比对相似度对所述最小包围区域中的图像进行比对。

5.一种屏幕的图像检测装置，其特征在于，包括：

获取模块，用于依次获取屏幕上相邻的第一图像帧和第二图像帧；

分割模块，用于分别对所述第一图像帧和所述第二图像帧进行分割，获得所述第一图像帧的至少一个第一分割子块和所述第二图像帧的至少一个第二分割子块；

匹配模块，用于对于每个所述第二分割子块，将所述第二分割子块与所述第一图像帧中第一预测区域中的所有第一分割子块分别进行相似度匹配，若所述第二分割子块与所述第一预测区域中的所有第一分割子块均匹配失败，则将所述第二分割子块确定为匹配失败块；所述第一预测区域为预测的所述第二分割子块在所述第一图像帧中的运动区域；

确定模块，用于确定所述第二图像帧中的所有匹配失败块；

检测模块，用于根据所述第二图像帧中的所有匹配失败块，对所述第一图像帧进行检测；

所述检测模块，包括：

分类单元，用于将所述第二图像帧中的所有匹配失败块分别进行分类，获得至少一个类队列；

确定单元，用于根据所述类队列，确定各类队列的最小包围区域；所述最小包围区域为包含同一类队列的失败块，且面积最小的矩形区域；

比对单元，用于对所述最小包围区域中的图像进行区域直方图比对；

检测单元，用于根据比对结果对所述第一图像帧进行检测。

6.根据权利要求5所述的装置，其特征在于，所述分割模块，还用于对第三图像帧进行分割，获得所述第三图像帧的第三分割子块；所述第三图像帧为所述第一图像帧的前一个图像帧；

所述匹配模块，还用于对于每个所述第一分割子块，将所述第一分割子块分别与所述第三图像帧中第二预测区域中的所有第三分割子块进行相似度匹配；所述第二预测区域为预测的所述第一分割子块在所述第三图像帧中的运动区域；

所述确定模块，还用于在所述匹配模块匹配成功时，根据匹配成功的第三分割子块与所述第一分割子块的位置信息，确定所述第三分割子块与所述第一分割子块的位置偏差矢量；

所述确定模块，还用于根据所述位置偏差矢量与所述第二预测区域，确定所述第一预测区域。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

判断模块用于判断所述最小包围区域的面积是否小于预设阈值；

丢弃模块用于在所述判断模块判断出所述最小包围区域的面积小于预设阈值时，将所述最小包围区域丢弃；

所述比对单元，还用于在所述判断模块判断出所述最小包围区域的面积不小于预设阈值，对所述最小包围区域中的图像进行区域直方图比对。

8.根据权利要求5所述的装置，其特征在于，所述比对单元，具体用于：

将所述最小包围区域中的图像由RGB颜色空间转换为HSL颜色空间；

分别计算所述HSL颜色空间中的色相、明度和饱和度的巴氏距离；

根据所述色相巴氏距离、所述明度巴氏距离和所述饱和度的巴氏距离，计算所述区域直方图的比对相似度；

根据所述比对相似度对所述最小包围区域中的图像进行比对。