CN104657994A - 一种基于光流法判断图像一致性的方法和系统 - Google Patents

Abstract

本发明公开了一种基于光流法判断图像一致性的方法和系统，其通过对待检测的第一对比图像和第二对比图像进行缩放处理和灰度处理得到第一灰度图像和第二灰度图像，并对所述的第一灰度图像基于第二灰度图像进行光流法计算得到偏移值，然后对所述的偏移值进行阈值计算和进行一致性的初步判断，若判断结果为不一致则结束，否则进一步根据所得到的偏移值计算光流后的第一对比图像上每个像素点的颜色值与所述的第二对比图像上对应像素点的颜色值的差值，最后再将所述的差值的绝对值进行差阈值计算和进行一致性的再次判断；其不仅加快了处理速度，提高了自动化测试的效率，而且通过双重判断保证了一致性测试结果的准确性。

Description

一种基于光流法判断图像一致性的方法和系统

技术领域

本发明涉及图像处理技术领域，特别是一种基于光流法判断图像一致性的方法及其应用该方法的系统。

背景技术

近年来，软件自动化测试在软件质量控制中的应用越来越普遍，特别是随着GUI软件的发展，多媒体技术的进步使得图像在软件的输出中占据了相当大的比重，这就要求自动化测试系统中支持图像验证的功能，对图像进行正确性验证和进行图像质量评价；现有图像处理的应用，由于硬件的不同，以及用户拍摄的尺寸的不同，导致每个手机使用同一张图像进行处理，得到的效果图像的尺寸可能不同，从而使得在自动化测试的图像验证过程中对效果图的效果是否正确的判断产生干扰。例如，传统的图像验证方法主要是将某个机型保存后的效果图像与预设的第二对比图像进行缩放，然后再根据同位置的像素点的颜色值进行差值计算，但是我们发现由于插值算法的不同，导致可能出现行或者列的偏移，导致颜色值的差会比较大，导致我们判断效果不一致，但实际上它是一致的。

发明内容

本发明为解决上述问题，提供了一种基于光流法判断图像一致性的方法和系统，从而提高自动化测试的效率，并使测试结果更准确。

为实现上述目的，本发明采用的技术方案为：

一种基于光流法判断图像一致性的方法，其特征在于，包括以下步骤：

10.获取待检测的第一对比图像和第二对比图像，并对该第一对比图像和第二对比图像的其中之一进行缩放处理，使得第一对比图像和第二对比图像具有相同的尺寸；

20.对缩放后的第一对比图像和第二对比图像分别进行灰度处理，得到第一灰度图像和第二灰度图像；

30.对所述的第一灰度图像基于第二灰度图像进行光流法计算，得到第一灰度图像的偏移值；

40.对所述的偏移值进行阈值计算，如果偏移值超过所述阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果偏移值未超过所述阈值，则执行步骤50。

50.根据所得到的偏移值计算光流后的第一对比图像上每个像素点的颜色值，并将该光流后的第一对比图像上每个像素点的颜色值与所述的第二对比图像上对应像素点的颜色值进行相减计算，得到差值；

60.将所述的差值的绝对值进行差阈值计算，如果差值的绝对值超过所述差阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果差值的绝对值未超过所述差阈值，则判断为所述的第一对比图像和第二对比图像一致。

优选的，所述步骤10中的缩放处理，主要是采用双线性内插法算法或者三次卷积法内插算法对第一对比图像或第二对比图像进行处理，使得第一对比图像和第二对比图像具有相同的尺寸。

优选的，所述步骤20中的灰度处理的计算公式为：

GRAY＝0.299*RED+0.587*GREEN+0.114*BLUE；

或者

GRAY＝(RED*306+GREEN*601+BLUE*117+512)/1024；

其中，GRAY为第一灰度图像或第二灰度图像的当前像素点的灰度值；RED、GREEN、BLUE分别为第一对比图像或第二对比图像的当前像素点的红、绿、蓝通道的颜色值。

优选的，所述步骤30中对第一灰度图像基于第二灰度图像进行光流法计算，得到第一灰度图像的偏移值，进一步包括以下步骤：

31.对第一灰度图像中的每个像素点赋予一个速度矢量，形成光流矢量；

32.根据各个像素点的速度矢量特征，对第一灰度图像进行动态分析，如果第一灰度图像中没有运动目标，则光流矢量在整个图像区域是连续变化的；当第一灰度图像中有运动目标时，目标和第二灰度图像的对应位置像素点存在着相对运动；

33.根据第一灰度图像中的运动目标所形成的速度矢量与第二灰度图像的对应位置像素点的速度矢量的偏移，得到第一灰度图像的偏移值。

优选的，所述的步骤40中对所述的偏移值进行阈值计算，主要是对光流后的第一对比图像上每个像素点的偏移值进行阈值计算，如果有一个像素点的偏移值超过所述阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果每个像素点的偏移值均未超过所述阈值，则判断为所述的第一对比图像和第二对比图像一致。

优选的，所述步骤50中根据所得到的偏移值计算光流后的第一对比图像上每个像素点的颜色值，主要是通过计算光流后的第一对比图像的对应像素点的偏移坐标值，然后根据该偏移坐标值与该像素点的周围像素点进行插值计算，得到光流后的第一对比图像的对应像素点的颜色值。

优选的，所述的偏移坐标值的计算方法为：

px＝x+u；

py＝y+v；

其中，x、y为第一对比图像上当前像素点的初始坐标值；px、py为第一对比图像光流后的对应像素点的偏移坐标值；u、v为所述的偏移值。

优选的，所述的步骤60中将所述的差值的绝对值进行差阈值计算，主要是将光流后的第一对比图像上每个像素点的红、绿、蓝通道的颜色值减去第二对比图像上对应像素点的红、绿、蓝通道的颜色值，并将得到的差的绝对值进行相加，得到每个像素点的差值总和，再对该差值总和进行差阈值计算，如果有一个像素点的差值总和超过所述差阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果每个像素点的差值总和均未超过所述差阈值，则判断为所述的第一对比图像和第二对比图像一致。

另外，本发明还提供了一种基于光流法判断图像一致性的系统，其特征在于，其包括：

缩放处理单元，其对获取的第一对比图像和第二对比图像的其中之一进行缩放处理，使得第一对比图像和第二对比图像具有相同的尺寸；

灰度处理单元，其对第一对比图像和第二对比图像分别进行灰度处理，得到第一灰度图像和第二灰度图像；

光流分析单元，其对所述的第一灰度图像基于第二灰度图像进行光流法计算，得到第一灰度图像的偏移值；

第一判断单元，其对所述的偏移值进行阈值计算，如果偏移值超过所述阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果偏移值未超过所述阈值，则进一步将光流后的第一对比图像上每个像素点的颜色值与所述的第二对比图像上对应像素点的颜色值进行相减计算，得到差值；

第二判断单元，其将所述的差值的绝对值进行差阈值计算，如果差值的绝对值超过所述差阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果差值的绝对值未超过所述差阈值，则判断为所述的第一对比图像和第二对比图像一致。

本发明的有益效果是：

本发明的一种基于光流法判断图像一致性的方法和系统，其通过对待检测的第一对比图像和第二对比图像进行缩放处理和灰度处理得到第一灰度图像和第二灰度图像，并对所述的第一灰度图像基于第二灰度图像进行光流法计算得到偏移值，然后对所述的偏移值进行阈值计算和进行一致性的初步判断，若判断结果为不一致则结束，否则进一步根据所得到的偏移值计算光流后的第一对比图像上每个像素点的颜色值与所述的第二对比图像上对应像素点的颜色值的差值，最后再将所述的差值的绝对值进行差阈值计算和进行一致性的再次判断；其不仅加快了处理速度，提高了自动化测试的效率，而且通过双重判断保证了一致性测试结果的准确性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一种基于光流法判断图像一致性的方法的流程简图；

图2为本发明一种基于光流法判断图像一致性的系统的结构示意图；

图3为本发明一实施例的第一对比图像H(x,y)的示意图；

图4为本发明一实施例的第二对比图像I(x,y)的示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的一种基于光流法判断图像一致性的方法，其包括以下步骤：

10.获取待检测的第一对比图像和第二对比图像，并对该第一对比图像和第二对比图像的其中之一进行缩放处理，使得第一对比图像和第二对比图像具有相同的尺寸；

20.对缩放后的第一对比图像和第二对比图像分别进行灰度处理，得到第一灰度图像和第二灰度图像；

30.对所述的第一灰度图像基于第二灰度图像进行光流法计算，得到第一灰度图像的偏移值；

40.对所述的偏移值进行阈值计算，如果偏移值超过所述阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果偏移值未超过所述阈值，则执行步骤50。

50.根据所得到的偏移值计算光流后的第一对比图像上每个像素点的颜色值，并将该光流后的第一对比图像上每个像素点的颜色值与所述的第二对比图像上对应像素点的颜色值进行相减计算，得到差值；

60.将所述的差值的绝对值进行差阈值计算，如果差值的绝对值超过所述差阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果差值的绝对值未超过所述差阈值，则判断为所述的第一对比图像和第二对比图像一致。

所述步骤10中的缩放处理，主要是采用双线性内插法算法或者三次卷积法内插算法对第一对比图像或第二对比图像进行处理，使得第一对比图像和第二对比图像具有相同的尺寸；常用的重采样方法有最邻近内插法(nearestneighbor interpolation)、双线性内插法(linear interpolation)和三次卷积法内插(cubic convolution interpolation),本实施例为了得到较好的视觉效果可采用双线性内插法算法或者三次卷积法内插算法。本实施例中，将第一对比图像或第二对比图像的宽和高分别同步缩小为原来宽和高的rat倍，其中rat为缩放比例，缩小时，rat值为小于1，放大时，rat值为大于1；该缩放比例rat的取值主要是根据对图像模糊处理的速度以及光流分析的速度的需求而决定的，如果要求处理的速度快，则缩放比例rat可以取较大值，如果要求处理速度不需要太快，则缩放比例rat可以取较小值，从而提高运算效率。

所述步骤20中的灰度处理的计算公式为：

GRAY＝0.299*RED+0.587*GREEN+0.114*BLUE；

或者

GRAY＝(RED*306+GREEN*601+BLUE*117+512)/1024；

其中，GRAY为第一灰度图像或第二灰度图像的当前像素点的灰度值；RED、GREEN、BLUE分别为第一对比图像或第二对比图像的当前像素点的红、绿、蓝通道的颜色值。

所述步骤30中对第一灰度图像基于第二灰度图像进行光流法计算，得到第一灰度图像的偏移值，进一步包括以下步骤：

31.对第一灰度图像中的每个像素点赋予一个速度矢量，形成光流矢量；

32.根据各个像素点的速度矢量特征，对第一灰度图像进行动态分析，如果第一灰度图像中没有运动目标，则光流矢量在整个图像区域是连续变化的；当第一灰度图像中有运动目标时，目标和第二灰度图像的对应位置像素点存在着相对运动；

33.根据第一灰度图像中的运动目标所形成的速度矢量与第二灰度图像的对应位置像素点的速度矢量的偏移，得到第一灰度图像的偏移值。

如图3和图4所示，I(x,y)代表第二对比图像，H(x,y)代表第一对比图像。本发明根据光流法来计算H图像到I图像中像素点之间的运动，对于H图像中特定的像素点，在I图像中对应位置的周围寻找与该特定像素点的像素值一致或者接近一致的对应像素点。因此，在光流分析中，需要两个关键的假设：

1.亮度恒定假设：本实施例中对第一对比图像和第二对比图像经过了灰度处理，因此对于灰度图像而言，可理解为亮度一致；

2.微小运动假设：即，每个像素点都不会产生较大的运动偏移。

光流分析的目的是找到图像中每个像素点的速度矢量：这个速度矢量不仅包括运动大小的信息，还包括运动方向的信息；根据前述的微小运动假设和亮度恒定假设，可以得到：

I(x，y，t)＝I(x+dx，y+dy，t+dt)；

上述公式用一级泰勒级数展开得到：

$I(x+\mathrm{dx},y+\mathrm{dy},t+\mathrm{dt})=I(x,y,t)+\frac{\∂I}{\∂x}\mathrm{dx}+\frac{\∂I}{\∂y}\mathrm{dy}+\frac{\∂I}{\∂t}\mathrm{dt};$

即：I_xdx+I_ydy+I_tdt＝0；令：

那么，I_xu+I_yv＝-I_t，即： $\left[I_x{I}_y\right]\·\left[\begin{array}{c}u\\ v\end{array}\right]=-I_t,$

假设在(u,v)的一个小的局部领域内，其亮度是恒定的，那么：

即：

光流计算的目的，就是使得的值最小。

所述的步骤40中对所述的偏移值进行阈值计算，主要是对光流后的第一对比图像上每个像素点的偏移值进行阈值计算；这个阈值主要是为了解决因为缩放算法导致的像素行或者列差距的问题，如果阈值最大值为2，则可以接受的行或者列的差距为4；如果有一个像素点的偏移值超过所述阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果每个像素点的偏移值均未超过所述阈值，则判断为所述的第一对比图像和第二对比图像一致。

所述步骤50中根据所得到的偏移值计算光流后的第一对比图像上每个像素点的颜色值，主要是通过计算光流后的第一对比图像的对应像素点的偏移坐标值，然后根据该偏移坐标值与该像素点的周围像素点进行插值计算，得到光流后的第一对比图像的对应像素点的颜色值。

优选的，所述的偏移坐标值的计算方法为：

px＝x+u；

py＝y+v；

其中，x、y为第一对比图像上当前像素点的初始坐标值；px、py为第一对比图像光流后的对应像素点的偏移坐标值；u、v为所述的偏移值。

所述的步骤60中将所述的差值的绝对值进行差阈值计算，主要是将光流后的第一对比图像上每个像素点的红、绿、蓝通道的颜色值减去第二对比图像上对应像素点的红、绿、蓝通道的颜色值，并将得到的差的绝对值进行相加，得到每个像素点的差值总和，再对该差值总和进行差阈值计算；这个差阈值主要是像素点间的差值能容忍的程度；如果有一个像素点的差值总和超过所述差阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果每个像素点的差值总和均未超过所述差阈值，则判断为所述的第一对比图像和第二对比图像一致。

如图2所示，本发明还提供了一种基于光流法判断图像一致性的系统，其包括：

缩放处理单元A，其对获取的第一对比图像和第二对比图像的其中之一进行缩放处理，使得第一对比图像和第二对比图像具有相同的尺寸；

灰度处理单元B，其对第一对比图像和第二对比图像分别进行灰度处理，得到第一灰度图像和第二灰度图像；

光流分析单元C，其对所述的第一灰度图像基于第二灰度图像进行光流法计算，得到第一灰度图像的偏移值；

第一判断单元D，其对所述的偏移值进行阈值计算，如果偏移值超过所述阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果偏移值未超过所述阈值，则进一步将光流后的第一对比图像上每个像素点的颜色值与所述的第二对比图像上对应像素点的颜色值进行相减计算，得到差值；

第二判断单元E，其将所述的差值的绝对值进行差阈值计算，如果差值的绝对值超过所述差阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果差值的绝对值未超过所述差阈值，则判断为所述的第一对比图像和第二对比图像一致。

本发明利用光流法对两张图像(第二对比图像和第一对比图像)进行比对，获取第一对比图像上每个像素点基于第二对比图像的光流走向，即每个像素点的偏移值和颜色差值，并依次对所述的偏移值进行阈值计算和对所述的颜色差值进行差阈值计算，从而判断这两张图像的一致性，既提高效率又保证其测试的准确性，特别适用于两张不同尺寸的图像的一致性测试。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种基于光流法判断图像一致性的方法，其特征在于，包括以下步骤：

10.获取待检测的第一对比图像和第二对比图像，并对该第一对比图像和第二对比图像的其中之一进行缩放处理，使得第一对比图像和第二对比图像具有相同的尺寸；

20.对缩放后的第一对比图像和第二对比图像分别进行灰度处理，得到第一灰度图像和第二灰度图像；

30.对所述的第一灰度图像基于第二灰度图像进行光流法计算，得到第一灰度图像的偏移值；

40.对所述的偏移值进行阈值计算，如果偏移值超过所述阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果偏移值未超过所述阈值，则执行步骤50。

50.根据所得到的偏移值计算光流后的第一对比图像上每个像素点的颜色值，并将该光流后的第一对比图像上每个像素点的颜色值与所述的第二对比图像上对应像素点的颜色值进行相减计算，得到差值；

60.将所述的差值的绝对值进行差阈值计算，如果差值的绝对值超过所述差阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果差值的绝对值未超过所述差阈值，则判断为所述的第一对比图像和第二对比图像一致。

2.根据权利要求1所述的一种基于光流法判断图像一致性的方法，其特征在于：所述步骤10中的缩放处理，主要是采用双线性内插法算法或者三次卷积法内插算法对第一对比图像或第二对比图像进行处理，使得第一对比图像和第二对比图像具有相同的尺寸。

3.根据权利要求1所述的一种基于光流法判断图像一致性的方法，其特征在于：所述步骤20中的灰度处理的计算公式为：

GRAY＝0.299*RED+0.587*GREEN+0.114*BLUE；

或者

GRAY＝(RED*306+GREEN*601+BLUE*117+512)/1024；

其中，GRAY为第一灰度图像或第二灰度图像的当前像素点的灰度值；RED、GREEN、BLUE分别为第一对比图像或第二对比图像的当前像素点的红、绿、蓝通道的颜色值。

4.根据权利要求1所述的一种基于光流法判断图像一致性的方法，其特征在于：所述步骤30中对第一灰度图像基于第二灰度图像进行光流法计算，得到第一灰度图像的偏移值，进一步包括以下步骤：

31.对第一灰度图像中的每个像素点赋予一个速度矢量，形成光流矢量；

32.根据各个像素点的速度矢量特征，对第一灰度图像进行动态分析，如果第一灰度图像中没有运动目标，则光流矢量在整个图像区域是连续变化的；当第一灰度图像中有运动目标时，目标和第二灰度图像的对应位置像素点存在着相对运动；

33.根据第一灰度图像中的运动目标所形成的速度矢量与第二灰度图像的对应位置像素点的速度矢量的偏移，得到第一灰度图像的偏移值。

5.根据权利要求1或4所述的一种基于光流法判断图像一致性的方法，其特征在于：所述的步骤40中对所述的偏移值进行阈值计算，主要是对光流后的第一对比图像上每个像素点的偏移值进行阈值计算，如果有一个像素点的偏移值超过所述阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果每个像素点的偏移值均未超过所述阈值，则判断为所述的第一对比图像和第二对比图像一致。

6.根据权利要求1所述的一种基于光流法判断图像一致性的方法，其特征在于：所述步骤50中根据所得到的偏移值计算光流后的第一对比图像上每个像素点的颜色值，主要是通过计算光流后的第一对比图像的对应像素点的偏移坐标值，然后根据该偏移坐标值与该像素点的周围像素点进行插值计算，得到光流后的第一对比图像的对应像素点的颜色值。

7.根据权利要求6所述的一种基于光流法判断图像一致性的方法，其特征在于：所述的偏移坐标值的计算方法为：

px＝x+u；

py＝y+v；

其中，x、y为第一对比图像上当前像素点的初始坐标值；px、py为第一对比图像光流后的对应像素点的偏移坐标值；u、v为所述的偏移值。

8.根据权利要求1或6所述的一种基于光流法判断图像一致性的方法，其特征在于：所述的步骤60中将所述的差值的绝对值进行差阈值计算，主要是将光流后的第一对比图像上每个像素点的红、绿、蓝通道的颜色值减去第二对比图像上对应像素点的红、绿、蓝通道的颜色值，并将得到的差的绝对值进行相加，得到每个像素点的差值总和，再对该差值总和进行差阈值计算，如果有一个像素点的差值总和超过所述差阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果每个像素点的差值总和均未超过所述差阈值，则判断为所述的第一对比图像和第二对比图像一致。

9.一种基于光流法判断图像一致性的系统，其特征在于，其包括：

缩放处理单元，其对获取的第一对比图像和第二对比图像的其中之一进行缩放处理，使得第一对比图像和第二对比图像具有相同的尺寸；

灰度处理单元，其对第一对比图像和第二对比图像分别进行灰度处理，得到第一灰度图像和第二灰度图像；

光流分析单元，其对所述的第一灰度图像基于第二灰度图像进行光流法计算，得到第一灰度图像的偏移值；

第一判断单元，其对所述的偏移值进行阈值计算，如果偏移值超过所述阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果偏移值未超过所述阈值，则进一步将光流后的第一对比图像上每个像素点的颜色值与所述的第二对比图像上对应像素点的颜色值进行相减计算，得到差值；

第二判断单元，其将所述的差值的绝对值进行差阈值计算，如果差值的绝对值超过所述差阈值，则判断为所述的第一对比图像和第二对比图像不一致，如果差值的绝对值未超过所述差阈值，则判断为所述的第一对比图像和第二对比图像一致。