CN103150558B - 一种基于机器视觉的显示终端操作响应匹配检测方法 - Google Patents

Abstract

本发明提供了一种基于机器视觉的显示终端操作响应匹配检测方法，用于检测显示终端操作响应是否准确。该方法先将相应操作下的待检测图像和标准模板图像进行灰度化，然后将灰度标准模板图像分为若干子图，在灰度将待检测图像中寻找各子图对应的图像，将子图与对应图像自适应二值化处理后获取差值图像，计算差值图像中各统计单元中白色像素点的密度值，将密度值与阈值的比较来判断是否存在不匹配的区域，并标记出不匹配的像素点。本发明方法让匹配精确达到单个像素点级，大大提高了判断是否匹配的准确度及精度，并具有较快的检测速度，适用于现有终端的智能检测。

Description

一种基于机器视觉的显示终端操作响应匹配检测方法

技术领域

本发明涉及智能检测显示终端操作响应是否准确的技术领域，涉及一种在大图中定位和匹配存在小角度旋转或平移的小图的技术，具体涉及一种基于机器视觉的显示终端操作响应匹配检测方法。

背景技术

电子产业在近几十年发展十分迅猛，特别是像智能手机和平板电脑等能带给人们生活上舒适和便利的电子产品，俨然已经成为现代人们生活的必需品。在当今社会这类产品更新换代的速度越来越快，人们的要求也越来越高。用户在使用这类电子产品时，最直观的体会都是从显示终端即液晶屏幕得到，所以显示终端至关重要。在工业生产过程中，对面积较大的液晶显示屏，如电脑、电视等，国家已经制定了相应的检测标准，也有如Mura检测等检测手段。但是此类方法对面积较小的显示屏幕或细小的图片显示缺陷无能为力。以手机为例，随着智能手机的发展，手机屏幕越来越大，显示的清晰度要求越来越高，更不容许有错误的显示。但是，国家还没有制定相关的检测标准，在我国的手机生产中，对屏幕操作响应的检测还停留在依靠人工肉眼观察的阶段，这种检测手段既耗费人力成本、而且效率和准确性都不高。

在现代工业生产中利用机器视觉的检测方式越来越普遍，这种方式具有成本低，效率高和可靠性强的特点。例如瓶盖检测、电子元器件安装检测和指纹检测等都是预先采集好模板图像，然后在检测过程中实时采集待检测对象的图像，通过将实时采集的检测图像与模板图像进行匹配，通过判断是否匹配达到检测的目的。在现有的研究中，这种检测方式也普遍用于显示终端操作响应检测中，但因为较小面积的显示终端例如手机显示屏等，显示内容复杂，检测精度要求高，现有的其他基于视觉的检测设备直接应用到显示终端操作响应的检测中达不到准确性要求，主要是由于其中待检测图像和模板图像的匹配方法不能适应显示终端操作响应检测的特点，误判率高。

发明内容

本发明的目的在于提供一种针对显示终端操作响应智能检测的方法，具体是一种基于机器视觉的显示终端操作响应匹配检测方法，以适用现有终端的智能检测，提高检测地准确度。本发明通过使用机器视觉代替人眼获得显示终端的图像，使用图像匹配算法代替大脑判断在对产品进行预定操作下显示终端的显示内容是否完全正确，如果不正确，标出不正确的区域，达到检测和提示的目的。

本发明提供的一种基于机器视觉的显示终端操作响应匹配检测方法，包括以下步骤：

步骤101：读入待检测图像Q、预先保存的对应操作下的标准模板图像T以及操作人员输入的参数信息，所述的参数信息包括标准模板图像T的左上角点坐标P(a,b)和搜索扩大尺度值k，k为大于等于0的整数；

步骤102：将待检测图像和标准模板图像分别转化为灰度图像Q₁和T₁；

步骤103：设置分割子块的边长L，将图像T₁分割成m个正方形子图S_i（i=1,2,3,…,m）；L的单位为像素；

步骤104：在图像Q₁中确定子图S₁左上角点的有效搜索区域：x方向为[a-k,a+k]，y方向为[b-k,b+k]，其中超出待检测图像区域的部分不进行搜索；

步骤105：利用归一化积相关图像匹配算法在图像Q₁中搜索与子图S₁相似度值最大的图像S₁′，S₁′就是子图S₁在图像Q₁中的对应图像；为了提高搜索子图S₁在图像Q₁中位置的速度，采用跳格搜索，即以有效搜索区域的左上角点为第一个搜索点，在宽度方向上每次跳ee个像素作为下一个搜索点，宽度方向上搜索完后，高度方向上跳ee个像素，再重复宽度方向上的搜索，直至宽度方向和高度方向均搜索完毕。所述的搜索点对应的是子图S₁的左上角点，然后扩展出和子图S₁相同大小的图像区域，作为候选区域；

步骤:106：首先，设置子图S_i(i=2,…,m)的左上角点在图像Q₁中的搜索范围：x方向为[A+(x_i-x₁)-5，A+(x_i-x₁)+5]，y方向为[B+(y_i-y₁)-5，B+(y_i-y₁)+5]，其中，(A,B)为图像S₁′的左上角点在图像Q₁中的坐标，(x_i,y_i)为子图S_i左上角点在图像T₁的坐标，i=1,2,…,m；然后利用归一化积相关图像匹配算法，在设置的搜索范围内逐点搜索该点对应的候选区域与子图S_i的相似度值，并保存最大相似度值的图像区域S′_i，S′_i就是子图S_i在图像Q₁中的对应图像；

步骤107：对各子图S_i和所对应的子图S′_i分别进行自适应二值化处理，i=1,2,…,m；

步骤108：分别计算图像S_i和与其对应的S′_i的差值图像D_i，i=1,2,…,m；

步骤109：对差值图像D_i中的每个白色像素点，进行如下处理：以该白色像素点为左上角点，扩充为7像素×7像素大小的块，将该块作为统计单元，统计该块中白色像素点的密度值M；

步骤110：判断是否存在大于密度阈值的M，如果存在执行步骤111，否则执行步骤112；

步骤111：待检测图像中存在不匹配的像素点，待检测图像Q与标准模板图像T不匹配；首先在图像Q₁中框出图像T₁的近似区域，然后标记出不匹配的像素点，输出结果值G=0，代表显示终端显示错误；

步骤112：待检测图像中不存在不匹配的像素点，待检测图像Q与标准模板图像T匹配；在图像Q₁中框出图像T₁的近似区域，输出结果值G=1，代表显示终端显示正确。

本发明提供的显示终端操作响应匹配检测方法的优点和积极效果在于：

（1）本发明方法中相似度仅仅作为在待检测图像中定位模板图像的依据，而是否完全匹配，是通过求差值图像中白色像素点的密度来判断，此方法既让匹配精确达到单个像素点级，又不会仅仅因为单个像素的不同而产生误判，大大提高了判断是否匹配的准确度及精度。

（2）本发明方法由于对模板进行了分块处理，在待检测图像中搜索到模板的第一个子块位置后，其余子块位置只需利用子块之间相对位置关系，在很小范围内搜索即可，提高了模板图像的定位速度。

（3）本发明方法能适应模板图像和待检测图像之间存在一定位移和角度变化的情况，检测准确度和速度好。

（4）本发明方法能较好地抵抗显示终端中闪烁的光标对匹配的影响，提高了判断准确性。

（5）本发明方法对不匹配的像素点进行了标记，能使操作者非常直观地了解显示的错误像素点位置，提高了工作效率。

附图说明

图1为本发明的显示终端操作响应匹配检测方法的整体步骤流程图；

图2为本发明中对模板图像分块的执行流程图；

图3为本发明中搜索子图S₁对应图像区域S₁′的执行流程图；

图4为本发明应用于手机操作响应检测的试验图像，其中(a)为待检测图像，(b)为标准模块图像，(c)为采用本发明方法的检测结果图。

具体实施方式

下面将结合附图对本发明的技术方案做进一步的详细说明。

本发明提供的一种基于机器视觉的显示终端操作响应匹配检测方法，主要是使用图像匹配算法判断在对产品进行预定操作下显示终端的显示内容是否完全正确。图像匹配作为检测显示终端操作响应是否正确的方法，其含义是将摄像头获取的需要检测的显示界面图像与预先保存的模板图像进行定位和匹配，通过匹配结果判断界面显示是否正确。本发明方法能减少或消除采用人工检测时由于疲劳等引起的误判，提高了检测的效率和准确性。

本发明方法能够较好地适应由于两次放置待检测器件产生的待检测图像与模板图像存在的偏移和旋转，一定程度的明暗差异以及界面中存在光标闪烁的情况，可以达到工业生产中对显示终端操作响应智能检测的准确性要求。本发明将待检测图像和模板图像转换为灰度图像进行匹配；对模板图像进行了分块处理，得到m个正方形子图S_i（i=1,2,3,…,m），具体流程如图2所示；采用搜索最大相似度区域的方法实现模板图像的各子图在待检测图像中的定位，子图S_i在待检测图像中的对应图像为S′_i，具体流程如图3所示；对各子图S_i和S′_i进行自适应二值化处理，计算相应图像的差值图像D_i，以7像素×7像素大小的区域统计其中白色像素点的密度，通过密度值M与阈值的比较来判断是否存在不匹配的区域，并标记出不匹配的像素点。

所述的差值图像是指对图像S_i和图像S′_i进行自适应二值化处理后，对相同位置像素点的像素值求差，并取绝对值后所得到的图像，即当两幅二值化图像对应像素点的像素值相等时，差值图像在对应像素点上的像素值为0（黑色），如果不相同，像素值为255（白色）。

所述的密度值M是指差值图像中以7像素×7像素大小的块为统计单元，其中像素值为255（白色）的像素点的个数n除以像素点的总个数49，公式如下：

M＝n/49（1）

图1展示了本发明一种基于机器视觉的显示终端操作响应匹配检测方法的完整工作流程，该方法分为以下几个步骤：

步骤101：读入待检测图像Q、预先保存的对应操作下的标准模板图像T以及操作人员输入的参数信息，包括标准模板图像T的左上角点坐标P(a,b)和搜索扩大尺度值k。

本发明方法中，可将所有需要检测的操作预先都存于一个机构操作单元中，机构操作单元按照存储的步骤对待检测器件进行操作，以实现检测的自动化控制，然后摄像头采集按照预定操作后显示终端显示的图像，即待检测图像Q。

在检测之前，将检测合格的显示终端放在检测设备上，利用摄像头采集对待检测器件的按键或触摸进行操作时正确的响应图像，并在图像中截取出需要检测的区域，保存所截取的图像为标准模板图像。为用摄像头采集的图像建立坐标系，坐标系是以图像左上角点为坐标原点，水平向右为x正方向，竖直向下为y正方向，在保存标准模板图像时，对应保存标准模块图像的左上角点坐标P(a,b)。

所述的搜索扩大尺度值k是指允许以P(a,b)为基准向四周扩大k个像素点作为子图S₁左上角点的搜索区域，设置搜索扩大尺度值k的目的是为了适应由于前后两次放置器件产生平移情况下的匹配，而且操作人员可以控制扩大搜索的范围，使操作更灵活。

步骤102：将待检测图像Q转化为灰度图像Q₁，将标准模板图像T转化为灰度图像T₁。

步骤103：对图像T₁进行分块处理，得到标准模板的各子图S_i（i=1,2,3,…,m），m代表子图的个数，此步骤的执行流程如图2所示。

如图2所示，本发明方法中对图像进行分块分为以下几个步骤：

步骤201：获取标准模板图像T₁的宽度w和高度h的大小；

步骤202：比较宽度和高度的大小，当w<h时，执行步骤203，否则，执行步骤204；

步骤203：判断w是否小于170，如果是，执行步骤206，否则，执行步骤205；

步骤204：判断h是否小于170，如果小于，执行步骤207，否则，执行步骤205；

步骤205：设置分割子块的边长L=100；L的单位为像素；

步骤206：设置分割子块的边长L=w；

步骤207：设置分割子块的边长L=h；

步骤208：依据边长L将模板图像T₁分割为正方形子图S_i。

在步骤208中，由于模板图像的宽度w和高度h一般不是边长L的整数倍，所以图像T₁被分割后在最右侧或最下方剩余像素区域的像素个数q很可能小于L，此时，当满足不舍弃条件，将从最右侧或最下方向左侧或上方延伸分割出一个边长为L的子图，当满足舍弃条件，则对剩余像素区域不进行分块，即舍弃剩余像素区域，不对该剩余区域进行匹配处理。舍弃条件为：当w或h小于170时，q<10；当w和h均不小于170时，q<30。从最右侧或最下方向左侧或上方延伸分割出一个边长为L的子图，是和已分割出某些子图有重叠的地方，但是这样的分法在二值化后比对的效果要比不重叠划分要好，因为如果剩余像素区域没有数字等内容，二值化后出现误差的可能性很大，容易产生误判，所以为了最大限度的保证子图内有有效内容，对不满足舍弃条件的剩余像素区域采取这种分割方法得到对应的子图。

步骤104：依据点P(a,b)和值k计算出在图像Q₁中子图S₁左上角点的有效搜索区域。

设定图像的左上角为坐标原点，水平向右为x的正方向，竖直向下为y的正方向。所以S₁左上角点的有效搜索区域为：x方向为[a-k,a+k]，y方向为[b-k,b+k]，其中超出待检测图像区域的部分不进行搜索。本发明设定k的初始值为30，操作人员可以输入大于或等于零的整数赋给k，如果输入值小于零或不是整数，k值将自动恢复至初始值。

步骤105：利用归一化积相关图像匹配算法在图像Q₁中搜索与子图S₁相似度值最大的图像S₁′。在步骤104得到的有效搜索区域内按照一定搜索规则，确定搜索点，每确定一个搜索点，将该搜索点作为左上角点，在灰度图像Q₁中扩展出与子图S₁大小相同的候选区域，利用归一化积相关图像匹配算法确定所得到的候选区域与子图S₁的相似度值R，在搜索完所有搜索点后，保留其中取得最大相似度值的候选区域，该候选区域就是子图S₁在图像Q₁中的对应图像S₁′。具体步骤105的执行流程如图3所示。

图3展示了本发明在图像Q₁中搜索与子图S₁相似度值最大的图像S₁′的执行流程，分为以下几个步骤：

步骤301：设置间隔搜索值ee；

为了提高搜索速度，本发明采用间隔搜索的方法在图像Q₁中搜索S₁的左上角点，即不对有效搜索区域内的每个点都扩展为候选区域，计算其与S₁的相似度值R，而是分别在x和y方向上间隔ee个像素点计算R。而ee的值依据L的不同而不同，即当L>80时，ee=8，否则，ee=4。

步骤302：确定搜索点。

搜索点就是在图像Q₁中对应子图S₁左上角点的点，每次重置有效搜索区域时，第一个搜索点都是有效搜索区域的左上角点，然后按照先搜索x方向再搜索y方向的原则，每次间隔ee个像素点作为搜索点，计算扩展的候选区域与S₁的相似度值。

例如，在图像Q₁中搜索与子图S₁相似度值最大的图像S₁′时，根据步骤104的有效搜索区域：x方向为[a-k,a+k]，y方向为[b-k,b+k]，在步骤302确定的第一个搜索点为（a-k,b-k），第二个搜索点为（a-k+ee,b-k），依次类推来设定下一个搜索点。在更新搜索点的x坐标超过当前有效搜索区域时，即更新的搜索点的x坐标大于a+k时，开始在下一个y值上搜索，当前y值加上间隔搜索值ee就是下一个y值，例如搜索完y＝b-k上的点时，开始搜索y＝b-k+ee上的点，y＝b-k+ee上第一个搜索点为（a-k,b-k+ee）。

步骤303：判断搜索点是否超出当前有效搜索区域，如果超出，执行步骤305，否则，执行步骤304。当超出搜索区域时，是指按照间隔搜索原则已经将该区域内所有的搜索点计算了相似度。在搜索点的y坐标超过当前有效搜索区域时，则搜索点超过当前有效搜索区域，当前有效搜索区域搜索完。

步骤304：计算相似度R；

利用归一化积相关图像匹配算法计算搜索点扩展的候选区域与S₁的相似度值R，并保留当前所有候选区域中相似度值最大的候选区域的搜索点为P_m(x_z,y_z)。

然后转步骤302执行，确定下一个搜索点。

步骤305：判断ee是否等于1，当ee等于1，表示已经搜索完毕，执行步骤307，否则，执行步骤306。

步骤306：ee减去1，并重置有效搜索区域，然后转步骤302执行；

重置有效搜索区域是指利用已经搜索到的相似度值最大的候选区域的搜索点P_m(x_z,y_z)，分别向外扩张ee个像素点作为重置的搜索区域，即x方向为[x_z-ee，x_z+ee]，y方向为[y_z-ee，y_z+ee]，其中超出待检测图像区域的部分不进行搜索。

步骤307：输出搜索到的相似度值最大的搜索点P_m，则在灰度图像Q₁上以P_m为左上角点扩展的与S₁相同大小的图像就是S₁′。

步骤:106：依据步骤105的匹配结果和各子图之间的位置关系，设置其余子图左上角点搜索区域，通过计算与候选区域归一化积相关相似度值R，分别搜索出其余各子图S_i在图像Q₁中的位置及图像S′_i。

令图像S₁′的左上角点在图像Q₁中的点为P₁(A,B)，各子图S_i左上角点在模板图像T₁的坐标为PP_i(x_i,y_i)，i=1,2,…,m，那么依次设置除S₁以外其余各子图S_i(i=2,…,m)的左上角点的搜索区域为：x方向为[A+(x_i-x₁)-5，A+(x_i-x₁)+5]，y方向为[B+(y_i-y₁)-5，B+(y_i-y₁)+5]。设置的搜索范围内依次搜索此点对应的候选区域与子图S_i的归一化积相关相似度值R，保留其中取得最大相似度值的区域，认为该区域是子图S_i在图像Q₁中的对应图像S′_i。

候选区域是指以搜索点为左上角点扩展为大小L×L的区域。

步骤107：对所有子图S_i和子图在图像Q₁中对应的图像S′_i分别进行自适应二值化处理，i=1,2,…,m。本发明采用的自适应二值化处理方法为最大类间方差法。

步骤108：计算子图S_i和与其对应的S′_i的差值图像D_i，i=1,2,…,m。

步骤109：对差值图像D_i中的每个白色像素点，进行如下处理：以该白色像素点为左上角点，沿向右和向下方向扩充为7像素×7像素大小的块，将该块作为统计单元，计算该块中白色像素点的密度M。

步骤110：判断是否存在大于密度阈值的M，如果存在某个区域的M大于设定的阈值，进入步骤111，否则，进入步骤112；

密度阈值设定为0.47，即当某个白色像素点扩充的7×7块中，白色像素点的密度M大于0.47时，认为该区域中的白色像素点为不匹配的像素点，即显示错误的像素点，并在图像Q₁中标记出这些像素点；否则，认为是完全匹配的。密度阈值设的大了会检测不出只有较小差异的图像，例如在显示数字0和8，且数值显示的又比较小时，如果这个阈值设置大了会误判为0和8是相同的。反之，如果密度阈值设置的过小，会对一些由于光线或旋转的影响造成的小范围零散的不同点误判为是显示的内容错误。通过试验，本发明所设置的密度阈值可以实现较好的检测效果。

步骤111：超过阈值的M对应的统计单元区域存在与模板图像不匹配的像素点，待检测图像中存在不匹配的像素点，待检测图像Q与标准模板图像T不匹配。首先在图像Q₁中框出图像T₁的近似区域，然后标记出不匹配的像素点，输出结果值G=0，代表显示终端显示错误。

步骤112：待检测图像中不存在不匹配的像素点，待检测图像Q与标准模板图像T匹配。在图像Q₁中框出图像T₁的近似区域，输出结果值G=1，代表显示终端显示正确。

由于待检测图像与模板图像之间可能存在一定的旋转，所以在图像Q₁中框出的匹配区域与模板图像T₁也有可能存在旋转，为图像T₁的近似区域。近似区域的左上角点坐标为P₁(A,B)，区域的高度与宽度等于标准模板图像T的高度与宽度。

图4为本发明应用于手机操作响应检测的结果图像。图(a)是待检测图像Q，图(b)是标准模板图像T，图(c)是匹配完之后的图像Q₁，图(a)中的数字和图(b)的数字不同，最后的数字一个是9，一个是8，而且两张图之间存在大概2°左右的旋转差异，最后的匹配结果(c)中框出了(b)图在(a)图中的位置，标记出了检测出的不匹配像素点。通过验证，本发明方法既可以在待检测图像中准确定位模板图像，而且可以适应图像间存在旋转（一般2°以内）和平移的情况，对较小的图像差异也能适应，误判率低，大大提高了检测的准确性和精度。

Claims (5)

1.一种基于机器视觉的显示终端操作响应匹配检测方法，其特征在于，包括如下步骤：

步骤101：读入待检测图像Q、预先保存的对应操作下的标准模板图像T以及操作人员输入的参数信息；参数信息包括标准模板图像T的左上角点P(a,b)和搜索扩大尺度值k，k为大于等于0的整数；

步骤102：将待检测图像和标准模板图像分别转化为灰度图像Q₁和T₁；

步骤103：设置分割子块的边长L，将图像T₁分割成m个正方形子图S_i(i＝1,2,3,…,m)；L的单位为像素；

步骤104：在图像Q₁中确定子图S₁左上角点的有效搜索区域：x方向为[a-k,a+k]，y方向为[b-k,b+k]，其中超出待检测图像区域的部分不进行搜索；

步骤105：利用归一化积相关图像匹配算法在图像Q₁中搜索与子图S₁相似度值最大的图像S₁′，S₁′就是子图S₁在图像Q₁中的对应图像；

步骤:106：首先，设置子图S_i(i＝2,…,m)的左上角点在图像Q₁中的搜索范围：x方向为[A+(x_i-x₁)-5，A+(x_i-x₁)+5]，y方向为[B+(y_i-y₁)-5，B+(y_i-y₁)+5]，其中，(A,B)为图像S′₁的左上角点在图像Q₁中的坐标，(x_i,y_i)为子图S_i左上角点在图像T₁的坐标，i＝1,2,…,m；然后利用归一化积相关图像匹配算法，在设置的搜索范围内逐点搜索该点对应的候选区域与子图S_i的相似度值，并保存最大相似度值的图像区域S′_i，S′_i就是子图S_i在图像Q₁中的对应图像；

步骤107：对所有图像S_i和S′_i分别进行自适应二值化处理，i＝1,2,…,m；

步骤108：计算图像S_i和S′_i的差值图像D_i，i＝1,2,…,m；

步骤109：对差值图像D_i中的每个白色像素点，进行如下处理：以该白色像素点为左上角点，扩充为7像素×7像素大小的块，统计该块中白色像素点的密度值M；

步骤110：判断是否存在大于密度阈值的M，如果存在执行步骤111，否则执行步骤112；

步骤111：待检测图像中存在不匹配的像素点，在图像Q₁中框出图像T₁的近似区域，然后标记出不匹配的像素点，输出结果值G＝0，代表显示终端显示错误；

步骤112：待检测图像中不存在不匹配的像素点，在图像Q₁中框出图像T₁的近似区域，输出结果值G＝1，代表显示终端显示正确。

2.根据权利要求1所述的基于机器视觉的显示终端操作响应匹配检测方法，其特征在于，所述的步骤103中进行分块处理的步骤为：

步骤201：获取图像T₁的宽度w和高度h；

步骤202：比较w和h的大小，当w<h时，执行步骤203，否则，执行步骤204；

步骤203：判断w是否小于170，如果是，执行步骤206，否则，执行步骤205；

步骤204：判断h是否小于170，如果是，执行步骤207，否则，执行步骤205；

步骤205：设置分割子块的边长L＝100；

步骤206：设置分割子块的边长L＝w；

步骤207：设置分割子块的边长L＝h；

步骤208：依据边长L将图像T₁分割正方形子图S_i；设图像T₁被分割后在最右侧或最下方剩余像素区域的像素个数为q，当满足条件(1)w或h小于170时q<10，或者满足条件(2)w和h均不小于170时q<30，则舍弃剩余像素区域，若条件(1)和(2)均不满足，则从最右侧或最下方向左侧或上方延伸分割出一个边长为L的子图。

3.根据权利要求1所述的基于机器视觉的显示终端操作响应匹配检测方法，其特征在于，步骤101中所述的搜索扩大尺度值k设定为30。

4.根据权利要求1所述的基于机器视觉的显示终端操作响应匹配检测方法，其特征在于，所述的步骤105具体执行流程为：

步骤301：设置间隔搜索值ee，当L>80时，ee＝8，否则，ee＝4；

步骤302：确定搜索点，每次重置有效搜索区域时，第一个搜索点是有效搜索区域的左上角点，然后按照先搜索x方向再搜索y方向的原则，每次间隔ee个像素点作为搜索点；

步骤303：判断搜索点是否超出当前有效搜索区域，如果超出，执行步骤305，否则，执行步骤304；

步骤304：利用归一化积相关图像匹配算法计算搜索点扩展的候选区域与S₁的相似度值，并保留当前所有候选区域中相似度值最大的候选区域的搜索点P_m(x_z,y_z)；然后转步骤302执行，确定下一个搜索点；

步骤305：判断ee是否等于1，当ee等于1，表示已经搜索完毕，执行步骤307，否则，执行步骤306；

步骤306：ee减去1，并重置有效搜索区域：x方向为[x_z-ee，x_z+ee]，y方向为[y_z-ee，y_z+ee]，超出待检测图像区域的部分不进行搜索；然后转步骤302执行；

步骤307：输出搜索到的相似度值最大的搜索点P_m，则在灰度图像Q₁上以P_m为左上角点扩展的与S₁相同大小的图像就是S′₁。

5.根据权利要求1所述的基于机器视觉的显示终端操作响应匹配检测方法，其特征在于，步骤110中所述的密度阈值为0.47。