CN103150557B - 一种基于机器视觉的显示终端操作响应匹配检测装置 - Google Patents

Abstract

本发明提供了一种基于机器视觉的显示终端操作响应匹配检测装置，用于检测显示终端操作响应是否准确。该装置包括：按照步骤对待检测器件进行操作的机构操作单元；通过摄像头采集显示终端显示的待检测图像的采集待检测图像单元；存放对各操作响应正确的模板图像的模板图像预存单元；图像定位匹配单元将模板图像在待检测图像进行定位匹配处理，判断当前显示结果是否正确；显示单元在待检测图像的灰度图像中框出模板图像的近似区域，并在显示终端显示错误时，标记出不匹配的像素点。本发明装置让匹配精确达到单个像素点级，大大提高了判断是否匹配的准确度及精度，并具有较快的检测速度，适用于现有终端的智能检测。

Description

一种基于机器视觉的显示终端操作响应匹配检测装置

技术领域

本发明涉及智能检测显示终端操作响应是否准确的技术领域，涉及一种在大图中定位和匹配存在小角度旋转或平移的小图的技术，具体涉及一种基于机器视觉的显示终端操作响应匹配检测装置。

背景技术

电子产业在近几十年发展十分迅猛，特别是像智能手机和平板电脑等能带给人们生活上舒适和便利的电子产品，俨然已经成为现代人们生活的必需品。在当今社会这类产品更新换代的速度越来越快，人们的要求也越来越高。用户在使用这类电子产品时，最直观的体会都是从显示终端即液晶屏幕得到，所以显示终端至关重要。在工业生产过程中，对面积较大的液晶显示屏，如电脑、电视等，国家已经制定了相应的检测标准，也有如Mura检测等检测手段。但是此类方法对面积较小的显示屏幕或细小的图片显示缺陷无能为力。以手机为例，随着智能手机的发展，手机屏幕越来越大，显示的清晰度要求越来越高，更不容许有错误的显示。但是，国家还没有制定相关的检测标准，在我国的手机生产中，对屏幕操作响应的检测还停留在依靠人工肉眼观察的阶段，这种检测手段既耗费人力成本、而且效率和准确性都不高。

在现代工业生产中利用机器视觉的检测方式越来越普遍，这种方式具有成本低，效率高和可靠性强的特点。例如瓶盖检测、电子元器件安装检测和指纹检测等都是预先采集好模板图像，然后在检测过程中实时采集待检测对象的图像，通过将实时采集的检测图像与模板图像进行匹配，通过判断是否匹配达到检测的目的。在现有的研究中，这种检测方式也普遍用于显示终端操作响应检测中，但因为较小面积的显示终端例如手机显示屏等，显示内容复杂，检测精度要求高，现有的其他基于视觉的检测设备直接应用到显示终端操作响应的检测中达不到准确性要求，主要是由于其中待检测图像和模板图像的匹配方法不能适应显示终端操作响应检测的特点，误判率高。

发明内容

本发明针对现有终端智能检测时，待检测图像和模板图像的匹配达不到显示终端操作响应检测要求的精度，存在误判率高的问题，提供了一种基于机器视觉的显示终端操作响应匹配检测装置，以适用现有终端的智能检测，提高检测地准确度。

本发明的一种基于机器视觉的显示终端操作响应匹配检测装置，包括：机构操作单元、采集待检测图像单元、模板图像预存单元、图像定位匹配单元及显示单元。机构操作单元中存储有对待检测器件进行所有需要检测的操作的步骤，在检测时，机构操作单元按照操作的步骤对待检测器件进行操作。机构操作单元对待检测器件进行操作后，采集待检测图像单元通过摄像头采集显示终端显示的待检测图像，将待检测图像输入图像定位匹配单元。模板图像预存单元存放有对各操作响应正确的模板图像，模板图像的获取方法是：将检测合格的显示终端放在检测设备上，进行所有需要检测的操作，用摄像头依次采集显示终端响应各操作的图像，并在各图像中截取出包含显示内容的矩形区域，保存矩形区域的左上角点坐标，并将矩形区域存为模板图像。图像定位匹配单元接收当前操作的待检测图像和对应的模板图像，将模板图像在待检测图像中进行定位匹配处理，判断当前显示结果是否正确，并将结果图像输出给显示单元。显示单元在待检测图像的灰度图像中框出模板图像的近似区域，并在显示终端显示错误时，标记出不匹配的像素点。

图像定位匹配单元包括：灰度图像转换模块、图像分块模块、子图匹配模块、自适应二值化处理模块、差值图像获取模块、密度值统计模块以及检测判断模块。灰度图像转换模块分别将接收的待检测图像和模板图像转换为灰度图像Q₁和T₁。图像分块模块对图像T₁进行分块处理，得到m个正方形子图S_i（i=1,2,3,...,m）。子图匹配模块采用搜索最大相似度区域的方法在待检测图像中找到各子图S_i对应的图像S′_i。自适应二值化处理模块对所有子图S_i和子图在图像Q₁中对应的图像S′_i分别进行自适应二值化处理，i=1,2,...,m。差值图像获取模块用于获取子图S_i和与其对应的图像S′_i的差值图像D_i，i=1,2,...,m。密度值统计模块对差值图像D_i中的每个白色像素点，进行如下处理：以该白色像素点为左上角点，沿向右和向下方向扩充为7像素×7像素大小的块，将该块作为统计单元，计算该块中白色像素点的密度值M。检测判断模块判断是否存在大于密度阈值的密度值M，若存在，则该M值对应的统计单元区域存在与模板图像不匹配的像素点，若不存在，则待检测图像Q与标准模板图像T匹配。

图像定位匹配单元搜索图像S′₁的方法为：(1)设置间隔搜索值ee，当L>80时，ee=8，L≤80时，ee=4；(2)确定搜索点，每次重置搜索区域时，第一个搜索点是搜索区域的左上角点，然后按照先搜索x方向再搜索y方向的原则，每次间隔ee个像素点作为搜索点，初始搜索区域为：x方向为[a-k,a+k]，y方向为[b-k,b+k]，超出图像Q₁区域的部分不进行搜索，(a,b)为模块图像T的左上角点坐标，k为搜索扩大尺度值；(3)判断搜索点是否超出当前有效搜索区域，如果超出，执行(4)，否则将搜索点作为左上角点扩展得到L×L大小的候选区域，利用归一化积相关图像匹配算法计算候选区域与S₁的相似度值，并保留当前所有候选区域中相似度值最大的候选区域的搜索点P_m(x_z,y_z)，然后执行(2)，确定下一个搜索点；(4)判断ee是否等于1，当ee等于1，输出搜索到的相似度值最大的搜索点P_m，在灰度图像Q₁上以P_m为左上角点扩展的L×L大小的候选区域就是S′₁；当ee不等于1时，ee减去1，并重置搜索区域：x方向为[x_z-ee，x_z+ee]，y方向为[y_z-ee，y_z+ee]，然后执行(2)，确定下一个搜索点。

设图像S′₁的左上角点在图像Q₁中的点为P₁(A,B)，各子图S_i左上角点在模板图像T₁的坐标为PP_i(x_i,y_i)，i=1,2,...,m，图像定位匹配单元搜索图像S′_i(i=2,3...,m)的方法为：设置子图S_i(i=2,3,...,m)的左上角点的搜索范围为：x方向为[A+(x_i-x₁)-5，A+(x_i-x₁)+5]，y方向为[B+(y_i-y₁)-5，B+(y_i-y₁)+5]，在设置的搜索范围内逐点搜索扩展的候选区域与子图S_i的归一化积相关相似度值，取得最大相似度值的候选区域就是子图S_i在图像Q₁中的对应图像S′_i。

本发明显示终端操作响应匹配检测装置的优点和积极效果在于：

（1）本发明装置中相似度仅仅作为在待检测图像中定位模板图像的依据，而是否完全匹配，是通过求差值图像中白色像素点的密度来判断，这既让匹配精确达到单个像素点级，又不会仅仅因为单个像素的不同而产生误判，大大提高了判断是否匹配的准确度及精度。

（2）本发明装置由于对模板进行了分块处理，在待检测图像中搜索到模板的第一个子块位置后，其余子块位置只需利用子块之间相对位置关系，在很小范围内搜索即可，提高了模板图像的定位速度。

（3）本发明装置能适应模板图像和待检测图像之间存在一定位移和角度变化的情况，提高了检测的速度和准确性。

（4）本发明装置能较好地抵抗显示终端中闪烁的光标对匹配的影响，提高了判断准确性。

（5）本发明装置对不匹配的像素点进行了标记，能使操作者非常直观地了解显示的错误像素点位置，提高了工作效率。

附图说明

图1为本发明的显示终端操作响应匹配检测装置的整体结构示意图；

图2为本发明的图像分块模块对灰度模板图像进行分块的执行流程图；

图3为本发明的子图匹配模块搜索子图S₁对应图像区域S′₁的执行流程图；

图4为本发明应用于手机操作响应检测的试验图像，其中(a)为待检测图像，(b)为模块图像，(c)为采用本发明方法的检测结果图。

具体实施方式

下面将结合附图对本发明的技术方案做进一步的详细说明。

本发明提供的基于机器视觉的显示终端操作响应匹配检测装置，主要是使用图像匹配算法判断在对产品进行预定操作下显示终端的显示内容是否完全正确。所采用的图像匹配是将摄像头获取的需要检测的显示界面图像与预先保存的模板图像进行定位和匹配，通过匹配结果判断界面显示是否正确。本发明检测装置能减少或消除采用人工检测时由于疲劳等引起的误判，提高了检测的效率和准确性。

如图1所示，本发明的基于机器视觉的显示终端操作响应匹配检测装置，主要包括如下模块：机构操作单元1、采集待检测图像单元2、模板图像预存单元3、图像定位匹配单元4及显示单元5。为了实现自动化，机构操作单元1用于对检测设备的机构进行控制操作，包括对待检测器件进行按键或触摸操作，而且在检测时所有需要检测的操作步骤预先都存于机构操作单元1中，在检测过程中，机构操作单元1将按照存储的操作的步骤对待检测器件进行操作。经机构操作单元1对待检测器件进行操作后，采集待检测图像单元2通过摄像头采集显示终端显示的图像，将所采集的待检测图像输入图像定位匹配单元4。模板图像预存单元3存放显示终端响应正确的模板图像，模板图像是检测之前，将检测合格的显示终端放在检测设备上，利用摄像头采集对检测设备进行各操作时显示终端显示的原始图像，在各原始图像中截取出需要检测的矩形区域，矩形区域中包含有操作结果对应的显示内容，保存矩形区域在原始图像中的左上角点坐标P(a,b)，并将矩形区域存为模板图像。在摄像头采集的图像建立坐标系，坐标系是以图像左上角点为坐标原点，水平向右为x正方向，竖直向下为y正方向。图像定位匹配单元4接收当前操作下的待检测图像和对应操作的模板图像，将模板图像在待检测图像中进行定位匹配处理，判断当前显示结果是否正确。显示单元5接收匹配的结果图像，直观地显示给操作人员。本发明的检测装置能够较好地适应由于两次放置，待检测器件产生的待检测图像与模板图像存在的偏移和旋转、一定程度的明暗差异以及界面中存在光标闪烁的情况，可以达到工业生产中对显示终端操作响应智能检测的准确性要求。

本发明的图像定位匹配单元4首先将待检测图像和模板图像转换为灰度图像进行匹配，然后对模板图像进行分块处理，得到m个正方形子图S_i（i=1,2,3,...,m），采用搜索最大相似度区域的方法实现模板图像各子图S_i在待检测图像中的定位，子图S_i在待检测图像中的对应图像为S′_i，对各子图S_i和S′_i进行自适应二值化处理，计算二值化处理后的子图S_i和S′_i的差值图像D_i，以7像素×7像素大小的区域统计其中白色像素点的密度，通过密度值M与阈值的比较来判断是否存在不匹配的区域，并标记出不匹配的像素点。

所述的差值图像是指对图像S_i和图像S′_i进行自适应二值化处理后，对相同位置像素点的像素值求差，并取绝对值后所得到的图像，即当两幅二值化图像对应像素点的像素值相等时，差值图像在对应像素点上的像素值为0（黑色），如果不相同，像素值为255（白色）。

所述的密度值M是指差值图像中以7像素×7像素大小的块为统计单元，其中像素值为255（白色）的像素点的个数n除以像素点的总个数49，公式如下：

M＝n/49                           （1）

如图1所示，图像定位匹配单元4包括：灰度图像转换模块41、图像分块模块42、子图匹配模块43、自适应二值化处理模块44、差值图像获取模块45、密度值统计模块46以及检测判断模块47。图像定位匹配单元4从采集待检测图像单元2获得当前操作的待检测图像Q，从模板图像预存单元3中获取当前操作对应的模板图像T。灰度图像转换模块41将待检测图像Q转化为灰度图像Q₁，将模板图像T转化为灰度图像T₁。

图像分块模块42对图像T₁进行分块处理，得到子图S_i（i=1,2,3,...,m），m代表子图的个数，如图2所示，具体m个子图S_i获取方法是：获取模板图像T₁的宽度w和高度h，比较宽度w和高度h的大小，当w<h时，判断w是否小于170，如果是，设置分割子块的边长L=w，否则，设置分割子块的边长L=100；当w≥h时，判断h是否小于170，如果是，设置分割子块的边长L=h，否则，设置分割子块的边长L=100；将L作为正方形子图的边长，对模板图像T₁进行分割，其中，设图像T₁被分割后在最右侧或最下方剩余像素区域的像素个数为q，当满足舍弃条件（1）w或h小于170时q<10，或者舍弃条件（2）w和h均不小于170时q<30，则舍弃剩余像素区域，若舍弃条件（1）和（2）均不满足，则从最右侧或最下方向左侧或上方延伸分割出一个边长为L的正方形子图。w、h和L的单位均为像素。

由于模板图像的宽度w和高度h一般不是边长L的整数倍，所以图像T₁被分割后在最右侧或最下方剩余像素区域的像素个数q很可能小于L，此时，当不满足舍弃条件，将从最右侧或最下方向左侧或上方延伸分割出一个边长为L的子图，当满足舍弃条件，则对剩余像素区域不进行分块，即舍弃剩余像素区域，不对该剩余区域进行匹配处理。从最右侧或最下方向左侧或上方延伸分割出一个边长为L的子图，是和已分割出某些子图有重叠的地方，但是这样的分法在二值化后比对的效果要比不重叠划分要好，因为如果剩余像素区域没有数字等内容，二值化后出现误差的可能性很大，容易产生误判，所以为了最大限度的保证子图内有有效内容，对不满足舍弃条件的剩余像素区域采取这种分割方法得到对应的子图。

子图匹配模块43采用搜索最大相似度区域的方法在待检测图像中找到各子图S_i对应的图像S′_i。设定图像的左上角为坐标原点，水平向右为x的正方向，竖直向下为y的正方向。

子图匹配模块43具体通过寻找图像S′_i的方法是：

（1）首先，确定在图像Q₁中子图S₁左上角点的搜索区域：x方向为[a-k,a+k]，y方向为[b-k,b+k]，其中超出图像Q₁区域的部分不进行搜索，(a,b)为模块T的左上角点坐标，k为搜索扩大尺度值。

搜索扩大尺度值k是指允许以P(a,b)为基准向四周扩大k个像素点作为子图S₁左上角点的搜索区域，设置搜索扩大尺度值k的目的是为了适应由于前后两次放置器件产生平移情况下的匹配，而且操作人员可以控制扩大搜索的范围，使操作更灵活。本发明设定k的初始值为30，操作人员可以输入大于或等于零的整数赋给k，如果输入值小于零或不是整数，k值将自动恢复至初始值。

（2）利用归一化积相关图像匹配算法在图像Q₁中搜索与子图S₁相似度值最大的图像S′₁。在搜索区域内按照一定搜索规则，确定搜索点，每确定一个搜索点，将该搜索点作为左上角点，在灰度图像Q₁中扩展出L×L大小的候选区域，利用归一化积相关图像匹配算法确定所得到的候选区域与子图S₁的相似度值R，在搜索完所有搜索点后，保留其中取得最大相似度值的候选区域，该候选区域就是子图S₁在图像Q₁中的对应图像S′₁。

如图3所示，为在图像Q₁中搜索与子图S₁相似度值最大的图像S′₁的执行过程：

第一步，设置间隔搜索值ee；为了提高搜索速度，本发明采用间隔搜索的方法在图像Q₁中搜索S₁的左上角点，不对有效搜索区域内的每个点都扩展为候选区域，计算其与S₁的相似度值R，而是分别在x和y方向上间隔ee个像素点计算R。而ee的值依据L的不同而不同，即当L>80时，ee=8，L≤80时，ee=4。

第二步，确定搜索点。每次重置搜索区域时，第一个搜索点都是有效搜索区域的左上角点，然后按照先搜索x方向再搜索y方向的原则，每次间隔ee个像素点作为搜索点，计算扩展的候选区域与S₁的相似度值。

例如，在搜索区域：x方向为[a-k,a+k]，y方向为[b-k,b+k]，首次搜索时，第一个搜索点为（a-k,b-k），第二个搜索点为（a-k+ee,b-k），依次类推来设定下一个搜索点。在更新搜索点的x坐标超过当前搜索区域时，即更新的搜索点的x坐标大于a+k时，开始在下一个y值上搜索，当前y值加上间隔搜索值ee就是下一个y值，例如搜索完y＝b-k上的点时，开始搜索y＝b-k+ee上的点，y＝b-k+ee上第一个搜索点为（a-k,b-k+ee）。

第三步，判断搜索点是否超出当前有效搜索区域，如果超出，执行第四步，否则，利用归一化积相关图像匹配算法计算搜索点扩展的候选区域与S₁的相似度值R，并保留当前所有候选区域中相似度值最大的候选区域的搜索点为P_m(x_z,y_z)，然后执行第二步，确定下一个搜索点。当超出搜索区域时，是指按照间隔搜索原则已经将该区域内所有的搜索点计算了相似度。在搜索点的y坐标超过当前有效搜索区域时，则搜索点超过当前有效搜索区域，当前有效搜索区域搜索完。

第四步，判断ee是否等于1，当ee等于1，表示已经搜索完毕，输出搜索到的相似度值最大的搜索点P_m，则在灰度图像Q₁上以P_m为左上角点扩展的与S₁相同大小的图像就是S′₁；当ee不等于1时，ee减去1，并重置搜索区域，然后执行第二步。

重置搜索区域是指利用已经搜索到的相似度值最大的候选区域的搜索点P_m(x_z,y_z)，分别向外扩张ee个像素点作为重置的搜索区域，即x方向为[x_z-ee，x_z+ee]，y方向为[y_z-ee，y_z+ee]，其中超出图像Q₁区域的部分不进行搜索。

（3）根据S′₁和各子图S_i之间的位置关系，分别搜索子图S_i(i=2,3...,m)在图像Q₁中对应的图像S′_i。令图像S′₁的左上角点在图像Q₁中的点为P₁(A,B)，各子图S_i左上角点在模板图像T₁的坐标为PP_i(x_i,y_i)，i=1,2,...,m，依次设置子图S_i(i=2,3,...,m)的左上角点的搜索区域为：x方向为[A+(x_i-x₁)-5，A+(x_i-x₁)+5]，y方向为[B+(y_i-y₁)-5，B+(y_i-y₁)+5]。在设置的搜索范围内逐点搜索对应的候选区域与子图S_i的归一化积相关相似度值R，保留其中取得最大相似度值的区域，该区域是子图S_i在图像Q₁中的对应图像S′_i。

自适应二值化处理模块44对所有子图Si和子图在图像Q₁中对应的图像S′_i分别进行自适应二值化处理，i=1,2,...,m。本发明采用的自适应二值化处理方法为最大类间方差法。

差值图像获取模块45用于获取子图S_i和与其对应的图像S′_i的差值图像D_i，i=1,2,...,m。

密度值统计模块46对差值图像D_i中的每个白色像素点，进行如下处理：以该白色像素点为左上角点，沿向右和向下方向扩充为7像素×7像素大小的块，将该块作为统计单元，计算该块中白色像素点的密度M。

检测判断模块47判断是否存在大于密度阈值M值，若存在，则该M值对应的统计单元区域存在与模板图像不匹配的像素点，若不存在，则待检测图像Q与标准模板图像T匹配。当待检测图像与模板图像匹配时，输出结果值G=1给显示单元5，G=1代表显示终端显示正确。当待检测图像与模板图像不匹配时，输出结果值G=0给显示单元，G=0代表显示终端显示错误。

显示单元5输出匹配的结果图像，在图像Q₁中框出图像T₁的近似区域，并在显示终端显示错误时，标记出不匹配的像素点。

密度阈值设定为0.47，即当某个白色像素点扩充的7×7块中，白色像素点的密度M大于0.47时，认为该区域中的白色像素点为不匹配的像素点，即显示错误的像素点，并在图像Q₁中标记出这些像素点；否则，认为是完全匹配的。密度阈值设的大了会检测不出只有较小差异的图像，例如在显示数字0和8，且数值显示的又比较小时，如果这个阈值设置大了会误判为0和8是相同的。反之，如果密度阈值设置的过小，会对一些由于光线或旋转的影响造成的小范围零散的不同点误判为是显示的内容错误。通过试验，本发明所设置的密度阈值可以实现较好的检测效果。

由于待检测图像与模板图像之间可能存在一定的旋转，所以在图像Q₁中框出的匹配区域与模板图像T₁也有可能存在旋转，为图像T₁的近似区域。近似区域的左上角点坐标为P₁(A,B)，区域的高度与宽度等于标准模板图像T的高度与宽度。

图4为本发明应用于手机操作响应检测的结果图像。图(a)是待检测图像Q，图(b)是对应操作的模板图像T，图(c)是匹配完之后的图像Q₁，图(a)中的数字和图(b)的数字不同，最后的数字一个是9，一个是8，而且两张图之间存在大概2°左右的旋转差异，最后的匹配结果(c)中框出了(b)图在(a)图中的位置，标记出了检测出的不匹配像素点。通过验证，本发明方法既可以在待检测图像中准确定位模板图像，而且可以适应图像间存在旋转（一般2°以内）和平移的情况，对较小的图像差异也能适应，误判率低，大大提高了检测的准确性和精度。

Claims (4)

1.一种基于机器视觉的显示终端操作响应匹配检测装置，其特征在于，包括：机构操作单元、采集待检测图像单元、模板图像预存单元、图像定位匹配单元及显示单元；机构操作单元中存储有对待检测器件进行所有需要检测的操作的步骤，在检测时，机构操作单元按照操作的步骤对待检测器件进行操作；机构操作单元对待检测器件进行操作后，采集待检测图像单元通过摄像头采集显示终端显示的待检测图像，将待检测图像输入图像定位匹配单元；模板图像预存单元存放有对各操作响应正确的模板图像，模板图像的获取方法是：将检测合格的显示终端放在检测设备上，进行所有需要检测的操作，用摄像头采集显示终端响应各操作的图像，并在图像中截取出包含显示内容的矩形区域，保存矩形区域的左上角点坐标，并将矩形区域存为模板图像；图像定位匹配单元接收当前操作的待检测图像和对应的模板图像，将模板图像在待检测图像进行定位匹配处理，判断当前显示结果是否正确，并将结果图像输出给显示单元；显示单元在待检测图像的灰度图像中框出模板图像的近似区域，并在显示终端显示错误时，标记出不匹配的像素点；

图像定位匹配单元包括：灰度图像转换模块、图像分块模块、子图匹配模块、自适应二值化处理模块、差值图像获取模块、密度值统计模块以及检测判断模块；灰度图像转换模块分别将接收的待检测图像和模板图像转换为灰度图像Q₁和灰度图像T₁；图像分块模块对图像T₁进行分块处理，根据设置的边长L分割得到m个正方形子图S_i，i＝1,2,3,…,m；子图匹配模块采用搜索最大相似度区域的方法在待检测图像中找到各子图S_i对应的图像S′_i；自适应二值化处理模块对所有子图S_i和子图在图像Q₁中对应的图像S′_i分别进行自适应二值化处理；差值图像获取模块用于获取子图S_i和与其对应的图像S′_i的差值图像D_i，i＝1,2,…,m；密度值统计模块对差值图像D_i中的每个白色像素点，进行如下处理：以该白色像素点为左上角点，沿向右和向下方向扩充为7像素×7像素大小的块，将该块作为统计单元，计算该块中白色像素点的密度值M；检测判断模块判断是否存在大于密度阈值的密度值M，若存在，则该M值对应的统计单元区域存在与模板图像不匹配的像素点，若不存在，则待检测图像Q与标准模板图像T匹配；

子图匹配模块首先在图像Q₁中搜索与子图S₁对应的图像S′₁，然后根据S′₁和各子图S_i之间的位置关系，分别搜索子图S_i(i＝2,3…,m)在图像Q₁中对应的图像S′_i；

其中图像S′₁的搜索方法为：(1)设置间隔搜索值ee，当L>80时，ee＝8，L≤80时，ee＝4；(2)确定搜索点，每次重置搜索区域时，第一个搜索点是搜索区域的左上角点，然后按照先搜索x方向再搜索y方向的原则，每次间隔ee个像素点作为搜索点，初始搜索区域为：x方向为[a-k,a+k]，y方向为[b-k,b+k]，超出图像Q₁区域的部分不进行搜索，(a,b)为标准模块图像T的左上角点坐标，k为搜索扩大尺寸值，k为大于等于0的整数；(3)判断搜索点是否超出当前有效搜索区域，如果超出，执行(4)，否则将搜索点作为左上角点扩展得到L×L大小的候选区域，利用归一化积相关图像匹配算法计算候选区域与S₁的相似度值，并保留当前所有候选区域中相似度值最大的候选区域的搜索点P_m(x_z,y_z)，然后执行(2)，确定下一个搜索点；(4)判断ee是否等于1，当ee等于1，输出搜索到的相似度值最大的搜索点P_m，在灰度图像Q₁上以P_m为左上角点扩展的L×L大小的候选区域就是S′₁；当ee不等于1时，ee减去1，并重置搜索区域：x方向为[x_z-ee，x_z+ee]，y方向为[y_z-ee，y_z+ee]，然后执行(2)，确定下一个搜索点；

设图像S′₁的左上角点在图像Q₁中的点为P₁(A,B)，各子图S_i左上角点在模板图像T₁的坐标为PP_i(x_i,y_i)，i＝1,2,…,m，图像S′_i(i＝2,3…,m)的搜索方法为：设置子图S_i(i＝2,3,…,m)的左上角点的搜索范围为：x方向为[A+(x_i-x₁)-5，A+(x_i-x₁)+5]，y方向为[B+(y_i-y₁)-5，B+(y_i-y₁)+5]，在设置的搜索范围内逐点搜索扩展的候选区域与子图S_i的归一化积相关相似度值，其中取得最大相似度值的候选区域就是子图S_i在图像Q₁中的对应图像S′_i。

2.根据权利要求1所述的基于机器视觉的显示终端操作响应匹配检测装置，其特征在于，所述的图像分块模块对图像T₁进行分块处理，具体过程是：获取图像T₁的宽度w和高度h，比较宽度w和高度h的大小，当w<h时，判断w是否小于170，如果是，设置分割子块的边长L＝w，否则，设置分割子块的边长L＝100；当w≥h时，判断h是否小于170，如果是，设置分割子块的边长L＝h，否则，设置分割子块的边长L＝100；根据L对图像T₁进行正方形子图分割；设图像T₁被分割后在最右侧或最下方剩余像素区域的像素个数为q，当满足舍弃条件(a)w或h小于170时q<10，或者舍弃条件(b)w和h均不小于170时q<30，则舍弃剩余像素区域，若条件(a)和(b)均不满足，则从最右侧或最下方向左侧或上方延伸分割出一个边长为L的正方形子图；w、h和L的单位均为像素。

3.根据权利要求1所述的基于机器视觉的显示终端操作响应匹配检测装置，其特征在于，所述的搜索扩大尺寸值k设置为30。

4.根据权利要求1所述的基于机器视觉的显示终端操作响应匹配检测装置，其特征在于，所述的检测判断模块中的密度阈值为0.47。