CN106936964A - 一种基于霍夫变换模板匹配的手机屏幕角点检测方法 - Google Patents

Abstract

一种基于霍夫变换模板匹配的手机屏幕角点检测的方法，包括：1)利用图像的形态学变换对手机屏幕区域进行预处理，消除噪声、摩尔纹等干扰信号；2)对步骤1)中所得图片缩小到一定的尺度，通过边缘检测算法找出图片中存在的边界，利用霍夫变换对边界进行投票，得到图片中存在的直线段，从直线段集合中选择最合适的四条线段，使得四条线段所在的直线能够围成一个四边形的屏幕区域；3)对步骤2)中所得的四边形区域，利用该四边形的四个夹角自适应地产生角点模板，用该模板在四边形的四个顶点附近区域内进一步精确定位，并得到最终的屏幕区域检测结果。

Description

一种基于霍夫变换模板匹配的手机屏幕角点检测方法

技术领域

本发明属于目标检测与识别领域，涉及从图像中检测特定目标，尤其是提取手机屏幕的方法。

背景技术

角点没有明确的数学定义，但人们普遍认为角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点。这些点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使其信息的含量很高，有效地提高了计算的速度，有利于图像的可靠匹配，使得实时处理成为可能。角点在三维场景重建、运动估计、目标跟踪、目标识别、图像配准与匹配等计算机视觉领域起着非常重要的作用。

在手机屏幕不良品的检测的整个流程中，相机拍摄手机屏幕是第一步，但是需要把手机屏幕完整地提取出来，从而才能够进一步地进行检测。现有的技术一是人工提取，人工提取耗时耗人力，效果还不好。二是控制相机，直接只对着屏幕进行拍摄，这对相机的技术要求非常高，容易错拍。三是现有的技术效果不好，准确率不高。

角点作为图像上的特征点包含有很重要的信息，对于图像图形的理解和分析具有很重要的作用。手机屏幕是长方形，在其上运用角点检测，具有快速性、准确性、鲁棒性等优点，能够实时进行，减轻了人力财力，简化了后续手机屏幕检测的操作，在手机屏幕检测中是非常重要的预处理步骤。

现有的角点检测技术多种多样，但是应用于手机屏幕检测的少之又少，我们开启了屏幕角点检测的先河。并且我们的方法适用于各类屏幕材质的手机屏幕的检测，屏幕材质包括但不限于如下几类：TFT、TFD、UFB、STN和OLED。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于霍夫变换模板匹配的手机屏幕角点检测方法。

为实现上述目的，本发明所述的基于霍夫变换模板匹配的手机屏幕角点检测方法包括如下步骤：

1)形态学预处理；

采集图片数据，对图片数据进行图像形态学预处理。

2)确定屏幕区域范围；

将步骤1)中得到的图像缩放到合适的尺度，通过边缘检测、霍夫变换获得图片中的线段集合线段集合中任意一条线段L的两个端点分别为L₁和L₂，L_1x和L_1y则分别表示端点L₁的x坐标和y坐标；L^top，L^left，L^right，L^bottom表示四条边缘线段，T₁和T₂分别表示设定的长和宽的阈值；当线段L满足公式(1)时，所选的线段即为最合适的屏幕区域边界或者边界的一部分；根据公式(1)，从中选取四条线段，用于确定屏幕区域的范围。

3)自动生成夹角模板，进行角点匹配；

根据步骤2)中确定的四边形区域，自动生成手机屏幕四个夹角的模板，在四边形顶点附近进行模板匹配，进一步确定手机屏幕角点的位置，并将四个角点围成的四边形区域作为手机屏幕区域的检测结果。

步骤1)所述的形态学预处理方法为，对图片进行形态学的腐蚀、膨胀处理以消除图片中的随机噪声以及手机屏幕区域内的摩尔纹等干扰信号，对消除干扰信号的图片使用大津算法进行自适应的阈值分割，对分割结果求解图片中的所有连通区域，根据每个连通区域的面积大小、在图片中所在的位置等因素建立该连通区域属于手机屏幕区域的概率模型，选取概率最高的连通域作为初步确定的手机屏幕区域。

步骤2)所述的确定屏幕区域范围的方法为，将初步确定的手机屏幕区域二值化，随后进行边缘检测，对边缘检测结果进行霍夫变换，得到所有包含在图片内的线段的集合，根据公式(1)从线段集合中选取最合适的四条边作为手机屏幕区域的边界或边界的一部分，以其中任意两条线段延长线的交点作为手机屏幕区域角点的粗糙定位结果。

步骤3)所述的自动生成夹角模板，进行角点匹配的方法为，对经过粗糙定位的四边形手机屏幕区域，以该四边形四个内角的大小构建角点的二值模板，该模板的大小为64*64，模板数目为4个。对经过粗糙定位的四边形手机屏幕区域，分别以该区域的四个顶点为中心，选取100*100的区域进行模板匹配，每个区域分别对应选用手机屏幕四个夹角的二值模板。模板匹配的过程是在较小的图像区域内进行的，从而能够达到很快的匹配速度，与手机屏幕区域的四个角点吻合度更高，达到更精确的匹配效果。将模板匹配的结果作为最终的精确定位结果，并将由四个角点所围成的四边形区域确定为手机屏幕区域的最终检测结果。

本发明的有益效果如下：

本发明是一种基于霍夫变换模板匹配的手机屏幕角点检测方法，它基于霍夫变换，直接使用二维图像作为输入，可以快速确定手机屏幕的大致位置，快速而且方便后续生成二值模板。选用的二值模板是自动生成的，对各种方向摆放的手机屏幕具有高度的自适应性，此过程完全不需要人工干涉。自适应的模板在进行模板匹配的过程中，与手机屏幕区域的四个角点吻合度更高，能达到更精确的匹配效果，避免人为视觉产生的不确定性。

与传统方法相比，本发明通过霍夫变换和模板匹配，避免了人为视觉产生的不确定性，减轻了人力、财力，同时具有快速性、准确性以及高度的鲁棒性的优点，对于各种角度，各种方向摆放的手机屏幕具有高度的自适应性，从粗到精的角点检测定位过程，在提高检测速度、精确定位的同时降低了误检率。适用于各类屏幕材质的手机屏幕的检测，屏幕材质包括但不限于如下几类：TFT、TFD、UFB、STN和OLED。

附图说明

图1是本发明的方法流程图；

图2是本发明所述二值模板的示意图；

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清晰、完整的解释和描述。

本发明提出了一种基于霍夫变换模板匹配的手机屏幕角点检测方法，该方法在已经拍摄的手机屏幕图片上确定屏幕的真正位置。图1是本发明方法的流程图。如图1所示，本发明方法包括如下步骤：

步骤1，本发明使用霍夫变换，根据手机屏幕图片的性质，需要将图片进行形态学处理。对图片进行适当的腐蚀之后，以同样的因子将图片膨胀，用以消除图片中的随机噪声以及手机屏幕区域内的摩尔纹等干扰信号。对消除干扰信号的图片进行适当比例的缩小处理，得到小尺度的图片。对小尺度的图片使用大津法进行自适应的阈值分割，对分割结果求解图片中的所有连通区域，根据每个连通区域的面积大小以及在图片中的所在位置等因素建立该连通区域属于手机屏幕区域的概率模型，选取概率最高的连通域作为初步确定的手机屏幕区域。

步骤2，对初步确定的手机屏幕区域进行二值化处理，将得到的二值图进行边缘检测。对边缘检测的结果进行霍夫变换，获得图片中的线段集合线段集合中任意一条线段L的两个端点分别为L₁和L₂，L_1x和L_1y则分别表示端点L₁的x坐标和y坐标；L^top，L^left，L^right，L^bottom表示四条边缘线段，T₁和T₂分别表示设定的长和宽的阈值；当线段L满足公式(1)时，所选的线段即为最合适的屏幕区域边界或者边界的一部分；

根据公式(1)从中选取四条线段确定屏幕区域的范围。两两选取相邻的两条线段作为一组，根据数学公式计算出每组线段延长线的交点，并且将这四个交点作为手机屏幕区域角点检测的初步定位结果。

步骤3，将步骤2中得到的四个角点相邻两点两两相连，可以得到一个四边形手机屏幕区域，以该四边形四个内角的大小以及角点的位置构建角点的二值模板。其中模板的构建为，以角点为中心构造大小为64*64的模板，模板数量为4个。以步骤2中得到的四个角点为中心，选取100*100的区域进行模板匹配。具体过程为，先对选取的四个100*100区域分别使用大津法进行阈值分割，对处理后的图再次进行二值化，以同样大小的因子进行腐蚀和膨胀处理，得到易于匹配的二值图。每个区域分别选用之前得到的二值模板从区域的左上角以一定的步长使用扫描的方式进行精确匹配，同时又因为模板匹配是在特定的图像区域而不是全图内进行的，从而能够达到足够快的匹配速度。

Claims (4)

1.一种基于霍夫变换模板匹配的手机屏幕角点检测的方法，其特征是包括如下步骤：

1)形态学预处理；

采集图片数据，对图片数据进行图像形态学预处理。

2)确定屏幕区域范围；

将步骤1)中得到的图像缩放到合适的尺度，通过边缘检测、霍夫变换获得图片中的线段集合线段集合中任意一条线段L的两个端点分别为L₁和L₂，L_1x和L_1y则分别表示端点L₁的x坐标和y坐标；L^top，L^left，L^right，L^bottom表示四条边缘线段，T₁和T₂分别表示设定的长和宽的阈值；当线段L满足公式(1)时，所选的线段即为最合适的屏幕区域边界或者边界的一部分；根据公式(1)，从中选取四条线段，用于确定屏幕区域的范围。

3)自动生成夹角模板，进行角点匹配；

根据步骤2)中确定的四边形区域，自动生成手机屏幕四个夹角的模板，在四边形顶点附近进行模板匹配，进一步确定手机屏幕角点的位置，并将四个角点围成的四边形区域作为手机屏幕区域的检测结果。

2.根据权利要求1所述的一种基于霍夫变换模板匹配的手机屏幕角点检测的方法，其特征在于：步骤1)所述的形态学预处理具体是：将图片进行形态学的腐蚀、膨胀处理以消除图片中的随机噪声以及手机屏幕区域内的摩尔纹等干扰信号，对消除干扰信号的图片使用大津算法进行自适应的阈值分割，对分割结果求解图片中的所有连通区域，根据每个连通区域的面积大小、在图片中所在的位置等因素建立该连通区域属于手机屏幕区域的概率模型，选取概率最高的连通域作为初步确定的手机屏幕区域。

3.根据权利要求1所述的一种基于霍夫变换模板匹配的手机屏幕角点检测的方法，其特征在于：步骤2)所述的确定屏幕区域范围具体是：将初步确定的手机屏幕区域二值化，随后进行边缘检测，对边缘检测结果进行霍夫变换，得到所有包含在图片内的线段的集合，根据公式(1)从线段集合中选取最合适的四条边作为手机屏幕区域的边界或边界的一部分，以其中任意两条线段延长线的交点作为手机屏幕区域角点的粗糙定位结果。

4.根据权利要求1所述的一种基于霍夫变换模板匹配的手机屏幕角点检测的方法，其特征在于：步骤3)所述的自动生成模板，进行角点匹配具体是：在上述经过粗糙定位得到的四边形手机屏幕区域内，以该四边形四个内角的值构建角点的二值模板，该模板的大小为64*64，模板数目为4个；对经过粗糙定位的四边形手机屏幕区域，分别以该区域的四个顶点为中心，选取100*100的区域进行模板匹配，每个区域分别对应选用上述生成的二值模板；模板匹配的过程是在较小的图像区域内进行的，从而能够达到很快的匹配速度；选用的二值模板是自动生成的，对各种方向摆放的手机屏幕具有高度的自适应性，此过程完全不需要人工干涉；自适应的模板在进行模板匹配的过程中，与手机屏幕区域的四个角点吻合度更高，能达到更精确的匹配效果；经过上述的一系列由粗到精的角点定位过程，将模板匹配的结果作为最终的精确定位结果，并将由四个角点所围成的四边形区域确定为手机屏幕区域的最终检测结果。