CN106936964B - 一种基于霍夫变换模板匹配的手机屏幕角点检测方法 - Google Patents
一种基于霍夫变换模板匹配的手机屏幕角点检测方法 Download PDFInfo
- Publication number
- CN106936964B CN106936964B CN201611152386.3A CN201611152386A CN106936964B CN 106936964 B CN106936964 B CN 106936964B CN 201611152386 A CN201611152386 A CN 201611152386A CN 106936964 B CN106936964 B CN 106936964B
- Authority
- CN
- China
- Prior art keywords
- mobile phone
- phone screen
- template
- region
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/24—Arrangements for testing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于霍夫变换模板匹配的手机屏幕角点检测的方法，包括：1)利用图像的形态学变换对手机屏幕区域进行预处理，消除噪声、摩尔纹等干扰信号；2)对步骤1)中所得图片缩小到一定的尺度，通过边缘检测算法找出图片中存在的边界，利用霍夫变换对边界进行投票，得到图片中存在的直线段，从直线段集合中选择最合适的四条线段，使得四条线段所在的直线能够围成一个四边形的屏幕区域；3)对步骤2)中所得的四边形区域，利用该四边形的四个夹角自适应地产生角点模板，用该模板在四边形的四个顶点附近区域内进一步精确定位，并得到最终的屏幕区域检测结果。
Description
技术领域
本发明属于目标检测与识别领域，涉及从图像中检测特定目标，尤其是提取手机屏幕的方法。
背景技术
角点没有明确的数学定义，但人们普遍认为角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点。这些点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使其信息的含量很高，有效地提高了计算的速度，有利于图像的可靠匹配，使得实时处理成为可能。角点在三维场景重建、运动估计、目标跟踪、目标识别、图像配准与匹配等计算机视觉领域起着非常重要的作用。
在手机屏幕不良品的检测的整个流程中，相机拍摄手机屏幕是第一步，但是需要把手机屏幕完整地提取出来，从而才能够进一步地进行检测。现有的技术一是人工提取，人工提取耗时耗人力，效果还不好。二是控制相机，直接只对着屏幕进行拍摄，这对相机的技术要求非常高，容易错拍。三是现有的技术效果不好，准确率不高。
角点作为图像上的特征点包含有很重要的信息，对于图像图形的理解和分析具有很重要的作用。手机屏幕是长方形，在其上运用角点检测，具有快速性、准确性、鲁棒性等优点，能够实时进行，减轻了人力财力，简化了后续手机屏幕检测的操作，在手机屏幕检测中是非常重要的预处理步骤。
现有的角点检测技术多种多样，但是应用于手机屏幕检测的少之又少，我们开启了屏幕角点检测的先河。并且我们的方法适用于各类屏幕材质的手机屏幕的检测，屏幕材质包括但不限于如下几类：TFT、TFD、UFB、STN和OLED。
发明内容
本发明要克服现有技术的上述缺点，提供一种基于霍夫变换模板匹配的手机屏幕角点检测方法。
为实现上述目的，本发明所述的基于霍夫变换模板匹配的手机屏幕角点检测方法包括如下步骤：
1)形态学预处理；
采集图片数据，对图片数据进行图像形态学预处理。
2)确定屏幕区域范围；
将步骤1)中得到的图像缩放到合适的尺度，通过边缘检测、霍夫变换获得图片中的线段集合线段集合中任意一条线段L的两个端点分别为L1和L2，L1x和L1y则分别表示端点L1的x坐标和y坐标；Ltop，Lleft，Lright，Lbottom表示四条边缘线段，T1和T2分别表示设定的长和宽的阈值；当线段L满足公式(1)时，所选的线段即为最合适的屏幕区域边界或者边界的一部分；根据公式(1)，从中选取四条线段，用于确定屏幕区域的范围。
3)自动生成夹角模板，进行角点匹配；
根据步骤2)中确定的四边形区域，自动生成手机屏幕四个夹角的模板，在四边形顶点附近进行模板匹配，进一步确定手机屏幕角点的位置，并将四个角点围成的四边形区域作为手机屏幕区域的检测结果。
步骤1)所述的形态学预处理方法为，对图片进行形态学的腐蚀、膨胀处理以消除图片中的随机噪声以及手机屏幕区域内的摩尔纹等干扰信号，对消除干扰信号的图片使用大津算法进行自适应的阈值分割，对分割结果求解图片中的所有连通区域，根据每个连通区域的面积大小、在图片中所在的位置等因素建立该连通区域属于手机屏幕区域的概率模型，选取概率最高的连通域作为初步确定的手机屏幕区域。
步骤2)所述的确定屏幕区域范围的方法为，将初步确定的手机屏幕区域二值化，随后进行边缘检测，对边缘检测结果进行霍夫变换，得到所有包含在图片内的线段的集合，根据公式(1)从线段集合中选取最合适的四条边作为手机屏幕区域的边界或边界的一部分，以其中任意两条线段延长线的交点作为手机屏幕区域角点的粗糙定位结果。
步骤3)所述的自动生成夹角模板，进行角点匹配的方法为，对经过粗糙定位的四边形手机屏幕区域，以该四边形四个内角的大小构建角点的二值模板，该模板的大小为64*64，模板数目为4个。对经过粗糙定位的四边形手机屏幕区域，分别以该区域的四个顶点为中心，选取100*100的区域进行模板匹配，每个区域分别对应选用手机屏幕四个夹角的二值模板。模板匹配的过程是在较小的图像区域内进行的，从而能够达到很快的匹配速度，与手机屏幕区域的四个角点吻合度更高，达到更精确的匹配效果。将模板匹配的结果作为最终的精确定位结果，并将由四个角点所围成的四边形区域确定为手机屏幕区域的最终检测结果。
本发明的有益效果如下：
本发明是一种基于霍夫变换模板匹配的手机屏幕角点检测方法，它基于霍夫变换，直接使用二维图像作为输入，可以快速确定手机屏幕的大致位置，快速而且方便后续生成二值模板。选用的二值模板是自动生成的，对各种方向摆放的手机屏幕具有高度的自适应性，此过程完全不需要人工干涉。自适应的模板在进行模板匹配的过程中，与手机屏幕区域的四个角点吻合度更高，能达到更精确的匹配效果，避免人为视觉产生的不确定性。
与传统方法相比，本发明通过霍夫变换和模板匹配，避免了人为视觉产生的不确定性，减轻了人力、财力，同时具有快速性、准确性以及高度的鲁棒性的优点，对于各种角度，各种方向摆放的手机屏幕具有高度的自适应性，从粗到精的角点检测定位过程，在提高检测速度、精确定位的同时降低了误检率。适用于各类屏幕材质的手机屏幕的检测，屏幕材质包括但不限于如下几类：TFT、TFD、UFB、STN和OLED。
附图说明
图1是本发明的方法流程图；
图2是本发明所述二值模板的示意图；
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清晰、完整的解释和描述。
本发明提出了一种基于霍夫变换模板匹配的手机屏幕角点检测方法，该方法在已经拍摄的手机屏幕图片上确定屏幕的真正位置。图1是本发明方法的流程图。如图1所示，本发明方法包括如下步骤：
步骤1，本发明使用霍夫变换，根据手机屏幕图片的性质，需要将图片进行形态学处理。对图片进行适当的腐蚀之后，以同样的因子将图片膨胀，用以消除图片中的随机噪声以及手机屏幕区域内的摩尔纹等干扰信号。对消除干扰信号的图片进行适当比例的缩小处理，得到小尺度的图片。对小尺度的图片使用大津法进行自适应的阈值分割，对分割结果求解图片中的所有连通区域，根据每个连通区域的面积大小以及在图片中的所在位置等因素建立该连通区域属于手机屏幕区域的概率模型，选取概率最高的连通域作为初步确定的手机屏幕区域。
步骤2，对初步确定的手机屏幕区域进行二值化处理，将得到的二值图进行边缘检测。对边缘检测的结果进行霍夫变换，获得图片中的线段集合线段集合中任意一条线段L的两个端点分别为L1和L2，L1x和L1y则分别表示端点L1的x坐标和y坐标；Ltop，Lleft，Lright，Lbottom表示四条边缘线段，T1和T2分别表示设定的长和宽的阈值；当线段L满足公式(1)时，所选的线段即为最合适的屏幕区域边界或者边界的一部分；
根据公式(1)从中选取四条线段确定屏幕区域的范围。两两选取相邻的两条线段作为一组，根据数学公式计算出每组线段延长线的交点，并且将这四个交点作为手机屏幕区域角点检测的初步定位结果。
步骤3，将步骤2中得到的四个角点相邻两点两两相连，可以得到一个四边形手机屏幕区域，以该四边形四个内角的大小以及角点的位置构建角点的二值模板。其中模板的构建为，以角点为中心构造大小为64*64的模板，模板数量为4个。以步骤2中得到的四个角点为中心，选取100*100的区域进行模板匹配。具体过程为，先对选取的四个100*100区域分别使用大津法进行阈值分割，对处理后的图再次进行二值化，以同样大小的因子进行腐蚀和膨胀处理，得到易于匹配的二值图。每个区域分别选用之前得到的二值模板从区域的左上角以一定的步长使用扫描的方式进行精确匹配，同时又因为模板匹配是在特定的图像区域而不是全图内进行的，从而能够达到足够快的匹配速度。
Claims (3)
1.一种基于霍夫变换模板匹配的手机屏幕角点检测的方法，其特征是包括如下步骤：
1)形态学预处理：
采集图片数据，对图片数据进行图像形态学预处理；
2)确定屏幕区域范围：
将步骤1)中得到的图像缩放到合适的尺度，通过边缘检测、霍夫变换获得图片中的线段集合线段集合中任意一条线段L的两个端点分别为L1和L2，L1x和L1y则分别表示端点L1的x坐标和y坐标；Ltop，Lleft，Lright，Lbottom表示四条边缘线段，T1和T2分别表示设定的长和宽的阈值；当线段L满足公式(1)时，所选的线段即为最合适的屏幕区域边界或者边界的一部分；根据公式(1)，从中选取四条线段，用于确定屏幕区域的范围；
3)自动生成夹角模板，进行角点匹配；
根据步骤2)中确定的四边形区域，自动生成手机屏幕四个夹角的模板，在四边形顶点附近进行模板匹配，进一步确定手机屏幕角点的位置，并将四个角点围成的四边形区域作为手机屏幕区域的检测结果；
步骤1)所述的形态学预处理具体是：将图片进行形态学的腐蚀、膨胀处理以消除图片中的随机噪声以及手机屏幕区域内的摩尔纹等干扰信号，对消除干扰信号的图片使用大津算法进行自适应的阈值分割，对分割结果求解图片中的所有连通区域，根据每个连通区域的面积大小、在图片中所在的位置等因素建立该连通区域属于手机屏幕区域的概率模型，选取概率最高的连通域作为初步确定的手机屏幕区域。
2.根据权利要求1所述的一种基于霍夫变换模板匹配的手机屏幕角点检测的方法，其特征在于：步骤2)所述的确定屏幕区域范围具体是：将初步确定的手机屏幕区域二值化，随后进行边缘检测，对边缘检测结果进行霍夫变换，得到所有包含在图片内的线段的集合，根据公式(1)从线段集合中选取最合适的四条边作为手机屏幕区域的边界或边界的一部分，以其中任意两条线段延长线的交点作为手机屏幕区域角点的粗糙定位结果。
3.根据权利要求2所述的一种基于霍夫变换模板匹配的手机屏幕角点检测的方法，其特征在于：步骤3)所述的自动生成模板，进行角点匹配具体是：在上述经过粗糙定位得到的四边形手机屏幕区域内，以该四边形四个内角的值构建角点的二值模板，该模板的大小为64*64，模板数目为4个；对经过粗糙定位的四边形手机屏幕区域，分别以该区域的四个顶点为中心，选取100*100的区域进行模板匹配，每个区域分别对应选用上述生成的二值模板；模板匹配的过程是在较小的图像区域内进行的，从而能够达到很快的匹配速度；选用的二值模板是自动生成的，对各种方向摆放的手机屏幕具有高度的自适应性，此过程完全不需要人工干涉；自适应的模板在进行模板匹配的过程中，与手机屏幕区域的四个角点吻合度更高，能达到更精确的匹配效果；经过上述的一系列由粗到精的角点定位过程，将模板匹配的结果作为最终的精确定位结果，并将由四个角点所围成的四边形区域确定为手机屏幕区域的最终检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611152386.3A CN106936964B (zh) | 2016-12-14 | 2016-12-14 | 一种基于霍夫变换模板匹配的手机屏幕角点检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611152386.3A CN106936964B (zh) | 2016-12-14 | 2016-12-14 | 一种基于霍夫变换模板匹配的手机屏幕角点检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106936964A CN106936964A (zh) | 2017-07-07 |
| CN106936964B true CN106936964B (zh) | 2019-11-19 |
Family
ID=59444584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611152386.3A Active CN106936964B (zh) | 2016-12-14 | 2016-12-14 | 一种基于霍夫变换模板匹配的手机屏幕角点检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106936964B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108844462A (zh) * | 2018-06-05 | 2018-11-20 | 广州视源电子科技股份有限公司 | 一种尺寸检测方法、装置、设备和系统 |
| CN108921823B (zh) * | 2018-06-08 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN109214396A (zh) * | 2018-08-24 | 2019-01-15 | 国网安徽省电力有限公司阜阳供电公司 | 一种工业设备图像特征提取方法及设备 |
| CN109089160B (zh) * | 2018-09-19 | 2020-11-03 | 中国石油大学(华东) | 一种高校餐厅食品加工违规行为视频分析系统及方法 |
| CN110059735A (zh) | 2019-04-04 | 2019-07-26 | 东北大学 | 一种基于霍夫变换的可视化时序模式匹配方法 |
| CN110390306B (zh) * | 2019-07-25 | 2021-08-10 | 湖州宏威新能源汽车有限公司 | 直角车位的检测方法、车辆和计算机可读存储介质 |
| US11210551B2 (en) | 2019-07-29 | 2021-12-28 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Iterative multi-directional image search supporting large template matching |
| CN111144425B (zh) * | 2019-12-27 | 2024-02-23 | 五八有限公司 | 检测拍屏图片的方法、装置、电子设备及存储介质 |
| CN111563883B (zh) * | 2020-04-22 | 2023-05-05 | 惠州旭鑫智能技术有限公司 | 屏幕视觉定位方法、定位设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101593277A (zh) * | 2008-05-30 | 2009-12-02 | 电子科技大学 | 一种复杂彩色图像中文本区域自动定位方法及装置 |
| CN102236784A (zh) * | 2010-05-07 | 2011-11-09 | 株式会社理光 | 屏幕区域检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7171056B2 (en) * | 2003-02-22 | 2007-01-30 | Microsoft Corp. | System and method for converting whiteboard content into an electronic document |
-
2016
- 2016-12-14 CN CN201611152386.3A patent/CN106936964B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101593277A (zh) * | 2008-05-30 | 2009-12-02 | 电子科技大学 | 一种复杂彩色图像中文本区域自动定位方法及装置 |
| CN102236784A (zh) * | 2010-05-07 | 2011-11-09 | 株式会社理光 | 屏幕区域检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106936964A (zh) | 2017-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106936964B (zh) | 一种基于霍夫变换模板匹配的手机屏幕角点检测方法 | |
| CN107679535B (zh) | 一种基于模板匹配的指针式水表自动读数识别系统及方法 | |
| CN108052942B (zh) | 一种飞机飞行姿态的视觉图像识别方法 | |
| CN104751187A (zh) | 抄表图像自动识别方法 | |
| CN108121985A (zh) | 一种基于机器视觉的双指针仪表读数方法 | |
| CN103136525B (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
| CN107292869B (zh) | 基于各向异性高斯核和梯度搜索的图像斑点检测方法 | |
| CN105608708A (zh) | 基于分块平面拟合的图像二值化方法及装置 | |
| CN106340010B (zh) | 一种基于二阶轮廓差分的角点检测方法 | |
| CN111401449B (zh) | 一种基于机器视觉的图像匹配方法 | |
| TWI765442B (zh) | 瑕疵等級判定的方法及存儲介質 | |
| CN104318559A (zh) | 用于视频图像匹配的特征点快速检测方法 | |
| US20100002942A1 (en) | Target orientation | |
| CN104966300A (zh) | 轴承滚子图像检测系统及方法及图像检测装置 | |
| CN110119724A (zh) | 一种指静脉识别方法 | |
| CN105303566B (zh) | 一种基于目标轮廓裁剪的sar图像目标方位角估计方法 | |
| CN109724988A (zh) | 一种基于多模板匹配的pcb板缺陷定位方法 | |
| CN108319961A (zh) | 一种基于局部特征点的图像roi快速检测方法 | |
| CN109766850A (zh) | 基于特征融合的指纹图像匹配方法 | |
| CN106204564A (zh) | 一种激光光心提取方法 | |
| CN104156956B (zh) | 一种基于高斯小波一维峰值识别的多角度边缘检测方法 | |
| CN106372593A (zh) | 一种基于血管收敛的视盘区定位方法 | |
| KR101391667B1 (ko) | 크기 변화에 강건한 범주 물체 인식을 위한 모델 학습 및 인식 방법 | |
| CN109635798A (zh) | 一种信息提取方法及装置 | |
| CN112633327B (zh) | 分阶段金属表面缺陷检测方法、系统、介质、设备及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20181205 Address after: 516006 5th Floor, North 36 Chenjiang Avenue, Chenjiang Street, Zhongkai High-tech Zone, Huizhou City, Guangdong Province Applicant after: Huizhou Xu Xin Intelligent Technology Co., Ltd. Address before: 310014 No. 38 Zheda Road, Xihu District, Hangzhou City, Zhejiang Province Applicant before: Zhejiang University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |