CN111208148A - 一种挖孔屏漏光缺陷检测系统 - Google Patents

一种挖孔屏漏光缺陷检测系统 Download PDF

Info

Publication number
CN111208148A
CN111208148A CN202010106642.5A CN202010106642A CN111208148A CN 111208148 A CN111208148 A CN 111208148A CN 202010106642 A CN202010106642 A CN 202010106642A CN 111208148 A CN111208148 A CN 111208148A
Authority
CN
China
Prior art keywords
image
camera
local
detection
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010106642.5A
Other languages
English (en)
Inventor
路建伟
姚毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luster LightTech Co Ltd
Original Assignee
Luster LightTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luster LightTech Co Ltd filed Critical Luster LightTech Co Ltd
Priority to CN202010106642.5A priority Critical patent/CN111208148A/zh
Publication of CN111208148A publication Critical patent/CN111208148A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请提供一种挖孔屏漏光缺陷检测系统,所述系统针对待检测的圆孔特别增加局拍相机,所述局拍相机用于采集从不同角度待检测孔的图像,并根据多个局拍相机采集的图像进行深度学习生成检测模型,再利用局拍相机采集到的待检产品图像以及所述检测模型对待待检产品的图像进行分析,最终获得检测结果,从而,能够准确地识别出图像中挖孔处的真实缺陷。

Description

一种挖孔屏漏光缺陷检测系统
技术领域
本申请属于图像处理领域,特别涉及一种挖孔屏漏光缺陷检测系统。
背景技术
近年来,各电子设备厂家在屏显示技术上尝试很多突破和创新,其中,如何最大化屏占比被当作一个重要特性进行研发。屏占比为屏幕显示区与前面板面积的比值,由于前面板存在边框、按键、听筒和前置摄像头等非显示区,导致屏占比难以达到理论上的100%。为增大屏占比,各电子设备厂家提出不同办法,其中,挖孔设计,即在显示屏幕上钻出小孔,将前置摄像头等部件嵌入所述小孔内,从而提高屏占比,这种技术受到例如三星、华为、VIVO等各大知名手机厂家的青睐。
然而,显示屏上的挖孔设计可能会使电子产品在孔附近产生缺陷,例如,前置摄像头与手机显示屏贴合时可能出现偏移,在原本应该紧密接触的摄像头外圈与屏幕孔边缘形成缝隙,或摄像头元器件之间粘连时用到的了涂胶工艺,形成一个圆形的涂胶圈,在涂胶过程中可能也会因为工艺问题,导致涂胶不均匀,使得前置摄像头与所述小孔难以百分之百零缝隙嵌合,出现缝隙,小孔周围难以密实遮光,导致背光从这些缝隙中透上来,形成了孔漏光缺陷,即,孔漏光。孔漏光给后续质量检测环节带来很大的挑战,一方面是孔的尺寸比较小,孔内漏光不易察觉,另一方面是不同位置的漏光需要在不同角度才能够被检测到。图1示出一种手机屏幕结构示意图,如图1所示,待检测屏001的挖孔区002一般位于屏幕的边缘,例如位于屏幕的左上角;目前电子产品常见的屏幕为圆弧屏,即,从正面看,屏幕的四角具有圆弧角003,从侧面看,屏幕也具有一定的曲率,这就导致斜视时屏幕容易反光,而反光形成的光斑会为屏幕的质量检测带来干扰。
随着工业4.0的推进,液晶屏厂家逐渐用自动化检测设备,即自动光学检测(Automated Optical Inspection,AOI),代替人工用肉眼对屏幕质量进行检测,技术也逐渐成熟,但是,挖孔屏的点灯品质检测,对于AOI存在一定的困难。
传统检测设备主要包括相机组、光源、计算机、翻屏控制系统和运动控制系统等,其中,相机组作为光学核心器件,主要包括1个用于直视的主相机和4个斜视相机,通常,每个斜视相机的斜拍角度为45°,并且,拍摄范围均是全屏。图2示出传统AOI中一种相机组的示意图,如图2图所示,其中,在待检测屏001上方设置有用于直视拍图的主相机021,以及用于从四个方向拍摄手机屏的斜视相机022,斜视相机与法线角度一般是45°,其中,所述法线为主相机的光轴。
由于现有斜视相机的视场为全屏视场,导致圆孔区缺陷在所采集的图像中占比较小,并且,缺陷图像不清晰,难以被检测,图3a示出传统检测设备主相机拍摄的图像,图3b示出传统检测设备斜视相机拍摄的图像,如图3a和图3b所示,在两个图像中,挖孔区占比都很小,因此,在上述图像中,漏光缺陷难以发现,即便能拍到漏光缺陷,缺陷尺寸也很小,容易出现干扰。
另外,孔漏光缺陷在常规直视及斜视检测图像中都难以检测。例如,图4a示出无漏光缺陷但有涂胶圆圈反光的图像,图4b示出图4a的增强图,如图4a和图4b所示,所采集的图像中圆孔区边缘041与圆环区042之间具有亮目标,但是该亮目标不是漏光缺陷,而是因孔内的涂胶圆圈反光造成的亮圆弧,属于假缺陷。
发明内容
为解决挖孔屏漏光缺陷漏检、误检等问题,本申请提供一种挖孔屏漏光缺陷检测系统,所述检测系统包括载台1、主检相机2、斜拍相机组和局拍相机组,其中,主检相机2的光轴垂直于载台1,所述斜拍相机组包括至少两个斜拍相机3,所有所述斜拍相机3设置于载台1的同侧,所述局拍相机组包括至少两个局拍相机4,所述局拍相机均设置于载台1同侧,至少两个所述局拍相机4的光轴在所述载台上的投影重合,本申请提供的系统可以首先利用深度学习的方法生成检测模型,再利用所述检测模型来检测待检产品是否为合格品。
本申请的目的在于提供一种挖孔屏漏光缺陷检测系统,所述系统包括载台1、主检相机2、斜拍相机组和局拍相机组,其中,主检相机2的光轴垂直于载台1,所述斜拍相机组包括至少两个斜拍相机3,所有所述斜拍相机3设置于载台1的同侧,所述局拍相机组包括至少两个局拍相机4,所述局拍相机均设置于载台1同侧,至少两个所述局拍相机4的光轴在所述载台上的投影重合,所述系统用于执行以下程序:
获取待检测图像,所述待检测图像由所述主检相机2、斜拍相机组以及局拍相机组采集;
利用缺陷检测模型生成待检测图像的检测结果。
本申请提供的检测系统针对性地增加局拍相机组,使得所述系统能够采集待检测位置的局部图像,并根据预设的检测模型进行检测,检测效率高,结果稳定。
在一种可实现的方式中,所述斜拍相机3设置于所述载台1的各个边缘外侧,所述斜拍相机组从不同角度采集待检测产品全景图像,从而辅助主拍相机拍摄待检测产品的全景图像,辅助定位缺陷位置。
进一步地,每个所述斜拍相机3与所述载台之间的夹角为30°到60°,例如45°,从而使所采集到图像的形变可控。
在一种可实现的方式中,所述局拍相机组从不同角度采集待检测部位的局部图像,从而获得较为清晰的待检测部位的局部图像,便于对待检测部位的缺陷通过所述图像进行检测。
进一步地,所述局拍相机4与所述载台之间的夹角为30°到60°,例如45°,从而使所采集到图像的形变可控。
更进一步地,所述局拍相机4的分辨率为5M、9M或者12M。
在一种可实现的方式中,所述缺陷检测模型由包括以下步骤的方法生成:
获取模型图像;
在所述模型图像上标记预设标记,所述预设标记包括无缺陷、真缺陷和假缺陷;
根据所述模型图像以及所述预设标记建立缺陷检测模型。
本实例通过深度学习生成的检测模型,因此,待检测图像通过所述模型检测而获得的结果检测效率也高,可实现缺陷自动检测,降低误检。
进一步地,所述模型图像由所述主检相机2、斜拍相机组以及局拍相机组采集,以所述检测系统局拍相机采集到的图像作为学习材料,所用学习材料与待检测图像所用采集设备相同或者相似,采集环境也相同或者相似,使得所述检测系统提供的检测结果可靠性高。
在一种可实现的方式中,在获取模型图像之后,并且在所述模型图像上标记预设标记图像之前包括:生成变换图像,所述变换图像对所述待检测部位图像进行图像变换而得,所述图像变换包括旋转、反转、高斯模糊、亮度调整、对比度调整、拉伸和剪切。
对模型图像进行变换后再次作为模型图像进行深度学习,可以增加检测模型对真缺陷以及假缺陷的识别能力,提高检测准确性。
与现有技术相比,本申请提供的挖孔屏漏光缺陷检测系统针对待检测的圆孔特别增加局拍相机,所述局拍相机用于采集从不同角度待检测孔的图像,并根据多个局拍相机采集的图像进行深度学习生成检测模型,再利用局拍相机采集到的待检产品图像以及所述检测模型对待待检产品的图像进行分析,最终获得检测结果,从而,能够准确地识别出图像中挖孔处的真实缺陷。
附图说明
图1示出一种手机屏幕结构示意图;
图2示出传统AOI中一种相机组的示意图;
图3a示出传统检测设备主相机拍摄的图像;
图3b示出传统检测设备斜视相机拍摄的图像;
图4a示出无漏光缺陷但有涂胶圆圈反光的图像;
图4b示出图4a的增强图;
图5a示出存在反光干扰NG(不良品)显示屏图像;
图5b示出存在圆弧干扰NG显示屏图像;
图5c示出存在反光干扰以及圆弧干扰OK(合格品)显示屏图像;
图5d示出存在圆弧干扰OK显示屏图像;
图6示出本申请提供的检测影像边界缺陷系统的结构示意图;
图7a示出查找圆孔时需考虑平移范围;
图7b示出查找圆孔时需考虑旋转角度;
图7c示出查找圆孔时需要考虑拉伸变形;
图8示出本实例所用深度学习网络模型示意图。
附图标记说明
001-待检测屏,002-挖孔区,003-圆弧角,021-主相机,022-斜视相机,041-圆孔区边缘,042-圆环区,1-载台,2-主检相机,3-斜拍相机,4-局拍相机。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致方法的例子。
下面通过具体的实施例对本申请提供的挖孔屏漏光缺陷检测系统进行详细阐述。
首先,对本方案的使用场景作简要介绍。
挖孔显示屏在安装于电子设备后,有一项检测内容是所挖的孔与安装于孔中的器件是否对正,如未对正,则会在孔周围存在漏光,可以通过检测挖孔处的图像是否有漏光光斑来进行检测。
图5a示出存在反光干扰NG(不良品)显示屏图像,其中,标示为051处为缺陷处,标示为052处为反光干扰处,标示为053处为圆弧干扰处,图5b示出存在圆弧干扰NG显示屏图像,标示为051处为缺陷处,标示为053处为圆弧干扰处,图5c示出存在反光干扰以及圆弧干扰OK(合格品)显示屏图像,标示为052处为反光干扰处,标示为053处为圆弧干扰处,图5d示出存在圆弧干扰OK显示屏图像,标示为053处为圆弧干扰处,如图5a至图5d所示,真实缺陷主要包括两种,一种位于涂胶圆圈上,如图5a的所示,另一种位于涂胶圈内,如图5b所示;由于挖孔位置一般位于显示屏边缘,因此,斜拍相机采集到的图像有时会因为显示屏弧边反光导致反光光斑,反光光斑时有时无、时大时小,如图5a至图5d中052所示。在挖孔区内部,也可能存在因涂胶而形成的圆弧形反光光斑,该光斑为干扰光斑,并非缺陷光斑,该反光光斑一般情况下对比度很高,但有时对比度也比较低,而且可能出现断裂,形态变化比较大,另外,该反光光斑距离所挖圆孔外圈的距离也会变化,如图5a至图5d中053所示。由图5a至图5d可知,挖孔处存在的干扰与真实缺陷在图像特征上具有较大的相似性,并且,具有较大不确定性,如果采用传统图像处理方法自动检测孔漏光缺陷,例如,图像滤波、图像分割、边缘提取等,所采集的图像中的反光或者圆弧干扰会在对产品进行自动检测过程中产生误检。
在以下实例中,以检测LCD手机显示屏挖孔区是否存在漏光缺陷为例说明本申请的方案。
图6示出本申请提供的检测影像边界缺陷系统的结构示意图,如图6所示,所述挖孔屏漏光缺陷检测系统,所述系统包括载台1、主检相机2、斜拍相机组和局拍相机组。
如图6所示,所述主检相机2的光轴垂直于载台1,所述主检相机2的镜头与载台上表面之间的距离可以根据需要而随时调节,用于采集待检测显示屏的整体主视图像。待检测显示屏的影像在所采集图像的中央,基本无形变。
在本实例中,所述主检相机用于拍摄直视视场图像,其分辨率在29M及以上,如29M、60M、71M等。
如图6所示,所述斜拍相机组包括至少两个斜拍相机3,所有所述斜拍相机3设置于载台1的同侧,使得斜拍相机组所采集的图像与主检相机2所采集的图像为同一块显示屏同一面的影像。
进一步地,所述斜拍相机3设置于所述载台1的各个边缘外侧,在本实例中,所核斜拍相机设置有4个,分别设置于显示屏各边缘外侧,使得所述斜拍相机组从不同角度采集待检测产品全景图像,以便从不同角度展现待检测显示屏的全貌,辅助主拍相机拍摄待检测产品的全景图像,从而精准辨识并且定位缺陷位置。
在本实例中,每个所述斜拍相机3与所述载台之间的夹角可根据实际情况调整,一般为30°到60°,例如45°,从而使所采集到图像的形变可控。该角度的调节可通过调节机械机构来实现。
在本实例中,所述斜拍相机3的分辨率可以为5M、9M或者12M。
在本实例中,所述斜拍相机的视场为待检测显示屏整体。
如图6所示,所述局拍相机组包括至少两个局拍相机4,所述局拍相机4均设置于载台1同侧,至少两个所述局拍相机4的光轴在所述载台上的投影重合,并且,所述局拍相机4的光轴经过所挖圆孔的中心。
在本实例中,如图6所示,所述局拍相机组包括两个局拍相机4,两个局拍相机相对设置,即,两个局拍相机4的光轴在载台上的投影重合,并且,每个局拍相机的光轴均经过所挖圆孔的中心,相对设置的两个局拍相机所采集到的图像能够互相补偿对方局拍相机所采集图像的缺失,从而利用各局拍相机所采集的图像获得待检测区域的完整图像。
可以理解地,所述局拍相机组还可以包括更多的局拍相机,例如,三个、四个或者更多个,多个局拍相机以均匀分布于挖孔区周围为优选,从而能够最大程度地相互补偿其余局拍相机所采集图像的缺失。例如,三个局拍相机可以分布于同圆周上,并且,相邻两局拍相机之间的夹角为120°;四个局拍相机可以分布于正方形的四边上,两两相对,光轴经过所挖圆孔的中心。同理可知其它数量局拍相机的分布方式。
在本实例中,所述局拍相机组从不同角度采集待检测部位的局部图像,从而获得较为清晰的待检测部位的局部图像,便于对待检测部位的缺陷通过所述图像进行检测。
进一步地,所述局拍相机4与所述载台之间的夹角可根据实际需求而具体设定,一般为30°到60°,例如为45°,从而使所采集到图像的形变可控。
更进一步地,所述局拍相机4的分辨率可以为5M、9M或者12M。由于局部相机仅用于拍摄待检测的挖孔区附近,其拍摄范围比较小,约4厘米×4厘米大小,按照视场短边4厘米计算,用5M相机拍摄,每个像素约19微米,其精度已经可以满足检测分析的需求,如果需再进一步提高精度,可采用9M或12M,此时每个像素代表约16微米或13微米。综合检测精度、采集数据量大小及成本等方面,常见的5M到12M相机可以满足要求。
在本实例中,所述局拍相机的视场为待检测显示屏中局部图像,即显示屏上的待检测区域,例如,待检测挖孔区域。本申请提供的检测影像边界缺陷系统在原有光学系统基础上,针对待检测区域特别增加局相机组对圆孔区局部进行拍摄,由于局拍相机组针对性用于待检测区域,即圆孔的拍摄,视场小,图像单位分辨率高,从而解决主检相机难以拍到挖孔区的缺陷,而普通斜拍相机组由于视场太大难以清晰显示挖孔区缺陷等问题,更加有利于孔漏光缺陷的检出。
在检测现场,一般同时架设多套检测设备,例如,架设M套,每套检测设备包含N个检测工位,本申请提供的检测影像边界缺陷系统即为一个工位,则,在检测现场会存在至少2MN个局拍相机,2MN个局拍相机所采集图像的一致性受到物距、拍摄角度、拍摄位置等多维因素影响,并且,由于局拍相机的视场并非显示屏全屏,而仅是待检测的挖孔区域,因此,2MN个局拍相机所采集图像的一致性难以保证,因此,需要一种对图像一致性包容较大的方法来检测由这些局拍相机所采集到的待检测图像。
本申请人发现,传统的基于图像分析的检测方法在以局拍相机所采集的图像为基础进行缺陷检测缺陷时存在较大的复杂度,需要在图像处理的各步骤中分别引入比较多的检测参数,例如,在通过图像预处理定位圆弧区、边缘提取、图像分割、缺陷识别、干扰去除等步骤中。因此,本申请提出一种无需引用过多检测参数,并且,对图像一致包容度较大的通用检测算法,即,首先通过匹配法对待检测挖孔区进行定位,然后截取挖孔区图像,再利用预设检测模型进行缺陷检测,最终获得检测结果。
本申请提供的检测影像边界缺陷系统检测影像的方法包括以下步骤S101和至步骤S102:
S101,获取待检测图像,所述待检测图像由所述主检相机2、斜拍相机组以及局拍相机组采集。
在本实例中,所述待检测图像可以为具有挖孔的显示屏的图像,该图像可由主检相机、斜拍相机组或者局拍相机组采集,优选地,所述待检测图像由局拍相机组采集,并且,由各局拍相机所采集到的图像进行融合而得。
S102,根据所述检测中心,利用缺陷检测模型生成待检测图像的检测结果。
本实例中,可将步骤S101获取的待检测图像输入缺陷检测模型中,所述缺陷检测模型自动识别所述待检测图像中的特征并且自动输出待检测图像中是否存在漏光缺陷。
所述缺陷检测模型可以为预设模型,例如,可以为通过深度学习而建立的缺陷检测模型,其输出结果可以为有无缺陷,还可以为是OK品或者NG品。
在本实例中,所述缺陷检测模型可以由包括以下步骤的方法训练生成:
S131,获取模型图像。
在本实例中,所述模型图像训练模型所使用的图像,所述模型图像由所述主检相机2、斜拍相机组以及局拍相机组采集,以所述检测系统局拍相机采集到的图像作为学习材料,所用学习材料与待检测图像所用采集设备相同或者相似,采集环境也相同或者相似,使得所述检测系统提供的检测结果可靠性高。
由于模型图像上可能存在其它干扰特征,因此,本申请在进行模型训练前可以在模型图像上选取目标图像,并以目标图像为基础进行训练,而对于模型图像中其余部分的特征不做提取或者训练。
在本实例中,所述目标图像为待检测图像中待检测区域对应的局部图像,例如,显示屏挖孔区域的图像。
具体地,在模型图像上选取目标图像包括以下子步骤S1311至子步骤S1313:
S1311,在待检测图像上选定目标区域中心。
首先,对于目标图像进行定位,以便对不同局拍相机采集到的一致性较差的局部图像进行准确裁剪,获得目标图像。
在本实例中,对于挖孔区影像的定位,可以圆孔的中心作为定位中心再结合现有技术的定位方法进行定位。
S1312,根据所述目标区域中心获取目标区域。
进一步地,在所述待检测图像上对可能的目标区域进行定位。本步骤中所述定位是指对可能的目标区域的中心位置进行定位,而不是地目标区域的边界进行定位。
本实例对定位的方法不做特别限定,可以采用现有技术中任意一种定位图像中影像的方法,如几何中心法等。
S1313,根据所述目标区域获取目标图像。
本步骤中所述目标图像是指沿目标图像的边界进行抠取,而获得具有预设形态的图像。例如,本实例中,目标图像为显示屏上圆孔区的图像,因此,所获得的目标图像为圆形图像或者椭圆形图像。
本申请中,可以采用模板匹配法根据所述目标区域获取目标图像,所述模板匹配法可以包括基于点的匹配、基于灰度的匹配、基于形状的匹配或者基于相关性的匹配等。
由于本实例中的检测对象为圆形孔,其形状特征明显,呈椭圆形,并且存在一定的形变,椭圆的边缘比较锋利,因此,本申请选择基于形状匹配的方法来确定目标图像。
具体地,步骤S1313可以包括步骤S13131至S13132:
S13131,获取候选目标图像,所述候选目标图像为目标区域对应的图像。
S13132,确定目标图像,所述目标图像为与模板图像匹配的候选目标图像。
所述模板图像为一组具有不同典型特征的目标图像,所述模板图像可以根据不同场景或者不同待检测图像来确定。例如,可以选取满足预设条件的候选目标图像作为模板图像,在本实例中,所述模板图像可以为一个,也可以为多个。
在本实例中,所述匹配为所述候选目标图像与模板图像之间满足预设关系,图7a示出查找圆孔时需考虑平移范围,图7b示出查找圆孔时需考虑旋转角度,图7c示出查找圆孔时需要考虑拉伸变形,图7a至图7c中,实线椭圆为模板图像,虚线椭圆为候选目标图像,如图7a至图7c所示,所述预设关系包括基于模板图像,候选目标图像的平移范围、候选目标图像旋转角度以及拉伸缩放比例等满足预设阈值范围。
S132,在所述模型图像上标记预设标记,所述预设标记包括无缺陷、真缺陷和假缺陷。
在本实例中,在模型训练过程中,可以根据目标图像中是否存在缺陷对模型图像进行标记,从而对模型进行训练。
S133,根据所述模型图像以及所述预设标记建立缺陷检测模型。
本实例通过深度学习生成的检测模型,因此,待检测图像通过所述模型检测而获得的结果检测效率也高,可实现缺陷自动检测,降低误检。
本实例中,所述模型的输出结果可以为有无缺陷,还可以为是OK品或者NG品。
具体来讲,本申请可以采用CNN(Convolutional Neural Networks)卷积网络结构,图8示出本实例所用深度学习网络模型示意图,如图8所示,该网络模型由4层卷积层Convol1、Convol2、Convol3、Convol4;2层池化层Pool1、Pool2;2层全连接层FC6、FC7和其他辅助层组成,采用Caffe框架基础上封装实现。
在本实例中,在获取模型图像之后,具体地,在确定目标图像之后,在并且在所述模型图像上标记预设标记图像之前包括:生成变换图像,所述变换图像对所述待检测部位图像进行图像变换而得,所述图像变换包括旋转、反转、高斯模糊、亮度调整、对比度调整、拉伸和剪切,使得目标图像变换出多种形态的图像,作为学习材料,用于训练、验证和测试,以增加所述缺陷检测模型的可靠性和适应性。
对模型图像进行变换后再次作为模型图像进行深度学习,可以增加检测模型对真缺陷以及假缺陷的识别能力,提高检测准确性。
本申请提供的检测系统针对性地增加局拍相机组,使得所述系统能够采集待检测位置的局部图像,结合图像匹配方法与深度学习方法,通过建立检测模型对局拍相机所采集到的图像进行检测,避免引入大量参数,便于模型的建立,检测结果准确度高,并且结果稳定。
以上结合具体实施方式和范例性实例对本申请进行了详细说明,不过这些说明并不能理解为对本申请的限制。本领域技术人员理解,在不偏离本申请精神和范围的情况下,可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进,这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

Claims (9)

1.一种挖孔屏漏光缺陷检测系统,其特征在于,所述系统包括载台(1)、主检相机(2)、斜拍相机组和局拍相机组,其中,主检相机(2)的光轴垂直于载台(1),所述斜拍相机组包括至少两个斜拍相机(3),所有所述斜拍相机(3)设置于载台(1)的同侧,所述局拍相机组包括至少两个局拍相机(4),所述局拍相机均设置于载台(1)同侧,至少两个所述局拍相机(4)的光轴在所述载台上的投影重合,所述系统用于执行以下程序:
获取待检测图像,所述待检测图像由所述主检相机(2)、斜拍相机组以及局拍相机组采集;
利用缺陷检测模型生成待检测图像的检测结果。
2.根据权利要求1所述的检测系统,其特征在于,所述斜拍相机(3)设置于所述载台(1)的各个边缘外侧。
3.根据权利要求1或2所述的检测系统,其特征在于,每个所述斜拍相机(3)与所述载台之间的夹角为30°到60°,例如45
4.根据权利要求1至3任一项所述的检测系统,其特征在于,所述局拍相机组从不同角度采集待检测部位的局部图像。
5.根据权利要求1至4任一项所述的检测系统,其特征在于,所述局拍相机(4)与所述载台之间的夹角为30°到60°,例如45
6.根据权利要求1至5任一项所述的检测系统,其特征在于,所述局拍相机(4)的分辨率为5M、9M或者12M。
7.根据权利要求1至6任一项所述的检测系统,其特征在于,所述缺陷检测模型由包括以下步骤的方法生成:
获取模型图像;
在所述模型图像上标记预设标记,所述预设标记包括无缺陷、真缺陷和假缺陷;
根据所述模型图像以及所述预设标记建立缺陷检测模型。
8.根据权利要求1至7任一项所述的检测系统,其特征在于,所述模型图像由所述主检相机(2)、斜拍相机组以及局拍相机组采集,以所述检测系统局拍相机采集到的图像作为学习材料,所用学习材料与待检测图像所用采集设备相同或者相似,采集环境也相同或者相似,使得所述检测系统提供的检测结果可靠性高。
9.根据权利要求1至8任一项所述的检测系统,其特征在于,在获取模型图像之后,并且在所述模型图像上标记预设标记图像之前包括:生成变换图像,所述变换图像对所述待检测部位图像进行图像变换而得,所述图像变换包括旋转、反转、高斯模糊、亮度调整、对比度调整、拉伸和剪切。
CN202010106642.5A 2020-02-21 2020-02-21 一种挖孔屏漏光缺陷检测系统 Withdrawn CN111208148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010106642.5A CN111208148A (zh) 2020-02-21 2020-02-21 一种挖孔屏漏光缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010106642.5A CN111208148A (zh) 2020-02-21 2020-02-21 一种挖孔屏漏光缺陷检测系统

Publications (1)

Publication Number Publication Date
CN111208148A true CN111208148A (zh) 2020-05-29

Family

ID=70788586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010106642.5A Withdrawn CN111208148A (zh) 2020-02-21 2020-02-21 一种挖孔屏漏光缺陷检测系统

Country Status (1)

Country Link
CN (1) CN111208148A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561904A (zh) * 2020-12-24 2021-03-26 凌云光技术股份有限公司 一种降低显示屏外观aoi缺陷误检率的方法及系统
CN112588607A (zh) * 2020-12-04 2021-04-02 广东工业大学 一种基于深度学习的多视角焊锡缺陷检测装置
CN113252565A (zh) * 2021-05-31 2021-08-13 山东省日照市人民医院 一种基于ai人工智能的肺癌循环肿瘤细胞检测装置
CN114689606A (zh) * 2020-12-31 2022-07-01 深圳中科飞测科技股份有限公司 一种屏幕挖孔方法、挖孔屏幕缺陷检测方法和系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106015A (ja) * 1997-09-18 2006-04-20 Mitsubishi Rayon Co Ltd 透光性シート状物の欠陥検査装置
US20070223900A1 (en) * 2006-03-22 2007-09-27 Masao Kobayashi Digital camera, composition correction device, and composition correction method
WO2008031621A1 (de) * 2006-09-17 2008-03-20 Massen Machine Vision Systems Gmbh Verfahren und anordnung zur automatischen optischen inspektion von naturholz-oberflächen
JP2012173162A (ja) * 2011-02-22 2012-09-10 Ricoh Co Ltd ピンホール検査装置
CN203551480U (zh) * 2013-11-07 2014-04-16 英利能源(中国)有限公司 光伏组件电致发光缺陷检测系统
JP2015222934A (ja) * 2014-05-23 2015-12-10 カルソニックカンセイ株式会社 車両周囲表示装置
CN106770362A (zh) * 2016-12-27 2017-05-31 武汉精测电子技术股份有限公司 基于aoi的宏观缺陷检测装置及方法
CN106961549A (zh) * 2017-03-03 2017-07-18 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的拍摄方法及装置
CN109035196A (zh) * 2018-05-22 2018-12-18 安徽大学 基于显著性的图像局部模糊检测方法
US20190080477A1 (en) * 2017-09-08 2019-03-14 Canon Kabushiki Kaisha Image processing apparatus, medium, and method
CN109656033A (zh) * 2017-10-12 2019-04-19 凌云光技术集团有限责任公司 一种区分液晶显示屏灰尘和缺陷的方法及装置
CN109752394A (zh) * 2019-01-28 2019-05-14 凌云光技术集团有限责任公司 一种显示屏缺陷高精度检测方法及系统
CN109801322A (zh) * 2017-11-16 2019-05-24 合肥欣奕华智能机器有限公司 一种漏光检测方法及装置
US20190188535A1 (en) * 2017-12-15 2019-06-20 Google Llc Machine-Learning Based Technique for Fast Image Enhancement
CN110120996A (zh) * 2019-06-06 2019-08-13 Oppo广东移动通信有限公司 Oled通孔屏、移动终端、摄像控制方法、装置及存储介质
CN110176027A (zh) * 2019-05-27 2019-08-27 腾讯科技(深圳)有限公司 视频目标跟踪方法、装置、设备及存储介质
CN110220911A (zh) * 2019-05-23 2019-09-10 东莞市德普特电子有限公司 一种手机屏幕检测方法以及装置
CN110378900A (zh) * 2019-08-01 2019-10-25 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质
CN110688925A (zh) * 2019-09-19 2020-01-14 国网山东省电力公司电力科学研究院 基于深度学习的级联目标识别方法及系统

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106015A (ja) * 1997-09-18 2006-04-20 Mitsubishi Rayon Co Ltd 透光性シート状物の欠陥検査装置
US20070223900A1 (en) * 2006-03-22 2007-09-27 Masao Kobayashi Digital camera, composition correction device, and composition correction method
WO2008031621A1 (de) * 2006-09-17 2008-03-20 Massen Machine Vision Systems Gmbh Verfahren und anordnung zur automatischen optischen inspektion von naturholz-oberflächen
JP2012173162A (ja) * 2011-02-22 2012-09-10 Ricoh Co Ltd ピンホール検査装置
CN203551480U (zh) * 2013-11-07 2014-04-16 英利能源(中国)有限公司 光伏组件电致发光缺陷检测系统
JP2015222934A (ja) * 2014-05-23 2015-12-10 カルソニックカンセイ株式会社 車両周囲表示装置
CN106770362A (zh) * 2016-12-27 2017-05-31 武汉精测电子技术股份有限公司 基于aoi的宏观缺陷检测装置及方法
CN106961549A (zh) * 2017-03-03 2017-07-18 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的拍摄方法及装置
US20190080477A1 (en) * 2017-09-08 2019-03-14 Canon Kabushiki Kaisha Image processing apparatus, medium, and method
CN109656033A (zh) * 2017-10-12 2019-04-19 凌云光技术集团有限责任公司 一种区分液晶显示屏灰尘和缺陷的方法及装置
CN109801322A (zh) * 2017-11-16 2019-05-24 合肥欣奕华智能机器有限公司 一种漏光检测方法及装置
US20190188535A1 (en) * 2017-12-15 2019-06-20 Google Llc Machine-Learning Based Technique for Fast Image Enhancement
CN110612549A (zh) * 2017-12-15 2019-12-24 谷歌有限责任公司 用于快速图像增强的基于机器学习的技术
CN109035196A (zh) * 2018-05-22 2018-12-18 安徽大学 基于显著性的图像局部模糊检测方法
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN109752394A (zh) * 2019-01-28 2019-05-14 凌云光技术集团有限责任公司 一种显示屏缺陷高精度检测方法及系统
CN110220911A (zh) * 2019-05-23 2019-09-10 东莞市德普特电子有限公司 一种手机屏幕检测方法以及装置
CN110176027A (zh) * 2019-05-27 2019-08-27 腾讯科技(深圳)有限公司 视频目标跟踪方法、装置、设备及存储介质
CN110120996A (zh) * 2019-06-06 2019-08-13 Oppo广东移动通信有限公司 Oled通孔屏、移动终端、摄像控制方法、装置及存储介质
CN110378900A (zh) * 2019-08-01 2019-10-25 北京迈格威科技有限公司 产品缺陷的检测方法、装置及系统
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质
CN110688925A (zh) * 2019-09-19 2020-01-14 国网山东省电力公司电力科学研究院 基于深度学习的级联目标识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郝仕嘉: "基于机器视觉的手机屏幕缺陷检测方法研究", 《信息与电脑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112588607A (zh) * 2020-12-04 2021-04-02 广东工业大学 一种基于深度学习的多视角焊锡缺陷检测装置
CN112561904A (zh) * 2020-12-24 2021-03-26 凌云光技术股份有限公司 一种降低显示屏外观aoi缺陷误检率的方法及系统
CN114689606A (zh) * 2020-12-31 2022-07-01 深圳中科飞测科技股份有限公司 一种屏幕挖孔方法、挖孔屏幕缺陷检测方法和系统
CN114689606B (zh) * 2020-12-31 2024-10-15 深圳中科飞测科技股份有限公司 一种屏幕挖孔方法、挖孔屏幕缺陷检测方法和系统
CN113252565A (zh) * 2021-05-31 2021-08-13 山东省日照市人民医院 一种基于ai人工智能的肺癌循环肿瘤细胞检测装置
CN113252565B (zh) * 2021-05-31 2023-06-16 山东省日照市人民医院 一种基于ai人工智能的肺癌循环肿瘤细胞检测装置

Similar Documents

Publication Publication Date Title
CN111208148A (zh) 一种挖孔屏漏光缺陷检测系统
CN111415329B (zh) 一种基于深度学习的工件表面缺陷检测方法
CN105279372B (zh) 一种确定建筑物高度的方法和装置
CN104749184B (zh) 自动光学检测方法和系统
CN102507592A (zh) 表面缺陷仿蝇视觉在线检测装置及检测方法
CN112164048B (zh) 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置
CN112730454B (zh) 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法
CN111292228A (zh) 镜头缺陷检测方法
CN115156093A (zh) 电池外壳缺陷检测方法、系统及装置
KR102009740B1 (ko) 표시패널 검사 장치 및 그 방법
CN114881987B (zh) 基于改进YOLOv5的热压导光板缺陷可视化检测方法
CN112967221B (zh) 一种盾构管片生产与拼装信息管理系统
CN113284154B (zh) 钢卷端面图像分割方法、装置及电子设备
CN113487563B (zh) 一种基于el图像的光伏组件隐裂自适应检测方法
CN110220911A (zh) 一种手机屏幕检测方法以及装置
CN106249450A (zh) 一种液晶显示屏检测系统
CN105229665A (zh) 对基于图像的蛇形带子磨损评估的增强分析
CN113566704A (zh) 一种基于机器视觉的轴承总成滚珠尺寸检测方法
CN112257514B (zh) 一种用于设备故障巡检的红外视觉智检的拍摄方法
CN116167993A (zh) 一种基于全景视觉的管道质检方法及管道质检装置
CN115908301A (zh) 一种基于增强输入的缺陷检测方法、装置及存储介质
CN115147386A (zh) U型管的缺陷检测方法、装置及电子设备
Lin et al. 3-D descriptions of buildings from an oblique view aerial image
CN114354622A (zh) 显示屏的缺陷检测方法、装置、设备和介质
CN115035294B (zh) 一种冰箱温控器挡位检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100094 Beijing city Haidian District Cui Hunan loop 13 Hospital No. 7 Building 7 room 701

Applicant after: Lingyunguang Technology Co.,Ltd.

Address before: 100094 Beijing city Haidian District Cui Hunan loop 13 Hospital No. 7 Building 7 room 701

Applicant before: LUSTER LIGHTTECH GROUP Co.,Ltd.

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200529