CN114428412A - 影像辨识装置以及影像辨识方法 - Google Patents

影像辨识装置以及影像辨识方法 Download PDF

Info

Publication number
CN114428412A
CN114428412A CN202011177817.8A CN202011177817A CN114428412A CN 114428412 A CN114428412 A CN 114428412A CN 202011177817 A CN202011177817 A CN 202011177817A CN 114428412 A CN114428412 A CN 114428412A
Authority
CN
China
Prior art keywords
defect
image
images
liquid crystal
crystal display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011177817.8A
Other languages
English (en)
Inventor
吴怀恩
萧佩琪
李政昕
姜皇成
林俊逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coretronic Corp
Original Assignee
Coretronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coretronic Corp filed Critical Coretronic Corp
Priority to CN202011177817.8A priority Critical patent/CN114428412A/zh
Priority to TW109139263A priority patent/TWI776275B/zh
Publication of CN114428412A publication Critical patent/CN114428412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306Details
    • G02F1/1309Repairing; Testing

Abstract

提出一种影像辨识装置以及影像辨识方法,用于辨识液晶显示模块上的瑕疵,其中液晶显示模块的表面覆盖保护膜。影像辨识方法包含:提供至少一侧光源以照射液晶显示模块;取得未显示状态下的液晶显示模块在至少一侧光源下的至少一黑屏影像,当至少一黑屏影像具有瑕疵时,从至少一黑屏影像中取得标记区域;取得显示状态下的液晶显示模块在暗房中的多个影像;以及根据多个影像以及标记区域来辨识出液晶显示模块上的至少一瑕疵。上述的影像辨识装置以及上述的影像辨识方法能快速且准确地进行影像辨识的技术。

Description

影像辨识装置以及影像辨识方法
技术领域
本发明是有关于一种电子装置以及应用此电子装置的辨识方法,且特别是有关于一种用于辨识液晶显示模块上的瑕疵的影像辨识装置以及影像辨识方法。
背景技术
随着人们对例如电视、电子看板、笔记本电脑、手机或车用显示器等等不同种类的显示面板之需求的增加,显示面板逐渐发展为具有多样的尺寸、分辨率以及规格。在众多显示技术中,液晶显示模块(liquid crystal display module,LCM)是发展最成熟的且应用面向最广的显示面板技术。液晶显示模块并不是借由其液晶显示面板发光,而是借由后方的背光模块投射光源以提供亮度。背光模块主要是由光学薄膜、导光板、扩散片、反射片、发光二极管(light-emitting diode,LED)光条、背板及胶框等元件所组成。虽然液晶显示模块的组装通常在无尘室中进行,但仍然无法完全地避免封装过程中有灰尘或毛发等异物干扰。此外,电子元件本身容易吸附小灰尘,且元件本身有缺陷或组装过程造成的瑕疵等因素都使得最终组装好的液晶显示模块存在瑕疵。
针对这些瑕疵,多数的液晶显示模块厂仰赖以人力目视检测抓出半成品面板的瑕疵与缺陷。然而,人力检查存在人员专业素质不一以及人为疏失等问题。另一方面,LCM在组装阶段为避免受外在的损害,会贴附透明塑胶保护膜以防止在搬动时刮伤液晶显示模块的显示面板。部分的保护膜上的刮痕、气泡、残胶、油渍或灰尘等异物在背光模块点亮时仍然会成像于显示面板。因此,这些异物可能会造成显示面板在进行自动光学检测(automatedoptical inspection,AOI)或人力目视检测时被判定为瑕疵品。尤其是AOI仅能取得单一视角的半成品面板的影像,故保护膜上的异物会使得AOI更加的困难。
AOI技术运用机器视觉作为检测技术以替代人力检测。AOI技术通常是非接触式的。在固定环境下,AOI技术可以高速且高精度的光学取像技术来取得及分析影像。为达检测过程的自动化并且提升正确率,过去在开发AOI技术时技术人员多着重在参数的调整。技术人员必须对演算法有一定的理解能力才会知道如何调整参数。再者,当检测品项被更换时,技术人员往往需耗费大量的时间重新调整AOI的参数。在产品多元化的时代,检测LCM面临以下列挑战:(1)存在近百种瑕疵类型,且不同等级与型号的显示面板对于瑕疵的规格定义不一。(2)存在多种尺寸的LCM,其外观尺寸、像素的分辨率以及LCM相对于AOI的影像撷取装置之间的距离,这三者之间的关系影响了AOI技术的通用性。(3)漫长的检测时间与不稳定的检测能力。为因应上述之挑战,需要提出一种能快速且准确地进行影像辨识的技术。
发明内容
本发明提供一种影像辨识装置以及影像辨识方法,可准确地辨识出表面覆盖一保护膜的液晶显示模块是否具有瑕疵。
本发明的一种影像辨识装置,用于辨识液晶显示模块上的瑕疵,其中液晶显示模块的表面覆盖保护膜,并且影像辨识装置包括影像撷取装置、至少一发光元件、收发器、储存媒体以及处理器。至少一发光元件用于提供至少一侧光源以照射液晶显示模块。收发器通讯连接至液晶显示模块,其中处理器借由收发器配置液晶显示模块以进行显示。储存媒体储存多个模块。处理器耦接储存媒体、收发器、影像撷取装置和至少一发光元件,并且存取和执行多个模块,其中多个模块包括影像处理模块以及瑕疵辨识模块,其中影像处理模块借由影像撷取装置来取得未显示状态下的液晶显示模块在至少一侧光源下的至少一黑屏影像,当至少一黑屏影像具有瑕疵时,从至少一黑屏影像中取得标记区域,并且借由影像撷取装置来取得显示状态下的液晶显示模块在暗房中的多个影像,其中瑕疵辨识模块根据多个影像以及标记区域来辨识出液晶显示模块上的至少一瑕疵。
本发明的一种影像辨识方法,用于辨识液晶显示模块上的瑕疵,其中液晶显示模块的表面覆盖一保护膜,并且影像辨识方法包括:提供至少一侧光源以照射液晶显示模块;取得未显示状态下的液晶显示模块在至少一侧光源下的至少一黑屏影像,当至少一黑屏影像具有瑕疵时,从至少一黑屏影像中取得标记区域;取得显示状态下的液晶显示模块在暗房中的多个影像;以及根据多个影像以及标记区域来辨识出液晶显示模块上的至少一瑕疵。
基于上述,本发明可借由发光元件取得未显示状态下的液晶显示模块的黑屏影像,并且借由对所述黑屏影像以及显示状态下的液晶显示模块的影像进行比较而在保护膜上可能存在异物的情况下准确地判断液晶显示模块是否存在瑕疵。此外,本发明还可以对液晶显示模块的影像进行辨识,借以判断液晶显示模块是否具有例如MURA瑕疵、辉度瑕疵、线瑕疵或框瑕疵等瑕疵。如此,可自动且准确地判断液晶显示模块是否为瑕疵品。
附图说明
图1根据本发明的实施例绘示一种影像辨识装置的示意图。
图2根据本发明的实施例绘示利用发光元件与影像撷取装置撷取液晶显示模块的表面上的保护膜上的异物的示意图。
图3A根据本发明的实施例绘示在未显示状态下的液晶显示模块的黑屏影像的示意图。
图3B根据已知技术绘示在显示状态下的液晶显示模块的影像的示意图。
图4A根据本发明的实施例绘示具有瑕疵的液晶显示模块的影像的示意图。
图4B根据本发明的实施例绘示液晶显示模块的经过滤影像中具有瑕疵的示意图。
图5A和5B根据本发明的实施例绘示具有网格和莫列波纹的影像的示意图。
图6根据本发明的实施例绘示液晶显示模块的经过滤影像的示意图。
图7根据本发明的实施例绘示借由卷积神经网路(convolutional neuralnetwork,CNN)辨识液晶显示模块上的瑕疵的示意图。
图8根据本发明的实施例绘示将经过滤影像分割成多个区域的示意图。
图9根据本发明的实施例绘示一种影像辨识方法的流程图。
具体实施方式
图1根据本发明的实施例绘示一种影像辨识装置100的示意图,其中影像辨识装置100用于辨识液晶显示模块(例如:如图2所示的液晶显示模块200)上的瑕疵。瑕疵例如包括:刮痕、气泡、残胶、油渍或灰尘等。
影像辨识装置100可包含处理器110、储存媒体120、收发器130、影像撷取装置140以及第一发光元件150。在一实施例中,影像辨识装置100还可包含第二发光元件160。然而,影像辨识装置100的发光元件的数量可由使用者依需求而配置,本发明不限于此。
处理器110例如是中央处理单元(central processing unit,CPU),或是其他可编程之一般用途或特殊用途的微控制单元(micro control unit,MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor,DSP)、可编程控制器、特殊应用集成电路(application specific integrated circuit,ASIC)、图形处理器(graphics processing unit,GPU)、影像信号处理器(image signal processor,ISP)、影像处理单元(image processing unit,IPU)、算数逻辑单元(arithmetic logic unit,ALU)、复杂可编程逻辑装置(complex programmable logic device,CPLD)、现场可编程逻辑闸阵列(field programmable gate array,FPGA)或其他类似元件或上述元件的组合。处理器110可耦接至储存媒体120、收发器130、影像撷取装置140、第一发光元件150以及第二发光元件160,并且存取和执行储存于储存媒体120中的多个模块和各种应用程序。
储存媒体120例如是任何型态的固定式或可移动式的随机存取存储器(randomaccess memory,RAM)、只读存储器(read-only memory,ROM)、快闪存储器(flash memory)、硬碟(hard disk drive,HDD)、固态硬碟(solid state drive,SSD)或类似元件或上述元件的组合,而用于储存可由处理器110执行的多个模块或各种应用程序。在本实施例中,储存媒体120可储存包含辉度检测模块121、线瑕疵检测模块122、框瑕疵检测模块123、云斑(MURA)瑕疵检测模块124、瑕疵辨识模块125以及影像处理模块126等多个模块,其功能将于后续说明。
收发器(transceiver)130以无线或有线的方式传送及接收信号。收发器130还可以执行例如低噪声放大、阻抗匹配、混频、向上或向下频率转换、滤波、放大以及类似的操作。收发器130可通讯连接至液晶显示模块200。处理器110可借由收发器130控制液晶显示模块200以进行显示(或关掉液晶显示模块200)。
影像撷取装置(image capturing device)140例如为摄影机或照相机。处理器110可借由影像撷取装置140取得液晶显示模块200在显示状态或未显示状态下的影像。
当液晶显示模块200的表面覆盖了保护膜时,目前的影像辨识技术可能会将保护膜上的异物(或瑕疵)误判为液晶显示模块200的瑕疵。保护膜上的异物(例如:刮痕、脏污、残胶或灰尘)通常形成不规律的形状。为了辨识出保护膜上的异物,处理器110可借由收发器130将液晶显示模块200调整为未显示状态(未开启),并且控制第元件150及/或第二发光元件160以提供用以照射液晶显示模块200的侧光源。
图2根据本发明的实施例绘示利用发光元件(即:第一发光元件150以及第二发光元件160)与影像撷取装置撷取液晶显示模块200的表面210上的保护膜300上的异物的示意图。如图2所示,第一发光元件150以及第二发光元件160为侧光源,可被配置在液晶显示模块200的侧边,并且分别配置在不同的高度(以液晶显示模块200为参考平面)以提供液晶显示模块200不同角度的入射光。举例来说,第一发光元件150照射在液晶显示模块200的入射光的入射角θ1可大于第二发光元件160照射在液晶显示模块200的入射光的入射角θ2。由第一发光元件150及第二发光元件160所提供的入射光可使保护膜300上的异物更加明显。当第一发光元件150的光束以及第二发光元件160的光束分别照射液晶显示模块200时,处理器110可借由收发器130将液晶显示模块200调整为未显示状态。接着,影像处理模块126可借由影像撷取装置140来取得未显示状态下的液晶显示模块200在侧光源下的至少一黑屏影像。当液晶显示模块200形成黑屏影像,影像处理模块126判断黑屏影像中是否有瑕疵存在,也就是在黑屏影像中是否有不均匀的亮度区域存在。
图3A根据本发明的实施例绘示在未显示状态下的液晶显示模块200的黑屏影像20的示意图,图3B根据已知技术绘示在显示状态下的液晶显示模块200的影像24的示意图。在黑屏影像20中,箭头所指向的区域为保护膜300上的异物或瑕疵,而并非为液晶显示模块200上的异物或瑕疵。亦即,在侧光源的照射下,未显示状态下的液晶显示模块200的黑屏影像20可使保护膜300上的异物或瑕疵更加明显;于图3B中,已知技术在暗房中(环境区域内无光线),显示状态(开启背光)下的液晶显示模块200的影像24,在影像24中并没有辨识到液晶显示模块200的异物或瑕疵,但有时仍会显现出保护膜300上的异物或瑕疵,而造成液晶显示模块200的误判的可能性。换句话说,本发明是透过侧光源的照射下,未显示状态下的液晶显示模块200的黑屏影像20中,清楚地识别保护膜300上的异物或瑕疵。
在撷取了液晶显示模块200的黑屏影像20后,影像处理模块126可借由例如影像二值化(image binarization)技术等影像辨识技术来对黑屏影像20进行辨识,从而找出保护膜300上的异物。接着,影像处理模块126可将异物所在的区域定义为标记区域21,如图3A或图3B所示。
另一方面,处理器110可借由收发器130控制液晶显示模块200,在第一发光元件150以及第二发光元件160为关闭的情况下,进行显示(开启液晶显示模块200的背光)。影像处理模块126可借由影像撷取装置140来取得显示状态下的液晶显示模块200在环境光源下的多个影像,其中所述多个影像例如包含开启背光且显示黑色画面的影像(例如:开启液晶显示模块200的背光模块发光,液晶显示模块200的液晶组件不让背光通过,其中液晶组件包括液晶面板以及偏极性片)、白屏影像(例如:液晶显示模块200的液晶组件让背光通过)以及呈现灰阶影像(例如:液晶显示模块200的液晶组件让部分背光通过,例如通过30%的背光)。影像处理模块126可根据所述多个影像来辨识出液晶显示模块200的瑕疵。图4A根据本发明的实施例绘示具有瑕疵40的液晶显示模块200的影像22的示意图。如图4A所示,影像22中的网格及莫列波纹使得瑕疵40并不容易被辨识出来。瑕疵40例如为液晶显示模块200上的刮痕或液晶显示模块200中的异物等。
目前,应用液晶显示模块的电子产品非常多样,故液晶显示模块的尺寸也非常多样。当使用影像撷取装置140检视液晶显示模块200时,液晶显示模块200的尺寸、液晶显示模块200的像素的分辨率以及影像撷取装置140与液晶显示模块200之间的距离三者之间的相对关系将会影响到影像撷取装置140所取得之液晶显示模块200的影像22所呈现的网格及莫列波纹之频率。因此,影像处理模块126并无法借由预设的滤波功能来过滤一影像的网格及莫列波纹。因此,下述内容提出如何过滤具有网格及莫列波纹的影像。图5A和5B根据本发明的实施例绘示具有网格和莫列波纹的影像10和12的示意图,其中箭头11指示影像10的莫列波纹的方向,并且箭头13和14指示影像12的莫列波纹的方向。
为了消除网格和莫列波纹,影像处理模块126可借由过滤准周期杂讯(quasi-periodic noise)的技术来过滤影像撷取装置140所取得的多个影像,借以产生多个经过滤影像。具体来说,影像处理模块126可检测所取得之影像的频率域峰値,并将其中频率最低的峰値与其倍频的峰値视为组成莫列波纹的晶格频率。影像处理模块126可借由消除频率域中的晶格频率的能量来削减莫列波纹的能量,进而过滤莫列波纹,如图6所示。图6根据本发明的实施例绘示液晶显示模块200的经过滤影像31、32和33的示意图,其中经过滤影像31为液晶显示模块200显示黑色画面时的影像经过滤后而产生的、经过滤影像32为影像22在液晶显示模块200的白屏影像经过滤后而产生的,再者经过滤影像33为液晶显示模块200的灰阶影像经过滤后而产生的。影像处理模块126可根据如“Sur,Frédéric,and MichelGrediac."Automated removal of quasiperiodic noise using frequency domainstatistics."Journal of Electronic Imaging 24.1(2015):013003”所揭露的方法来进行准周期杂讯的过滤。
在取得多个经过滤影像31、32和33后,瑕疵辨识模块125可根据标记区域21以及多个经过滤影像31、32和33来辨识出液晶显示模块上的瑕疵,但不包括保护膜300上的异物或瑕疵。具体来说,瑕疵辨识模块125可从多个经过滤影像31、32和33中取得至少一瑕疵候选区域或多个瑕疵候选区域,并且根据标记区域21对所述至少一瑕疵后选区域进行过滤以产生液晶显示模块200的瑕疵区域。以影像22以及经过滤影像32为例,图4A中还包括液晶显示模块200的候选瑕疵区域50。图4B根据本发明的实施例绘示液晶显示模块200的经过滤影像32中具有瑕疵40的示意图。参照图4A和4B,在影像处理模块126过滤了影像22的准周期杂讯而产生经过滤影像32之后,原本在影像22中难以辨识的瑕疵40将可清楚地呈现在经过滤影像32中。据此,瑕疵辨识模块125可基于机器视觉或动态阈值(参照"Kang,Wenxiong,Yang,Qing-Qiang,and Liang,Run-Peng,"The Comparative Research on Image SegmentationAlgorithms."First International Workshop on Education Technology and ComputerScience,2009")等技术来辨识出经过滤影像32中的瑕疵40,并且从影像22中撷取出对应于瑕疵40的候选瑕疵区域50。
在取得候选瑕疵区域50后,瑕疵辨识模块125可响应于标记区域21与候选瑕疵区域50并不相同,而判断标记区域21对应于保护膜300上的瑕疵或异物,并且候选瑕疵区域50对应于液晶显示模块200的瑕疵。瑕疵辨识模块125可响应于判断候选瑕疵区域50对应于液晶显示模块200的瑕疵40而将候选瑕疵区域50定义为瑕疵区域。
在取得影像的每一者的瑕疵区域后,瑕疵辨识模块125可借由神经网路来辨识液晶显示模块200的瑕疵40。图7根据本发明的实施例绘示借由卷积神经网路71和72辨识液晶显示模块200上的瑕疵40的示意图。瑕疵辨识模块125可将影像22例如为黑色画面的影像、灰阶的影像、白屏影像的每一者的瑕疵区域输入至卷积神经网路71和72。以图4A中影像22的候选瑕疵区域50为例,瑕疵辨识模块125可将候选瑕疵区域50的影像以及对应候选瑕疵区域50位置的至少一黑屏影像输入至卷积神经网路71和72。在卷积神经网路71和72分别产生并判断候选瑕疵区域50是否包含瑕疵的多个辨识结果后,瑕疵辨识模块125可根据所述辨识结果,以投票模式产生判断候选瑕疵区域50中存在瑕疵40的判断结果。值得注意的是,瑕疵辨识模块125所使用的卷积神经网路的数量可以根据使用需求而调整,本发明不限于此。相较于将整个影像22输入至卷积神经网路71和72,仅将候选瑕疵区域50的影像输入至卷积神经网路71和72将可显著地降低卷积神经网路71和72所消耗的运算量。
由于液晶显示模块200的背光模块是利用导光板、扩散板或反射板等元件以使侧边的LED光条所发出的光线扩散至整个显示面板。在其他实施例中,液晶显示模块200的背光模块为直下式背光模块。因此,上述的元件的材料若存在缺陷将可能使背光变得不均匀。此外,辉度检测模块121可用以辨识液晶显示模块200的背光是否维持良好的亮度品质以及均匀性。具体来说,辉度检测模块121可根据液晶显示模块200的影像22(白屏影像)以及影像撷取装置140与液晶显示模块200之间的距离来辨识液晶显示模块200的辉度瑕疵。在取得白屏影像22以及所述距离后,辉度检测模块121可从预存于储存媒体120中的辉度与距离的映射关系来取得白屏影像22的特定区域对应于所述距离的预设辉度。特定区域可为预设的区域,例如影像的中间区域或边缘区域。若预设辉度与白屏影像22的特定区域的辉度匹配,则辉度检测模块121可判断白屏影像22的所述特定区域不具辉度瑕疵。相对来说,若预设辉度与白屏影像22的特定区域的辉度不匹配,则辉度检测模块121可判断白屏影像22的所述特定区域具有辉度瑕疵。辉度检测模块121可基于如美国申请案US6982744B2“Multi-point calibration method for imaging light and color measurement device”所揭露的内容而根据影像撷取装置140与辉度量测的校正参数来进行辉度瑕疵的辨识。
线瑕疵检测模块122用以辨识液晶显示模块200的线瑕疵。具体来说,影像处理模块126可借由影像撷取装置140来取得显示状态下的液晶显示模块200在暗房中的多个影像,其中多个影像可包含特殊图样影像。特殊图样影像可使液晶显示模块200的像素与相邻于所述像素的周围像素的颜色相异。在取得特殊图样影像后,线瑕疵检测模块122可基于斑点检测(blob detection)技术以根据特殊图样影像来辨识出液晶显示模块200的线瑕疵。液晶的线缺陷,通常是垂直线或水平线,我们将斑点检测(blob detection)中常用的高斯拉普拉斯函数(Laplacian of Gaussian)进行变化,以滤波的方式分别检测垂直线或水平线。
框瑕疵检测模块123可用以辨识液晶显示模块200的框瑕疵(WAKU defect)。具体来说,影像处理模块126可借由影像撷取装置140来取得显示状态下的液晶显示模块200在环境光源下的多个影像,其中多个影像可包含液晶显示模块200的外框(frame)影像。在取得外框影像后,框瑕疵检测模块123可基于影像二值化技术以根据外框影像来辨识出液晶显示模块200的框瑕疵。
MURA瑕疵检测模块124可用以辨识液晶显示模块200的MURA瑕疵。具体来说,MURA瑕疵检测模块124可将经过滤影像31、32和33的每一者分割为多个区域。以经过滤影像32为例,图8根据本发明的实施例绘示将经过滤影像32分割成多个区域61和62的示意图。在对经过滤影像32进行分割而产生区域61和区域62之后,MURA瑕疵检测模块124可分别计算区域61和区域62的背景影像灰阶值。接着,MURA瑕疵检测模块124可对区域61的背景影像灰阶值进行自动阈值分割而判断区域61之中是否存在MURA瑕疵,并可对区域62的背景影像灰阶值进行自动阈值分割而判断区域62之中是否存在MURA瑕疵。MURA瑕疵检测模块124可基于“Fan,Shu-Kai S.,and Yu-Chiang Chuang."Automatic detection of MURA defect inTFT-LCD based on regression diagnostics."Pattern recognition letters 31.15(2010):2397-2404”所揭露的内容来对背景影像灰阶值进行自动阈值分割。
图9根据本发明的实施例绘示一种影像辨识方法的流程图,其中所述影像辨识方法可用于辨识表面包覆有保护膜的液晶显示模块是否具有瑕疵,并且所述影像辨识方法可由如图1所示的影像辨识装置100实施。在步骤S901中,取得液晶显示模块的多个影像,其中多个影像包含黑屏影像、具有背光且显示黑色画面的影像、灰阶的影像、白屏影像、特殊图样影像以及外框影像。在步骤S902中,根据白屏影像以辨识液晶显示模块的辉度瑕疵。在步骤S903中,根据特殊图样影像以辨识液晶显示模块的线瑕疵。在步骤S904中,根据外框影像以辨识液晶显示模块的框瑕疵。在步骤S905中,过滤多个影像以产生经过滤影像。在步骤S906中,根据经过滤影像辨识液晶显示模块的MURA瑕疵。在步骤S907-1中,液晶显示模块200形成黑屏影像,而影像处理模块先行初步判断黑屏影像中是否有瑕疵存在,也就是在黑屏影像中是否有不均匀的亮度区域存在。其中黑屏影像是借由影像撷取装置来取得未显示状态下的液晶显示模块在至少一侧光源下的影像。若无,则进入步骤S910中。若有,则进入步骤S907中。在步骤S907中,根据黑屏影像将保护膜上的异物所在的区域定义为标记区域,并且从经过滤影像中撷取出对应于瑕疵的候选瑕疵区域。在步骤S908中,根据标记区域对候选瑕疵区域进行过滤以产生瑕疵区域。在步骤S909中,将瑕疵区域输入至一或多个卷积神经网路以辨识液晶显示模块的瑕疵。在步骤S910中,判断辨识液晶显示模块是否具有任何的瑕疵。若液晶显示模块不具有任何的瑕疵,则进入步骤S911。若液晶显示模块具有至少一瑕疵,则进入步骤S912。在步骤S911中,将液晶显示模块判断为良品。在步骤S912中,将液晶显示模块判断为瑕疵品。
综上所述,本发明可借由发光元件取得未显示状态下的液晶显示模块的黑屏影像,并且借由对所述黑屏影像以及显示状态下的液晶显示模块的影像进行比较而在保护膜上可能存在异物的情况下准确地判断液晶显示模块是否存在瑕疵。此外,本发明还可以根据背景影像灰阶值来判断液晶显示模块是否具有MURA瑕疵。再者,本发明还可借由影像撷取装置以及液晶显示模块之间的距离判断出液晶显示模块是否具有辉度瑕疵。另一方面,本发明可利用液晶显示模块来显示出能辅助处理器进行线瑕疵的辨识的特殊图样影像。本发明还可以基于影像二值化技术来判断液晶显示模块是否具有框瑕疵。
惟以上所述者,仅为本发明之较佳实施例而已,当不能以此限定本发明实施之范围,即凡依本发明权利要求书及发明内容所作之简单的等效变化与修改,皆仍属本发明专利涵盖之范围内。另外本发明的任一实施例或权利要求不须达成本发明所揭露之全部目的或优点或特点。此外,本说明书或权利要求书中提及的「第一」、「第二」等用语仅用以命名元件的名称或区别不同实施例或范围,而并非用来限制元件数量上的上限或下限。
附图标记说明:
10、12:具有网格和莫列波纹的影像
100:影像辨识装置
11、13、14:箭头
110:处理器
120:储存媒体
121:辉度检测模块
122:线瑕疵检测模块
123:框瑕疵检测模块
124:MURA瑕疵检测模块
125:瑕疵辨识模块
126:影像处理模块
130:收发器
140:影像撷取装置
150:第一发光元件
160:第二发光元件
20:黑屏影像
200:液晶显示模块
21:标记区域
22:影像
24:影像
210:表面
300:保护膜
31、32、33:经过滤影像
40:瑕疵
50:候选瑕疵区域
61、62:经过滤影像的区域
71、72:卷积神经网路
S901、S902、S903、S904、S905、S906、S907、S908、S909、S910、S911、S912:步骤。

Claims (18)

1.一种影像辨识装置,用于辨识液晶显示模块上的瑕疵,其特征在于,所述液晶显示模块的表面覆盖保护膜,并且所述影像辨识装置包括影像撷取装置、至少一发光元件、收发器、储存媒体以及处理器,其中:
所述至少一发光元件用于提供至少一侧光源,以照射所述液晶显示模块;
所述收发器通讯连接至所述液晶显示模块,其中所述处理器借由所述收发器控制所述液晶显示模块以进行显示;
所述储存媒体储存多个模块;以及
所述处理器耦接所述储存媒体、所述收发器、所述影像撷取装置和所述至少一发光元件,并且存取和执行所述多个模块,其中所述多个模块包括影像处理模块以及瑕疵辨识模块,其中:
所述影像处理模块借由所述影像撷取装置来取得未显示状态下的所述液晶显示模块在所述至少一侧光源下的至少一黑屏影像,
当所述至少一黑屏影像具有瑕疵时,从所述至少一黑屏影像中取得标记区域,并且借由所述影像撷取装置来取得显示状态下的所述液晶显示模块在暗房中的多个影像,其中
所述瑕疵辨识模块根据所述多个影像以及所述标记区域来辨识出所述液晶显示模块上的至少一瑕疵。
2.根据权利要求1所述的影像辨识装置,其特征在于,所述影像处理模块过滤所述多个影像的准周期杂讯以产生多个经过滤影像,其中所述瑕疵辨识模块从所述多个经过滤影像中撷取出至少一候选瑕疵区域,并且根据所述标记区域对所述至少一候选瑕疵区域进行过滤以产生瑕疵区域。
3.根据权利要求2所述的影像辨识装置,其特征在于,所述瑕疵辨识模块将所述多个影像的每一者的所述瑕疵区域输入到至少一卷积神经网路以辨识所述液晶显示模块上的所述至少一瑕疵。
4.根据权利要求3所述的影像辨识装置,其特征在于,所述至少一卷积神经网路包括第一卷积神经网路和第二卷积神经网路,其中所述瑕疵辨识模块根据所述第一卷积神经网路和所述第二卷积神经网路的投票结果来辨识所述液晶显示模块上的所述至少一瑕疵。
5.根据权利要求2所述的影像辨识装置,其特征在于,所述多个模块还包括:
云斑瑕疵检测模块,将所述多个经过滤影像的每一者分割为多个区域,计算所述多个区域的每一者的背景影像灰阶值,并且根据所述背景影像灰阶值判断所述多个区域的所述每一者是否具有云斑瑕疵。
6.根据权利要求1所述的影像辨识装置,其特征在于,所述多个影像包括白屏影像,并且所述多个模块还包括:
辉度检测模块,根据所述白屏影像以及所述影像撷取装置与所述液晶显示模块之间的距离来辨识出所述至少一瑕疵中的辉度瑕疵。
7.根据权利要求1所述的影像辨识装置,其特征在于,所述多个影像包括特殊图样影像,并且所述多个模块还包括:
线瑕疵检测模块,基于斑点检测技术以根据所述特殊图样影像来辨识出所述至少一瑕疵中的线瑕疵。
8.根据权利要求7所述的影像辨识装置,其特征在于,所述特殊图样影像使所述液晶显示模块的像素与相邻于所述像素的周围像素的颜色相异。
9.根据权利要求1所述的影像辨识装置,其特征在于,所述多个影像包括外框影像,并且所述多个模块还包括:
框瑕疵检测模块,基于影像二值化技术以根据所述外框影像来辨识出所述至少一瑕疵中的框瑕疵。
10.一种影像辨识方法,用于辨识液晶显示模块上的瑕疵,其特征在于,所述液晶显示模块的表面覆盖保护膜,并且所述影像辨识方法包括:
提供至少一侧光源以照射所述液晶显示模块;
取得未显示状态下的所述液晶显示模块在所述至少一侧光源下的至少一黑屏影像,
当所述至少一黑屏影像具有瑕疵时,从所述至少一黑屏影像中取得标记区域;
取得显示状态下的所述液晶显示模块在环境光源下的多个影像;以及
根据所述多个影像以及所述标记区域来辨识出所述液晶显示模块上的至少一瑕疵。
11.根据权利要求10所述的影像辨识方法,其特征在于,根据所述多个影像以及所述标记区域来辨识出所述液晶显示模块上的所述至少一瑕疵的步骤包括:
过滤所述多个影像的准周期杂讯以产生多个经过滤影像;
从所述多个经过滤影像中撷取出至少一候选瑕疵区域;以及
根据所述标记区域对所述至少一候选瑕疵区域进行过滤以产生瑕疵区域。
12.根据权利要求11所述的影像辨识方法,其特征在于,根据所述多个影像以及所述标记区域来辨识出所述液晶显示模块上的所述至少一瑕疵的步骤还包括:
将所述多个影像的每一者的所述瑕疵区域输入到至少一卷积神经网路以辨识所述液晶显示模块上的所述至少一瑕疵。
13.根据权利要求12所述的影像辨识方法,其特征在于,所述至少一卷积神经网路包括第一卷积神经网路和第二卷积神经网路,其中将所述多个影像的所述每一者的所述瑕疵区域输入到所述至少一卷积神经网路以辨识所述液晶显示模块上的所述至少一瑕疵的步骤包括:
根据所述第一卷积神经网路和所述第二卷积神经网路的投票结果来辨识所述液晶显示模块上的所述至少一瑕疵。
14.根据权利要求11所述的影像辨识方法,其特征在于,根据所述多个影像以及所述标记区域来辨识出所述液晶显示模块上的所述至少一瑕疵的步骤包括:
将所述多个经过滤影像的每一者分割为多个区域;
计算所述多个区域的每一者的背景影像灰阶值;以及
根据所述背景影像灰阶值判断所述多个区域的所述每一者是否具有云斑瑕疵。
15.根据权利要求10所述的影像辨识方法,其特征在于,所述多个影像包括由影像撷取装置取得的白屏影像,其中根据所述多个影像以及所述标记区域来辨识出所述液晶显示模块上的所述至少一瑕疵的步骤包括:
根据所述白屏影像以及所述影像撷取装置与所述液晶显示模块之间的距离来辨识出所述至少一瑕疵中的辉度瑕疵。
16.根据权利要求10所述的影像辨识方法,其特征在于,所述多个影像包括特殊图样影像,其中根据所述多个影像以及所述标记区域来辨识出所述液晶显示模块上的所述至少一瑕疵的步骤包括:
基于斑点检测技术以根据所述特殊图样影像来辨识出所述至少一瑕疵中的线瑕疵。
17.根据权利要求16所述的影像辨识方法,其特征在于,所述特殊图样影像使所述液晶显示模块的像素与相邻于所述像素的周围像素的颜色相异。
18.根据权利要求10所述的影像辨识方法,其特征在于,所述多个影像包括外框影像,其中根据所述多个影像以及所述标记区域来辨识出所述液晶显示模块上的所述至少一瑕疵的步骤包括:
基于影像二值化技术以根据所述外框影像来辨识出所述至少一瑕疵中的框瑕疵。
CN202011177817.8A 2020-10-29 2020-10-29 影像辨识装置以及影像辨识方法 Pending CN114428412A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011177817.8A CN114428412A (zh) 2020-10-29 2020-10-29 影像辨识装置以及影像辨识方法
TW109139263A TWI776275B (zh) 2020-10-29 2020-11-11 影像辨識裝置以及影像辨識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011177817.8A CN114428412A (zh) 2020-10-29 2020-10-29 影像辨识装置以及影像辨识方法

Publications (1)

Publication Number Publication Date
CN114428412A true CN114428412A (zh) 2022-05-03

Family

ID=81309634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011177817.8A Pending CN114428412A (zh) 2020-10-29 2020-10-29 影像辨识装置以及影像辨识方法

Country Status (2)

Country Link
CN (1) CN114428412A (zh)
TW (1) TWI776275B (zh)

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2955856B1 (ja) * 1998-05-21 1999-10-04 ミナトエレクトロニクス株式会社 表示素子表面欠陥抽出方法を具備した表示素子の表示画面検査方法とその実施に使用する検査装置
JP2003177371A (ja) * 2001-12-10 2003-06-27 Sony Corp 液晶表示装置の検査装置及びその検査方法
US20050007364A1 (en) * 2001-08-27 2005-01-13 Yoshifumi Oyama Method for sorting ununiformity of liquid crystal display panel sorting apparatus, and information recorded medium with recorded program for executing this sorting
TW200700857A (en) * 2005-06-30 2007-01-01 Chunghwa Picture Tubes Ltd Liquid crystal display panel and method for repairing thereof
KR100666468B1 (ko) * 2005-10-20 2007-01-09 주식회사 매크론 주기적인 산란 패턴을 지닌 투명판의 패턴 결함 검사 방법및 장치
JP2007163450A (ja) * 2005-12-09 2007-06-28 Chukaminkoku Taiwan Hakumaku Denshotai Ekisho Keijiki Sangyo Kyokai ディスプレーの多角度計測システム及び方法
US20070290710A1 (en) * 2006-06-16 2007-12-20 Inventec Corporation Liquid crystal display capable of hiding defective pixels and hiding method thereof
KR20080060469A (ko) * 2006-12-27 2008-07-02 엘지디스플레이 주식회사 무라 검출장치 및 그의 구동방법
TW200844429A (en) * 2007-05-15 2008-11-16 Chi-Hao Yeh An automatic optical inspection approach for detecting and classifying the surface defects on coating brightness enhancement film
CN101329456A (zh) * 2008-07-31 2008-12-24 友达光电股份有限公司 检测设备
CN101408520A (zh) * 2007-10-12 2009-04-15 中茂电子(深圳)有限公司 一种判别内外层瑕疵的检测方法与系统
TW200916761A (en) * 2007-10-05 2009-04-16 Chroma Ate Inc Inspection method and system capable of quickly differentiating defects on internal or external layers
CN102043182A (zh) * 2009-10-13 2011-05-04 日东电工株式会社 具有切割线的光学膜层积体的连续卷筒及制造方法和装置
WO2012167449A1 (zh) * 2011-06-06 2012-12-13 深圳市华星光电技术有限公司 一种像素阵列的检测方法及检测装置
WO2014017066A1 (ja) * 2012-07-27 2014-01-30 シャープ株式会社 液晶表示パネルの検査方法、および液晶表示パネルの検査装置
CN103713406A (zh) * 2013-12-18 2014-04-09 电子科技大学 一种液晶显示器检测方法
KR20140067574A (ko) * 2012-11-27 2014-06-05 엘지디스플레이 주식회사 평판 디스플레이 패널의 외관 스크래치 검사 방법
BR112012008070A2 (pt) * 2009-07-29 2016-03-01 Sharp Kk dispositivo de exibição de imagem e método de exibição de imagem
WO2016208606A1 (ja) * 2015-06-25 2016-12-29 Jfeスチール株式会社 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法
CN108303431A (zh) * 2017-01-11 2018-07-20 由田新技股份有限公司 用于表面异物检测的自动光学检测系统
US20180246044A1 (en) * 2015-10-26 2018-08-30 Huawei Technologies Co., Ltd. Display defect detection method, apparatus, and device for display screen
CN108961238A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN109493310A (zh) * 2017-09-08 2019-03-19 丽宝大数据股份有限公司 身体信息分析装置及其手部肌肤分析方法
CN109884727A (zh) * 2019-03-15 2019-06-14 Oppo广东移动通信有限公司 异物检测方法、异物检测装置和电子设备
CN110286132A (zh) * 2019-06-21 2019-09-27 上海天马微电子有限公司 显示面板的光学检测方法及设备
CN110716803A (zh) * 2018-07-13 2020-01-21 中强光电股份有限公司 电脑系统、资源分配方法及其影像辨识方法
CN111077166A (zh) * 2018-10-19 2020-04-28 北京金山云网络技术有限公司 液晶屏的瑕疵检测方法、装置及终端设备
CN111510693A (zh) * 2019-01-30 2020-08-07 中强光电股份有限公司 投影系统及影像色彩校正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101296905B1 (ko) * 2006-06-30 2013-08-14 엘지디스플레이 주식회사 액정 표시장치용 편광판의 편광 방향 측정 장치 및 방법

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2955856B1 (ja) * 1998-05-21 1999-10-04 ミナトエレクトロニクス株式会社 表示素子表面欠陥抽出方法を具備した表示素子の表示画面検査方法とその実施に使用する検査装置
US20050007364A1 (en) * 2001-08-27 2005-01-13 Yoshifumi Oyama Method for sorting ununiformity of liquid crystal display panel sorting apparatus, and information recorded medium with recorded program for executing this sorting
JP2003177371A (ja) * 2001-12-10 2003-06-27 Sony Corp 液晶表示装置の検査装置及びその検査方法
TW200700857A (en) * 2005-06-30 2007-01-01 Chunghwa Picture Tubes Ltd Liquid crystal display panel and method for repairing thereof
KR100666468B1 (ko) * 2005-10-20 2007-01-09 주식회사 매크론 주기적인 산란 패턴을 지닌 투명판의 패턴 결함 검사 방법및 장치
JP2007163450A (ja) * 2005-12-09 2007-06-28 Chukaminkoku Taiwan Hakumaku Denshotai Ekisho Keijiki Sangyo Kyokai ディスプレーの多角度計測システム及び方法
US20070290710A1 (en) * 2006-06-16 2007-12-20 Inventec Corporation Liquid crystal display capable of hiding defective pixels and hiding method thereof
KR20080060469A (ko) * 2006-12-27 2008-07-02 엘지디스플레이 주식회사 무라 검출장치 및 그의 구동방법
TW200844429A (en) * 2007-05-15 2008-11-16 Chi-Hao Yeh An automatic optical inspection approach for detecting and classifying the surface defects on coating brightness enhancement film
TW200916761A (en) * 2007-10-05 2009-04-16 Chroma Ate Inc Inspection method and system capable of quickly differentiating defects on internal or external layers
CN101408520A (zh) * 2007-10-12 2009-04-15 中茂电子(深圳)有限公司 一种判别内外层瑕疵的检测方法与系统
CN101329456A (zh) * 2008-07-31 2008-12-24 友达光电股份有限公司 检测设备
BR112012008070A2 (pt) * 2009-07-29 2016-03-01 Sharp Kk dispositivo de exibição de imagem e método de exibição de imagem
CN102043182A (zh) * 2009-10-13 2011-05-04 日东电工株式会社 具有切割线的光学膜层积体的连续卷筒及制造方法和装置
WO2012167449A1 (zh) * 2011-06-06 2012-12-13 深圳市华星光电技术有限公司 一种像素阵列的检测方法及检测装置
WO2014017066A1 (ja) * 2012-07-27 2014-01-30 シャープ株式会社 液晶表示パネルの検査方法、および液晶表示パネルの検査装置
KR20140067574A (ko) * 2012-11-27 2014-06-05 엘지디스플레이 주식회사 평판 디스플레이 패널의 외관 스크래치 검사 방법
CN103713406A (zh) * 2013-12-18 2014-04-09 电子科技大学 一种液晶显示器检测方法
WO2016208606A1 (ja) * 2015-06-25 2016-12-29 Jfeスチール株式会社 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法
US20180246044A1 (en) * 2015-10-26 2018-08-30 Huawei Technologies Co., Ltd. Display defect detection method, apparatus, and device for display screen
CN108303431A (zh) * 2017-01-11 2018-07-20 由田新技股份有限公司 用于表面异物检测的自动光学检测系统
CN109493310A (zh) * 2017-09-08 2019-03-19 丽宝大数据股份有限公司 身体信息分析装置及其手部肌肤分析方法
CN108961238A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN110716803A (zh) * 2018-07-13 2020-01-21 中强光电股份有限公司 电脑系统、资源分配方法及其影像辨识方法
CN111077166A (zh) * 2018-10-19 2020-04-28 北京金山云网络技术有限公司 液晶屏的瑕疵检测方法、装置及终端设备
CN111510693A (zh) * 2019-01-30 2020-08-07 中强光电股份有限公司 投影系统及影像色彩校正方法
CN109884727A (zh) * 2019-03-15 2019-06-14 Oppo广东移动通信有限公司 异物检测方法、异物检测装置和电子设备
CN110286132A (zh) * 2019-06-21 2019-09-27 上海天马微电子有限公司 显示面板的光学检测方法及设备

Also Published As

Publication number Publication date
TWI776275B (zh) 2022-09-01
TW202217659A (zh) 2022-05-01

Similar Documents

Publication Publication Date Title
US9582872B2 (en) Optical film defect detection method and system thereof
CN109791088B (zh) 检查装置、检查方法以及程序
CN109791089B (zh) 检查装置、检查方法以及计算机可读取的记录介质
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN113984791B (zh) 缺陷检测方法、装置、光学成像系统、设备及存储介质
JP2009229197A (ja) 線状欠陥検出方法および線状欠陥検出装置
CN112304969A (zh) 显示模块检测设备、方法、装置及系统和存储介质
KR20170011791A (ko) 터치스크린 패널에서 강화유리의 광학적 불량과 ito패턴의 불량을 검출하기 위한 장치 및 그 방법
JP2012237585A (ja) 欠陥検査方法
CN115330794B (zh) 基于计算机视觉的led背光异物缺陷检测方法
TWI776275B (zh) 影像辨識裝置以及影像辨識方法
KR20070101669A (ko) 마운팅 플레이트 어셈블리의 비전 검사장치 및 검사방법
US10846869B2 (en) Streak-like region detecting device, streak-like region detecting method, and program
JP6323094B2 (ja) 防眩性検査装置、方法、及びプログラム
KR20160101436A (ko) 표면의 이물검사 방법
JP2002257749A (ja) 検査装置、検査方法およびこれを用いたカラーフィルタの製造方法
KR100570268B1 (ko) 특징점 강도를 이용한 플랫패널용 광관련판요소의 부정형성 얼룩 검출방법
JP2000205846A (ja) 塗装ムラ検査装置および方法
Šmíd et al. Detection of decorative phase defects on a polymeric non-planar object
TW200848721A (en) Offline fault inspection appliance for transparent plastic samples on the basis of a consumer flatbed scanner with a transparency unit
CN113870242A (zh) 一种检测盲孔的方法及设备
KR20110001476U (ko) 엘시디 비엘유 도광판 표면 이물 자동검사장비 및 분류 리페어장비

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination