CN113012139A - 一种用于液晶屏的导电粒子缺陷检测的深度学习算法 - Google Patents
一种用于液晶屏的导电粒子缺陷检测的深度学习算法 Download PDFInfo
- Publication number
- CN113012139A CN113012139A CN202110332793.7A CN202110332793A CN113012139A CN 113012139 A CN113012139 A CN 113012139A CN 202110332793 A CN202110332793 A CN 202110332793A CN 113012139 A CN113012139 A CN 113012139A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- liquid crystal
- deep learning
- learning algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 58
- 239000002245 particle Substances 0.000 title claims abstract description 33
- 239000004973 liquid crystal related substance Substances 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Liquid Crystal (AREA)
Abstract
本发明提供本发明提供一种用于液晶屏的导电粒子缺陷检测的深度学习算法，通过收集带缺陷的粒子图像，标注缺陷图像，设置训练的参数，修改卷积神经网络的层和结点，预测目标图像所包含的缺陷，实现缺陷的有效识别。本发明能检测出导电粒子的优劣，检测精度和检测稳定性高，提高了视觉检测设备的功能性和稳定性。
Description
技术领域
本发明涉及人工智能算法领域，具体为一种用于液晶屏的导电粒子缺陷检测的深度学习算法。
背景技术
在智研咨询网发布的《2018-2024年中国液晶显示板行业市场运营模式分析及发展趋势预测研究报告》的报告中指出，我国内在未来的几年内会增加液晶屏的产能，国内的需求量将迎来高峰期。大多数的液晶屏使用的是一种晶粒-玻璃接合技术，连接晶粒与玻璃的材料是各向异性导电膜(ACF)。ACF中导电粒子的定位和贴合质量是判断液晶屏质量好坏的重要依据之一。目前很多液晶屏产商还是使用人工抽检的方式对ACF中的导电粒子进行检测，检测速度慢，检测质量低。现阶段人工检测已很难满足厂商对质量和效率的要求。随着图像处理与模式识别技术不断成熟，国内外已成功开发了较为先进的自动化检测设备。国外开发的导电粒子自动化检测设备功能强大、稳定性高，但价格昂贵，我国自主研发的检测设备虽价格低廉，但功能和性能差强人意，优秀的人工智能算法，能够提高视觉检测设备的功能性和稳定性，使我国已开发的导电粒子自动化检测设备即具有价格优势，又具有性能优势。
发明内容
本发明针对现有液晶屏导电粒子自动化检测准确性和稳定性不高的技术问题，提供了一种用于液晶屏的导电粒子缺陷检测的深度学习算法。
本发明提出如下技术方案：一种用于液晶屏的导电粒子缺陷检测的深度学习算法，包括如下步骤：
第一步：收集带缺陷的粒子图像；
第二步：标注缺陷图像；
第三步：设置训练的参数，修改卷积神经网络的层和结点；
第四步：预测目标图像所包含的缺陷，实现缺陷的有效识别。
进一步的，在本发明中，第一步的具体步骤包括：采用定位的面阵相机和xyq的三自由度对位平台，采样相机采用线阵摄像头。
进一步的，在本发明中，第二步使用labelme软件对收集的缺陷特征图像进行标注，生成对应图像的缺陷特征区域。
进一步的，在本发明中，对于细微表面粒子的缺陷特征，对表面缺陷特征采用亚像素级上采样，采用双线性内插法增大图像缺陷的特征区域。
进一步的，在本发明中，第三步的具体步骤包括：使用6层卷积结构进行上采样，收集每一次采样后的图像特征区域，提取特征区域的缺陷，建立缺陷模型，然后映射到原始图像的对应区域，在相同的层上使用残差网络进行相加，并把所有的特征区域resize到同样的大小进行训练学习，使用每个阶段的最后一个残差结构的特征激活输出，将这些残差模块输出表示为{C2，C3，C4，C5，C6}，对应于conv2，conv3，conv4，conv5和conv6的输出，它们相对于输入图像具有{4，8，16，32，64}像素的步长。
进一步的，在本发明中，第四步的具体步骤包括：使用训练好的权重文件和配置文件对目标图像进行预测，实现缺陷的有效识别。
有益效果，本申请的技术方案具备如下技术效果：
1、本发明利用深度学习算法检测液晶屏导电粒子缺陷，提高了检测精度和检测稳定性。
2、由于表面粒子的缺陷特征比较细微，导致识别准确率不高，采用双线性内插法使图像放大，用亚像素进行分析，检测精度大大提升。
3、为了准确提取缺陷的特征区域，使用卷积神经网络对图像进行六次上采样，收集采样后的图像特征区域，建立缺陷的模型，然后映射到原始图像的对应区域，提高了检测的准确性。
4、本算法使用了每个阶段的残差结构的最大特征激活输出，取每次最大特征值对应的特征建立特征矩阵，该方法大大提高了算法的稳定性。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为本发明一种用于液晶屏导电粒子缺陷检测的深度学习算法的流程图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
现有液晶显导电粒子自动化检测设备的准确性和稳定性不高，所以本发明提供了一种用于液晶屏的导电粒子缺陷检测的深度学习算法，对导电膜绑定后导电粒子的位置和贴合质量进行检测。
参见图1所示，本发明一种基于深度学习算法的导电粒子的检测算法，包括如下步骤：
步骤一、收集收集带缺陷的粒子图像。使用面阵相机和xyq的对位平台对fpc和液晶板lcm表面的Mark特征点进行对位贴合，然后使用Dalsa线扫相机获取对位贴合后的特征图像，收集有缺陷的特征样本；
步骤二、标注带粒子图像的缺陷区域，并生成对应图像的jason文件。使用labelme软件对收集的缺陷特征图像进行标注，生成对应图像的缺陷特征区域。
步骤三、使用6层卷积结构，并分别对每一层进行上采样，增加图像的特征区域。由于表面粒子的缺陷特征比较细微，需要精确到亚像素级，并且需要对表面缺陷特征进行图像上采样，来增大图像缺陷的特征区域。采用双线性内插法放大图像，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。插值算法为：f(i，j+v)＝[f(i，j+1)-f(i，j)]*v+f(i，j)；
步骤四、通过对每一层的特征区域对原始图像缺陷的特征进行映射生成特征图像。使用卷积神经网络对图像进行六次上采样，收集每一次采样后的图像特征区域，提取特征区域的缺陷，建立缺陷模型，然后映射到原始图像的对应区域。
步骤五、在相同的层上使用残差网络进行相加，并把所有的特征区域resize到同样的大小进行训练学习。使用每个阶段的最后一个残差结构的特征激活输出，将这些残差模块输出表示为{C2，C3，C4，C5，C6}，对应于conv2，conv3，conv4，conv5和conv6的输出，并且注意它们相对于输入图像具有{4，8，16，32，64}像素的步长。
步骤六、使用训练好的权重文件进行验证。使用训练好的权重和对应网络的配置文件对生成的图像进行预测，实现缺陷识别的目的。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (6)
1.一种用于液晶屏的导电粒子缺陷检测的深度学习算法，其特征在于，包括如下步骤：
第一步：收集带缺陷的粒子图像；
第二步：标注缺陷图像；
第三步：设置训练的参数，修改卷积神经网络的层和结点；
第四步：预测目标图像所包含的缺陷，实现缺陷的有效识别。
2.根据权利要求1所述的一种用于液晶屏的导电粒子缺陷检测的深度学习算法，其特征在于，第一步的具体步骤包括：采用定位的面阵相机和xyq的三自由度对位平台，采样相机采用线阵摄像头。
3.根据权利要求1所述的一种用于液晶屏的导电粒子缺陷检测的深度学习算法，其特征在于，第二步使用labelme软件对收集的缺陷特征图像进行标注，生成对应图像的缺陷特征区域。
4.根据权利要求3所述的一种用于液晶屏的导电粒子缺陷检测的深度学习算法，其特征在于，对于细微表面粒子的缺陷特征，对表面缺陷特征采用亚像素级上采样，采用双线性内插法增大图像缺陷的特征区域。
5.根据权利要求1所述的一种用于液晶屏的导电粒子缺陷检测的深度学习算法，其特征在于，第三步的具体步骤包括：使用6层卷积结构进行上采样，收集每一次采样后的图像特征区域，提取特征区域的缺陷，建立缺陷模型，然后映射到原始图像的对应区域，在相同的层上使用残差网络进行相加，并把所有的特征区域resize到同样的大小进行训练学习，使用每个阶段的最后一个残差结构的特征激活输出，将这些残差模块输出表示为{C2，C3，C4，C5，C6}，对应于conv2，conv3，conv4，conv5和conv6的输出，它们相对于输入图像具有{4，8，16，32，64}像素的步长。
6.根据权利要求1所述的一种用于液晶屏的导电粒子缺陷检测的深度学习算法，其特征在于，第四步的具体步骤包括：使用训练好的权重文件和配置文件对目标图像进行预测，实现缺陷的有效识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110332793.7A CN113012139A (zh) | 2021-03-29 | 2021-03-29 | 一种用于液晶屏的导电粒子缺陷检测的深度学习算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110332793.7A CN113012139A (zh) | 2021-03-29 | 2021-03-29 | 一种用于液晶屏的导电粒子缺陷检测的深度学习算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113012139A true CN113012139A (zh) | 2021-06-22 |
Family
ID=76408544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110332793.7A Pending CN113012139A (zh) | 2021-03-29 | 2021-03-29 | 一种用于液晶屏的导电粒子缺陷检测的深度学习算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012139A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961238A (zh) * | 2018-07-02 | 2018-12-07 | 北京百度网讯科技有限公司 | 显示屏质量检测方法、装置、电子设备及存储介质 |
| CN110110719A (zh) * | 2019-03-27 | 2019-08-09 | 浙江工业大学 | 一种基于注意层区域卷积神经网络的目标检测方法 |
| CN110717378A (zh) * | 2019-08-26 | 2020-01-21 | 苏州感知线智能科技有限公司 | 基于神经网络算法的导电粒子的检测方法及装置 |
| CN111401418A (zh) * | 2020-03-05 | 2020-07-10 | 浙江理工大学桐乡研究院有限公司 | 一种基于改进Faster r-cnn的员工着装规范检测方法 |
| CN112101138A (zh) * | 2020-08-26 | 2020-12-18 | 东南大学 | 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法 |
-
2021
- 2021-03-29 CN CN202110332793.7A patent/CN113012139A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961238A (zh) * | 2018-07-02 | 2018-12-07 | 北京百度网讯科技有限公司 | 显示屏质量检测方法、装置、电子设备及存储介质 |
| CN110110719A (zh) * | 2019-03-27 | 2019-08-09 | 浙江工业大学 | 一种基于注意层区域卷积神经网络的目标检测方法 |
| CN110717378A (zh) * | 2019-08-26 | 2020-01-21 | 苏州感知线智能科技有限公司 | 基于神经网络算法的导电粒子的检测方法及装置 |
| CN111401418A (zh) * | 2020-03-05 | 2020-07-10 | 浙江理工大学桐乡研究院有限公司 | 一种基于改进Faster r-cnn的员工着装规范检测方法 |
| CN112101138A (zh) * | 2020-08-26 | 2020-12-18 | 东南大学 | 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 向前奔跑的少年: "[Network Architecture]Mask R-CNN论文解析（转）", pages 12 - 19, Retrieved from the Internet <URL:https://www.cnblogs.com/kk17/p/9991446.html> * |
| 李画 等: "Mask RCNN模型在路面缺陷检测中的应用", 《科学技术创新》, vol. 2020, no. 29, 25 September 2020 (2020-09-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Park et al. | Patch-based crack detection in black box images using convolutional neural networks | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN109872309A (zh) | 检测系统、方法、装置及计算机可读存储介质 | |
| CN112950606A (zh) | 一种基于小样本的手机屏幕缺陷分割方法 | |
| CN105913415A (zh) | 一种具有广泛适应性的图像亚像素边缘提取方法 | |
| CN112862744B (zh) | 一种基于超声图像的电容内部缺陷智能检测方法 | |
| CN113111875B (zh) | 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法 | |
| CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN115184380B (zh) | 基于机器视觉的印刷电路板焊点异常检测方法 | |
| CN110610199B (zh) | 基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法 | |
| CN110726725A (zh) | 一种输电线路金具锈蚀检测方法及装置 | |
| WO2024066035A1 (zh) | 基于电池表面图像的缺陷检测方法、系统及相关设备 | |
| CN114757913A (zh) | 一种显示屏缺陷检测方法 | |
| CN113487563B (zh) | 一种基于el图像的光伏组件隐裂自适应检测方法 | |
| TW201512649A (zh) | 偵測晶片影像瑕疵方法及其系統與電腦程式產品 | |
| CN110837860A (zh) | 基于深度学习的贴片检测方法及相关系统 | |
| CN114973032A (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
| CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
| KR20140075042A (ko) | 표시패널 검사 장치 및 그 방법 | |
| CN116563230A (zh) | 焊缝缺陷识别方法及系统 | |
| CN113506240A (zh) | 一种基于深度学习的金相晶界提取和连通方法 | |
| CN113012139A (zh) | 一种用于液晶屏的导电粒子缺陷检测的深度学习算法 | |
| Wang et al. | Fast blur detection algorithm for UAV crack image sets | |
| CN116824122A (zh) | 基于深度学习的led芯片定位方法及led芯片定位装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |