CN115631156A - ADC系统通过灰阶图片辅助来判断Code信息的方法 - Google Patents

ADC系统通过灰阶图片辅助来判断Code信息的方法 Download PDF

Info

Publication number
CN115631156A
CN115631156A CN202211264855.6A CN202211264855A CN115631156A CN 115631156 A CN115631156 A CN 115631156A CN 202211264855 A CN202211264855 A CN 202211264855A CN 115631156 A CN115631156 A CN 115631156A
Authority
CN
China
Prior art keywords
gray
marking
aoi
picture
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211264855.6A
Other languages
English (en)
Inventor
张俊峰
巫文豪
王文瑞
温志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Corelli Software Co ltd
Original Assignee
Shanghai Corelli Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Corelli Software Co ltd filed Critical Shanghai Corelli Software Co ltd
Priority to CN202211264855.6A priority Critical patent/CN115631156A/zh
Publication of CN115631156A publication Critical patent/CN115631156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种ADC系统通过灰阶图片辅助来判断Code信息的方法，具体包括如下步骤：(1)AOI图片准备，包括AOI灰阶图片收集、AOI高清图片收集、AOI高清图片打标、AOI高清图片打标结果等比例转换成对应灰阶图片的打标结果、AOI高清图片打标；(2)AOI灰阶图像无法通过普通打标方式进行打标，可以通过灰阶图像对应的AOI高清图片打标结果等比例换算；(3)ADC灰阶图像模型训练，用ADC灰阶图像和转换后的打标结果训练深度学习模型，训练完成后将训练结果更新到模型库。有益效果：(a)能充分利用灰阶图像；(b)能输出更多的缺陷分类数据；(c)能够更全面的监控AOI拍出的缺陷。

Description

ADC系统通过灰阶图片辅助来判断Code信息的方法
技术领域
本发明涉及半导体数字化技术领域，具体涉及一种ADC系统通过灰阶图片辅助来判断Code信息的方法。
背景技术
在半导体、面板、PCB与PCBA产业，人工智能自动缺陷分类系统(ADC系统)是成熟及已落地上线的智能制造系统之一，目前ADC系统应用层面仅限于对AOI的高清图像进行分类，没有将AOI的灰阶图像利用起来。而实际上AOI高清图像只是抽检后的部分图像，剩余的灰阶图像依然保留着大量的缺陷信息，这样无疑是一种数据资源的浪费。如果将灰阶图像利用起来，可以为缺陷监控提供更多的缺陷信息。
现有的ADC人工智能自动缺陷分类系统只对AOI的高清图片进行分类，忽视了灰阶图像的作用，具有以下缺陷：
1、没有对应高清图的灰阶图像被浪费；
2、ADC能判定出的结果相对较少；
3、缺陷监控具有一定随机性。
发明内容
本发明提供了一种ADC系统通过灰阶图片辅助来判断Code信息的方法，利用人工智能演算法，结合AOI先扫描灰阶图像，再拍摄灰阶图对应的高清图像这一情况，开发了针对灰阶图像的人工智能模型，可以判定灰阶图像的缺陷类别，并存储到数据库中供下一步使用。
本发明是通过以下技术方案实现：
ADC系统通过灰阶图片辅助来判断Code信息的方法，具体包括如下步骤：
(1)AOI图片准备，包括AOI灰阶图片收集、AOI高清图片收集、AOI高清图片打标、AOI高清图片打标结果等比例转换成对应灰阶图片的打标结果、AOI高清图片打标；
(2)AOI灰阶图像无法通过普通打标方式进行打标，可以通过灰阶图像对应的AOI高清图片打标结果等比例换算；
(3)ADC灰阶图像模型训练，用ADC灰阶图像和转换后的打标结果训练深度学习模型，训练完成后将训练结果更新到模型库。
作为优选实施例，所述步骤(2)中通过灰阶图像对应的AOI高清图片打标结果等比例换算，具体为：高清图像长宽为W1,H1；灰阶图像长宽为W2,H2；高清图像打标结果为(x,y,w,h),其中x代表打标中心在整个高清图像的位置x，y代表打标中心在整个高清图像的位置y，w代表打标框x方向长度，h代表打标框y方向长度。由此可计算得出转换后的在灰阶图像打标结果为：(x*W2/W1,y*H2/H1,w*W2/W1,h*W2/W1)，打标标签值与高清图像相同。
有益效果：采用高清图像来对缺陷进行打标和分类，再将分类结果和转换后的打标结果复制到高清图像对应的灰阶图像上，再用灰阶图像和打标结果作为训练集进行训练，即可得到能够对灰阶图像进行分类的模型：
(a)能充分利用灰阶图像；
(b)能输出更多的缺陷分类数据；
(c)能够更全面的监控AOI拍出的缺陷。
附图说明
图1为普通的AOI图像模型训练流程图。
图2为对灰阶图像进行模型训练的流程图。
具体实施方式
下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，仅对高清图像进行训练，得到模型只能对高清图像进行分类。如图2所示，通过灰阶图像和高清图像相结合，能够对灰阶图像进行打标和模型训练，实现对灰阶图像的分类。
ADC系统通过灰阶图片辅助来判断Code信息的方法，具体包括如下步骤：
本发明提供了一种ADC系统通过灰阶图片辅助来判断Code信息的方法，利用人工智能演算法，结合AOI先扫描灰阶图像，再拍摄灰阶图对应的高清图像这一情况，开发了针对灰阶图像的人工智能模型，可以判定灰阶图像的缺陷类别，并存储到数据库中供下一步使用。
本发明是通过以下技术方案实现：
ADC系统通过灰阶图片辅助来判断Code信息的方法，具体包括如下步骤：
(1)AOI图片准备，包括AOI灰阶图片收集、AOI高清图片收集、AOI高清图片打标、AOI高清图片打标结果等比例转换成对应灰阶图片的打标结果、AOI高清图片打标；
(2)AOI灰阶图像无法通过普通打标方式进行打标，但可以通过灰阶图像对应的AOI高清图片打标结果等比例换算，具体为：高清图像长宽为W1,H1；灰阶图像长宽为W2,H2；高清图像打标结果为(x,y,w,h),其中x代表打标中心在整个高清图像的位置x，y代表打标中心在整个高清图像的位置y，w代表打标框x方向长度，h代表打标框y方向长度。由此可计算得出转换后的在灰阶图像打标结果为：(x*W2/W1,y*H2/H1,w*W2/W1,h*W2/W1)，打标标签值与高清图像相同；
(3)ADC灰阶图像模型训练，用ADC灰阶图像和转换后的打标结果训练深度学习模型，训练完成后将训练结果更新到模型库。
先前项目每台AOI设备每个大板会扫描到300～500个缺陷点，并随即抽取100个点拍摄高清照片。用原有ADC方案只能对高清图像做模型训练，最多只能对每个大板的100的缺陷做分类。使用本方案后，先对高清图像打标，再将打标结果转换到灰阶图像上，对灰阶图像进行训练，从而实现对一个大板300～500个点的缺陷分类。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.ADC系统通过灰阶图片辅助来判断Code信息的方法，其特征在于，具体包括如下步骤：
(1)AOI图片准备，包括AOI灰阶图片收集、AOI高清图片收集、AOI高清图片打标、AOI高清图片打标结果等比例转换成对应灰阶图片的打标结果、AOI高清图片打标；
(2)AOI灰阶图像无法通过普通打标方式进行打标，可以通过灰阶图像对应的AOI高清图片打标结果等比例换算；
(3)ADC灰阶图像模型训练，用ADC灰阶图像和转换后的打标结果训练深度学习模型，训练完成后将训练结果更新到模型库。
2.根据权利要求1所述的ADC系统通过灰阶图片辅助来判断Code信息的方法，其特征在于，所述步骤(2)中通过灰阶图像对应的AOI高清图片打标结果等比例换算，具体为：高清图像长宽为W1,H1；灰阶图像长宽为W2,H2；高清图像打标结果为(x,y,w,h),其中x代表打标中心在整个高清图像的位置x，y代表打标中心在整个高清图像的位置y，w代表打标框x方向长度，h代表打标框y方向长度。由此可计算得出转换后的在灰阶图像打标结果为：(x*W2/W1,y*H2/H1,w*W2/W1,h*W2/W1)，打标标签值与高清图像相同。
CN202211264855.6A 2022-10-17 2022-10-17 ADC系统通过灰阶图片辅助来判断Code信息的方法 Pending CN115631156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211264855.6A CN115631156A (zh) 2022-10-17 2022-10-17 ADC系统通过灰阶图片辅助来判断Code信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211264855.6A CN115631156A (zh) 2022-10-17 2022-10-17 ADC系统通过灰阶图片辅助来判断Code信息的方法

Publications (1)

Publication Number Publication Date
CN115631156A true CN115631156A (zh) 2023-01-20

Family

ID=84905660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211264855.6A Pending CN115631156A (zh) 2022-10-17 2022-10-17 ADC系统通过灰阶图片辅助来判断Code信息的方法

Country Status (1)

Country Link
CN (1) CN115631156A (zh)

Similar Documents

Publication Publication Date Title
US20220309637A1 (en) Electronic substrate defect detection
CN111105336A (zh) 一种基于对抗网络的图像去水印的方法
CN111767927A (zh) 一种基于全卷积网络的轻量级车牌识别方法及系统
CN1875378A (zh) 图像中的对象检测
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN109740553B (zh) 一种基于识别的图像语义分割数据筛选方法及系统
CN113642576B (zh) 一种目标检测及语义分割任务中训练图像集合的生成方法及装置
CN112750113A (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN110910353A (zh) 一种工业假不良检测方法及系统
CN113065486A (zh) 适用于河道的漂浮物识别方法与系统、设备、介质
CN110940672A (zh) 智能光学检测样品特征与瑕疵ai模型自动产生方法及装置
KR20230030259A (ko) 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법
CN112651989A (zh) 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统
CN112396042A (zh) 实时更新的目标检测方法及系统、计算机可读存储介质
CN114463280A (zh) 一种基于改进卷积变分自编码器的芯片表面缺陷并行检测方法
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN114758125A (zh) 基于深度学习的齿轮表面缺陷检测方法与系统
CN114972151A (zh) 影像处理方法、非暂态计算机可读取媒体及影像处理系统
CN115631156A (zh) ADC系统通过灰阶图片辅助来判断Code信息的方法
CN116843657A (zh) 基于注意力融合的焊接缺陷检测方法及装置
CN116664519A (zh) 基于弱监督学习的焊接缺陷检测方法、设备和存储介质
CN116580233A (zh) 一种用于工业垃圾分类的智能工作机器人控制系统
CN111160274A (zh) 一种基于二值化Faster RCNN网络的行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination