CN112396575A - 基于影像的分类系统 - Google Patents

基于影像的分类系统 Download PDF

Info

Publication number
CN112396575A
CN112396575A CN202010659098.7A CN202010659098A CN112396575A CN 112396575 A CN112396575 A CN 112396575A CN 202010659098 A CN202010659098 A CN 202010659098A CN 112396575 A CN112396575 A CN 112396575A
Authority
CN
China
Prior art keywords
image
layer
candidate
convolution
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010659098.7A
Other languages
English (en)
Inventor
方志恒
陆家梁
廖家德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN112396575A publication Critical patent/CN112396575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

本发明提供一种基于影像的分类系统，包括一影像捕获设备、一连接至影像捕获设备的处理装置。影像捕获设备用于获取一待测物影像，待测物具有一表面层与膜内层。处理装置包括被配置为使用一深度学习模型，并根据待测物影像进行影像分割，界定表面层区域与膜内层区域，以产生分类信息。本发明无须手动设计特征，即可通过类神经网络自动由面板影像中获取出异形膜内区域，以提升检测的效率及可靠度。

Description

基于影像的分类系统
技术领域
本发明是有关于一种基于影像的分类系统，尤指一种通过类神经网络系统执行异形膜内分割的影像分类系统。
背景技术
自动光学检测(Automatic Optical Inspection,AOI)设备的应用相当广泛，经常使用在面板、半导体前段及后段制程中用以进行瑕疵检测。以面板制程相关的自动光学检测系统而言，即包括玻璃检测(Glass AOI)、前段Array制程的Array检测、彩色滤光片(Color Filter)检测、以及后段液晶模块(LCM)检测等。
现有的自动光学检测系统通过机器视觉进行影像材质分类时，一般是通过边缘检测的算法确定边界的位置，有时须通过人工的方式标记影像以形成正确的屏蔽(例如分水岭算法)。这样的影像分类方式虽然仍可以达到相应的可靠度，但在实务操作上确有局限性，再者在检测的效率上同样难以达到较佳的表现。
发明内容
本发明的主要目的，在于提供一种基于影像的分类系统，包括一影像捕获设备、一连接至影像捕获设备的处理装置。影像捕获设备用于获取一待测物影像，待测物具有一表面层与膜内层。处理装置连接至影像捕获设备，处理装置被配置为使用一深度学习模型，并根据待测物影像进行影像分割，界定表面层区域与膜内层区域，以产生分类信息。
本发明无须手动设计特征，即可通过类神经网络自动由面板影像中获取出异形膜内区域，以提升检测的效率及可靠度。
再者，本发明可以在一次检测程序完成分割异形膜内以及瑕疵检测，效率明显优于传统算法。
附图说明
图1为本发明中自动光学检测系统的方块示意图(一)。
图2为本发明中自动光学检测系统的方块示意图(二)。
图3为本发明中类神经网络的架构示意图。
图4为本发明中主干网络的架构示意图。
图5为本发明中区域候选网络的架构示意图。
图6为本发明中候选层的工作流程示意图。
图7为本发明中ROI排列模块的池化示意图。
图8为本发明中全卷积网络的架构示意图。
附图标记说明：
100 自动光学检测系统
10 影像捕获设备
20 处理装置
21 处理器
22 储存单元
30 移载设备
40 辅助光源
P 待测物
M1 深度学习模型
N1 主干网络
N11 特征提取网络
N111 第一卷积层
N112 第一卷积层
N113 第一卷积层
N114 第一卷积层
N115 第一卷积层
N12 特征金字塔网络
N121 等尺寸特征图
N122 等尺寸特征图
N123 等尺寸特征图
N124 等尺寸特征图
Q1-Q4 融合特征图
N2 区域候选网络
N21 第三卷积层
N22 softmax层
N23 边框回归层
N24 候选层
RO 感兴趣区域
N3 ROI排列模块
D1 坐标位置
D2 坐标位置
D3 坐标位置
D4 坐标位置
NM 正规化影像
N4 全卷积网络
N41 第四卷积层
SD 实例分割屏蔽
N5 去背模块
N6 全连接层
N7 分类结果
步骤S01-S07
具体实施方式
有关本发明的详细说明及技术内容，现就配合图式说明如下。再者，本发明中的图式，为说明方便，比例未必照实际比例绘制，图式及比例并非用以限制本发明的范围，在此先行叙明。
本发明是应用于自动光学检测系统(Automated Optical Inspection,AOI)上，通过类神经网络自动在面板影像中生成屏蔽，并依据屏蔽获取出面板影像上的感兴趣区域进行瑕疵检测，达到较佳的可靠度及检测效率。
请参阅图1，为本发明基于影像的分类系统的方块示意图(一)，如图所示：
在本实施例中所述的基于影像的分类系统100主要包括一影像捕获设备10、以及一连接至该影像捕获设备10的处理装置20。一般而言，为了实现全自动化检测，通常会再增加移载设备30，用于将一待测物P移载至检测区域进行拍摄，实现全自动化控制；此外，针对不同的待测物P或瑕疵种类，分类系统100上同样可安装有各式的辅助光源40，用以对待测物P进行照明。所述的辅助光源40例如可以为但不限定于平行光灯具、漫射光灯具、穹形灯等，一些特殊的待测物P可能会用到两组以上的辅助光源40，依照所对应的待测物P种类决定。
用于自动光学检测的摄影机是依据实际需求而配置。通常对于工件的精密度及可靠度有相当程度的需求时，必须要配置更为精密的摄影机：反之，为了减少设备的成本，可选用较为低阶的摄影机，此部分依照厂商的需求而定。一般摄影机种类可分为面扫描摄影机(Area Scan Camera)、以及线扫描摄影机(Line Scan Camera)，配合实务上的需求所述的两种摄影机都有可能被使用。线扫描摄影机较常用于动态检测，在待测物P移动的同时进行拍摄，可确保检测流程的连续性。
影像捕获设备10是连接在后台的处理装置20，通过处理装置20的处理器21分析影像捕获设备10所获得的影像，以通过影像中得到待测物P表面上的瑕疵。在一较佳的实施例中，影像捕获设备10配置有微处理器(通常在影像捕获设备10出厂时配置)用以控制影像捕获设备10或是针对影像捕获设备10所拍摄到的影像进行预处理。处理装置20的处理器21通过影像捕获设备10(或微处理器)获取影像后，将影像进行前处理程序(例如影像强化、去除噪声、加强对比、加强边缘、获取特征、影像压缩、影像转换等)，并将输出的影像通过视觉软件工具和算法进行分析，以获得判定结果并将判定结果输出或储存于数据库。所述的处理器21是用以加载储存单元22的深度学习模型M1以执行自动光学检测。
请一并参阅图2，为本发明基于影像的分类系统的方块示意图(二)，如图所示：
本发明采用屏蔽区域候选卷积神经网络(以下称Mask RCNN)作为主要架构并进行修改以达到同时执行影像分割及瑕疵辨识的功能。所述影像分割及瑕疵检测是通过处理器21加载储存单元22后执行，有关于处理器21及储存单元22如何协同运作，由于非属本发明所欲限制的范围，以下不针对所述技术方案进行赘述。
在本发明中处理器21在加载储存单元22后配置执行一深度学习模型M1，并根据待测物P影像，界定表面层区域P1与膜内层区域P2，以产生分类信息，并根据分类信息，判断膜内层区域的瑕疵P21，以产生检测结果。
以下是针对本发明的一较佳实施例进行说明。请参阅图3至图8，是本发明中类神经网络、主干网络、区域候选网络的架构示意图、候选层的工作流程示意图、ROI排列模块的池化示意图、以及全卷积网络的架构示意图，如图所示：
请一并参阅图3，深度学习模型M1主要包括主干网络N1、区域候选网络N2(RegionProposal Network,RPN)、ROI排列模块N3(ROI Align Module)、全卷积网络N4(FullConvolutional Network)、去背模块N5、以及一全连接层N6，待测物影像输入深度学习模型M1之后，将获得分类信息，将表面层区域P1与膜内层区域P2分别进行标记并区分，接续判断膜内层P2区域的瑕疵P21，最终产生检测结果。
请一并参阅图4，所述的主干网络N1是主要用以由面板的原始影像IP执行特征提取，以获取一或多个特征图。在本实施例中，主干网络N1包括特征提取网络N11以及特征金字塔网络N12(Feature Pyramid Network,FPN)。
特征提取网络N11包括多个由底层至顶层排列的第一卷积层N111、N112、N113、N114、N115，底层的卷积层(例如第一卷积层N111)提取影像中的低级特征，高层的卷积层(例如第二卷积层N112至第五卷积层N115)提取影像中的高级特征，卷积层的数量可依据样本的需求而设定，非属本发明所欲限制的范围。原始影像IP是通过正规化处理后由底层输入第一卷积层N111，并通过第一卷积层N111进行特征提取获得多个特征图(Feature Map)。在一较佳实施例中，特征提取网络N11是可以为深度残差网络(Deep residual network,ResNet)，具有较佳的收敛效果，以解决深层网络的退化问题。
在目标检测上，低层的特征图包括较少的讯息量，但是特征图较大，因此目标位置相对较为准确，有助于识别影像中的细节；高层的特征图包含较多的讯息量，但相对而言目标位置则显粗略，且由于步伐(stride)较大，造成影像中较小物体的检测性能下降。为了提高检测精度，主干网络N1还进一步运用了特征金字塔网络N12(Feature Pyramid Network,FPN)，用以同时保留目标位置的准确度以及讯息量。具体而言，特征金字塔网络N12(Feature Pyramid Network,FPN)依该第一卷积层N111各层的输出将顶层的特征图进行上采样(upsampling)以获得多个对应数量的等尺寸特征图N121、N122、N123、N124，将第一卷积层N111、N112、N113、N114、N115输出的特征图与对应尺寸的等尺寸特征图N121、N122、N123、N124融合(merge)后，输出多个融合特征图Q1-Q4。藉此底层的输出可以用于检测影像中的小型对象、中层的输出可以用于检测影像中的中型对象、顶层的输出可以用于检测影像中的大型对象，以此类推。选用的输出特征是依据目标尺寸动态确定。
请一并参阅图5，所述的区域候选网络N2连接至主干网络N1以获取特征图，并通过特征图决定一或多个感兴趣区域。区域候选网络N2是一个小型的神经网络，通过滑动窗口扫描图像，用以寻找存在目标的区域。具体而言，区域候选网络N2包括一第三卷积层N21、一softmax层N22、一边框回归层N23、以及一候选层N24(Proposal Layer)。第三卷积层N21是将融合特征图Q1-Q4依据设定的锚点图(anchor box)执行卷积输出以获取多个候选外框，并通过softmax层N22的输出将候选外框依据可能包含物体的机率(score)分类为前景或后景，边框回归层N23回授候选外框的变换量至候选层N24，候选层N24依据多个具有前景的候选外框以及变换量执行边框精调以获得感兴趣区域RO。所述的锚点图可以预设多种不同大小组合多种不同长宽比而为多种，锚点图的数量非属本发明所欲限制的范围。
具体而言，如图6所示，候选层N24执行以下步骤以获得感兴趣区域RO：生成锚点图；将所有的锚点图做边框回归以获得候选外框(步骤S01)；按照softmax层N22的输出分数由大到小排序候选外框(步骤S02)；依据输出分数提取具前景的候选外框(步骤S03)；设定超出图像边界的候选外框为边界(步骤S04)；去除尺寸低于设定阈值的候选外框(步骤S05)；对候选外框执行非极大值抑制(Non-Maximum Suppression,NMS)(步骤S06)；再次由剩余的候选外框去除尺寸低于设定阈值的候选外框，以获得感兴趣区域RO(步骤S07)。
请一并参阅图7，分类器并不能很好地处理多种输入尺寸(通常只能处理固定的输入尺寸)。然而区域候选网络N2(RPN)中的边框精调步骤使感兴趣区域RO可以有不同的尺寸，必须要采用池化的方式压缩影像，以正规化输入的影像。为了避免量化扣除浮点数后造成的误差，所述的ROI排列模块N3通过双线性内插的方式避免量化产生的误差值，最终获得正规化影像。具体而言，ROI排列模块N3主要执行以下步骤：逐一遍历所有感兴趣区域RO，保持浮点数边界(即不执行量化)；将感兴趣区域RO分割成k x k个单元(图式以2x2表示)；在每个单元中计算固定四个坐标位置D1、D2、D3、D4，用双线性内插的方法计算出这四个位置的值，然后进行最大池化(Max Pool)操作，经过最大池化运算后，得到正规化影像NM。
请一并参阅图8，所述的全卷积网络N4(Full Convolutional Network,FCN)，输入正规化影像NM后，通过多个第四卷积层N41运算后获得分割屏蔽，最后为了避免重复运算，将分割屏蔽进行差补运算映像至特征图输出一实例分割屏蔽SD。主要在前端卷积神经网络的过程中会一直作下采样的动作，所以全卷积网络N4最后的输出实际上得到的会是一个低分辨率的掩码屏蔽，由于掩码屏蔽的结果比较粗糙，为了让效果更好，再做上采样(upsampling)补足像素，取前面几层的结果来作差补运算，基于全卷积网络N4的屏蔽特征、以及屏蔽损失函数，最后将获得实例分割屏蔽SD。
通过上述的计算，深度学习模型M1总共可以获得三个输出，融合特征图Q1-Q4、感兴趣区域RO、以及实例分割屏蔽SD。由于实例分割屏蔽SD是直接映像至融合特征图Q1-Q4上，可省去重复提取特征的过程。
最终处理装置20根据分类信息进行检测，判断膜内层区域P2的瑕疵，以产生检测结果。
深度学习模型包括一去背模块N5以及一全连接层N6。去背模块N5将融合特征图Q1-Q4对应于感兴趣区域RO执行分割后，将分割后的影像依据实例分割屏蔽SD进行去背处理以获得对象去背特征影像。由于全连接层N6的输入必须是正规影像，去背特征影像中去背的区域可以填入单一影像参数使输入可以符合全连接层N6的需求(在训练的过程中训练的影像可以为同时具有膜内区及膜外区的影像、或是膜内区的影像)。将对象去背特征影像是输入至经训练过后的全连接层N6，全连接层N6的末端可以为softmax层N22，最终将去背特征影像依据权重分类输出以获得分类结果N7(例如良品、及瑕疵种类)。
综上所述，本发明通过类神经网络自动由面板影像中获取出异形膜内区域，以此提升检测的效率及可靠度。此外，本发明可以在一次检测程序完成分割异形膜内以及瑕疵检测，在效率上明显优于传统算法。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (8)

1.一种基于影像的分类系统，其特征在于，包括：
一影像捕获设备，用于获取一待测物影像，所述待测物具有一表面层与膜内层；以及
一处理装置，连接至所述影像捕获设备，所述处理装置被配置为使用一深度学习模型，并根据所述待测物影像进行影像分割，界定所述表面层区域与所述膜内层区域，以产生分类信息。
2.如权利要求1所述的基于影像的分类系统，其特征在于，所述处理装置被配置为使用所述深度学习模型，并根据所述分类信息进行检测，判断所述膜内层区域的瑕疵，以产生检测结果。
3.如权利要求2所述的基于影像的分类系统，其特征在于，所述深度学习模型包括：
一主干网络，由所述待测物的原始影像执行特征提取，以获取一或多个特征图；
一区域候选网络，连接至所述主干网络以获取所述特征图，并经由所述特征图决定一或多个感兴趣区域；
一ROI排列模块，经由双线性内插的方式将所述感兴趣区域范围的影像进行池化，以获得正规化影像；
一全卷积网络，输入所述正规化影像后，经由多个卷积层运算后获得分割屏蔽，将所述分割屏蔽进行差补运算以映像至所述特征图输出一实例分割屏蔽；
一去背模块，依据所述实例分割屏蔽将所述感兴趣区域内的影像进行去背，以获得对象去背特征影像；以及
一全连接层，所述对象去背特征影像输入至所述全连接层，并由所述全连接层分类输出分类结果。
4.如权利要求3所述的基于影像的分类系统，其特征在于，所述主干网络包括：
一特征提取网络，包括多个由底层至顶层排列的第一卷积层，所述的原始影像系通过正规化处理后由底层输入所述第一卷积层，并经由所述第一卷积层进行特征提取获得多个特征图；以及
一特征金字塔网络，依据所述第一卷积层各层的输出将顶层的所述特征图进行上采样以获得等尺寸特征图，将所述第一卷积层的特征图与对应尺寸的等尺寸特征图融合后，分别通过一第二卷积层进行卷积后输出多个融合特征图。
5.如权利要求4所述的基于影像的分类系统，其特征在于，所述特征提取网络为深度残差网络。
6.如权利要求5所述的基于影像的分类系统，其特征在于，所述区域候选网络包括一第三卷积层、一softmax层、一边框回归层、以及一候选层，所述第三卷积层将所述融合特征图依据设定的锚点图执行卷积输出以获取多个候选外框，并通过所述softmax层的输出将所述候选外框分类为前景或后景，所述边框回归层回授所述候选外框的变换量至所述候选层，所述候选层依据多个具有前景的所述候选外框以及所述变换量执行边框精调以获得所述感兴趣区域。
7.如权利要求6所述的基于影像的分类系统，其特征在于，所述候选层执行以下步骤以获得所述感兴趣区域：
生成所述锚点图；
将所有的锚点图做边框回归以获得所述候选外框；
按照所述softmax层的输出分数由大到小排序所述候选外框；
依据所述输出分数提取具前景的所述候选外框；
设定超出图像边界的候选外框为边界；
去除尺寸低于设定阈值的候选外框；
对所述候选外框执行非极大值抑制；
再次由剩余的所述候选外框去除尺寸低于设定阈值的候选外框，以获得所述感兴趣区域。
8.如权利要求1至7中任一项所述的基于影像的分类系统，其特征在于，所述基于影像的分类系统用以执行异形膜内检测。
CN202010659098.7A 2019-07-31 2020-07-09 基于影像的分类系统 Pending CN112396575A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108127221A TWI710762B (zh) 2019-07-31 2019-07-31 基於影像的分類系統
TW108127221 2019-07-31

Publications (1)

Publication Number Publication Date
CN112396575A true CN112396575A (zh) 2021-02-23

Family

ID=74202506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010659098.7A Pending CN112396575A (zh) 2019-07-31 2020-07-09 基于影像的分类系统

Country Status (3)

Country Link
US (1) US20210035305A1 (zh)
CN (1) CN112396575A (zh)
TW (1) TWI710762B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113933296A (zh) * 2021-03-15 2022-01-14 住华科技股份有限公司 一种检测光学膜的方法、装置及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222425B2 (en) * 2020-02-11 2022-01-11 DeepVoxel, Inc. Organs at risk auto-contouring system and methods
US20220374720A1 (en) * 2021-05-18 2022-11-24 Samsung Display Co., Ltd. Systems and methods for sample generation for identifying manufacturing defects
CN117095180B (zh) * 2023-09-01 2024-04-19 武汉互创联合科技有限公司 基于分期识别的胚胎发育阶段预测与质量评估方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US20140307052A1 (en) * 2013-04-10 2014-10-16 Samsung Electronics Co., Ltd. Apparatuses and methods for extracting defect depth information and methods of improving semiconductor device manufacturing processes using defect depth information
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109993734A (zh) * 2019-03-29 2019-07-09 北京百度网讯科技有限公司 用于输出信息的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205120B2 (en) * 2016-12-22 2021-12-21 Samsung Electronics Co., Ltd System and method for training deep learning classification networks
US11300521B2 (en) * 2017-06-14 2022-04-12 Camtek Ltd. Automatic defect classification
CN111095294A (zh) * 2017-07-05 2020-05-01 深视有限公司 深度视觉处理器
WO2019018693A2 (en) * 2017-07-19 2019-01-24 Altius Institute For Biomedical Sciences METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING
CN112912002A (zh) * 2017-12-14 2021-06-04 Essenlix公司 改进的光透射样品架和分析，特别是用于血红蛋白
CN109118482B (zh) * 2018-08-07 2019-12-31 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US20140307052A1 (en) * 2013-04-10 2014-10-16 Samsung Electronics Co., Ltd. Apparatuses and methods for extracting defect depth information and methods of improving semiconductor device manufacturing processes using defect depth information
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109993734A (zh) * 2019-03-29 2019-07-09 北京百度网讯科技有限公司 用于输出信息的方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113933296A (zh) * 2021-03-15 2022-01-14 住华科技股份有限公司 一种检测光学膜的方法、装置及系统

Also Published As

Publication number Publication date
US20210035305A1 (en) 2021-02-04
TWI710762B (zh) 2020-11-21
TW202107074A (zh) 2021-02-16

Similar Documents

Publication Publication Date Title
CN112396575A (zh) 基于影像的分类系统
CN109613002B (zh) 一种玻璃缺陷检测方法、装置和存储介质
US20230419472A1 (en) Defect detection method, device and system
CN108355981B (zh) 一种基于机器视觉的电池连接器质量检测方法
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN111833306A (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
WO2022012240A1 (zh) 检测显示面板不良的方法及装置
JP2001509618A (ja) マスクレスの半導体及び液晶ディスプレイ検査方法及び装置
CN115791822A (zh) 晶圆表面缺陷的视觉检测算法及检测系统
CN111523540A (zh) 基于深度学习的金属表面缺陷检测方法
CN112200790B (zh) 布料缺陷检测方法、设备和介质
CN116990323B (zh) 一种高精密印刷版视觉检测系统
CN110837809A (zh) 血液自动分析方法、系统、血细胞分析仪及存储介质
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN109166092A (zh) 一种图像缺陷检测方法及系统
CN110021012B (zh) 基于机器视觉技术的手机镜头视窗玻璃缺陷检测方法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN114170168A (zh) 显示模组缺陷检测方法、系统及计算机可读存储介质
CN117198909A (zh) 一种晶圆的缺陷检测装置以及方法、可读存储介质
CN112184619A (zh) 一种基于深度学习的金属部件表面缺陷检测方法
CN114486916A (zh) 基于机器视觉的手机玻璃盖板缺陷检测方法
CN112258493B (zh) 快速识别定位衬底上二维材料的方法、系统、设备及介质
CN212646436U (zh) 一种人造板表面瑕疵检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination