CN118154999A - 基于半导体切筋产品外表面缺陷的智能识别系统及方法 - Google Patents
基于半导体切筋产品外表面缺陷的智能识别系统及方法 Download PDFInfo
- Publication number
- CN118154999A CN118154999A CN202410577139.6A CN202410577139A CN118154999A CN 118154999 A CN118154999 A CN 118154999A CN 202410577139 A CN202410577139 A CN 202410577139A CN 118154999 A CN118154999 A CN 118154999A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- model
- data
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 54
- 239000004065 semiconductor Substances 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000010801 machine learning Methods 0.000 claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000005520 cutting process Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 238000004519 manufacturing process Methods 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 239000000047 product Substances 0.000 claims description 78
- 238000012545 processing Methods 0.000 claims description 62
- 238000012795 verification Methods 0.000 claims description 54
- 238000012790 confirmation Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 30
- 238000005457 optimization Methods 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000012800 visualization Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000012467 final product Substances 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 3
- 239000002390 adhesive tape Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供的基于半导体切筋产品外表面缺陷的智能识别系统及方法，涉及图像识别方法技术领域，通过获取半导体切筋产线的产品图像，并基于所得图像进行预处理，基于预处理后图像，对图像数据进行特征提取并输出，采用卷积神经网络作为机器学习模型，基于提取所得特征数据进行模型训练，基于训练后的模型将其部署并投入使用，基于模型实时对产品图像进行识别处理，基于识别结果进行确认并反馈，并为输出的反馈提供可视化映射，规避由于激光扫描仪则无法应对新发生与新增的外表面缺陷进行有效检测的技术问题，实现自动化检测外表面缺陷，提高整体生产效率，识别系统用于实时监测外表面缺陷，及时发现问题并采取措施，变相提高整体稳定性。
Description
技术领域
本发明涉及图像识别方法技术领域，具体涉及基于半导体切筋产品外表面缺陷的智能识别系统及方法。
背景技术
半导体切筋产品是指半导体行业中的一类产品，用于半导体芯片的制造和加工过程中，产品具体包括切割切筋，背砂切筋，封装底座及晶圆胶带，其生产及加工过程中，外表面上易产生凹坑，部分由于生产过程中的不良工艺或材料缺陷引起的，同理的，由于切割工艺中的机械刀具或其他物体与表面的接触导致的，其外表面易出现划痕或磨损，因此需要对其外表面缺陷处进行检测处理。
但常规多采用表面缺陷检测仪，采用专门设计的激光扫描仪，对表面进行快速扫描和检测，该方法效率较高，但实际投入使用的过程中，由于半导体切筋产品的形状不一，并且其外表面划痕、凹坑形状不一，微小划痕或凹坑无法通过激光扫描仪智能识别，由于激光扫描仪基于预设的程序进行扫描，程序迭代与扫描准确率相关联，若程序迭代较慢，则激光扫描仪则无法应对新发生与新增的外表面缺陷进行有效检测；
因此，基于半导体切筋产品外表面缺陷的智能识别系统及方法。
发明内容
本发明的目的在于针的不足之处，提供基于半导体切筋产品外表面缺陷的智能识别系统及方法，旨在采用卷积神经网络作为机器学习模型，基于提取所得特征数据进行模型训练，基于训练后的模型将其部署并投入使用，基于模型实时对产品图像进行识别处理，规避由于激光扫描仪基于预设的程序进行扫描，程序迭代与扫描准确率相关联，若程序迭代较慢，则激光扫描仪则无法应对新发生与新增的外表面缺陷进行有效检测的技术问题。
为此，本申请提供基于半导体切筋产品外表面缺陷的智能识别系统，包括如下模块：
图像采集模块，用于半导体切筋产品外表面的图像收集处理；
预处理模块，基于收集所得图像数据进行预处理；
特征提取模块，用于图像数据特征提取处理；
机器学习模块，用于输出训练后的模型，包括模型配置模块、数据分割模块、训练模块、验证模块、优化模块及输出模块；
识别模块，用于实时识别收集所得图像数据，包括判定模块及标记模块；
确认模块，用于确认并复核图像识别结果；
反馈模块，用于实时输出反馈；
可视化模块，用于提供可视化映射，包括显示组件。
在一些具体实施方式中，图像采集模块，具体为：
用于半导体切筋产品外表面的图像收集处理，所述图像收集处理共包括确定需求、确定光照条件及图像采集设置；
确定需求，确定需要识别的外表面缺陷类型和特征，确定图像采集的要求，要求包括分辨率，确定图像的清晰度和细节水平，帧率，对焦模式；
确定光照条件，确定照明类型，确定波长的光源，确定照明强度，确定光源角度；
图像采集设置，基于拍摄角度确定图像采集的角度，捕捉到表面的不同部分，基于拍摄距离确保图像不失真。
在一些具体实施方式中，预处理模块，具体为：
基于收集所得图像数据进行预处理，预处理包括图像去噪、图像增强和阈值化处理；
图像去噪，具体包括确定滤波器、生成高斯核、滤波处理、边界处理及输出结果；
采用高斯滤波器进行图像去噪处理，确定滤波器大小，高斯滤波器的大小通过参数决定，以确保有一个中心点；
生成高斯核，基于滤波器大小确定高斯核；
滤波处理，将生成的高斯核应用于图像的每个像素位置，对于每个像素，将其周围的像素值与高斯核进行卷积运算，以计算出该像素的新值；
边界处理，对图像进行滤波时，采用填充边界像素值作为边界处理方法；
输出结果，滤波完成后，得到的图像即为经过高斯滤波处理后的结果；
图像增强，采用直方图均衡化增强图像的对比度；
阈值化处理，将图像转换为二值图像，采用全局阈值化方法，将图像分割为目标和背景。
在一些具体实施方式中，特征提取模块，具体为：
用于图像数据特征提取处理，特征提取包括区域分割、提取处理、构件特征向量和输出特征向量；
区域分割，基于阈值化处理的二值图像进行分割，将预处理后的图像分割成不同的区域，以便对每个区域提取特征；
提取处理，从每个区域中提取特征，特征包括用于描述该区域的形状、纹理和颜色；
形状特征，提取区域的几何特征，几何特征包括面积、周长和圆度；
纹理特征，采用灰度共生矩阵提取纹理信息；
颜色特征，提取区域的颜色直方图；
构建特征向量，从每个区域提取的特征组合成一个特征向量，将每个特征按照顺序排列，构成一个特征向量确保特征向量的维度与特征的数量相匹配，且特征之间具备的相关性；
输出特征向量，将每个区域的特征向量输出，作为输入数据供后续机器学习模型使用，将每个区域的特征向量保存到内存中，确保特征向量的格式与后续处理的需求相符；
在一些具体实施方式中，机器学习模块，具体为：
机器学习模块包括模型配置模块、数据分割模块、模型配置模块、训练模块、验证模块、优化模块及输出模块；
数据分割模块，与特征提取模块相连接，用于提取特征数据并进行数据分割；
数据分割，将数据集划分为训练集、验证集和测试集，用于模型训练、调参和评估，采用交叉验证将数据集划分为训练集和验证集，确保每个数据集中包含正常和缺陷样本；
模型配置模块，采用卷积神经网络作为机器学习模型，并基于TensorFlow作为深度学习框架，构建适用于图像分类任务的卷积神经网络模型；
构建适用于图像分类任务的卷积神经网络模型，具体包括定义结构及选定激活函数、选择损失函数及优化器和模型编译；
定义结构，包括卷积层、池化层、全连接层；
卷积层通过应用卷积核检测图像中的局部特征，设卷积层为3个，每一层的参数定义为：
第一层，卷积核数量为32，卷积核大小为（3，3），步长为（1，1），激活函数为ReLU；
第二层，卷积核数量为64，卷积核大小为（3，3），步长为（1，1），激活函数为ReLU；
第三层，卷积核数量为128，卷积核大小为（3，3），步长为（1，1），激活函数为ReLU；
池化层，设每个卷积层后面添加最大池化层，池化操作定义为：
池化大小为（2，2），步长为（2，2）；
全连接层，卷积和池化层之后，添加一个全连接层，用于将特征映射转换为最终的分类结果，定义为：
神经元数量为256，激活函数为ReLU；
ReLU为激活函数，用于卷积神经网络中引入非线性变换，其具体为：
；
式中，f（x）表示ReLU函数，是输入x的非线性变换，x表示输入值，是卷积层或其他神经网络层的输出，max（0，x）表示ReLU函数的定义，表示取0和x中的较大值进行输出；
选择损失函数和优化器；
选择交叉熵损失作为损失函数，对于二分类任务，采用二元交叉熵损失；
二分类任务，交叉熵损失的计算公式具体为：
；
式中，N是样本数量，yi是样本i的真实标签（0或1），pi是模型预测样本i属于类别1的概率；对于多分类任务，采用多类别交叉熵损失，具体为：
设有C类，样本i的真实标签用yi，c表示，样本i属于类别c的标签，模型的预测值用^yi，c表示，则多类别交叉熵损失的计算公式为：
；
式中，N是样本数量，C是类别数量，yi，c是样本i的真实标签，表示样本i是否属于类别c，^yi，c是模型对样本i属于类别c的预测概率，该损失函定义为，对于每个样本，将其真实标签对应的预测概率的对数作为损失，并对所有样本求平均；
采用Adam优化器作为优化器；
模型编译，选择交叉熵损失作为损失函数，选择Adam优化器，指定评估指标，评估指标包括准确率、精确率及召回率指标；
训练模块，分别与数据分割模块及模型配置模块相连接，用于模型训练处理；
训练处理，通过设置训练轮数和批量大小，训练轮数和批量大小基于数据集的规模、模型的复杂度、计算资源的限制以及训练的收敛情况进行确定；
基于训练集对构建的卷积神经网络模型进行训练，学习特征与标签之间的关系，将训练集输入到模型中，基于梯度下降算法，更新网络中的权重和偏置项，具体为：
；
式中，θ[1]是网络中的权重W[1]，a是学习率，dθ[1]是相应参数的梯度；
采用反向传播算法计算损失函数对模型参数的梯度，并基于梯度下降法更新参数，对于每个参数θ，基于梯度下降算法更新参数具体为：
；
式中，a是学习率，用于控制参数更新的步长，▽θL是损失函数L对参数θ的梯度；
验证模块，与训练模块相连接，用于验证处理；
验证处理，监控模型在验证集上的性能，避免过拟合并调整模型的参数，基于验证集评估训练的模型性能，选择最佳的模型版本，计算模型在验证集上的准确率、精确率及召回率指标，以评估模型的训练效果和泛化能力；
优化模块，与验证模块相连接，基于验证模块的验证结果进行模型优化处理；
优化处理，基于验证模块中所得指标，进行针对性优化处理及参数调整；
输出模块，与优化模块相连接，用于接收优化后的模型并输出，具体输出至确认模块处。
在一些具体实施方式中，识别模块，具体为：
识别模块，用于实时识别收集所得图像数据，识别模块与输出模块相连接，识别模块基于输出模块中输出并部署的图像识别模型进行实时识别处理；
识别模块包括判定模块及标记模块；
判定模块，用于判定所得产品图像外表面是否存在缺陷；
判定处理，判定模块与识别模块相连接，判定模块实时对识别模块的识结果及内容进行判定，若当前判定结果为否，则将识别结果及产品图像数据输送至确认模块处，通过确认模块进行复核并输出处理，确认模块再将确认结果输送至优化模块处，优化模块接收数据并建立正向优化数据集；
若判定结果为是，则判定模块将判定结果及判定数据输送至确认模块处，确认模块处接收到该数据将会进行复核并输出复核结果，具体输送至标记模块处，标记模块将会对确认模块中确认的图像数据进行标记处理，标记该产品图像为缺陷产品，标记模块还将同步输送数据至反馈模块处与优化模块处；
若判定结果存疑，无法确认是或否，则将该产品图像数据及识别结果进行复核并确认，将确认后的结果输送至反馈模块处，反馈模块处接收确认数据后，将会对当前产品图像数据与确认结果实时反馈，具体反馈至优化模块及可视化模块处，可视化模块将会通过显示组件为产品图像提供可视化映射，通过显示组件进行最终产品缺陷复核；
标记模块，用于标记存疑或存在缺陷的产品图像数据。
在一些具体实施方式中，确认模块，具体为：
确认模块，用于确认并复核图像识别结果，确认模块与图像采集模块数据互通，实时接收识别模块的识别及判定结果后，确认模块将会反向调度图像采集模块中所涉及的原始产品图像数据，并将该数据与判定结果及当前产品图像数据进行复核处理，并输出复核结果至反馈模块及优化模块处。
在一些具体实施方式中，反馈模块，具体为：
反馈模块，用于实时输出反馈，反馈具体包括确认模块中所得确认并复核的准确结果，识别模块中的识别结果及判定结果，标记模块中标记存在缺陷及存疑的产品图像数据。
本申请另提供基于半导体切筋产品外表面缺陷的智能识别方法，包括如下步骤：
步骤100、获取半导体切筋产线的产品图像，并基于所得图像进行预处理；
步骤200、基于预处理后图像，对图像数据进行特征提取并输出；
步骤300、采用卷积神经网络作为机器学习模型，基于提取所得特征数据进行模型训练；
步骤400、基于训练后的模型将其部署并投入使用，基于模型实时对产品图像进行识别处理；
步骤500、基于识别结果进行确认并反馈，并为输出的反馈提供可视化映射。
本申请提供的基于半导体切筋产品外表面缺陷的智能识别系统及方法，通过获取半导体切筋产线的产品图像，并基于所得图像进行预处理，基于预处理后图像，对图像数据进行特征提取并输出，采用卷积神经网络作为机器学习模型，基于提取所得特征数据进行模型训练，基于训练后的模型将其部署并投入使用，基于模型实时对产品图像进行识别处理，基于识别结果进行确认并反馈，并为输出的反馈提供可视化映射，规避由于激光扫描仪基于预设的程序进行扫描，程序迭代与扫描准确率相关联，若程序迭代较慢，则激光扫描仪则无法应对新发生与新增的外表面缺陷进行有效检测的技术问题，实现自动化检测外表面缺陷，提高整体生产效率，识别系统用于实时监测外表面缺陷，及时发现问题并采取措施，变相提高整体稳定性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的基于半导体切筋产品外表面缺陷的智能识别系统的整体流程示意图。
图2为本申请实施例提供的基于半导体切筋产品外表面缺陷的智能识别系统中机器学习模块的流程示意图。
图3为本申请实施例提供的基于半导体切筋产品外表面缺陷的智能识别系统中判定模块的判定流程示意图。
图4为本申请实施例提供的基于半导体切筋产品外表面缺陷的智能识别方法的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
请参考图1、图2、图3和图4，其示出了根据本公开的基于半导体切筋产品外表面缺陷的智能识别系统的一个实施例的流程。
如图1、图2、图3和图4所示，基于半导体切筋产品外表面缺陷的智能识别系统包括如下模块：
图像采集模块，用于半导体切筋产品外表面的图像收集处理；
预处理模块，基于收集所得图像数据进行预处理；
特征提取模块，用于图像数据特征提取处理；
机器学习模块，用于输出训练后的模型，包括模型配置模块、数据分割模块、训练模块、验证模块、优化模块及输出模块；
识别模块，用于实时识别收集所得图像数据，包括判定模块及标记模块；
确认模块，用于确认并复核图像识别结果；
反馈模块，用于实时输出反馈；
可视化模块，用于提供可视化映射，包括显示组件。
其中，上述内容中，图像采集模块，具体用于半导体切筋产品外表面的图像收集处理，所述图像收集处理共包括确定需求、确定光照条件及图像采集设置；
确定需求，确定需要识别的外表面缺陷类型和特征，确定图像采集的要求，要求包括分辨率，确定图像的清晰度和细节水平，帧率，对焦模式；
确定光照条件，确定照明类型，确定波长的光源，确定照明强度，确定光源角度；
图像采集设置，基于拍摄角度确定图像采集的角度，捕捉到表面的不同部分，基于拍摄距离确保图像不失真。
其中，上述内容中，预处理模块，具体基于收集所得图像数据进行预处理，预处理包括图像去噪、图像增强和阈值化处理；
图像去噪，具体包括确定滤波器、生成高斯核、滤波处理、边界处理及输出结果；
采用高斯滤波器进行图像去噪处理，确定滤波器大小，高斯滤波器的大小通过参数决定，以确保有一个中心点；
生成高斯核，基于滤波器大小确定高斯核；
滤波处理，将生成的高斯核应用于图像的每个像素位置，对于每个像素，将其周围的像素值与高斯核进行卷积运算，以计算出该像素的新值；
边界处理，对图像进行滤波时，采用填充边界像素值作为边界处理方法；
输出结果，滤波完成后，得到的图像即为经过高斯滤波处理后的结果；
图像增强，采用直方图均衡化增强图像的对比度；
阈值化处理，将图像转换为二值图像，采用全局阈值化方法，将图像分割为目标和背景。
其中，上述内容中，特征提取模块，具体用于图像数据特征提取处理，特征提取包括区域分割、提取处理、构件特征向量和输出特征向量；
区域分割，基于阈值化处理的二值图像进行分割，将预处理后的图像分割成不同的区域，以便对每个区域提取特征；
提取处理，从每个区域中提取特征，特征包括用于描述该区域的形状、纹理和颜色；
形状特征，提取区域的几何特征，几何特征包括面积、周长和圆度；
纹理特征，采用灰度共生矩阵提取纹理信息；
颜色特征，提取区域的颜色直方图；
构建特征向量，从每个区域提取的特征组合成一个特征向量，将每个特征按照顺序排列，构成一个特征向量确保特征向量的维度与特征的数量相匹配，且特征之间具备的相关性；
其中，上述内容中所提及的按照顺序排列，顺序排列具体为基于特征对于模型预测目标的权重进行排序，通过计算每个特征的权重，并按照权重从高到低的顺序排列特征；
权重计算，对于第i个特征x_i，计算其权重w_i，具体为：
式中，w_i表示输入层第i个神经元到隐藏层第j个神经元的连接权重的绝对值，求和是对隐藏层的所有神经元，对于每个特征，都计算出其对应的权重w_i；
输出特征向量，将每个区域的特征向量输出，作为输入数据供后续机器学习模型使用，将每个区域的特征向量保存到内存中，确保特征向量的格式与后续处理的需求相符。
其中，上述内容中，机器学习模块，具体包括模型配置模块、数据分割模块、模型配置模块、训练模块、验证模块、优化模块及输出模块；
数据分割模块，与特征提取模块相连接，用于提取特征数据并进行数据分割；
数据分割，将数据集划分为训练集、验证集和测试集，用于模型训练、调参和评估，采用交叉验证将数据集划分为训练集和验证集，确保每个数据集中包含正常和缺陷样本；
模型配置模块，采用卷积神经网络作为机器学习模型，并基于TensorFlow作为深度学习框架，构建适用于图像分类任务的卷积神经网络模型；
构建适用于图像分类任务的卷积神经网络模型，具体包括定义结构及选定激活函数、选择损失函数及优化器和模型编译；
定义结构，包括卷积层、池化层、全连接层；
卷积层通过应用卷积核检测图像中的局部特征，设卷积层为3个，每一层的参数定义为：
第一层，卷积核数量为32，卷积核大小为（3，3），步长为（1，1），激活函数为ReLU；
第二层，卷积核数量为64，卷积核大小为（3，3），步长为（1，1），激活函数为ReLU；
第三层，卷积核数量为128，卷积核大小为（3，3），步长为（1，1），激活函数为ReLU；
池化层，设每个卷积层后面添加最大池化层，池化操作定义为：
池化大小为（2，2），步长为（2，2）；
全连接层，卷积和池化层之后，添加一个全连接层，用于将特征映射转换为最终的分类结果，定义为：
神经元数量为256，激活函数为ReLU；
ReLU为激活函数，用于卷积神经网络中引入非线性变换，其具体为：
；
式中，f（x）表示ReLU函数，是输入x的非线性变换，x表示输入值，是卷积层或其他神经网络层的输出，max（0，x）表示ReLU函数的定义，表示取0和x中的较大值进行输出；
选择损失函数和优化器；
选择交叉熵损失作为损失函数，对于二分类任务，采用二元交叉熵损失；
二分类任务，交叉熵损失的计算公式具体为：
；
式中，N是样本数量，yi是样本i的真实标签（0或1），pi是模型预测样本i属于类别1的概率；对于多分类任务，采用多类别交叉熵损失，具体为：
设有C类，样本i的真实标签用yi，c表示，样本i属于类别c的标签，模型的预测值用^yi，c表示，则多类别交叉熵损失的计算公式为：
；
式中，N是样本数量，C是类别数量，yi，c是样本i的真实标签，表示样本i是否属于类别c，^yi，c是模型对样本i属于类别c的预测概率，该损失函定义为，对于每个样本，将其真实标签对应的预测概率的对数作为损失，并对所有样本求平均；
采用Adam优化器作为优化器；
模型编译，选择交叉熵损失作为损失函数，选择Adam优化器，指定评估指标，评估指标包括准确率、精确率及召回率指标；
训练模块，分别与数据分割模块及模型配置模块相连接，用于模型训练处理；
训练处理，通过设置训练轮数和批量大小，训练轮数和批量大小基于数据集的规模、模型的复杂度、计算资源的限制以及训练的收敛情况进行确定；
基于训练集对构建的卷积神经网络模型进行训练，学习特征与标签之间的关系，将训练集输入到模型中，基于梯度下降算法，更新网络中的权重和偏置项，具体为：
；
式中，θ[1]是网络中的权重W[1]，a是学习率，dθ[1]是相应参数的梯度；
采用反向传播算法计算损失函数对模型参数的梯度，并基于梯度下降法更新参数，对于每个参数θ，基于梯度下降算法更新参数具体为：
；
式中，a是学习率，用于控制参数更新的步长，▽θL是损失函数L对参数θ的梯度；
验证模块，与训练模块相连接，用于验证处理；
验证处理，监控模型在验证集上的性能，避免过拟合并调整模型的参数，基于验证集评估训练的模型性能，选择最佳的模型版本，计算模型在验证集上的准确率、精确率及召回率指标，以评估模型的训练效果和泛化能力；
优化模块，与验证模块相连接，基于验证模块的验证结果进行模型优化处理；
优化处理，基于验证模块中所得指标，进行针对性优化处理及参数调整；
输出模块，与优化模块相连接，用于接收优化后的模型并输出，具体输出至确认模块处。
其中，上述内容中，识别模块，具体用于实时识别收集所得图像数据，识别模块与输出模块相连接，识别模块基于输出模块中输出并部署的图像识别模型进行实时识别处理；
识别模块包括判定模块及标记模块；
判定模块，用于判定所得产品图像外表面是否存在缺陷；
标记模块，用于标记存疑或存在缺陷的产品图像数据。
其中，上述内容中，确认模块，具体用于确认并复核图像识别结果，确认模块与图像采集模块数据互通，实时接收识别模块的识别及判定结果后，确认模块将会反向调度图像采集模块中所涉及的原始产品图像数据，并将该数据与判定结果及当前产品图像数据进行复核处理，并输出复核结果至反馈模块及优化模块处。
其中，上述内容中，反馈模块，具体用于实时输出反馈，反馈具体包括确认模块中所得确认并复核的准确结果，识别模块中的识别结果及判定结果，标记模块中标记存在缺陷及存疑的产品图像数据。
其中，上述内容中，可视化模块，具体用于提供可视化映射，可视化模块包括显示组件，可视化模块基于显示组件为反馈信息提供可视化映射。
实施例1
该系统实际投入使用时，首先，基于图像采集模块实时进行图像采集处理，并将所得图像数据输送至预处理模块处，预处理模块中接收到实时采集所得图像数据，对图像进行预处理，并将完成预处理后的数据输出至特征提取模块处，特征提取模块处接收预处理模块中所发送的数据后，将会对产品图像数据进行特征提取，并将提取特征后的图像数据发送至机器学习模块处，机器学习模块处便依照该数据进行建模，在机器学习模块优化并完成建模后，机器学习模块将会把训练后的模型输送至识别模块处，识别模块处基于模型进行实时图像识别处理，识别模块将判定及识别结果实时输送至确认模块处，确认模块处对识别结果及判定结果进行复核，并将复核后的结果输送至反馈模块处，反馈模块处接收后，将会同步输送数据至可视化模块处，可视化模块基于显示组件为反馈提供可视化映射处理，通过显示组件直接查看实时反馈内容。
实施例2
该系统进行机器学习建模时，首先基于特征提取模块进行数据输送，机器学习模块与数据分割模块实时接收完成特征提取后的数据，数据分割模块实时将完成分割后的训练集数据输送至训练模块处，数据分割模块同步输送分割后的验证集至验证模块处，模型配置模块接受机器学习模块所输送的数据内容，并采用TensorFlow作为深度学习框架，构建适用于图像分类任务的卷积神经网络模型，将完成初步配置后的模型输送至训练模块处，训练模块处接收该模型，并基于训练集对模型进行训练，训练结束后，将完成训练的数据输送至验证模块处，验证模块处接收该数据并基于验证集对模型进行验证处理，得出验证评估结果后，将模型与验证评估结果同步输送至优化模块处，优化模块处接收到该模型及验证评估结果后将会进行针对性优化，完成针对性优化后，优化模块将该模型输送至输出模块处，输出模块处接收该模型，并将该模型部署至识别模块中，识别模块通过部署的模型进行图像识别处理。
实施例3
该系统进行图像识别及判定处理时，判定模块与识别模块相连接，判定模块实时对识别模块的识结果及内容进行判定，若当前判定结果为否，则将识别结果及产品图像数据输送至确认模块处，通过确认模块进行复核并输出处理，确认模块再将确认结果输送至优化模块处，优化模块接收数据并建立正向优化数据集；
若判定结果为是，则判定模块将判定结果及判定数据输送至确认模块处，确认模块处接收到该数据将会进行复核并输出复核结果，具体输送至标记模块处，标记模块将会对确认模块中确认的图像数据进行标记处理，标记该产品图像为缺陷产品，标记模块还将同步输送数据至反馈模块处与优化模块处；
若判定结果存疑，无法确认是或否，则将该产品图像数据及识别结果进行复核并确认，将确认后的结果输送至反馈模块处，反馈模块处接收确认数据后，将会对当前产品图像数据与确认结果实时反馈，具体反馈至优化模块及可视化模块处，可视化模块将会通过显示组件为产品图像提供可视化映射，可通过显示组件进行最终产品缺陷复核。
本申请另提供基于半导体切筋产品外表面缺陷的智能识别方法，包括如下步骤：
步骤100、获取半导体切筋产线的产品图像，并基于所得图像进行预处理；
步骤200、基于预处理后图像，对图像数据进行特征提取并输出；
步骤300、采用卷积神经网络作为机器学习模型，基于提取所得特征数据进行模型训练；
步骤400、基于训练后的模型将其部署并投入使用，基于模型实时对产品图像进行识别处理；
步骤500、基于识别结果进行确认并反馈，并为输出的反馈提供可视化映射。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (9)
1.基于半导体切筋产品外表面缺陷的智能识别系统，其特征在于，包括如下模块：
图像采集模块，用于半导体切筋产品外表面的图像收集处理；
预处理模块，基于收集所得图像数据进行预处理；
特征提取模块，用于图像数据特征提取处理；
机器学习模块，用于输出训练后的模型，包括模型配置模块、数据分割模块、训练模块、验证模块、优化模块及输出模块；
识别模块，用于实时识别收集所得图像数据，包括判定模块及标记模块；
确认模块，用于确认并复核图像识别结果；
反馈模块，用于实时输出反馈；
可视化模块，用于提供可视化映射，包括显示组件。
2.如权利要求1所述的基于半导体切筋产品外表面缺陷的智能识别系统，其特征在于，图像采集模块，具体为：
用于半导体切筋产品外表面的图像收集处理，所述图像收集处理共包括确定需求、确定光照条件及图像采集设置；
确定需求，确定需要识别的外表面缺陷类型和特征，确定图像采集的要求，要求包括分辨率，确定图像的清晰度和细节水平，帧率，对焦模式；
确定光照条件，确定照明类型，确定波长的光源，确定照明强度，确定光源角度；
图像采集设置，基于拍摄角度确定图像采集的角度，捕捉到表面的不同部分，基于拍摄距离确保图像不失真。
3.如权利要求2所述的基于半导体切筋产品外表面缺陷的智能识别系统，其特征在于，预处理模块，具体为：
基于收集所得图像数据进行预处理，预处理包括图像去噪、图像增强和阈值化处理；
图像去噪，具体包括确定滤波器、生成高斯核、滤波处理、边界处理及输出结果；
采用高斯滤波器进行图像去噪处理，确定滤波器大小，高斯滤波器的大小通过参数决定，以确保有一个中心点；
生成高斯核，基于滤波器大小确定高斯核；
滤波处理，将生成的高斯核应用于图像的每个像素位置，对于每个像素，将其周围的像素值与高斯核进行卷积运算，以计算出该像素的新值；
边界处理，对图像进行滤波时，采用填充边界像素值作为边界处理方法；
输出结果，滤波完成后，得到的图像即为经过高斯滤波处理后的结果；
图像增强，采用直方图均衡化增强图像的对比度；
阈值化处理，将图像转换为二值图像，采用全局阈值化方法，将图像分割为目标和背景。
4.如权利要求3所述的基于半导体切筋产品外表面缺陷的智能识别系统，其特征在于，特征提取模块，具体为：
用于图像数据特征提取处理，特征提取包括区域分割、提取处理、构件特征向量和输出特征向量；
区域分割，基于阈值化处理的二值图像进行分割，将预处理后的图像分割成不同的区域，以便对每个区域提取特征；
提取处理，从每个区域中提取特征，特征包括用于描述该区域的形状、纹理和颜色；
形状特征，提取区域的几何特征，几何特征包括面积、周长和圆度；
纹理特征，采用灰度共生矩阵提取纹理信息；
颜色特征，提取区域的颜色直方图；
构建特征向量，从每个区域提取的特征组合成一个特征向量，将每个特征按照顺序排列，构成一个特征向量确保特征向量的维度与特征的数量相匹配，且特征之间具备的相关性；
输出特征向量，将每个区域的特征向量输出，作为输入数据供后续机器学习模型使用，将每个区域的特征向量保存到内存中，确保特征向量的格式与后续处理的需求相符。
5.如权利要求4所述的基于半导体切筋产品外表面缺陷的智能识别系统，其特征在于，机器学习模块，具体为：
机器学习模块包括模型配置模块、数据分割模块、模型配置模块、训练模块、验证模块、优化模块及输出模块；
数据分割模块，与特征提取模块相连接，用于提取特征数据并进行数据分割；
数据分割，将数据集划分为训练集、验证集和测试集，用于模型训练、调参和评估，采用交叉验证将数据集划分为训练集和验证集，确保每个数据集中包含正常和缺陷样本；
模型配置模块，采用卷积神经网络作为机器学习模型，并基于TensorFlow作为深度学习框架，构建适用于图像分类任务的卷积神经网络模型；
构建适用于图像分类任务的卷积神经网络模型，具体包括定义结构及选定激活函数、选择损失函数及优化器和模型编译；
定义结构，包括卷积层、池化层、全连接层；
卷积层通过应用卷积核检测图像中的局部特征，设卷积层为3个，每一层的参数定义为：
第一层，卷积核数量为32，卷积核大小为（3，3），步长为（1，1），激活函数为ReLU；
第二层，卷积核数量为64，卷积核大小为（3，3），步长为（1，1），激活函数为ReLU；
第三层，卷积核数量为128，卷积核大小为（3，3），步长为（1，1），激活函数为ReLU；
池化层，设每个卷积层后面添加最大池化层，池化操作定义为：
池化大小为（2，2），步长为（2，2）；
全连接层，卷积和池化层之后，添加一个全连接层，用于将特征映射转换为最终的分类结果，定义为：
神经元数量为256，激活函数为ReLU；
ReLU为激活函数，用于卷积神经网络中引入非线性变换，其具体为：
；
式中，f（x）表示ReLU函数，是输入x的非线性变换，x表示输入值，是卷积层或其他神经网络层的输出，max（0，x）表示ReLU函数的定义，表示取0和x中的较大值进行输出；
选择损失函数和优化器；
选择交叉熵损失作为损失函数，对于二分类任务，采用二元交叉熵损失；
二分类任务，交叉熵损失的计算公式具体为：
；
式中，N是样本数量，yi是样本i的真实标签（0或1），pi是模型预测样本i属于类别1的概率；对于多分类任务，采用多类别交叉熵损失，具体为：
设有C类，样本i的真实标签用yi，c表示，样本i属于类别c的标签，模型的预测值用^yi，c表示，则多类别交叉熵损失的计算公式为：
；
式中，N是样本数量，C是类别数量，yi，c是样本i的真实标签，表示样本i是否属于类别c，^yi，c是模型对样本i属于类别c的预测概率，该损失函定义为，对于每个样本，将其真实标签对应的预测概率的对数作为损失，并对所有样本求平均；
采用Adam优化器作为优化器；
模型编译，选择交叉熵损失作为损失函数，选择Adam优化器，指定评估指标，评估指标包括准确率、精确率及召回率指标；
训练模块，分别与数据分割模块及模型配置模块相连接，用于模型训练处理；
训练处理，通过设置训练轮数和批量大小，训练轮数和批量大小基于数据集的规模、模型的复杂度、计算资源的限制以及训练的收敛情况进行确定；
基于训练集对构建的卷积神经网络模型进行训练，学习特征与标签之间的关系，将训练集输入到模型中，基于梯度下降算法，更新网络中的权重和偏置项，具体为：
；
式中，θ[1]是网络中的权重W[1]，a是学习率，dθ[1]是相应参数的梯度；
采用反向传播算法计算损失函数对模型参数的梯度，并基于梯度下降法更新参数，对于每个参数θ，基于梯度下降算法更新参数具体为：
；
式中，a是学习率，用于控制参数更新的步长，▽θL是损失函数L对参数θ的梯度；
验证模块，与训练模块相连接，用于验证处理；
验证处理，监控模型在验证集上的性能，避免过拟合并调整模型的参数，基于验证集评估训练的模型性能，选择最佳的模型版本，计算模型在验证集上的准确率、精确率及召回率指标，以评估模型的训练效果和泛化能力；
优化模块，与验证模块相连接，基于验证模块的验证结果进行模型优化处理；
优化处理，基于验证模块中所得指标，进行针对性优化处理及参数调整；
输出模块，与优化模块相连接，用于接收优化后的模型并输出，具体输出至确认模块处。
6.如权利要求5所述的基于半导体切筋产品外表面缺陷的智能识别系统，其特征在于，识别模块，具体为：
识别模块，用于实时识别收集所得图像数据，识别模块与输出模块相连接，识别模块基于输出模块中输出并部署的图像识别模型进行实时识别处理；
识别模块包括判定模块及标记模块；
判定模块，用于判定所得产品图像外表面是否存在缺陷；
判定处理，判定模块与识别模块相连接，判定模块实时对识别模块的识结果及内容进行判定，若当前判定结果为否，则将识别结果及产品图像数据输送至确认模块处，通过确认模块进行复核并输出处理，确认模块再将确认结果输送至优化模块处，优化模块接收数据并建立正向优化数据集；
若判定结果为是，则判定模块将判定结果及判定数据输送至确认模块处，确认模块处接收到该数据将会进行复核并输出复核结果，具体输送至标记模块处，标记模块将会对确认模块中确认的图像数据进行标记处理，标记该产品图像为缺陷产品，标记模块还将同步输送数据至反馈模块处与优化模块处；
若判定结果存疑，无法确认是或否，则将该产品图像数据及识别结果进行复核并确认，将确认后的结果输送至反馈模块处，反馈模块处接收确认数据后，将会对当前产品图像数据与确认结果实时反馈，具体反馈至优化模块及可视化模块处，可视化模块将会通过显示组件为产品图像提供可视化映射，通过显示组件进行最终产品缺陷复核；
标记模块，用于标记存疑或存在缺陷的产品图像数据。
7.如权利要求6所述的基于半导体切筋产品外表面缺陷的智能识别系统，其特征在于，确认模块，具体为：
确认模块，用于确认并复核图像识别结果，确认模块与图像采集模块数据互通，实时接收识别模块的识别及判定结果后，确认模块将会反向调度图像采集模块中所涉及的原始产品图像数据，并将该数据与判定结果及当前产品图像数据进行复核处理，并输出复核结果至反馈模块及优化模块处。
8.如权利要求7所述的基于半导体切筋产品外表面缺陷的智能识别系统，其特征在于，反馈模块，具体为：
反馈模块，用于实时输出反馈，反馈具体包括确认模块中所得确认并复核的准确结果，识别模块中的识别结果及判定结果，标记模块中标记存在缺陷及存疑的产品图像数据。
9.基于半导体切筋产品外表面缺陷的智能识别方法，其特征在于，包括如下步骤：
S100、获取半导体切筋产线的产品图像，并基于所得图像进行预处理；
S200、基于预处理后图像，对图像数据进行特征提取并输出；
S300、采用卷积神经网络作为机器学习模型，基于提取所得特征数据进行模型训练；
S400、基于训练后的模型将其部署并投入使用，基于模型实时对产品图像进行识别处理；
S500、基于识别结果进行确认并反馈，并为输出的反馈提供可视化映射。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410577139.6A CN118154999B (zh) | 2024-05-10 | 2024-05-10 | 基于半导体切筋产品外表面缺陷的智能识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410577139.6A CN118154999B (zh) | 2024-05-10 | 2024-05-10 | 基于半导体切筋产品外表面缺陷的智能识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118154999A true CN118154999A (zh) | 2024-06-07 |
| CN118154999B CN118154999B (zh) | 2024-08-02 |
Family
ID=91297040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410577139.6A Active CN118154999B (zh) | 2024-05-10 | 2024-05-10 | 基于半导体切筋产品外表面缺陷的智能识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118154999B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118329128A (zh) * | 2024-06-13 | 2024-07-12 | 山东飞宏工程机械有限公司 | 一种远程智能加工用机电设备运行状态监控方法 |
| CN118469105A (zh) * | 2024-07-15 | 2024-08-09 | 深圳市曜通科技有限公司 | 基于半导体切筋工序的监测优化系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667455A (zh) * | 2020-04-28 | 2020-09-15 | 广东三三智能科技有限公司 | 一种刷具多种缺陷的ai检测方法 |
| CN113505865A (zh) * | 2021-09-10 | 2021-10-15 | 浙江双元科技股份有限公司 | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
| CN116452919A (zh) * | 2023-04-20 | 2023-07-18 | 苏州鸿鹄骐骥电子科技有限公司 | 基于信息熵卷积神经网络的芯片表面缺陷识别方法 |
-
2024
- 2024-05-10 CN CN202410577139.6A patent/CN118154999B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667455A (zh) * | 2020-04-28 | 2020-09-15 | 广东三三智能科技有限公司 | 一种刷具多种缺陷的ai检测方法 |
| WO2021232613A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷检测方法、电子装置及存储介质 |
| CN113505865A (zh) * | 2021-09-10 | 2021-10-15 | 浙江双元科技股份有限公司 | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 |
| CN116452919A (zh) * | 2023-04-20 | 2023-07-18 | 苏州鸿鹄骐骥电子科技有限公司 | 基于信息熵卷积神经网络的芯片表面缺陷识别方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118329128A (zh) * | 2024-06-13 | 2024-07-12 | 山东飞宏工程机械有限公司 | 一种远程智能加工用机电设备运行状态监控方法 |
| CN118469105A (zh) * | 2024-07-15 | 2024-08-09 | 深圳市曜通科技有限公司 | 基于半导体切筋工序的监测优化系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118154999B (zh) | 2024-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
| CN118154999B (zh) | 基于半导体切筋产品外表面缺陷的智能识别系统及方法 | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| KR102254773B1 (ko) | 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법 | |
| CN112862770B (zh) | 一种基于人工智能的缺陷分析诊断系统、方法、装置 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN113298757A (zh) | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 | |
| CN113554631B (zh) | 一种基于改进网络的芯片表面缺陷检测方法 | |
| Adam et al. | Construction of accurate crack identification on concrete structure using hybrid deep learning approach | |
| JP2011214903A (ja) | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN114926441A (zh) | 一种注塑件加工成型的缺陷检测方法及系统 | |
| CN115294033A (zh) | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 | |
| CN116777836A (zh) | 一种基于多模态数据驱动的注塑工艺产品品质检测方法 | |
| CN114881998A (zh) | 一种基于深度学习的工件表面缺陷检测方法及系统 | |
| CN113808099A (zh) | 一种铝材表面缺陷检测装置与方法 | |
| CN117372373A (zh) | 基于大数据的纺织品生产质量管理系统 | |
| CN115082449B (zh) | 一种电子元器件缺陷检测方法 | |
| Zhang et al. | Design of tire damage image recognition system based on deep learning | |
| Mehta et al. | An Analysis of Fabric Defect Detection Techniques for Textile Industry Quality Control | |
| Regayeg et al. | Automatic detection system for verification and quality control: Application to water connector inspection | |
| Ouidadi et al. | Defect Segmentation From X-Ray Computed Tomography of Laser Powder Bed Fusion Parts: A Comparative Study Among Machine Learning, Deep Learning, and Statistical Image Thresholding Methods | |
| Zhou et al. | Cork classification based on multi-scale faster-RCNN with machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |