CN117274702B - 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统 - Google Patents

一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统 Download PDF

Info

Publication number
CN117274702B
CN117274702B CN202311257526.3A CN202311257526A CN117274702B CN 117274702 B CN117274702 B CN 117274702B CN 202311257526 A CN202311257526 A CN 202311257526A CN 117274702 B CN117274702 B CN 117274702B
Authority
CN
China
Prior art keywords
crack
classification network
image
mobile phone
glass film
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311257526.3A
Other languages
English (en)
Other versions
CN117274702A (zh
Inventor
伍东辉
蔡海应
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Jingwei Electronic Technology Co ltd
Original Assignee
Hunan Jingwei Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Jingwei Electronic Technology Co ltd filed Critical Hunan Jingwei Electronic Technology Co ltd
Priority to CN202311257526.3A priority Critical patent/CN117274702B/zh
Publication of CN117274702A publication Critical patent/CN117274702A/zh
Application granted granted Critical
Publication of CN117274702B publication Critical patent/CN117274702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统，包括：S1：收集包含不同裂纹类型的手机钢化玻璃膜图像数据集，并对图像进行尺寸调整，获得预处理后的图像；S2：使用图像处理算法从预处理后的图像中提取特征；S3：使用提取到的特征数据和预处理后的图像，基于深度学习构建裂纹分类网络并设定裂纹分类网络优化目标；S4：根据裂纹分类网络优化目标训练裂纹分类网络参数；S5：基于遗传算法优化裂纹分类网络参数，对于新采集到的手机钢化玻璃膜图像，使用优化好的裂纹分类网络进行自动分类，判断裂纹类型。本发明能够综合运用图像处理、深度学习和遗传算法等先进技术，实现对裂纹的高准确率、高效率的自动分类。

Description

一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和 系统
技术领域
本发明涉及钢化玻璃膜缺陷的技术领域，尤其涉及一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统。
背景技术
手机钢化玻璃膜是智能手机保护屏的重要组成部分，但在生产过程中往往会出现裂纹问题，可能源自原材料质量、制造工艺或操作不当等因素。这些裂纹在生产线上很难被迅速、准确地检测和分类，给制造商带来了生产质量控制上的困扰。目前，针对手机钢化玻璃膜生产过程中容易出现的裂纹，已经存在一些方法尝试解决这一问题。然而，这些方法仍然存在一些局限性和缺点。传统人工检测方法依赖人工视觉检查，劳动密集且容易出现疲劳导致错误。人工检测方法检测效率低，无法满足高产量生产线的要求，同时难以对微小、隐蔽的裂纹进行准确识别，可能造成漏检。而基于传统图像处理的自动化方法特征设计和选择困难，不一定能全面捕捉裂纹的复杂特征。对于不同尺寸和形状的裂纹，可能需要针对性地设计不同的算法，增加了开发和维护成本。
发明内容
有鉴于此，本发明提供一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法，目的在于综合运用图像处理、深度学习和遗传算法等先进技术，通过对图像进行预处理、特征提取和深度学习网络构建，并结合遗传算法优化分类网络参数，实现对裂纹的高准确率、高效率的自动分类。
实现上述目的，本发明提供的一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法，包括以下步骤：
S1：收集包含不同裂纹类型的手机钢化玻璃膜图像数据集，并对图像进行尺寸调整，获得预处理后的图像；
S2：使用图像处理算法从预处理后的图像中提取特征；
S3：使用提取到的特征数据和预处理后的图像，基于深度学习构建裂纹分类网络并设定裂纹分类网络优化目标；
S4：根据裂纹分类网络优化目标训练裂纹分类网络参数；
S5：基于遗传算法优化裂纹分类网络参数，对于新采集到的手机钢化玻璃膜图像，使用优化好的裂纹分类网络进行自动分类，判断裂纹类型。
作为本发明的进一步改进方法：
可选地，所述S1步骤中收集包含不同裂纹类型的手机钢化玻璃膜图像数据集，并对图像进行尺寸调整，获得预处理后的图像，包括：
S11：计算协方差矩阵：
基于图像的列计算图像的协方差矩阵，协方差矩阵第m行第n列元素的计算方式为：
其中，Covcol为基于图像的列的协方差矩阵；和/>分别为图像的第z和第r列列向量，z,r＝1,2,…,N，N为图像的列数；/>和/>分别为图像的第z和第r列列向量的均值；
S12：计算协方差矩阵的特征值与特征向量：
求解基于图像的列的协方差矩阵的特征值与特征向量，求解公式为：
CovcolW＝λW
其中，λ为特征值，W为特征向量矩阵；
S13：计算特征向量的贡献率和权重：
根据特征值计算每一个特征向量的贡献率：
其中，i,j＝1,2,…,N；，i′,j′＝1,2,…,N；
根据特征向量的贡献率计算每一个特征向量的权重：
其中，Wij和Wi′j′分别代表特征向量矩阵第i行第j列和第i′行第j′列的值；
S14：缩放图像尺寸：
对于图像尺寸缩小，根据特征向量的权重删除权重最低的特征向量，直到达到目标列数；
对于图像尺寸放大，根据特征向量的权重，选取权重最低的特征向量与其相邻特征向量计算平均值插入选取的两个特征向量之间，直到达到目标列数；
基于图像的行计算S11-S14完成图像行的缩放，获得预处理后的图像I；
可选地，所述S2步骤中使用图像处理算法从预处理后的图像中提取特征，包括：
S21：提取空间特征：
计算预处理后的图像I的尺度空间图像I′，计算方法为：
I′(m，n)＝Filter(m，n，σ)*I(m,n)
其中，(m,n)表示图像像素位置；*表示卷积；Filter(m,n,σ)表示尺度核，表达式为：
其中，σ表示尺度参数；π和e分别表示圆周率和自然常数；
基于尺度空间图像I′计算梯度G和梯度方向θ作为空间特征：
S22：提取颜色特征：
对预处理后的图像I进行颜色组合，获得颜色特征C：
其中，Red、Green和Blue分别代表预处理后的图像I的红、绿和蓝通道；
可选地，所述S3步骤中使用提取到的特征数据和预处理后的图像，基于深度学习构建裂纹分类网络并设定裂纹分类网络优化目标，包括：
S31：构建裂纹分类网络：
prob，box＝Crack(I,G，θ，C|γ)
其中，Crack为基于Faster-RCNN构建的裂纹分类网络；prob＝{prob1，prob2,…,probQ}表示裂纹分类网络识别出的不同裂纹的概率，Q为裂纹的种类数目；box表示裂纹分类网络识别出的裂纹所在位置参数，box∈{box1,box2，box3,box4}，决定了裂纹外包围盒的中心横纵位置和外包围盒的长宽；γ是裂纹分类网络参数；
S32：设定裂纹分类网络优化目标：
裂纹分类网络优化目标L由裂纹分类类别的准确性L1和裂纹位置定位的准确性L2组成：
L＝L1+ω·L2
其中，ω为目标权衡参数；函数当裂纹分类网络判断的类别与裂纹真实类别一致时为1，否则为0；probq为裂纹分类网络判断裂纹为第q类的概率，q＝1，2,…，Q；boxp和/>分别表示裂纹分类网络得到裂纹所在位置和裂纹真实所在位置第p个参数的值，p＝1,2,3,4；
可选地，所述S4步骤中根据裂纹分类网络优化目标更新裂纹分类网络参数，包括：
基于梯度下降更新裂纹分类网络参数：
其中，t代表梯度下降迭代次数；γt和γt+1分别代表裂纹分类网络参数第t次和t+1次迭代结果；β1和β2是迭代控制参数；α表示裂纹分类网络参数的学习率；是裂纹分类网络优化目标关于裂纹分类网络第t次迭代参数的偏导；
可选地，所述S5步骤中基于遗传算法优化裂纹分类网络参数，对于新采集到的手机钢化玻璃膜图像，使用优化好的裂纹分类网络进行自动分类，判断裂纹类型，包括：
初始化种群大小C，重复步骤S4共C次获得种群集合：
其中，表示第k次使用步骤S4获得的更新后的裂纹分类网络参数，k＝1,2,…,D；
对于种群集合中每一个个体计算对应适应值，所述适应值的计算方式为：
其中，表示使用/>作为裂纹分类网络参数时计算得到的优化目标；
基于所有个体的适应值计算选择算子，并选择计算出的选择算子在前20％的个体作为保留个体，选择算子的表达式为：
其中，表示第/>次使用步骤S4获得的更新后的裂纹分类网络参数，/>
对保留个体使用变异操作增加个体多样性：
其中，τ为随机步长；执行变异操作直到种群数量达到被选择算子选择前种群数量的50％；
重复进行适应度计算，选择算子选择以及变异操作，直到选择算子选择到的个体数量少于3个，选择适应度最高的个体作为裂纹分类网络优化完成的参数；
获取新采集到的手机钢化玻璃膜图像的预处理后的图像以及相应的特征数据，输入到优化完成的裂纹分类网络，即可对手机钢化玻璃膜图像进行裂纹自动分类。
本发明还公开了基于机器视觉的手机钢化玻璃膜裂纹自动分类系统，包括：
预处理模块：收集包含不同裂纹类型的手机钢化玻璃膜图像数据集，并对图像进行尺寸调整；
特征提取模块：使用图像处理算法从预处理后的图像中提取特征；
网络构建模块：使用提取到的特征数据和预处理后的图像，基于深度学习构建裂纹分类网络并设定裂纹分类网络优化目标；
网络训练模块：根据裂纹分类网络优化目标训练裂纹分类网络参数；
参数优化模块：基于遗传算法优化裂纹分类网络参数；
有益效果：
本发明收集包含不同裂纹类型的手机钢化玻璃膜图像数据集，并对图像进行尺寸调整和预处理，从而获得丰富多样的训练数据，确保模型能够在不同裂纹类型上进行全面学习，提高分类器的泛化能力和准确性。
本发明使用图像处理算法从预处理后的图像中提取特征。这种特征提取的方式能够充分捕获裂纹的形状、纹理、颜色等特征信息，使得分类器能够更好地区分不同类型的裂纹，从而提高分类准确率。
本发明采用深度学习技术构建裂纹分类网络，将提取到的特征数据和预处理后的图像作为输入。深度学习网络的优势在于可以自动学习更高级别的特征表达，帮助模型更好地理解复杂裂纹的特征，从而提高分类的精度和鲁棒性。
本发明在训练过程中，设定合适的损失函数和优化目标，使得分类网络能够更快速、准确地收敛到最优解。这样做有助于加速训练过程，提高模型训练的效率。本发明通过遗传算法对裂纹分类网络的参数进行优化，进一步提升分类器的性能。遗传算法可以全局搜索参数空间，帮助网络找到更优的参数组合，提高分类器的准确率和鲁棒性。
附图说明
图1为本发明一实施例的基于机器视觉的手机钢化玻璃膜裂纹自动分类方法的流程示意图。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
实施例1：基于机器视觉的手机钢化玻璃膜裂纹自动分类方法，如图1所示，包括以下步骤：
S1：收集包含不同裂纹类型的手机钢化玻璃膜图像数据集，并对图像进行尺寸调整，获得预处理后的图像：
S11：计算协方差矩阵：
基于图像的列计算图像的协方差矩阵，协方差矩阵第m行第n列元素的计算方式为：
其中，Covcol为基于图像的列的协方差矩阵；和/>分别为图像的第z和第r列列向量，z,r＝1,2,…,N，N为图像的列数；/>和/>分别为图像的第z和第r列列向量的均值；
S12：计算协方差矩阵的特征值与特征向量：
求解基于图像的列的协方差矩阵的特征值与特征向量，求解公式为：
CovcolW＝λW
其中，λ为特征值，W为特征向量矩阵；
S13：计算特征向量的贡献率和权重：
根据特征值计算每一个特征向量的贡献率：
其中，i,j＝1,2,…,N；，i′,j′＝1,2,…,N；
根据特征向量的贡献率计算每一个特征向量的权重：
其中，Wij和Wi′j′分别代表特征向量矩阵第i行第j列和第i′行第j′列的值；
S14：缩放图像尺寸：
对于图像尺寸缩小，根据特征向量的权重删除权重最低的特征向量，直到达到目标列数；
对于图像尺寸放大，根据特征向量的权重，选取权重最低的特征向量与其相邻特征向量计算平均值插入选取的两个特征向量之间，直到达到目标列数；
基于图像的行计算S11-S14完成图像行的缩放，获得预处理后的图像I；
收集包含不同裂纹类型的图像数据集，这样的数据集是训练和评估分类算法的基础。数据集的多样性有助于训练模型更好地理解不同类型的裂纹特征，提高分类准确率。对图像进行尺寸调整能够消除图像间的尺寸差异、去除冗余信息，以便更好地提取图像特征和降低后续处理的计算复杂度。
S2：使用图像处理算法从预处理后的图像中提取特征：
S21：提取空间特征：
计算预处理后的图像I的尺度空间图像I′，计算方法为：
I′(m，n)＝Filter(m，n,σ)*I(m,n)
其中，(m,n)表示图像像素位置；*表示卷积；Filter(m,n,σ)表示尺度核，表达式为：
其中，σ表示尺度参数；π和e分别表示圆周率和自然常数；
基于尺度空间图像I′计算梯度G和梯度方向θ作为空间特征：
S22：提取颜色特征：
对预处理后的图像I进行颜色组合，获得颜色特征C：
其中，Red、Green和Blue分别代表预处理后的图像I的红、绿和蓝通道；
空间特征通常包括边缘、角点等几何形状信息，而颜色特征涉及图像中不同区域的颜色分布。这些特征能够反映裂纹的形状、纹理和颜色等关键信息，有助于模型理解不同类型裂纹的差异。通过提取空间特征和颜色特征，可以使得模型对于图像的尺度、旋转、光照等变化有较好的鲁棒性。这样即使输入的手机钢化玻璃膜图像在一定程度上发生了变换，分类器仍能保持稳健的分类性能。提取空间特征和颜色特征有助于为分类器提供更有意义的特征表示，从而帮助分类器更好地区分不同类型的裂纹，提高分类的准确性；
S3：使用提取到的特征数据和预处理后的图像，基于深度学习构建裂纹分类网络并设定裂纹分类网络优化目标：
S31：构建裂纹分类网络：
prob,box＝Crack(I,G,θ,C|γ)
其中，Crack为基于Faster-RCNN构建的裂纹分类网络；prob＝{prob1,prob2,…,probQ}表示裂纹分类网络识别出的不同裂纹的概率，Q为裂纹的种类数目，本实施例中，需要分类的裂纹种类为点蚀、划痕、破口和网状裂纹；box表示裂纹分类网络识别出的裂纹所在位置参数，box∈{box1,box2,box3,box4}，决定了裂纹外包围盒的中心横纵位置和外包围盒的长宽；γ是裂纹分类网络参数；
S32：设定裂纹分类网络优化目标：
裂纹分类网络优化目标L由裂纹分类类别的准确性L1和裂纹位置定位的准确性L2组成：
L＝L1+ω·L2
其中，ω为目标权衡参数，本实施例中为8；函数当裂纹分类网络判断的类别与裂纹真实类别一致时为1，否则为0；probq为裂纹分类网络判断裂纹为第q类的概率，q＝1,2,…,Q；boxp和/>分别表示裂纹分类网络得到裂纹所在位置和裂纹真实所在位置第p个参数的值，p＝1,2,3,4；
深度学习网络能够自动学习更高级别的特征表示，通过构建多层神经网络，可以从原始图像和特征数据中学习更加抽象和复杂的裂纹特征，提高分类的准确性和泛化能力。由于深度学习网络能够同时处理图像和特征数据，可以将空间特征和颜色特征等多种模态信息融合在一起，更好地捕捉裂纹的多方面特征，有助于更准确地分类裂纹。
S4：根据裂纹分类网络优化目标训练裂纹分类网络参数：
基于梯度下降更新裂纹分类网络参数：
其中，t代表梯度下降迭代次数，本实施例中，梯度下降迭代次数为10000次；γt和γt+1分别代表裂纹分类网络参数第t次和t+1次迭代结果；β1和β2是迭代控制参数，本实施例中为0.9和0.999；α表示裂纹分类网络参数的学习率，本实施例中为0.002；是裂纹分类网络优化目标关于裂纹分类网络第t次迭代参数的偏导；
梯度下降优化算法通过最小化优化目标，可以调整网络中的参数，使得分类网络能够更好地拟合训练数据，提高分类准确率。梯度下降是一个迭代优化过程，在每一次迭代中，根据当前的参数和损失函数的梯度方向，更新网络的参数值。通过多次迭代，分类网络的参数逐渐趋近于最优值，从而提高分类器的性能。梯度下降算法能够自动调整网络中各个参数的取值，使得网络能够更好地适应训练数据，提高泛化能力。
S5：基于遗传算法优化裂纹分类网络参数，对于新采集到的手机钢化玻璃膜图像，使用优化好的裂纹分类网络进行自动分类，判断裂纹类型：
初始化种群大小C，重复步骤S4共C次获得种群集合：
其中，表示第k次使用步骤S4获得的更新后的裂纹分类网络参数，k＝1,2,…,D；
对于种群集合中每一个个体计算对应适应值，所述适应值的计算方式为：
其中，表示使用/>作为裂纹分类网络参数时计算得到的优化目标；
基于所有个体的适应值计算选择算子，并选择计算出的选择算子在前20％的个体作为保留个体，选择算子的表达式为：
其中，表示第/>次使用步骤S4获得的更新后的裂纹分类网络参数，/>
对保留个体使用变异操作增加个体多样性：
其中，τ为随机步长；执行变异操作直到种群数量达到被选择算子选择前种群数量的50％；
遗传算法是一种全局优化算法，通过模拟自然选择和遗传机制，能够在参数空间中进行全局搜索，找到最优的网络参数组合，以提高分类器的性能。遗传算法能够有效避免梯度下降等局部搜索方法陷入局部最优解的问题，从而找到全局较优的参数组合。通过优化好的裂纹分类网络，本发明可以实现对手机钢化玻璃膜图像的自动裂纹识别，不再需要人工干预，大大提高了裂纹分类的效率和准确性。
实施例2：本发明还公开了基于机器视觉的手机钢化玻璃膜裂纹自动分类系统，包括以下五个模块：
预处理模块：收集包含不同裂纹类型的手机钢化玻璃膜图像数据集，并对图像进行尺寸调整；
特征提取模块：使用图像处理算法从预处理后的图像中提取特征；
网络构建模块：使用提取到的特征数据和预处理后的图像，基于深度学习构建裂纹分类网络并设定裂纹分类网络优化目标；
网络训练模块：根据裂纹分类网络优化目标训练裂纹分类网络参数；
参数优化模块：基于遗传算法优化裂纹分类网络参数；
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法，其特征在于，包括以下步骤：
S1：收集包含不同裂纹类型的手机钢化玻璃膜图像数据集，并对图像进行尺寸调整，获得预处理后的图像；
S2：使用图像处理算法从预处理后的图像中提取特征；
S3：使用提取到的特征数据和预处理后的图像，基于深度学习构建裂纹分类网络并设定裂纹分类网络优化目标；
S4：根据裂纹分类网络优化目标训练裂纹分类网络参数；
S5：基于遗传算法优化裂纹分类网络参数，对于新采集到的手机钢化玻璃膜图像，使用优化好的裂纹分类网络进行自动分类，判断裂纹类型；
所述步骤S1中，包括以下步骤：
S11：计算协方差矩阵：
基于图像的列计算图像的协方差矩阵，协方差矩阵第行第/>列元素的计算方式为：
；
其中，为基于图像的列的协方差矩阵；/>和/>分别为图像的第/>和第/>列列向量，/>，/>为图像的列数；/>和/>分别为图像的第/>和第/>列列向量的均值；
S12：计算协方差矩阵的特征值与特征向量：
求解基于图像的列的协方差矩阵的特征值与特征向量，求解公式为：
；
其中，为特征值，/>为特征向量矩阵；
S13：计算特征向量的贡献率和权重：
根据特征值计算每一个特征向量的贡献率：
；
其中，；
根据特征向量的贡献率计算每一个特征向量的权重：
；
其中，和/>分别代表特征向量矩阵第/>行第/>列和第/>行第/>列的值，；
S14：缩放图像尺寸：
对于图像尺寸缩小，根据特征向量的权重删除权重最低的特征向量，直到达到目标列数；
对于图像尺寸放大，根据特征向量的权重，选取权重最低的特征向量与其相邻特征向量计算平均值插入选取的两个特征向量之间，直到达到目标列数；
基于图像的行计算S11-S14完成图像行的缩放，获得预处理后的图像。
2.根据权利要求1所述的一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法，其特征在于，所述步骤S2中，包括以下步骤：
S21：提取空间特征：
计算预处理后的图像的尺度空间图像/>，计算方法为：
；
其中，表示图像像素位置；/>表示卷积；/>表示尺度核，表达式为：
；
其中，表示尺度参数；/>和/>分别表示圆周率和自然常数；
基于尺度空间图像计算梯度/>和梯度方向/>作为空间特征：
；
；
S22：提取颜色特征：
对预处理后的图像进行颜色组合，获得颜色特征/>：
；
其中，、/>和/>分别代表预处理后的图像/>的红、绿和蓝通道。
3.根据权利要求2所述的一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法，其特征在于，所述步骤S3中，包括以下步骤：
S31：构建裂纹分类网络：
；
其中，为基于Faster-RCNN构建的裂纹分类网络；表示裂纹分类网络识别出的不同裂纹的概率，/>为裂纹的种类数目；/>表示裂纹分类网络识别出的裂纹所在位置参数，，决定了裂纹外包围盒的中心横纵位置和外包围盒的长宽；/>是裂纹分类网络参数；
S32：设定裂纹分类网络优化目标：
裂纹分类网络优化目标由裂纹分类类别的准确性/>和裂纹位置定位的准确性/>组成：
；
；
；
其中，为目标权衡参数；/>函数当裂纹分类网络判断的类别与裂纹真实类别一致时为1，否则为0；/>为裂纹分类网络判断裂纹为第/>类的概率，/>；/>和/>分别表示裂纹分类网络得到裂纹所在位置和裂纹真实所在位置第/>个参数的值，/>。
4.根据权利要求3所述的一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法，其特征在于，所述步骤S4中，包括以下步骤：
基于梯度下降更新裂纹分类网络参数：
；
；
；
其中，代表梯度下降迭代次数；/>和/>分别代表裂纹分类网络参数第/>次和次迭代结果；/>和/>是迭代控制参数；/>表示裂纹分类网络参数的学习率；/>是裂纹分类网络优化目标关于裂纹分类网络第/>次迭代参数的偏导。
5.根据权利要求4所述的一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法，其特征在于，所述步骤S5中，包括以下步骤：
初始化种群大小，重复步骤S4共/>次获得种群集合：
；
其中，表示第/>次使用步骤S4获得的更新后的裂纹分类网络参数，/>；
对于种群集合中每一个个体计算对应适应值，所述适应值的计算方式为：
；
其中，表示使用/>作为裂纹分类网络参数时计算得到的优化目标；
基于所有个体的适应值计算选择算子，并选择计算出的选择算子在前20%的个体作为保留个体，选择算子的表达式为：
；
其中，表示第/>次使用步骤S4获得的更新后的裂纹分类网络参数，/>；
对保留个体使用变异操作增加个体多样性：
；
其中，为随机步长；执行变异操作直到种群数量达到被选择算子选择前种群数量的50%；
重复进行适应度计算，选择算子选择以及变异操作，直到选择算子选择到的个体数量少于3个，选择适应度最高的个体作为裂纹分类网络优化完成的参数；
获取新采集到的手机钢化玻璃膜图像的预处理后的图像以及相应的特征数据，输入到优化完成的裂纹分类网络，即可对手机钢化玻璃膜图像进行裂纹自动分类。
6.一种基于机器视觉的手机钢化玻璃膜裂纹自动分类系统，其特征在于，包括：
预处理模块：收集包含不同裂纹类型的手机钢化玻璃膜图像数据集，并对图像进行尺寸调整；
特征提取模块：使用图像处理算法从预处理后的图像中提取特征；
网络构建模块：使用提取到的特征数据和预处理后的图像，基于深度学习构建裂纹分类网络并设定裂纹分类网络优化目标；
网络训练模块：根据裂纹分类网络优化目标训练裂纹分类网络参数；
参数优化模块：基于遗传算法优化裂纹分类网络参数；
以实现如权利要求1-5任意一项所述的一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法。
CN202311257526.3A 2023-09-27 2023-09-27 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统 Active CN117274702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311257526.3A CN117274702B (zh) 2023-09-27 2023-09-27 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311257526.3A CN117274702B (zh) 2023-09-27 2023-09-27 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统

Publications (2)

Publication Number Publication Date
CN117274702A CN117274702A (zh) 2023-12-22
CN117274702B true CN117274702B (zh) 2024-03-29

Family

ID=89205816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311257526.3A Active CN117274702B (zh) 2023-09-27 2023-09-27 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统

Country Status (1)

Country Link
CN (1) CN117274702B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422717B (zh) * 2023-12-19 2024-02-23 长沙韶光芯材科技有限公司 一种掩膜板污渍智能定位方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700360A (zh) * 2015-04-01 2015-06-10 中国科学院自动化研究所 基于边缘自适应的图像缩放方法及系统
CN105911095A (zh) * 2016-05-04 2016-08-31 东北电力大学 一种连铸坯表面纵裂纹的可视化识别方法
KR102060656B1 (ko) * 2018-07-17 2019-12-30 국방과학연구소 소나 영상의 잡음을 제거하는 장치 및 방법
CN114494217A (zh) * 2022-01-29 2022-05-13 杭州捷诺飞生物科技股份有限公司 一种人工组织和类器官的检测方法及其装置
CN115457323A (zh) * 2022-09-15 2022-12-09 广东工业大学 基于视觉检测系统的手机玻璃屏非均衡表面缺陷分类方法
CN116664586A (zh) * 2023-08-02 2023-08-29 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021084590A1 (ja) * 2019-10-28 2021-05-06 富士通株式会社 学習方法、学習プログラム、および学習装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700360A (zh) * 2015-04-01 2015-06-10 中国科学院自动化研究所 基于边缘自适应的图像缩放方法及系统
CN105911095A (zh) * 2016-05-04 2016-08-31 东北电力大学 一种连铸坯表面纵裂纹的可视化识别方法
KR102060656B1 (ko) * 2018-07-17 2019-12-30 국방과학연구소 소나 영상의 잡음을 제거하는 장치 및 방법
CN114494217A (zh) * 2022-01-29 2022-05-13 杭州捷诺飞生物科技股份有限公司 一种人工组织和类器官的检测方法及其装置
CN115457323A (zh) * 2022-09-15 2022-12-09 广东工业大学 基于视觉检测系统的手机玻璃屏非均衡表面缺陷分类方法
CN116664586A (zh) * 2023-08-02 2023-08-29 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于遗传优化神经网络在高压瓷瓶裂缝识别中的应用";刘国海等;《电测与仪表》;20090430;第46卷(第520期);第39-43页 *

Also Published As

Publication number Publication date
CN117274702A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN107609575B (zh) 书法评价方法、书法评价装置和电子设备
CN108345911B (zh) 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN109683360B (zh) 液晶面板缺陷检测方法及装置
CN110321830B (zh) 一种基于神经网络的中文字符串图片ocr识别方法
CN110070008A (zh) 一种采用无人机图像的桥梁病害识别方法
CN117274702B (zh) 一种基于机器视觉的手机钢化玻璃膜裂纹自动分类方法和系统
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN113139979A (zh) 一种基于深度学习的边缘识别方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
CN115861190A (zh) 一种基于对比学习的光伏组件无监督缺陷检测方法
CN115908276A (zh) 融合深度学习的桥梁表观损伤双目视觉智能检测方法及系统
CN115994900A (zh) 基于迁移学习的无监督缺陷检测方法和系统、存储介质
CN111539931A (zh) 一种基于卷积神经网络和边界限定优化的外观异常检测方法
CN113673534B (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN117197682B (zh) 一种长波红外遥感影像进行盲元检测与去除的方法
CN117036429A (zh) 一种用于光伏缺陷检测的红外-可见光异源图像配准方法
CN110889418A (zh) 一种气体轮廓识别方法
CN116245855A (zh) 作物品种鉴定方法、装置、设备及存储介质
CN116128800A (zh) 一种基于ViG的手机麦克风零件缺陷检测与分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant