CN109993094A - 基于机器视觉的材料缺陷智能检测系统及方法 - Google Patents
基于机器视觉的材料缺陷智能检测系统及方法 Download PDFInfo
- Publication number
- CN109993094A CN109993094A CN201910229711.9A CN201910229711A CN109993094A CN 109993094 A CN109993094 A CN 109993094A CN 201910229711 A CN201910229711 A CN 201910229711A CN 109993094 A CN109993094 A CN 109993094A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- fault
- network
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明基于机器视觉的材料缺陷智能检测系统，包括：数据采集模块；深度学习训练数据模块：用于神经网络识别的基础训练库图片素材，包含基本的待识别的各种缺陷明显的素材数据库；机器学习识别过程中增加的特征库；当对材料断层裂纹的识别率提升到了一定程度后的成熟训练库；测量模块；卷积神经网络算法模块：对图像各种缺陷的特征提取，分类计算，卷积计算，深化学习过程，迭代检测；训练库：包括基础数据库、深入学习库和成熟型各种缺陷特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的磁性材料裂纹数据；以及结构输出模块。
Description
技术领域
本发明涉及显微镜设备及基于显微镜设备的检测技术，具体的，其展示一种基于机器视觉的材料缺陷智能检测系统及方法。
背景技术
日益发明的显微镜测量工具 ，不仅能查看图像，很好地满足客户基本测量需求，且具备软件的可拓展性，能兼容多种测量显微镜设备。
但是日益复杂的测量环境和逐渐提高的业务需求，使得我们越来越重视被测量目标固有属性的采集：
比如要求软件能够自动智能识别材料的各种缺陷，例如材料的组织、材料的工艺性能、机械性能和理化性能等，该数据可作为未来大数据的基础。
因此我们希望通过图像领域的人工智能技术解决此项目提出的问题。
因此，有必要提供一种基于机器视觉的材料缺陷智能检测系统及方法来解决上述问题。
发明内容
本发明的目的是提供一种基于机器视觉的材料缺陷智能检测系统及方法，其通过机器视觉人工智能目标检测技术，对待识别的材料进行图像识别，在高倍率的显微图像基础上采用深度学习技术不断训练软件对于特定材料各种缺陷组成的目标检测过程，对材料的各种缺陷进行分类识别、图像分割，最终达到对某种材料已定义各种缺陷的智能高精度识别和检测，为材料各种缺陷类型或者变异检测提供有意义的方法。
技术方案如下：
一种基于机器视觉的材料缺陷智能检测系统，包括：
数据采集模块：从显微镜设备采集图像；
深度学习训练数据模块：用于神经网络识别的基础训练库图片素材，包含基本的待识别的各种缺陷明显的素材数据库；机器学习识别过程中增加的特征库；当对材料断层裂纹的识别率提升到了一定程度后的成熟训练库；
测量模块：即测量算法，包括点测定、直线测定、圆测定、多边形面积测定、不规则面积测定；
卷积神经网络算法模块：对图像各种缺陷的特征提取，分类计算，卷积计算，深化学习过程，迭代检测；
训练库：包括基础数据库、深入学习库和成熟型各种缺陷特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的磁性材料裂纹数据；
以及结构输出模块：输出识别结果并输出到用户主界面，识别结果可外部保存。
进一步的，还包括用户界面：可视化图像采集设备属性读取、设置界面，包括分辨率等属性；可视化测量界面，包括手动测量，划线；智能识别开启、选择图片、选择各种缺陷等人工配置选项。
进一步的，还包括图像预识别模块：负责对图像采集后图像灰度化、图像边缘检测、图像切割等基本图像预处理功能。
本发明的目的之二是提供一种磁性材料裂纹智能检测方法。
具体方案如下：
一种基于机器视觉的材料缺陷智能检测方法，步骤如下：
1）数据采集模块实时采集显微镜设备的图像数据；
2）用户通过用户界面模块或者手动配置待检测的代表材料缺陷的训练基础特征图片库；
3）提取图像特征，进行图像优化，得到特征数据；
4）对图像特征进行分类识别，对材料的多种缺陷类型特征分类训练；
5）运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到关于材料的所有类型缺陷的特征结果和上下文数据；
6）输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高对磁性材料裂纹问题的识别效率和准确率。
进一步的，获取待检测磁性材料高清高倍率图像并进行预处理；
预处理包括如下步骤：
A1） 将待检测磁性材料的高清高倍率图像进行尺寸变换至预设大小；
A2）将步骤A1）中尺寸变换后的图像进行边缘检测得到边缘图像；
A3）对边缘图像进行霍夫变换并提取检测区域得到长条形图像；
A4）将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。
进一步的，将预处理后的图像输入至预先训练好的材料断层裂纹检测模型进行结构检测得到磁性材料上指定类型材料断层裂纹明显或可能存在的位置，并给出该位置为目标材料断层裂纹的置信度；材料指定的材料断层裂纹目标检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到材料目标材料断层裂纹位置以及置信度。
进一步的，目标材料断层裂纹检测模型的训练方法步骤为：
B1）建立本文所述的深度网络；
B2）采集海量或尽可能大量的该材料断层裂纹图像并进行人工标记，圈出感兴趣的目标区域，计算该目标区域的RECT(x,y,width,height)，得到数据样本；
B3）将数据样本输入至深度网络进行特征提取与分类回归得到待检测目标的位置和置信度；
B4）将步骤B3）得到的目标位置和置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。
与现有技术相比，本发明基于机器视觉的材料缺陷检测技术使得工业上对材料各种缺陷检测更加迅速、便捷，缺陷特征库贯穿整个检测过程，不断迭代，不断提高检测效率；其次，不再完全依赖于专业检测机构或人工检测，排除主观干扰和弄虚作假；再者，随着图像智能检测、识别技术在材料缺陷检测中的应用，我们积累的缺陷数据将会形成一个缺陷特征数据库，从长远利益来讲，是本行业大数据的一个雏形，将为全面AI大数据普及打下坚实的基础。
附图说明
图1是本发明的结构示意图。
图2是本发明的流程示意图。
具体实施方式
实施例：
请参阅图1至图2，本实施例展示基于机器视觉的材料缺陷智能检测系统，包括：
数据采集模块：从显微镜设备采集图像；
深度学习训练数据模块：用于神经网络识别的基础训练库图片素材，包含基本的待识别的各种缺陷明显的素材数据库；机器学习识别过程中增加的特征库；当对材料断层裂纹的识别率提升到了一定程度后的成熟训练库；
测量模块：即测量算法，包括点测定、直线测定、圆测定、多边形面积测定、不规则面积测定；
卷积神经网络算法模块：对图像各种缺陷的特征提取，分类计算，卷积计算，深化学习过程，迭代检测；
训练库：包括基础数据库、深入学习库和成熟型各种缺陷特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的磁性材料裂纹数据；
以及结构输出模块：输出识别结果并输出到用户主界面，识别结果可外部保存。
还包括用户界面：可视化图像采集设备属性读取、设置界面，包括分辨率等属性；可视化测量界面，包括手动测量，划线；智能识别开启、选择图片、选择各种缺陷等人工配置选项。
还包括图像预识别模块：负责对图像采集后图像灰度化、图像边缘检测、图像切割等基本图像预处理功能。
利用本实施例进行检测，步骤如下：
1）数据采集模块实时采集显微镜设备的图像数据；
2）用户通过用户界面模块或者手动配置用于材料裂纹图像识别的学习训练基础特征图片库；
3）提取图像特征，进行图像优化，得到特征数据；
4）对图像特征进行分类识别，对材料的多种缺陷类型特征分类训练；
5）运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到所有包含图像中不同裂纹的特征结果和上下文数据；
6）输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高软件对材料各种缺陷的识别效率和准确率。
获取待检测磁性材料高清高倍率图像并进行预处理；
预处理包括如下步骤：
A1） 将待检测磁性材料的高清高倍率图像进行尺寸变换至预设大小；
A2）将步骤A1）中尺寸变换后的图像进行边缘检测得到边缘图像；
A3）对边缘图像进行霍夫变换并提取检测区域得到长条形图像；
A4）将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。
将预处理后的图像输入至预先训练好的材料断层裂纹检测模型进行结构检测得到磁性材料上指定类型材料断层裂纹明显或可能存在的位置，并给出该位置为目标材料断层裂纹的置信度；材料指定的材料断层裂纹目标检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到材料目标材料断层裂纹位置以及置信度。
目标材料断层裂纹检测模型的训练方法步骤为：
B1）建立本文所述的深度网络；
B2）采集海量或尽可能大量的该材料断层裂纹图像并进行人工标记，圈出感兴趣的目标区域，计算该目标区域的RECT(x,y,width,height)，得到数据样本；
B3）将数据样本输入至深度网络进行特征提取与分类回归得到待检测目标的位置和置信度；
B4）将步骤B3）得到的目标位置和置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。
其中：特征提取网络包括5个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、局部响应归一化层、最大值池化层和平均值池化层；
卷积层利用卷积核在图像上滑动，对图像进行卷积操作，从而提取输入图像特征得到较为粗略的特征图；
局部响应归一化层采用5像素*5像素的领域在卷积层中得到的较为粗略的特征图上滑动，并对每个领域内的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略的特征图；
最大池化层采用5像素*5像素的领域在局部响应归一化层中得到的粗略的特征图上滑动，并对每个领域内的所有像素值取最大值，得到具有平移不变性的较为精确的特征图；
平均池化层采用5像素*5像素的领域在最大池化层中得到的较为精确的的特征图上滑动，并对每个领域内的所有像素值取平均值，得到对微小形变有鲁棒性的精确的特征图，上述精确的特征图即最终对应的特征提取基本单元输出的特征图；
经过5个依次级联的特征提取基本单元最终输出特征图像。
5个依次级联的特征提取基本单元中的卷积层计算方式如下：
第一个特征提取基本单元中，卷积核大小为7，用于提取较大的特征，输出特征图数目为30。
第二个特征提取基本单元中，卷积核大小为5，用于提取中等大小的特征，输出特征图数目为60。
第三个特征提取基本单元中，卷积核大小为3，用于提取较小的特征，输出特征图数目为90。
第四个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为128。
第五个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为256。
分类器与回归器网络依次级联的第一全连接层和第二全连接层，所述第一全连接层输入特征图像，第二全连接层输出端连接有分类器和回归器。
第一全连接层对特征提取网络输出的特征图像进行加权计算，得到特征向量。
第二全连接层对第一全连接层输出的特征向量进行加权计算，得到细化且特征突出的特征向量。
分类器对第二全连接层输出的细化且特征突出的特征向量进行判断，判断是否属于待识别材料断层裂纹类型并给出属于该类型材料断层裂纹的置信度。
回归器对第二全连接层输出的细化且特征突出的特征向量进行回归处理，得到检测出的目标材料断层裂纹位置信息。
搭建深度网络。对于一个深度学习神经网络，特征是分类的依据，特征选取的越有代表性，则分类结果越好，因此该步骤是对上一步提取出的待检测区域进行特征提取，得到待检测图像的有效特征，以便后续网络进行分类、回归。
本方案使用深度学习目标检测领域中的最前沿算法，Faster-RCNN算法思想，搭建了适于材料指定材料断层裂纹检测的深度学习网络。将目标检测的四个基本步骤(候选区域生成，特征提取，分类，位置精修)统一到同一个深度网络框架之内。重复性计算开支极大地减小并在GPU中完成，从而大大提高了运行速度。
卷积层是利用卷积核在图像上滑动，对图像进行卷积操作。卷积操作可以用来对图像做边缘检测，锐化，模糊等，在此处用于对图像特征的提取。在本方案中，通过控制卷积核的大小来控制各层提取不同的特征，而每个卷积核(就是个矩阵)中每个元素通过训练部分确定，即训练时需要修改权重。对图像进行卷积操作，是对图像区域中的每个像素分别于卷积核的每个元素对应相乘，所有乘积之和作为区域中心像素的新值。
局部响应归一化层是对图像领域内(5*5像素)的每个像素值进行均值和方差的归一化，达到消除背景和光照影响，突出特征的作用。均值和方差的归一化即，将原始图像领域内每个像素值集归一化为均值为0、方差1的数据，这样的数据具有良好的度量性。归一化公式为：
z＝χ-μ/σ
其中z表示归一化之后的值，x表示归一化前的像素值，μ表示输入图像领域内像素值的均值，σ表示输入图像领域内像素值的方差。
最大池化层是对邻域内(本方案使用3*3的区域)所有像素值求最大值，可以缩小数据量，同时实现对提取的特征的平移不变性。
平均池化层是对邻域内(本方案使用3*3的区域)所有像素值球平均值，可以缩小数据量，同时增强提取的特征对微小形变的鲁棒性。
在该网络中，每输入一张图片便可以得到256张特征图输出，在提取好的特征图上生成候选框，候选框的作用是用来判断某一区域是否可能存在目标，随后对这些候选框进行分类与回归，分类的作用是判断每个候选框内是否包括待检测的物体，回归的作用是将所有可能包含待检测物体的候选框进行组合、合并，并对位置进行修正。进行候选框分类与回归的网络结构由两个全连接层完成，每个全连接层的节点数为1024个。至此该软件即完成了对一张图片的特征提取，同时生成了候选框，并对可能包含待检测材料断层裂纹的候选框进行了分类，并给出了回归参数。
全连接层是该层的任意一个节点，都和下一层的所有节点有连接，这样下一层的输出就和上一层的所有输入有关。而由于第一个全连接层与特征提取网络的输出相连，也就是使得最终的输出与所有提取出的特征有关。全连接层的每个节点的权重需要通过反向传播法训练确定。
由于全连接层的存在，使得最终输出与每个特征都相关，但有时训练样本可能不能代表被识别的所有情况，就可能出现过拟合情况。dropout层通过随机地隐藏一些全连接层的节点增加来防止过拟合，增强泛化能力。
SoftmaxWithLoss层仅在训练时存在，是对全连接层最终输出结果的评价，用来计算分类器分类结果与真实值之间的差距。
分类器最终输出每一个位置上属于前景(待检测物体)和背景的概率；窗口器最终输出每一个位置上应该平移缩放的参数。
对于每一个位置来说，分类层从256维特征中输出属于前景和背景的概率；窗口回归层从256维特征中输出4个平移缩放参数。
对采集图片的特征提取就到此完成，同时生成了候选框，并对可能包含待检测材料断层裂纹的候选框进行了分类，并给出了回归参数。
样本标记和模型训练
经过前面的技术手段标记出存在目标材料断层裂纹的区域，给出存在目标材料断层裂纹区域的起点坐标与终点坐标后，将大量标记好的样本送入深度网络中进行训练，其训练过程可概括为：
首先考察训练集中的每张图像；
C1)对每个标定的真值候选区域，与其重叠比例最大的候选框记为前景样本；
C2)对C1)剩余的候选框，如果其与某个标定重叠比例大于0.7，记为前景样本。如果其与任意一个标定的重叠比例都小于0.3，记为背景样本；
C3)对C1)、C2)剩余的候选框，弃去不用；
C4)跨越图像边界的候选框弃去不用；
随后将所有提取到的特征及生成的候选框送入分类与回归网络中，便可以得到每个候选框属于前景和背景的概率以及用以回归的参数。将这些得到的结果与真实值(人工标记的结果)进行对比，使用代价函数来评价识别值与真实值的差异，最后通过神经网络通用的反向迭代算法，调整网络中的各个链接权值，使得分类误差和回归误差同时最小化。
利用已训练的模型识别某材料的材料断层裂纹。
与现有技术相比，本发明基于机器视觉的材料缺陷检测技术使得工业上对材料各种缺陷检测更加迅速、便捷，缺陷特征库贯穿整个检测过程，不断迭代，不断提高检测效率；其次，不再完全依赖于专业检测机构或人工检测，排除主观干扰和弄虚作假；再者，随着图像智能检测、识别技术在材料缺陷检测中的应用，我们积累的缺陷数据将会形成一个缺陷特征数据库，从长远利益来讲，是本行业大数据的一个雏形，将为全面AI大数据普及打下坚实的基础。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (7)
1.一种基于机器视觉的材料缺陷智能检测系统，其特征在于：包括：
数据采集模块：从显微镜设备采集图像；
深度学习训练数据模块：用于神经网络识别的基础训练库图片素材，包含基本的待识别的各种缺陷明显的素材数据库；机器学习识别过程中增加的特征库；当对材料断层裂纹的识别率提升到了一定程度后的成熟训练库；
测量模块：即测量算法，包括点测定、直线测定、圆测定、多边形面积测定、不规则面积测定；
卷积神经网络算法模块：对图像各种缺陷的特征提取，分类计算，卷积计算，深化学习过程，迭代检测；
训练库：包括基础数据库、深入学习库和成熟型各种缺陷特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的磁性材料裂纹数据；
以及结构输出模块：输出识别结果并输出到用户主界面，识别结果可外部保存。
2.根据权利要求1所述的一种基于机器视觉的材料缺陷智能检测系统，其特征在于：还包括用户界面：可视化图像采集设备属性读取、设置界面，包括分辨率等属性；可视化测量界面，包括手动测量，划线；智能识别开启、选择图片、选择各种缺陷等人工配置选项。
3.根据权利要求2所述的一种基于机器视觉的材料缺陷智能检测系统，其特征在于：还包括图像预识别模块：负责对图像采集后图像灰度化、图像边缘检测、图像切割等基本图像预处理功能。
4.一种基于机器视觉的材料缺陷智能检测方法，其特征在于：其利用权利要求3所述的基于机器视觉的材料缺陷智能检测系统进行基于机器视觉的材料缺陷智能检测，步骤如下：
1)数据采集模块实时采集显微镜设备的图像数据；
2)用户通过用户界面模块或者手动配置待检测的代表材料缺陷的训练基础特征图片库；
3)提取图像特征，进行图像优化，得到特征数据；
4)对图像特征进行分类识别，对材料的多种缺陷类型特征分类训练；
5)运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到关于材料的所有类型缺陷的特征结果和上下文数据；
6)输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高对磁性材料裂纹问题的识别效率和准确率。
5.根据权利要求4所述的一种基于机器视觉的材料缺陷智能检测方法，其特征在于：获取待检测磁性材料高清高倍率图像并进行预处理；
预处理包括如下步骤：
A1)将待检测磁性材料的高清高倍率图像进行尺寸变换至预设大小；
A2)将步骤A1)中尺寸变换后的图像进行边缘检测得到边缘图像；
A3)对边缘图像进行霍夫变换并提取检测区域得到长条形图像；
A4)将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。
6.根据权利要求5所述的一种基于机器视觉的材料缺陷智能检测方法，其特征在于：将预处理后的图像输入至预先训练好的材料断层裂纹检测模型进行结构检测得到磁性材料上指定类型材料断层裂纹明显或可能存在的位置，并给出该位置为目标材料断层裂纹的置信度；材料指定的材料断层裂纹目标检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到材料目标材料断层裂纹位置以及置信度。
7.根据权利要求6所述的一种基于机器视觉的材料缺陷智能检测方法，其特征在于：目标材料断层裂纹检测模型的训练方法步骤为：
B1)建立本文所述的深度网络；
B2)采集海量或尽可能大量的该材料断层裂纹图像并进行人工标记，圈出感兴趣的目标区域，计算该目标区域的RECT(x,y,width,height)，得到数据样本；
B3)将数据样本输入至深度网络进行特征提取与分类回归得到待检测目标的位置和置信度；
B4)将步骤B3)得到的目标位置和置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910229711.9A CN109993094A (zh) | 2019-03-26 | 2019-03-26 | 基于机器视觉的材料缺陷智能检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910229711.9A CN109993094A (zh) | 2019-03-26 | 2019-03-26 | 基于机器视觉的材料缺陷智能检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109993094A true CN109993094A (zh) | 2019-07-09 |
Family
ID=67131525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910229711.9A Withdrawn CN109993094A (zh) | 2019-03-26 | 2019-03-26 | 基于机器视觉的材料缺陷智能检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109993094A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110487802A (zh) * | 2019-08-15 | 2019-11-22 | 苏州热工研究院有限公司 | 现场检测光伏组件缺陷的识别装置 |
| CN110689520A (zh) * | 2019-08-26 | 2020-01-14 | 浙江华是科技股份有限公司 | 一种基于ai的磁芯产品缺陷检测系统及方法 |
| CN110889823A (zh) * | 2019-10-08 | 2020-03-17 | 山东天岳先进材料科技有限公司 | 一种SiC缺陷的检测方法和系统 |
| CN110910353A (zh) * | 2019-11-06 | 2020-03-24 | 成都数之联科技有限公司 | 一种工业假不良检测方法及系统 |
| CN110929756A (zh) * | 2019-10-23 | 2020-03-27 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
| CN111127416A (zh) * | 2019-12-19 | 2020-05-08 | 武汉珈鹰智能科技有限公司 | 基于计算机视觉的混凝土结构表面缺陷自动检测方法 |
| CN111487250A (zh) * | 2020-04-02 | 2020-08-04 | 苏州奥创智能科技有限公司 | 一种应用于注塑件不良品检测的智能视觉检测方法及系统 |
| CN111738994A (zh) * | 2020-06-10 | 2020-10-02 | 南京航空航天大学 | 一种轻量级的pcb缺陷检测方法 |
| CN111932639A (zh) * | 2020-09-09 | 2020-11-13 | 苏州鼎纳自动化技术有限公司 | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 |
| CN111968084A (zh) * | 2020-08-08 | 2020-11-20 | 西北工业大学 | 一种基于人工智能的航空发动机叶片缺陷快速精准识别方法 |
| JP6789460B1 (ja) * | 2020-05-14 | 2020-11-25 | ポリプラスチックス株式会社 | 破面解析装置、学習済みモデル生成装置、破面解析方法、破面解析プログラム、および、学習済みモデル |
| CN112070720A (zh) * | 2020-08-11 | 2020-12-11 | 国网河北省电力有限公司保定供电分公司 | 一种基于深度学习模型的变电站设备缺陷识别方法 |
| CN112862811A (zh) * | 2021-03-10 | 2021-05-28 | 华中科技大学 | 基于深度学习的材料显微图像缺陷识别方法、设备及装置 |
| CN112907519A (zh) * | 2021-01-29 | 2021-06-04 | 广州信邦智能装备股份有限公司 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
| CN113838015A (zh) * | 2021-09-15 | 2021-12-24 | 上海电器科学研究所（集团）有限公司 | 一种基于网络协同的电器产品外观缺陷检测方法 |
| CN114648532A (zh) * | 2022-05-23 | 2022-06-21 | 河南银金达新材料股份有限公司 | 一种基于光学识别的聚酯膜力学性能检测装置 |
| CN117078689A (zh) * | 2023-10-17 | 2023-11-17 | 沈阳宏远电磁线股份有限公司 | 一种基于机器视觉的线缆缺陷识别方法及系统 |
| CN117173151A (zh) * | 2023-09-25 | 2023-12-05 | 江苏精益智控科技有限公司 | 一种长型钢材的外表面缺陷视觉识别装置、方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145846A (zh) * | 2018-08-30 | 2019-01-04 | 苏州富莱智能科技有限公司 | 材料微观结构智能识别分析系统及分析方法 |
-
2019
- 2019-03-26 CN CN201910229711.9A patent/CN109993094A/zh not_active Withdrawn
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145846A (zh) * | 2018-08-30 | 2019-01-04 | 苏州富莱智能科技有限公司 | 材料微观结构智能识别分析系统及分析方法 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110487802A (zh) * | 2019-08-15 | 2019-11-22 | 苏州热工研究院有限公司 | 现场检测光伏组件缺陷的识别装置 |
| CN110689520A (zh) * | 2019-08-26 | 2020-01-14 | 浙江华是科技股份有限公司 | 一种基于ai的磁芯产品缺陷检测系统及方法 |
| CN110889823A (zh) * | 2019-10-08 | 2020-03-17 | 山东天岳先进材料科技有限公司 | 一种SiC缺陷的检测方法和系统 |
| CN110889823B (zh) * | 2019-10-08 | 2022-08-26 | 山东天岳先进科技股份有限公司 | 一种SiC缺陷的检测方法和系统 |
| CN110929756A (zh) * | 2019-10-23 | 2020-03-27 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
| CN110929756B (zh) * | 2019-10-23 | 2022-09-06 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
| CN110910353A (zh) * | 2019-11-06 | 2020-03-24 | 成都数之联科技有限公司 | 一种工业假不良检测方法及系统 |
| CN110910353B (zh) * | 2019-11-06 | 2022-06-10 | 成都数之联科技股份有限公司 | 一种工业假不良检测方法及系统 |
| CN111127416A (zh) * | 2019-12-19 | 2020-05-08 | 武汉珈鹰智能科技有限公司 | 基于计算机视觉的混凝土结构表面缺陷自动检测方法 |
| CN111487250A (zh) * | 2020-04-02 | 2020-08-04 | 苏州奥创智能科技有限公司 | 一种应用于注塑件不良品检测的智能视觉检测方法及系统 |
| WO2021229745A1 (ja) * | 2020-05-14 | 2021-11-18 | ポリプラスチックス株式会社 | 破面解析装置、学習済みモデル生成装置、破面解析方法、破面解析プログラム、および、学習済みモデル |
| JP6789460B1 (ja) * | 2020-05-14 | 2020-11-25 | ポリプラスチックス株式会社 | 破面解析装置、学習済みモデル生成装置、破面解析方法、破面解析プログラム、および、学習済みモデル |
| CN111738994A (zh) * | 2020-06-10 | 2020-10-02 | 南京航空航天大学 | 一种轻量级的pcb缺陷检测方法 |
| CN111738994B (zh) * | 2020-06-10 | 2024-04-16 | 南京航空航天大学 | 一种轻量级的pcb缺陷检测方法 |
| CN111968084A (zh) * | 2020-08-08 | 2020-11-20 | 西北工业大学 | 一种基于人工智能的航空发动机叶片缺陷快速精准识别方法 |
| CN111968084B (zh) * | 2020-08-08 | 2022-05-20 | 西北工业大学 | 一种基于人工智能的航空发动机叶片缺陷快速精准识别方法 |
| CN112070720A (zh) * | 2020-08-11 | 2020-12-11 | 国网河北省电力有限公司保定供电分公司 | 一种基于深度学习模型的变电站设备缺陷识别方法 |
| CN111932639A (zh) * | 2020-09-09 | 2020-11-13 | 苏州鼎纳自动化技术有限公司 | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 |
| CN111932639B (zh) * | 2020-09-09 | 2020-12-18 | 苏州鼎纳自动化技术有限公司 | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 |
| CN112907519A (zh) * | 2021-01-29 | 2021-06-04 | 广州信邦智能装备股份有限公司 | 一种基于深度学习的金属曲面缺陷分析系统及方法 |
| CN112862811A (zh) * | 2021-03-10 | 2021-05-28 | 华中科技大学 | 基于深度学习的材料显微图像缺陷识别方法、设备及装置 |
| CN113838015A (zh) * | 2021-09-15 | 2021-12-24 | 上海电器科学研究所（集团）有限公司 | 一种基于网络协同的电器产品外观缺陷检测方法 |
| CN113838015B (zh) * | 2021-09-15 | 2023-09-22 | 上海电器科学研究所（集团）有限公司 | 一种基于网络协同的电器产品外观缺陷检测方法 |
| CN114648532A (zh) * | 2022-05-23 | 2022-06-21 | 河南银金达新材料股份有限公司 | 一种基于光学识别的聚酯膜力学性能检测装置 |
| CN114648532B (zh) * | 2022-05-23 | 2022-08-23 | 河南银金达新材料股份有限公司 | 一种基于光学识别的聚酯膜力学性能检测装置 |
| CN117173151A (zh) * | 2023-09-25 | 2023-12-05 | 江苏精益智控科技有限公司 | 一种长型钢材的外表面缺陷视觉识别装置、方法及系统 |
| CN117173151B (zh) * | 2023-09-25 | 2024-03-08 | 江苏精益智控科技有限公司 | 一种长型钢材的外表面缺陷视觉识别装置、方法及系统 |
| CN117078689A (zh) * | 2023-10-17 | 2023-11-17 | 沈阳宏远电磁线股份有限公司 | 一种基于机器视觉的线缆缺陷识别方法及系统 |
| CN117078689B (zh) * | 2023-10-17 | 2024-01-30 | 沈阳宏远电磁线股份有限公司 | 一种基于机器视觉的线缆缺陷识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993094A (zh) | 基于机器视觉的材料缺陷智能检测系统及方法 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN106875381A (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN109145846A (zh) | 材料微观结构智能识别分析系统及分析方法 | |
| CN109636772A (zh) | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 | |
| CN110009019A (zh) | 磁性材料裂纹智能检测系统及方法 | |
| CN110263705A (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 | |
| CN106600600A (zh) | 基于特征匹配的晶圆缺陷检测方法 | |
| CN113160192A (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN109583324A (zh) | 一种基于单点多盒检测器的指针仪表读数自动识别方法 | |
| CN104392432A (zh) | 基于方向梯度直方图的显示面板缺陷检测方法 | |
| CN111553303A (zh) | 基于卷积神经网络的遥感正射影像密集建筑物提取方法 | |
| CN113205063A (zh) | 一种输电导线缺陷的视觉识别及定位方法 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN114972191A (zh) | 一种耕地变化检测方法和装置 | |
| CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
| CN113449594A (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
| CN109615604A (zh) | 基于图像重构卷积神经网络的零件外观瑕疵检测方法 | |
| CN116228780B (zh) | 基于计算机视觉的硅片缺陷检测方法及系统 | |
| CN111932511A (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| Li et al. | A method of defect detection for focal hard samples PCB based on extended FPN model | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN113435407A (zh) | 一种输电系统的小目标识别方法及装置 | |
| CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190709 |