CN111639609A - 基于机器视觉与深度学习的金属断口类型智能识别系统 - Google Patents
基于机器视觉与深度学习的金属断口类型智能识别系统 Download PDFInfo
- Publication number
- CN111639609A CN111639609A CN202010491861.XA CN202010491861A CN111639609A CN 111639609 A CN111639609 A CN 111639609A CN 202010491861 A CN202010491861 A CN 202010491861A CN 111639609 A CN111639609 A CN 111639609A
- Authority
- CN
- China
- Prior art keywords
- image
- metal fracture
- layer
- module
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002184 metal Substances 0.000 title claims abstract description 70
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000013145 classification model Methods 0.000 claims abstract description 9
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 14
- 238000003745 diagnosis Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 8
- 206010017076 Fracture Diseases 0.000 description 50
- 208000010392 Bone Fractures Diseases 0.000 description 49
- 238000010586 diagram Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
基于机器视觉与深度学习的金属断口类型智能识别系统，包括图像采集模块、图像预处理模块和图像识别模块，图像采集模块实时采集现场金属断口图像发送至图像预处理模块对图像进行预处理，图像预处理模块输出的数据进入图像识别模块，对金属断口类型进行识别诊断；图像预处理模块采用神经网络模型；图像识别模块采用基于深度学习的金属断口分类模型。本发明可以实现金属断口类型无人化诊断，使得金属断裂诊断可以准确及时；结合计算机视觉技术与神经网络技术，将全局性联系引入图像去噪，在去噪的同时最大程度保留图像的结构特征；可实现金属断口类型智能化诊断，对比传统方法可提升金属断口类型诊断的准确率。
Description
技术领域
本发明涉及机器视觉与人工智能技术领域。
背景技术
在复杂环境作用下，服役的金属材料会产生断裂、腐蚀、疲劳等失效事故，进而造成重大经济损失与人员伤亡。传统的金属断口识别方法一般由工人或技术员通过经验以及相关方面知识对其进行分析判断，这种方法不仅准确率难以得到保证，对分析所需时间、环境等也有一定要求。近年来，在实际工程应用中，常常会因不能及时准确的研判断裂原因而无法采取措施进行防范，导致事故重演。随着机器视觉与人工智能技术的高速发展，如何通过对金属断口图像进行准确高效的智能识别，提出判定金属断裂机理的新方法，对于高品质金属制品生产和安全使用意义重大。
发明内容
本发明的目的在于提供一种基于机器视觉与深度学习的金属断口类型智能识别系统，以解决上述背景技术中提到的问题。一方面通过机器视觉中图像处理的方法对采集到的金属断口图像进行预处理；另一方面，使用深度学习的方法对金属断口图像类型进行准确高效的智能识别，以达到金属断口类型的无人化诊断。
本发明为实现上述目的所采用的技术方案是：基于机器视觉与深度学习的金属断口类型智能识别系统，包括图像采集模块、图像预处理模块和图像识别模块，图像采集模块实时采集现场金属断口图像发送至图像预处理模块对图像进行预处理，图像预处理模块输出的数据进入图像识别模块，对金属断口类型进行识别诊断；图像预处理模块采用神经网络模型；图像识别模块采用基于深度学习的金属断口分类模型。
还包括信息上传模块、网络云端及数据库，图像采集模块采集的现场金属断口图像由信息上传模块将数据发送至图像预处理模块，同时信息上传模块中的数据发送至网络云端，进而输入数据库进行保存；图像预处理模块输出的数据进入图像识别模块对金属断口类型进行识别诊断，识别的结果实时输出并通过信息上传模块上传到网络云端进而上传到数据库进行保存。
所述神经网络模型为四层全连接神经网络，首先输入噪声图像，提取噪声图像非局部均值数据，然后初始化模型中的权值与偏置值，将非局部均值数据作为输入训练神经网络，计算模型中各隐含层与输出层结果，当误差更新小于下限或迭代次数大于上限时停止训练，训练好的模型即可用于金属断口图像的降噪预处理。
所述基于深度学习的金属断口分类模型为卷积神经网络，输入层为224×224的金属断口图像，第一卷积层中由两层32个3×3卷积核组成，在其后加入LRN正则化，第一池化层为步长为2的2×2最大值池化；第二卷积层由两层64个3×3卷积核组成，第二层池化层为步长为2的2×2平均值池化；第三卷积层为两层128个3×3卷积核，其后的池化层为步长为2的2×2平均值池化；第三卷积层输出的图像经Flatten层压平并降为一维作为卷积层与全连接层间的过渡；第一全连接层具有128个神经元，在全连接层后是BN层与Dropout层，输出层为3个神经元对应三种断口类别，分类器是softmax分类器。
所述基于深度学习的金属断口分类模型中的激活函数为relu激活函数，损失函数为二进制交叉熵损失函数，优化器为RMSprop。
本发明的基于机器视觉与深度学习的金属断口类型智能识别系统，可以实现金属断口类型无人化诊断，避免传统人工诊断方法对于技术人员以及工作环境、工作时间的限制，使得金属断裂诊断可以准确及时，为高品质金属制品生产和安全使用做出保障；结合计算机视觉技术与神经网络技术，设计了一种基于神经网络的金属断口降噪算法，针对金属断口图像特征复杂的特点，将全局性联系引入图像去噪，在去噪的同时最大程度保留图像的结构特征；针对金属断口图像特点，充分结合深度学习技术，设计了一种深度学习模型对金属断口类型进行诊断，可实现金属断口类型智能化诊断，对比传统方法可提升金属断口类型诊断的准确率。
附图说明
图1是本发明基于机器视觉与深度学习的金属断口类型智能识别系统原理图；
图2是本发明金属断口图像的预处理降噪算法模型图；
图3是本发明金属断口图像的预处理降噪算法流程图；
图4是基于深度学习的金属断口分类模型。
具体实施方式
本发明的基于机器视觉与深度学习的金属断口类型智能识别系统，其原理如图1所示，系统由图像采集模块、信息上传模块、图像预处理模块、图像识别模块、网络云端及数据库组成。系统工作原理如下：首先通过图像采集模块实时采集现场金属断口图像，由信息上传模块将数据发送至图像预处理模块，对图像进行预处理，提升图像质量。同时信息上传模块中的数据会发送至网络云端，进而进入数据库进行保存，以供后期调用查看。通过图像预处理模块的数据将进入图像识别模块，对金属断口类型进行识别诊断。识别的结果实时输出，以供金属断裂机理研判分析，同时也会通过网络云端上传到数据库进行保存。
针对金属断口图像纹理复杂、边缘丰富的特点，结合计算机视觉技术设计了一种针对金属断口图像的预处理降噪算法。传统方法中对金属断口图像进行去噪处理往往会对断口图像特征造成一定程度损坏，以至于影响到图像后续处理与识别的问题。该算法为一种基于四层全连接神经网络的图像降噪算法，算法充分利用图像中像素点的全局性联系，模型结构图如图2所示，算法原理图如图3所示。首先输入噪声图像，提取噪声图像非局部均值数据，非局部均值数据包含去噪点相邻像素值、像素块相似性值和欧氏距离值，然后初始化模型中的权值与偏置值，将非局部均值数据作为输入训练神经网络，计算模型中各隐含层与输出层结果，当误差更新小于下限或迭代次数大于上限时停止训练。训练好的模型即可用于各类型金属断口图像的降噪预处理。该方法将全局性联系引入图像去噪，在去噪的同时最大程度保留图像的结构特征。
图像识别模块所产用的算法为基于深度学习的金属断口分类模型如图4所示。模型为卷积神经网络模型，输入层为224×224的金属断口图像，第一卷积层中由两层32个3×3卷积核组成，在其后加入LRN正则化，第一池化层为步长为2的2×2最大值池化。第二卷积层由两层64个3×3卷积核组成，第二层池化层为步长为2的2×2平均值池化。第三卷积层为两层128个3×3卷积核，其后的池化层为步长为2的2×2平均值池化。Flatten层负责将输出的特征图压平，将最后一层卷积层输出的特征图降为一维，作为卷积层与全连接层间的过渡。第一全连接层具有128个神经元，在全连接层后是BN层与Dropout层，输出层为3个神经元对应三种断口类别，分类器是softmax分类器。模型中的激活函数均为relu激活函数，损失函数为二进制交叉熵损失函数，优化器为RMSprop。该方法可实现金属断口类型智能化诊断，对比传统方法可提升金属断口类型诊断的准确率。
对本方案的适当拓展，可增加系统用户端的功能，报警维修等功能，对各模块的作用可进行细化。本方案中的神经网络结构包括但不仅限于四层全连接型与卷积型，可进行更多拓展。神经网络中的具体参数可针对具体任务进行调整。
Claims (5)
1.基于机器视觉与深度学习的金属断口类型智能识别系统，其特征在于：包括图像采集模块、图像预处理模块和图像识别模块，图像采集模块实时采集现场金属断口图像发送至图像预处理模块对图像进行预处理，图像预处理模块输出的数据进入图像识别模块，对金属断口类型进行识别诊断；图像预处理模块采用神经网络模型；图像识别模块采用基于深度学习的金属断口分类模型。
2.根据权利要求1所述的基于机器视觉与深度学习的金属断口类型智能识别系统，其特征在于：还包括信息上传模块、网络云端及数据库，图像采集模块采集的现场金属断口图像由信息上传模块将数据发送至图像预处理模块，同时信息上传模块中的数据发送至网络云端，进而输入数据库进行保存；图像预处理模块输出的数据进入图像识别模块对金属断口类型进行识别诊断，识别的结果实时输出并通过信息上传模块上传到网络云端进而上传到数据库进行保存。
3.根据权利要求1所述的基于机器视觉与深度学习的金属断口类型智能识别系统，其特征在于：所述神经网络模型为四层全连接神经网络，首先输入噪声图像，提取噪声图像非局部均值数据，然后初始化模型中的权值与偏置值，将非局部均值数据作为输入训练神经网络，计算模型中各隐含层与输出层结果，当误差更新小于下限或迭代次数大于上限时停止训练，训练好的模型即可用于金属断口图像的降噪预处理。
4.根据权利要求1所述的基于机器视觉与深度学习的金属断口类型智能识别系统，其特征在于：所述基于深度学习的金属断口分类模型为卷积神经网络，输入层为224×224的金属断口图像，第一卷积层中由两层32个3×3卷积核组成，在其后加入LRN正则化，第一池化层为步长为2的2×2最大值池化；第二卷积层由两层64个3×3卷积核组成，第二层池化层为步长为2的2×2平均值池化；第三卷积层为两层128个3×3卷积核，其后的池化层为步长为2的2×2平均值池化；第三卷积层输出的图像经Flatten层压平并降为一维作为卷积层与全连接层间的过渡；第一全连接层具有128个神经元，在全连接层后是BN层与Dropout层，输出层为3个神经元对应三种断口类别，分类器是softmax分类器。
5.根据权利要求4所述的基于机器视觉与深度学习的金属断口类型智能识别系统，其特征在于：所述基于深度学习的金属断口分类模型中的激活函数为relu激活函数，损失函数为二进制交叉熵损失函数，优化器为RMSprop。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010491861.XA CN111639609A (zh) | 2020-06-03 | 2020-06-03 | 基于机器视觉与深度学习的金属断口类型智能识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010491861.XA CN111639609A (zh) | 2020-06-03 | 2020-06-03 | 基于机器视觉与深度学习的金属断口类型智能识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111639609A true CN111639609A (zh) | 2020-09-08 |
Family
ID=72332285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010491861.XA Pending CN111639609A (zh) | 2020-06-03 | 2020-06-03 | 基于机器视觉与深度学习的金属断口类型智能识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639609A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529899A (zh) * | 2020-12-28 | 2021-03-19 | 内蒙动力机械研究所 | 基于机器学习与计算机视觉固体火箭发动机无损检测方法 |
| CN113450343A (zh) * | 2021-07-19 | 2021-09-28 | 福州大学 | 基于声呐成像平面桩墩裂缝病害深度学习与智能检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944505A (zh) * | 2017-12-19 | 2018-04-20 | 青岛科技大学 | 一种金属失效类型自动化判断方法 |
| US20190065646A1 (en) * | 2015-09-22 | 2019-02-28 | Livermore Software Technology Corporation | Methods And Systems For Conducting A Time-Marching Numerical Simulation Of A Deep Drawing Metal Forming Process For Manufacturing A Product or Part |
| CN111209964A (zh) * | 2020-01-06 | 2020-05-29 | 武汉市盛隽科技有限公司 | 模型训练方法、基于深度学习的金属断口分析方法及应用 |
-
2020
- 2020-06-03 CN CN202010491861.XA patent/CN111639609A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190065646A1 (en) * | 2015-09-22 | 2019-02-28 | Livermore Software Technology Corporation | Methods And Systems For Conducting A Time-Marching Numerical Simulation Of A Deep Drawing Metal Forming Process For Manufacturing A Product or Part |
| CN107944505A (zh) * | 2017-12-19 | 2018-04-20 | 青岛科技大学 | 一种金属失效类型自动化判断方法 |
| CN111209964A (zh) * | 2020-01-06 | 2020-05-29 | 武汉市盛隽科技有限公司 | 模型训练方法、基于深度学习的金属断口分析方法及应用 |
Non-Patent Citations (2)
| Title |
|---|
| 闫涵;张旭秀;丁鸣艳;: "一种改进的非局部均值去噪算法" * |
| 颜云辉,高金鹤,刘 勇,曹宇光,雷世超: "基于小波变换的金属断口模式识别与分类" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529899A (zh) * | 2020-12-28 | 2021-03-19 | 内蒙动力机械研究所 | 基于机器学习与计算机视觉固体火箭发动机无损检测方法 |
| CN113450343A (zh) * | 2021-07-19 | 2021-09-28 | 福州大学 | 基于声呐成像平面桩墩裂缝病害深度学习与智能检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615019B (zh) | 基于时空自动编码器的异常行为检测方法 | |
| CN110532900B (zh) | 基于U-Net和LS-CNN的人脸表情识别方法 | |
| CN108764059B (zh) | 一种基于神经网络的人体行为识别方法及系统 | |
| CN113203566B (zh) | 一种基于一维数据增强和cnn的电机轴承故障诊断方法 | |
| CN109614488B (zh) | 基于文本分类和图像识别的配网带电作业条件判别方法 | |
| CN110264440B (zh) | 基于深度学习的大规模列车移位故障检测方法及系统 | |
| WO2022116616A1 (zh) | 一种基于转换模块的行为识别方法 | |
| CN114037079B (zh) | 基于图神经网络与知识图谱的气缸盖多故障整体诊断方法 | |
| CN107203752A (zh) | 一种联合深度学习和特征二范数约束的人脸识别方法 | |
| Zhang et al. | Gated recurrent unit-enhanced deep convolutional neural network for real-time industrial process fault diagnosis | |
| CN111639609A (zh) | 基于机器视觉与深度学习的金属断口类型智能识别系统 | |
| CN106503661A (zh) | 基于烟花深度信念网络的人脸性别识别方法 | |
| Xu et al. | Face expression recognition based on convolutional neural network | |
| CN112560948B (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN114782737A (zh) | 一种基于改进残差网络的图像分类方法、设备和存储介质 | |
| CN110321803A (zh) | 一种基于srcnn的交通标志识别方法 | |
| CN111862065A (zh) | 基于多任务深度卷积神经网络的输电线路诊断方法和系统 | |
| CN116246338A (zh) | 一种基于图卷积和Transformer复合神经网络的行为识别方法 | |
| CN111160428A (zh) | 基于cnn-svm算法蔬菜自动识别方法 | |
| CN117909881A (zh) | 多源数据融合的抽油机的故障诊断方法及装置 | |
| CN113870199A (zh) | 一种飞机蒙皮缺陷检测的识别方法 | |
| Daogang et al. | Anomaly identification of critical power plant facilities based on YOLOX-CBAM | |
| CN113298065A (zh) | 基于自监督学习的眼部黑色素肿瘤识别方法 | |
| CN112800979A (zh) | 一种基于表征流嵌入网络的动态表情识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200908 |