CN117030724B - 一种基于深度学习的多模态工业缺陷分析方法及系统 - Google Patents
一种基于深度学习的多模态工业缺陷分析方法及系统 Download PDFInfo
- Publication number
- CN117030724B CN117030724B CN202311297111.9A CN202311297111A CN117030724B CN 117030724 B CN117030724 B CN 117030724B CN 202311297111 A CN202311297111 A CN 202311297111A CN 117030724 B CN117030724 B CN 117030724B
- Authority
- CN
- China
- Prior art keywords
- defect
- mechanical part
- model
- mechanical
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 211
- 238000004458 analytical method Methods 0.000 title claims abstract description 17
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 75
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 20
- 238000011056 performance test Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000011179 visual inspection Methods 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 16
- 238000002592 echocardiography Methods 0.000 description 4
- 238000005336 cracking Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N3/08—Investigating strength properties of solid materials by application of mechanical stress by applying steady tensile or compressive forces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Acoustics & Sound (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
一种基于深度学习的多模态工业缺陷分析方法及系统，涉及工业缺陷分析技术领域，包括主控中心，所述主控中心通信连接有模型构建模块、视觉检测模块、声波检测模块、结构力学检测模块、模型对比模块、缺陷预测模块；所述模型构建模块用于构建机械零件的虚拟模型；所述视觉检测模块用于获得机械零件的表面缺陷；所述声波检测模块用于获得机械零件的内部缺陷；所述结构力学检测模块用于获得机械零件的性能指标；所述模型对比模块用于对机械零件的虚拟模型进行比较，并获得相应的缺陷数据库；所述缺陷预测模块用于构建缺陷预测模型，并对机械零件的性能指标进行预测；通过本发明的技术方案，能够对机械零件实现多模态的缺陷检测以及有效的缺陷预测。
Description
技术领域
本发明涉及工业缺陷分析技术领域，具体是一种基于深度学习的多模态工业缺陷分析方法及系统。
背景技术
多模态工业缺陷分析是指在工业生产中，通过利用多种不同的传感器或模态来获取和处理工业产品缺陷信息的分析方法，通过结合多种传感器的数据，可以获得更全面、准确的缺陷信息，从而更好地理解和解决工业产品的缺陷问题，例如在机械零件的缺陷检测方面，多模态工业缺陷分析变得越来越常见；
在现有技术中，对于机械零件的缺陷检测虽然有着多种检测方法，却没能有效的将各种检测结果结合到一起，因此并不便于工作人员对其进行查看，且现有技术中，也缺乏基于机械零件的缺陷数据对其性能指标进行预测的有效方法，针对现有技术的不足，本发明提供了一种基于深度学习的多模态工业缺陷分析方法及系统。
发明内容
本发明的目的在于提供一种基于深度学习的多模态工业缺陷分析方法及系统。
本发明的目的可以通过以下技术方案实现：一种基于深度学习的多模态工业缺陷分析系统，包括主控中心，所述主控中心通信连接有模型构建模块、视觉检测模块、声波检测模块、结构力学检测模块、模型对比模块、缺陷预测模块；
所述模型构建模块用于对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；
所述视觉检测模块用于对机械零件进行视觉检测以获得机械零件的表面缺陷；
所述声波检测模块用于对机械零件进行声波检测以获得机械零件的内部缺陷；
所述结构力学检测模块用于对机械零件进行性能测试以获得机械零件的性能指标；
所述模型对比模块用于对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库；
所述缺陷预测模块用于根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测。
进一步的，所述模型构建模块对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型的过程包括：
设置模型构建单元，通过所述模型构建单元对机械零件的基本信息进行采集，根据所采集的机械零件的基本信息构建机械零件的虚拟模型，工作人员可通过移动终端对所构建的虚拟模型进行查看，此时所构建的虚拟模型为机械零件的理论模型，仅包括机械零件的基本信息，不包括机械零件的表面缺陷、内部缺陷以及性能指标。
进一步的，所述视觉检测模块对机械零件进行视觉检测以获得机械零件的表面缺陷的过程包括：
设置视觉检测单元，通过所述视觉检测单元对机械零件的图像数据进行采集，并对所采集的图像数据进行预处理，并对所处理的图像数据进行特征提取以获得相应的特征信息；
根据所获得的特征信息，采用图像分割技术对机械零件的图像数据进行缺陷检测以获得机械零件的表面缺陷，并将所获得的表面缺陷映射至机械零件的理论模型进行同步以获得相应的实际模型。
进一步的，所述声波检测模块对机械零件进行声波检测以获得机械零件的内部缺陷的过程包括：
获得机械零件的声波检测点，在声波检测点上设置声波检测单元，通过所述声波检测单元利用超声波对机械零件进行缺陷检测，以顶点指向球心的方向为检测方向，通过所述声波检测单元向机械零件发射超声波，并对所产生的超声波回波进行接收，对所接收的超声波回波进行分析以获得机械零件的内部缺陷，并将所获得的内部缺陷与其相应的机械零件的实际模型进行绑定。
进一步的，所述结构力学检测模块对机械零件进行性能测试以获得机械零件的性能指标的过程包括：
设置结构力学检测单元，通过所述结构力学检测单元对存在表面缺陷和内部缺陷的机械零件进行性能测试以获得相应的性能指标，本发明选择采取压力测试方法对机械零件进行性能测试以获得相应的性能指标；
根据机械零件的基本信息确定在压力测试过程中的压力标准和持续时间，通过压力测试设备根据压力标准和持续时间对机械零件施加压力，获得机械零件在压力施加过程中的压力、位移、温度，在压力测试结束后检查机械零件是否发生泄漏、变形、破裂，根据压力测试过程生成相应的压力测试结果，对压力测试结果进行数据分析以获得机械零件的耐久度、可靠度、安全度，并将所获得的耐久度、可靠度、安全度与其相应的机械零件的实际模型进行绑定。
进一步的，所述模型对比模块对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库的过程包括：
设置缺陷数据库，获得机械零件的理论模型和实际模型，将所获得的理论模型和实际模型进行比较，并根据比较结果获得机械零件的缺陷数据，将所获得的缺陷数据与其相应的机械零件进行绑定，并将所获得的缺陷数据上传至缺陷数据库进行保存；
获得两个机械零件的实际模型，并将所获得的两个实际模型进行比较，根据比较结果获得两个机械零件之间的性能差异数据，将所获得的性能差异数据与其相应的两个机械零件进行绑定，并将所获得的性能差异数据上传至缺陷数据库进行保存。
进一步的，所述缺陷预测模块根据缺陷数据库构建缺陷预测模型的过程包括：
设置数据处理单元，通过所述数据处理单元对缺陷数据库内所存储的缺陷数据和性能差异数据进行预处理以获得相应的可用数据，所述预处理包括离群点处理、缺失值处理、规范化处理；
对所获得的可用数据进行特征提取以获得相应的特征信息，选择深度学习模型作为初始的缺陷预测模型，并将所获得的可用数据划分为训练集和测试集，使用训练集对初始的缺陷预测模型进行训练，对可用数据中的缺陷数据与性能差异数据之间的对应关系进行学习以获得训练的缺陷预测模型，使用测试集对训练的缺陷预测模型进行评估，并根据评估结果对训练的缺陷预测模型进行调优以获得调优的缺陷预测模型，利用所获得的可用数据不断对缺陷预测模型进行训练以及调优以获得最新的缺陷预测模型。
进一步的，所述缺陷预测模块根据缺陷预测模型对机械零件的性能指标进行预测的过程包括：
获得后续的机械零件的表面缺陷或内部缺陷，并将所获得的表面缺陷或内部缺陷输入至最新的缺陷预测模型，通过所述缺陷预测模型根据所输入的表面缺陷或内部缺陷对机械零件的性能指标进行预测，并输出相应的预测结果，所输出的预测结果即为机械零件的性能指标范围，并将所获得的性能指标范围反馈给工作人员。
一种基于深度学习的多模态工业缺陷分析方法，包括以下步骤：
步骤一：对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；
步骤二：对机械零件进行视觉检测以获得机械零件的表面缺陷，对机械零件进行声波检测以获得机械零件的内部缺陷，对机械零件进行性能测试以获得机械零件的性能指标；
步骤三：对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库，根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测。
与现有技术相比，本发明的有益效果是：
1、通过构建机械零件的虚拟模型，对机械零件进行视觉检测、声波检测、性能测试以获得机械零件的表面缺陷、内部缺陷、性能指标，并将所获得的表面缺陷、内部缺陷、性能指标与其相应的机械零件的虚拟模型进行绑定，能够对机械零件实现多模态的缺陷检测，有利于工作人员直观地对机械零件的虚拟模型进行查看；
2、通过对机械零件的虚拟模型互相进行比较以获得相应的缺陷数据库，根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测，有利于根据缺陷数据获得相应的性能指标，能够对机械零件实现有效的缺陷预测。
附图说明
图1为本发明的原理图；
图2为本发明的流程图。
实施方式
如图1所示，一种基于深度学习的多模态工业缺陷分析系统，包括主控中心，所述主控中心通信连接有模型构建模块、视觉检测模块、声波检测模块、结构力学检测模块、模型对比模块、缺陷预测模块；
所述模型构建模块用于对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；
所述视觉检测模块用于对机械零件进行视觉检测以获得机械零件的表面缺陷；
所述声波检测模块用于对机械零件进行声波检测以获得机械零件的内部缺陷；
所述结构力学检测模块用于对机械零件进行性能测试以获得机械零件的性能指标；
所述模型对比模块用于对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库；
所述缺陷预测模块用于根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测。
需要进一步说明的是，在具体实施过程中，所述模型构建模块对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型的过程包括：
设置模型构建单元，通过所述模型构建单元对机械零件的基本信息进行采集，所述机械零件的基本信息包括但不限于规格和尺寸、材质和物理属性、制造工艺和加工精度、功能和用途、承载能力和耐久性；
根据所采集的机械零件的基本信息构建机械零件的虚拟模型，工作人员可通过移动终端对所构建的虚拟模型进行查看，此时所构建的虚拟模型为机械零件的理论模型，仅包括机械零件的基本信息，不包括机械零件的表面缺陷、内部缺陷以及性能指标。
需要进一步说明的是，在具体实施过程中，所述视觉检测模块对机械零件进行视觉检测以获得机械零件的表面缺陷的过程包括：
设置视觉检测单元，通过所述视觉检测单元对机械零件的图像数据进行采集，并对所采集的图像数据进行预处理，所述预处理包括图像去噪、增强对比、边缘检测、颜色校正，并对所处理的图像数据进行特征提取以获得相应的特征信息，所述特征信息包括颜色特征、纹理特征、形状特征、边缘特征；
根据所获得的特征信息，采用图像分割技术对机械零件的图像数据进行缺陷检测以获得机械零件的表面缺陷，所述表面缺陷包括但不限于划痕、气泡、毛边、色差、变形、漆膜开裂、氧化斑点，并将所获得的表面缺陷映射至机械零件的理论模型进行同步以获得相应的实际模型。
需要进一步说明的是，在具体实施过程中，所述声波检测模块对机械零件进行声波检测以获得机械零件的内部缺陷的过程包括：
获得机械零件的重心，以机械零件的重心为球心，构建一个刚好能将机械零件完全容纳的球体，在所构建的球体内部构建一个正四面体，所构建的正四面体的四个顶点均处于该球体的表面上，获得该正四面体的四个顶点，并将所获得的顶点作为机械零件的声波检测点；
在声波检测点上分别设置声波检测单元，通过所述声波检测单元利用超声波对机械零件依次进行缺陷检测，以顶点指向球心的方向为检测方向，通过所述声波检测单元向机械零件发射超声波，并对所产生的超声波回波进行接收，对所接收的超声波回波进行分析以获得机械零件的内部缺陷，所述内部缺陷包括但不限于气孔、夹杂物、裂纹、疏松区域、异常组织，并将所获得的内部缺陷与其相应的机械零件的实际模型进行绑定。
需要进一步说明的是，在具体实施过程中，所述结构力学检测模块对机械零件进行性能测试以获得机械零件的性能指标的过程包括：
设置结构力学检测单元，通过所述结构力学检测单元对存在表面缺陷和内部缺陷的机械零件进行性能测试以获得相应的性能指标，由于机械零件具有多种性能指标，因此所采取的性能测试方法也不尽相同，本发明选择采取压力测试方法对机械零件进行性能测试以获得相应的性能指标；
根据机械零件的基本信息确定在压力测试过程中的压力标准和持续时间，通过压力测试设备根据压力标准和持续时间对机械零件施加压力，获得机械零件在压力施加过程中的压力、位移、温度，在压力测试结束后检查机械零件是否发生泄漏、变形、破裂，根据压力测试过程生成相应的压力测试结果，对压力测试结果进行数据分析以获得机械零件的耐久度、可靠度、安全度，并将所获得的耐久度、可靠度、安全度与其相应的机械零件的实际模型进行绑定。
需要进一步说明的是，在具体实施过程中，所述模型对比模块对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库的过程包括：
设置缺陷数据库，以某一机械零件为例，获得该机械零件的理论模型和实际模型，将所获得的理论模型和实际模型进行比较，并根据比较结果获得该机械零件的缺陷数据，所述缺陷数据包括表面缺陷以及内部缺陷，以此类推，获得各个机械零件的缺陷数据，将所获得的缺陷数据与其相应的机械零件进行绑定，并将所获得的缺陷数据上传至缺陷数据库进行保存；
以任意两个机械零件为例，获得两个机械零件的实际模型，并将所获得的两个实际模型进行比较，根据比较结果获得两个机械零件之间的性能差异数据，所述性能差异数据是指两个机械零件的性能指标的数值差异，以此类推，获得各个机械零件之间的性能差异数据，将所获得的性能差异数据与其相应的两个机械零件进行绑定，并将所获得的性能差异数据上传至缺陷数据库进行保存。
需要进一步说明的是，在具体实施过程中，所述缺陷预测模块根据缺陷数据库构建缺陷预测模型的过程包括：
设置数据处理单元，通过所述数据处理单元对缺陷数据库内所存储的缺陷数据和性能差异数据进行预处理以获得相应的可用数据，所述预处理包括离群点处理、缺失值处理、规范化处理，所述离群点处理用于对异常数据进行清理，采用绝对中位差离群值处理方法，所述缺失值处理用于对缺失数据进行填充，采用统计量填充方法，所述规范化处理用于对数据的格式进行统一，采用Z-Score标准化方法；
对所获得的可用数据进行特征提取以获得相应的特征信息，选择深度学习模型作为初始的缺陷预测模型，并将所获得的可用数据划分为训练集和测试集，使用训练集对初始的缺陷预测模型进行训练，对可用数据中的缺陷数据与性能差异数据之间的对应关系进行学习以获得训练的缺陷预测模型，使用测试集对训练的缺陷预测模型进行评估，并根据评估结果对训练的缺陷预测模型进行调优以获得调优的缺陷预测模型，利用所获得的可用数据不断对缺陷预测模型进行训练以及调优以获得最新的缺陷预测模型。
需要进一步说明的是，在具体实施过程中，所述缺陷预测模块根据缺陷预测模型对机械零件的性能指标进行预测的过程包括：
获得后续的机械零件的表面缺陷或内部缺陷，并将所获得的表面缺陷或内部缺陷输入至最新的缺陷预测模型，通过所述缺陷预测模型根据所输入的表面缺陷或内部缺陷对机械零件的性能指标进行预测，并输出相应的预测结果，所输出的预测结果即为机械零件的性能指标范围，并将所获得的性能指标范围反馈给工作人员。
如图2所示，一种基于深度学习的多模态工业缺陷分析方法，包括以下步骤：
步骤一：对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；
步骤二：对机械零件进行视觉检测以获得机械零件的表面缺陷，对机械零件进行声波检测以获得机械零件的内部缺陷，对机械零件进行性能测试以获得机械零件的性能指标；
步骤三：对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库，根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。
Claims (2)
1.一种基于深度学习的多模态工业缺陷分析系统，包括主控中心，其特征在于，所述主控中心通信连接有模型构建模块、视觉检测模块、声波检测模块、结构力学检测模块、模型对比模块、缺陷预测模块；
所述模型构建模块用于对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；
所述视觉检测模块用于对机械零件进行视觉检测以获得机械零件的表面缺陷；
所述声波检测模块用于对机械零件进行声波检测以获得机械零件的内部缺陷；
所述结构力学检测模块用于对机械零件进行性能测试以获得机械零件的性能指标；
所述模型对比模块用于对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库；
所述缺陷预测模块用于根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测；
所述模型构建模块对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型的过程包括：
设置模型构建单元，通过所述模型构建单元对机械零件的基本信息进行采集，根据所采集的机械零件的基本信息构建机械零件的虚拟模型，工作人员通过移动终端对所构建的虚拟模型进行查看；
所述视觉检测模块对机械零件进行视觉检测以获得机械零件的表面缺陷的过程包括：
设置视觉检测单元，通过所述视觉检测单元对机械零件的图像数据进行采集，采用图像分割技术对机械零件的图像数据进行缺陷检测以获得机械零件的表面缺陷，并将所获得的表面缺陷映射至机械零件的虚拟模型进行同步以获得相应的实际模型；
所述声波检测模块对机械零件进行声波检测以获得机械零件的内部缺陷的过程包括：
获得机械零件的声波检测点，在声波检测点上设置声波检测单元，通过所述声波检测单元利用超声波对机械零件进行缺陷检测以获得机械零件的内部缺陷，并将所获得的内部缺陷与其相应的机械零件的实际模型进行绑定；
所述结构力学检测模块对机械零件进行性能测试以获得机械零件的性能指标的过程包括：
设置结构力学检测单元，通过所述结构力学检测单元对存在表面缺陷和内部缺陷的机械零件进行性能测试以获得相应的性能指标，所述性能指标包括耐久度、可靠度、安全度，并将所获得的耐久度、可靠度、安全度与其相应的机械零件的实际模型进行绑定；
所述模型对比模块对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库的过程包括：
设置缺陷数据库，获得机械零件的虚拟模型和实际模型，将所获得的虚拟模型和实际模型进行比较，根据比较结果获得机械零件的缺陷数据，并将所获得的缺陷数据上传至缺陷数据库进行保存；
获得任意两个机械零件的实际模型，将所获得的实际模型进行比较，根据比较结果获得两个机械零件之间的性能差异数据，并将所获得的性能差异数据上传至缺陷数据库进行保存；
所述缺陷预测模块根据缺陷数据库构建缺陷预测模型的过程包括：
设置数据处理单元，通过所述数据处理单元对缺陷数据库内所存储的缺陷数据和性能差异数据进行预处理以获得相应的可用数据，所述预处理包括离群点处理、缺失值处理、规范化处理；
选择深度学习模型作为初始的缺陷预测模型，使用所获得的可用数据对初始的缺陷预测模型进行训练和评估以获得调优的缺陷预测模型，不断对缺陷预测模型进行训练和调优以获得最新的缺陷预测模型；
所述缺陷预测模块根据缺陷预测模型对机械零件的性能指标进行预测的过程包括：
获得后续的机械零件的表面缺陷或内部缺陷，将所获得的表面缺陷或内部缺陷输入至最新的缺陷预测模型，通过所述缺陷预测模型根据所输入的表面缺陷或内部缺陷对机械零件的性能指标进行预测以获得相应的性能指标范围，将所获得的性能指标范围反馈给工作人员。
2.根据权利要求1所述的一种基于深度学习的多模态工业缺陷分析系统的多模态工业缺陷分析方法，其特征在于，包括以下步骤：
步骤一：对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；
步骤二：对机械零件进行视觉检测以获得机械零件的表面缺陷，对机械零件进行声波检测以获得机械零件的内部缺陷，对机械零件进行性能测试以获得机械零件的性能指标；
步骤三：对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库，根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311297111.9A CN117030724B (zh) | 2023-10-09 | 2023-10-09 | 一种基于深度学习的多模态工业缺陷分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311297111.9A CN117030724B (zh) | 2023-10-09 | 2023-10-09 | 一种基于深度学习的多模态工业缺陷分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117030724A CN117030724A (zh) | 2023-11-10 |
| CN117030724B true CN117030724B (zh) | 2023-12-08 |
Family
ID=88641627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311297111.9A Active CN117030724B (zh) | 2023-10-09 | 2023-10-09 | 一种基于深度学习的多模态工业缺陷分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117030724B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252486B (zh) * | 2023-11-14 | 2024-02-02 | 长春师范大学 | 基于物联网的汽车零配件缺陷检测方法及系统 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504238A (zh) * | 2016-10-31 | 2017-03-15 | 成都交大光芒科技股份有限公司 | 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法 |
| CN109523640A (zh) * | 2018-10-19 | 2019-03-26 | 深圳增强现实技术有限公司 | 深度学习缺陷数据集方法、系统及电子设备 |
| CN110631832A (zh) * | 2019-10-22 | 2019-12-31 | 北京市地铁运营有限公司地铁运营技术研发中心 | 地铁车辆轴承故障在线检测方法 |
| CN111007073A (zh) * | 2019-12-23 | 2020-04-14 | 华中科技大学 | 一种増材制造过程中零件缺陷在线检测的方法及检测系统 |
| CN111337504A (zh) * | 2020-03-20 | 2020-06-26 | 南京智慧基础设施技术研究院有限公司 | 一种检测混凝土裂缝变化的方法 |
| CN112730425A (zh) * | 2020-12-19 | 2021-04-30 | 滁州蜂云视觉科技有限公司 | 一种面向工业场景的产品表面缺陷自动识别方法 |
| CN113297699A (zh) * | 2021-05-28 | 2021-08-24 | 西北工业大学 | 一种预测缺陷对整体叶盘线性摩擦焊成形影响的模拟方法 |
| CN113702391A (zh) * | 2021-09-08 | 2021-11-26 | 东力智能科技有限公司 | 一种钢坯表面及近表面缺陷复合检测方法及装置 |
| CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
| CN113870267A (zh) * | 2021-12-03 | 2021-12-31 | 深圳市奥盛通科技有限公司 | 缺陷检测方法、装置、计算机设备及可读存储介质 |
| CN114066848A (zh) * | 2021-11-16 | 2022-02-18 | 苏州俪濠智能科技有限公司 | 一种fpca外观缺陷视觉检测系统 |
| JP2022105909A (ja) * | 2021-01-05 | 2022-07-15 | 株式会社ニューフレアテクノロジー | 欠陥検査方法 |
| CN115015124A (zh) * | 2022-05-31 | 2022-09-06 | 南京航空航天大学 | 基于激光超声的深度学习三维重建缺陷检测系统与方法 |
| CN115014217A (zh) * | 2022-06-21 | 2022-09-06 | 南昌航空大学 | 一种基于激光测距的管材在线检测方法 |
| CN115131330A (zh) * | 2022-07-15 | 2022-09-30 | 北京铁科英迈技术有限公司 | 多源传感器融合的钢轨表面缺陷检测与测量方法及系统 |
| CN115496750A (zh) * | 2022-11-14 | 2022-12-20 | 成都诺比侃科技有限公司 | 一种基于神经网络的接触网缺陷验损方法及系统 |
| CN115797694A (zh) * | 2022-12-06 | 2023-03-14 | 哈尔滨工业大学 | 基于多尺度孪生神经网络的显示面板微缺陷分类方法 |
| CN115796002A (zh) * | 2022-11-01 | 2023-03-14 | 北京科技大学 | 一种基于深度学习的带钢卷形缺陷预测与诊断方法 |
| CN116245826A (zh) * | 2023-02-09 | 2023-06-09 | 中国矿业大学 | 一种基于dcgan的零件表面缺陷检测方法 |
| CN116263559A (zh) * | 2021-12-15 | 2023-06-16 | 中芯国际集成电路制造(上海)有限公司 | 基于机器学习预测待测图形上的光学临近效应缺陷的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2909612A1 (en) * | 2012-10-19 | 2015-08-26 | Resodyn Corporation | Methods and systems for detecting flaws in an object |
| FI129412B (en) * | 2018-04-13 | 2022-01-31 | Maillefer Sa | Arrangement and procedure for detecting faults in a cable surface |
| US12020417B2 (en) * | 2020-04-24 | 2024-06-25 | Camtek Ltd. | Method and system for classifying defects in wafer using wafer-defect images, based on deep learning |
| JP7303163B2 (ja) * | 2020-07-20 | 2023-07-04 | 株式会社神戸製鋼所 | 欠陥発生予測方法、及び欠陥発生予測装置 |
-
2023
- 2023-10-09 CN CN202311297111.9A patent/CN117030724B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504238A (zh) * | 2016-10-31 | 2017-03-15 | 成都交大光芒科技股份有限公司 | 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法 |
| CN109523640A (zh) * | 2018-10-19 | 2019-03-26 | 深圳增强现实技术有限公司 | 深度学习缺陷数据集方法、系统及电子设备 |
| CN110631832A (zh) * | 2019-10-22 | 2019-12-31 | 北京市地铁运营有限公司地铁运营技术研发中心 | 地铁车辆轴承故障在线检测方法 |
| CN111007073A (zh) * | 2019-12-23 | 2020-04-14 | 华中科技大学 | 一种増材制造过程中零件缺陷在线检测的方法及检测系统 |
| CN111337504A (zh) * | 2020-03-20 | 2020-06-26 | 南京智慧基础设施技术研究院有限公司 | 一种检测混凝土裂缝变化的方法 |
| CN112730425A (zh) * | 2020-12-19 | 2021-04-30 | 滁州蜂云视觉科技有限公司 | 一种面向工业场景的产品表面缺陷自动识别方法 |
| JP2022105909A (ja) * | 2021-01-05 | 2022-07-15 | 株式会社ニューフレアテクノロジー | 欠陥検査方法 |
| CN113297699A (zh) * | 2021-05-28 | 2021-08-24 | 西北工业大学 | 一种预测缺陷对整体叶盘线性摩擦焊成形影响的模拟方法 |
| CN113702391A (zh) * | 2021-09-08 | 2021-11-26 | 东力智能科技有限公司 | 一种钢坯表面及近表面缺陷复合检测方法及装置 |
| CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
| CN114066848A (zh) * | 2021-11-16 | 2022-02-18 | 苏州俪濠智能科技有限公司 | 一种fpca外观缺陷视觉检测系统 |
| CN113870267A (zh) * | 2021-12-03 | 2021-12-31 | 深圳市奥盛通科技有限公司 | 缺陷检测方法、装置、计算机设备及可读存储介质 |
| CN116263559A (zh) * | 2021-12-15 | 2023-06-16 | 中芯国际集成电路制造(上海)有限公司 | 基于机器学习预测待测图形上的光学临近效应缺陷的方法 |
| CN115015124A (zh) * | 2022-05-31 | 2022-09-06 | 南京航空航天大学 | 基于激光超声的深度学习三维重建缺陷检测系统与方法 |
| CN115014217A (zh) * | 2022-06-21 | 2022-09-06 | 南昌航空大学 | 一种基于激光测距的管材在线检测方法 |
| CN115131330A (zh) * | 2022-07-15 | 2022-09-30 | 北京铁科英迈技术有限公司 | 多源传感器融合的钢轨表面缺陷检测与测量方法及系统 |
| CN115796002A (zh) * | 2022-11-01 | 2023-03-14 | 北京科技大学 | 一种基于深度学习的带钢卷形缺陷预测与诊断方法 |
| CN115496750A (zh) * | 2022-11-14 | 2022-12-20 | 成都诺比侃科技有限公司 | 一种基于神经网络的接触网缺陷验损方法及系统 |
| CN115797694A (zh) * | 2022-12-06 | 2023-03-14 | 哈尔滨工业大学 | 基于多尺度孪生神经网络的显示面板微缺陷分类方法 |
| CN116245826A (zh) * | 2023-02-09 | 2023-06-09 | 中国矿业大学 | 一种基于dcgan的零件表面缺陷检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| "Software defect prediction via cost-sensitive Siamese parallel fully-connected neural networks";Zhao, LC et al;《NEUROCOMPUTING》(第1082期);第176-185页 * |
| "基于优化PSO-BP算法的软件缺陷预测模型";马振宇等;《计算机工程与设》;第37卷(第2期);第413-417页 * |
| "基于多视角配准的缺陷检测研究";傅方晟;《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》(第11期);第1-86页 * |
| "基于深度学习的储罐底板漏磁检测缺陷重构研究";欧泽平;《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》(第2期);第1-74页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117030724A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117030724B (zh) | 一种基于深度学习的多模态工业缺陷分析方法及系统 | |
| US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
| CN113284109B (zh) | 管道缺陷识别方法、装置、终端设备及存储介质 | |
| CN111758117B (zh) | 检查系统、识别系统以及学习数据生成装置 | |
| CN111581697B (zh) | 基于bim的桥梁检测信息管理方法及系统 | |
| US20100126277A1 (en) | Systems and methods for inspecting an object using ultrasound | |
| CN111325738A (zh) | 一种用于横穿孔周边裂纹的智能检测方法及系统 | |
| CN116309556B (zh) | 一种基于机器视觉技术的钢构件成品质量管理方法 | |
| CN112686388A (zh) | 一种在联邦学习场景下的数据集划分方法及系统 | |
| CN111947595A (zh) | 一种基于三维激光扫描的船舶外板逆向建模实现方法 | |
| CN114778684A (zh) | 一种基于服役场景的钢管性能评估方法及系统 | |
| CN115166048A (zh) | 基于数字孪生装备的超声波无损检测方法、装置及系统 | |
| CN114527135A (zh) | 一种基于深度学习的安全帽检测系统 | |
| CN112816557B (zh) | 一种缺陷检测方法、装置、设备和存储介质 | |
| CN117058106A (zh) | 基于随机森林的柔性玻璃平面度及表面缺陷的测量方法 | |
| CN116342542A (zh) | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 | |
| CN111238927A (zh) | 疲劳耐久性评测方法、装置、电子设备和计算机可读介质 | |
| JP2022514370A (ja) | 材料の硬さを測定および計算するためのシステムおよび方法 | |
| CN104251815B (zh) | 一种基于时间序列模型的轴类零件裂纹判别方法 | |
| CN116452944A (zh) | 一种表面裂纹识别方法及装置 | |
| CN116165213A (zh) | 一种不锈钢链条产品质量检验方法及系统 | |
| CN112330606B (zh) | 一种基于机器学习的缺陷检测方法 | |
| WO2021136934A1 (en) | Improvements in and relating to detection and mapping of cracks | |
| US20220074874A1 (en) | Computer-implemented method for analysing measurement data from a measurement of an object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |