CN113269780B - 基于深度学习的压铸件表面缺陷测量系统 - Google Patents

基于深度学习的压铸件表面缺陷测量系统 Download PDF

Info

Publication number
CN113269780B
CN113269780B CN202110824892.7A CN202110824892A CN113269780B CN 113269780 B CN113269780 B CN 113269780B CN 202110824892 A CN202110824892 A CN 202110824892A CN 113269780 B CN113269780 B CN 113269780B
Authority
CN
China
Prior art keywords
die casting
defect
dimensional
defects
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110824892.7A
Other languages
English (en)
Other versions
CN113269780A (zh
Inventor
章明
蒋亮
赵伟程
丁宇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Cascc Intelligent Industrial Equipment Co ltd
Original Assignee
Jiangsu Cascc Intelligent Industrial Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Cascc Intelligent Industrial Equipment Co ltd filed Critical Jiangsu Cascc Intelligent Industrial Equipment Co ltd
Priority to CN202110824892.7A priority Critical patent/CN113269780B/zh
Publication of CN113269780A publication Critical patent/CN113269780A/zh
Application granted granted Critical
Publication of CN113269780B publication Critical patent/CN113269780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30116—Casting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的压铸件表面缺陷测量系统，涉及深度学习技术领域，该系统包括数据存储模块、图形处理流程模块和缺陷定位模块；所述图形处理流程模块，通过工业相机对压铸件进行扫描，获取到不同切面的二维图像而建立三维模型，判断压铸件表面是否存在缺陷；所述缺陷定位模块，通过从三维模型切割得到二维图像，将存在缺陷的二维图像与数据存储模块内的数据进行对比，判断压铸件表面的缺陷大小和位置是否影响后方工序工作，当影响程度较高时，进行预警；所述数据存储模块，设置若干训练集数据，并实时更新训练集；通过深度学习算法对数据进行训练判断压铸件缺陷程度，提高了检测的速率，提高了判断压铸件缺陷精度。

Description

基于深度学习的压铸件表面缺陷测量系统
技术领域
本发明涉及深度学习技术领域，具体为基于深度学习的压铸件表面缺陷测量系统。
背景技术
压铸件是一种零件，通过模具的压力制造为机械压铸机，通过对金属进行一系列的加热浇入入料口，形成不同形状的零件，此零件又称为压铸件；但是在加工完成后的压铸件上会形成不同类型的缺陷，需要对缺陷进行测量判定，判断是否在误差范围内；
现有技术对缺陷测量是通过人工测量判断，使用方法判断压铸件是否合格较为主观，且判断速度较为缓慢，无法提高速率还增加了人工费用；后使用机器学习的方法判断压铸件的好坏程度，相比于使用人工提高了判断压铸件好坏的速度，但是由于机器学习需要较长时间，因此没有使用深度学习效率高；
现市场使用了三维模型判断压铸件上的缺陷，通过三维模型仅仅能够识别出压铸件上面有几个面含有缺陷，但是并不了解在不同面上所在缺陷的面积大小，是否在标准误差范围内，因此，仅仅通过三维模型判断并不能了解到缺陷的真实情况，也无法进一步分析出压铸件是否还能够在下一个工序中进行使用。因此，需要对此进行改良优化。
发明内容
本发明的目的在于提供基于深度学习的压铸件表面缺陷测量系统，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：基于深度学习的压铸件表面缺陷测量系统，该系统包括数据存储模块、图形处理流程模块和缺陷定位模块；
所述图形处理流程模块，通过工业相机对压铸件进行扫描，获取到不同切面的二维图像而建立三维模型，判断压铸件表面是否存在缺陷；
所述缺陷定位模块，通过从三维模型切割得到新二维图像，将存在缺陷的新二维图像与数据存储模块内的数据进行对比，判断压铸件表面的缺陷大小和位置是否影响后方工序工作，当影响程度较高时，进行预警；
所述数据存储模块，设置若干训练集数据，并实时更新训练集。
进一步的，所述数据存储模块包括训练集分类存储单元、训练集更新单元和数据处理单元；
所述训练集分类存储单元，将表面无缺陷和表面存在缺陷的压铸件图像进行存储，以便于将最新压铸件图像与训练集内所保存图像进行比较，作为判断压铸件表面好坏的依据；
所述训练集更新单元，实时更新训练集内的压铸件图像，以便于及时对比；
所述数据处理单元，使用深度学习法对数据进行训练，得到训练结果。
进一步的，所述图形处理流程模块包括图像采集单元、模型建立单元和图像预处理单元；
所述图像采集单元，通过工业相机对压铸件不同角度进行拍照，形成不同面的二维图像；
所述模型建立单元，将不同角度的二维图像建模得到三维模型，根据所设置的三维模型判断压铸件表面是否存在缺陷；
所述图像预处理单元，检测到压铸件表面含有缺陷时，将三维模型切割成新二维图像进行比较。
进一步的，所述缺陷定位模块包括偏移归正单元、特征值提取单元、特征比较更新单元、缺陷比较定位单元和工序影响单元；
所述偏移归正单元，通过将新二维图像与训练集内图像进行自动比较，判断图像比较过程中是否存在偏移，当存在偏移时进行校正，从而能够更好的进行比对；
所述特征值提取单元，对新二维图像中缺陷位置进行定位提取；
所述特征比较更新单元，将所提取的缺陷与训练集内图像比较并更新训练集内图像；
所述缺陷比较定位单元，对存在缺陷的压铸件进行标记和定位，判断存在缺陷的压铸件是否会流入到下个工作中，从而影响下一个工作；
所述工序影响单元，判断含有缺陷的压铸件对下一个工序的影响程度。
使用深度学习法对数据进行训练具体为，将缺陷图像作为特征数据通过DNN进行处理，设置DNN的输入层的神经元的节点数为3，具体输入层变量为特征数据的长、特征数据的宽和特征数据的深度；输出层的神经元的节点数为1，输出层变量为压铸件是否发生缺陷，如发生，则表示为1；如未发生，则表示为0；调整输出层的激活函数sigmoid；确定隐藏层的层数以及神经元的节点和设置学习率；将训练集中的数据分为训练集和验证集，将其中的70%数据作为训练集，30%的数据作为验证集；训练网络，直至网络训练模型达到训练次数，停止训练，得到训练结果。
压铸件表面缺陷测量执行如下步骤：
Z01:通过工业相机对压铸件拍照扫描，将所得压铸件的二维图像进行建模得到压铸件的三维模型；
Z02:验证三维模型是否存在明显的缺陷标记，并对三维模型进行切割形成新二维图像，将新二维图像与训练集内的缺陷图像进行比较；
Z03:得出比较后的缺陷报告，判断缺陷的影响程度。
进一步的，三维模型进行切割形成新二维图像的步骤，具体为：
Q01：对三维模型进行归一化处理，建立二维投影图像与三维模型之间的映射关系；
Q02：对图像中的轮廓线进行提取；
Q03：根据轮廓线所存在的不同角点进行筛选，并删除部分不达标的角点，避免过度分割；
Q04：根据映射在三维模型表面的分割线进行切割，得到切割结果，分割线具体为平面。
进一步的，将新二维图像与训练集内的缺陷图像进行比较，具体为：对压铸件进行左上侧缓步移动，并获取压铸件的正面、上表面和左侧面的图像，并将第一组图像集与训练集内缺陷图像比较，得到第一组新二维图像的重叠数据；对压铸件进行右后侧缓步移动，并获取压铸件的后表面、下表面和右侧面的图像，并将第二组图像集与训练集内缺陷图像比较，得到第二组新二维图像的重叠数据，设定压铸件同一面内新二维图像的坐标集合为W={(x1,y1),(x2,y2)...(xn,yn)},训练集同一面内二维图像的坐标集合为H={(a1,b1),(a2,b2)...(an,bn)}；n是指二维图像中同一面内的坐标总项数；
以相同格式的二维图像为前提，当
Figure 100002_DEST_PATH_IMAGE002
时，表示所比较压铸件的距离小于预 设距离，无需移动二维图像进行二次比较，当
Figure 100002_DEST_PATH_IMAGE004
时，表示所比较压铸件的距离大于 预设距离，需要再次调节二维图像以便于重合比较；
Figure 100002_DEST_PATH_IMAGE006
；
其中，wj是指压铸件二维图像中第j个坐标，ho是指训练集内二维图像中第o个坐标，且所比较的二维图像坐标ho与wj的格式、方向相同，j是指压铸件新二维图像中的坐标项，o是指训练集内压铸件二维图像中的坐标项，p是指预设距离。
得出比较后的缺陷报告，判断缺陷的影响程度，具体步骤包括：
E01：判断二维图像所显示缺陷是否在标准误差范围内；当检测到不在标准误差内时，跳转到步骤E02；当检测到在标准误差内时，跳转到步骤E04；
E02：判断当前所显示缺陷对后续工序的影响程度为L，L=D*V;V=r*f；其中：D是指缺陷所在面积，V是指权重值，r是指后续工序中不同面的利用率，f是指权重系数，当r所对应的利用率越高，权重系数则越高；当所显示缺陷对后续工序的影响度高于标准影响度时，则跳转到步骤E03；当所显示缺陷对后续工序的影响度低于标准影响度时，则跳转到步骤E04；
E03：对压铸件进行标记，实时对压铸件位置进行定位，以免参与进入后续工序；
E04：将压铸件放入待定区，执行后续工序步骤。
所述缺陷包括毛刺、印痕、凹陷、气孔中的任意一种或多种组合。
与现有技术相比，本发明所达到的有益效果是：
1.使用图像处理流程模块，通过所拍图像转化成为三维模型，能够清楚的识别出压铸机表面是否存在缺陷，相比于通过二维模型判断更加直观，更容易在三维模型上判断缺陷在不同切面上的比例；将三维模型转换为二维图像与训练集内图像进行比对，更加简便无需复杂的变换。在将二维图像与训练集内图像重合比对，在重合比对过程中判断是否存在误差，从而保证压铸件上表面缺陷能够完全识别出来，提高了整个模型识别缺陷时的精确性；
2.使用缺陷定位模块，当检测到压铸件上存在缺陷时，判断所在缺陷对后方工序的影响程度，有效的将后续工序和当前所检测到的缺陷进行结合，保证了后续过程中压铸件不会受到缺陷影响，降低了对后方工序中压铸件的损耗，延长了后方机器的寿命。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明基于深度学习的压铸件表面缺陷测量系统的示意图；
图2是本发明基于深度学习的压铸件表面缺陷测量系统的三维模型切割二维图像的示意图；
图3是本发明基于深度学习的压铸件表面缺陷测量系统的缺陷对后续工序影响的示意图；
图4是本发明基于深度学习的压铸件表面缺陷测量系统的压铸件与训练集比对示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，本发明提供技术方案：
基于深度学习的压铸件表面缺陷测量系统，该系统包括数据存储模块、图形处理流程模块和缺陷定位模块；
所述图形处理流程模块，通过工业相机对压铸件进行扫描，获取到不同切面的二维图像而建立三维模型，判断压铸件表面是否存在缺陷；
所述缺陷定位模块，通过从三维模型切割得到新二维图像，将存在缺陷的新二维图像与数据存储模块内的数据进行对比，判断压铸件表面的缺陷大小和位置是否影响后方工序工作，当影响程度较高时，进行预警；
所述数据存储模块，设置若干训练集数据，并实时更新训练集；
在此过程中，将从工业相机所拍得的二维图像建立三维模型的目的是能够清楚判断出压铸件上是否存在缺陷，光通过二维图像并不能够了解到压铸件的其他面上是否存在缺陷，不能明白缺陷所占的比例数，通过建立三维模型能够更加直观；当检测到三维模型上存在缺陷时，在此将三维模型切割形成二维图像，其目的是为了能够通过二维图像与训练集内所保存的二维图像进行对比，能够更加直观的进行比较，如若不将三维模型进行切割，在比对的过程中需要将所有的训练集图像转换为三维模型与之进行比较，比较的过程过于繁杂，并不直观。
进一步的，所述数据存储模块包括训练集分类存储单元、训练集更新单元和数据处理单元；
所述训练集分类存储单元，将表面无缺陷和表面存在缺陷的压铸件图像进行存储，以便于将最新压铸件图像与训练集内所保存图像进行比较，作为判断压铸件表面好坏的依据；
所述训练集更新单元，实时更新训练集内的压铸件图像，以便于及时对比；
所述数据处理单元，使用深度学习法对数据进行训练，得到训练结果。
进一步的，所述图形处理流程模块包括图像采集单元、模型建立单元和图像预处理单元；
所述图像采集单元，通过工业相机对压铸件不同角度进行拍照，形成不同面的二维图像；
所述模型建立单元，将不同角度的二维图像建模得到三维模型，根据所设置的三维模型判断压铸件表面是否存在缺陷；
在上述过程中，将二维图像建模得到三维模型是现有技术，因此，不在这里过多阐述。
所述图像预处理单元，检测到压铸件表面含有缺陷时，将三维模型切割成新二维图像进行比较。
进一步的，所述缺陷定位模块包括偏移归正单元、特征值提取单元、特征比较更新单元、缺陷比较定位单元和工序影响单元；
所述偏移归正单元，通过将新二维图像与训练集内图像进行自动比较，判断图像比较过程中是否存在偏移，当存在偏移时进行校正，从而能够更好的进行比对；
所述特征值提取单元，对新二维图像中缺陷位置进行定位提取；
所述特征比较更新单元，将所提取的缺陷与训练集内图像比较并更新训练集内图像；
所述缺陷比较定位单元，对存在缺陷的压铸件进行标记和定位，判断存在缺陷的压铸件是否会流入到下个工作中，从而影响下一个工作；
所述工序影响单元，判断含有缺陷的压铸件对下一个工序的影响程度。
使用深度学习法对数据进行训练具体为，将缺陷图像作为特征数据通过DNN进行处理，设置DNN的输入层的神经元的节点数为3，具体输入层变量为特征数据的长、特征数据的宽和特征数据的深度；输出层的神经元的节点数为1，输出层变量为压铸件是否发生缺陷，如发生，则表示为1；如未发生，则表示为0；调整输出层的激活函数sigmoid；确定隐藏层的层数以及神经元的节点和设置学习率；将训练集中的数据分为训练集和验证集，将其中的70%数据作为训练集，30%的数据作为验证集；训练网络，直至网络训练模型达到训练次数，停止训练，得到训练结果；
通过使用DNN网络学习训练网络，更多的是一种融合与发展，且学习能力较强；并非只是简单的训练，且使用其它的网络并不如本方法更加简单直观；在此过程中，留有了70%的数据作为训练集，而并不是将全部的数据都用来进行训练，能够有效的判断出模型训练是否有效，判断出最有效的模型；而留有验证集是为了能够确定模型的复杂程度，由于所使用的缺陷图像较多，因此在此设置了70%的数据作为训练集，能够使得所训练出来的模型更加有效；本次试验中，使用的数据70%为实验数据。
压铸件表面缺陷测量执行如下步骤：
Z01:通过工业相机对压铸件拍照扫描，将所得压铸件的二维图像进行建模得到压铸件的三维模型；
Z02:验证三维模型是否存在明显的缺陷标记，并对三维模型进行切割形成新二维图像，将新二维图像与训练集内的缺陷图像进行比较；
Z03:得出比较后的缺陷报告，判断缺陷的影响程度。
进一步的，三维模型进行切割形成新二维图像的步骤，具体为：
Q01：对三维模型进行归一化处理，建立二维投影图像与三维模型之间的映射关系；
Q02：对图像中的轮廓线进行提取；
Q03：根据轮廓线所存在的不同角点进行筛选，并删除部分不达标的角点，避免过度分割；
Q04：根据映射在三维模型表面的分割线进行切割，得到切割结果，分割线具体为平面；
在步骤Q01中，对三维模型进行归一化所使用的步骤具体为CPCA方法，其作用是为了能够获取三维模型的主轴；
在步骤Q02中，所获取的轮廓线，是先将图像转化成为二值图，通过提取二值图像上所存在的特征点，并将点收集成为集合物体的轮廓线。
进一步的，将新二维图像与训练集内的缺陷图像进行比较，具体为：对压铸件进行左上侧缓步移动，并获取压铸件的正面、上表面和左侧面的图像，并将第一组图像集与训练集内缺陷图像比较，得到第一组新二维图像的重叠数据；对压铸件进行右后侧缓步移动，并获取压铸件的后表面、下表面和右侧面的图像，并将第二组图像集与训练集内缺陷图像比较，得到第二组新二维图像的重叠数据，设定压铸件同一面内新二维图像的坐标集合为W={(x1,y1),(x2,y2)...(xn,yn)},训练集同一面内二维图像的坐标集合为H={(a1,b1),(a2,b2)...(an,bn)}；n是指二维图像中同一面内的坐标总项数；
以相同格式的二维图像为前提，当
Figure DEST_PATH_IMAGE002A
时，表示所比较压铸件的距离小于预 设距离，无需移动二维图像进行二次比较，当
Figure DEST_PATH_IMAGE004A
时，表示所比较压铸件的距离大于 预设距离，需要再次调节二维图像以便于重合比较；
Figure DEST_PATH_IMAGE006A
；
其中，wj是指压铸件二维图像中第j个坐标，ho是指训练集内二维图像中第o个坐标，且所比较的二维图像坐标ho与wj的格式、方向相同，j是指压铸件二维图像中的坐标项，o是指压铸件二维图像中的坐标项，p是指预设距离；
由于将二维图像进行重合比较时，经常容易导致二维数据没有比对成功；原因是由于所比较的图像之间存在距离，因此常常会导致压铸件上所存在的缺陷，例如：毛刺，没有识别成功，导致后续工序处理时发生问题，因此需要仔细核对二维图像比对过程是否有异常。
得出比较后的缺陷报告，判断缺陷的影响程度，具体步骤包括：
E01：判断二维图像所显示缺陷是否在标准误差范围内；当检测到不在标准误差内时，跳转到步骤E02；当检测到在标准误差内时，跳转到步骤E04；
E02：判断当前所显示缺陷对后续工序的影响程度为L，L=D*V;V=r*f；其中：D是指缺陷所在面积，V是指权重值，r是指后续工序中不同面的利用率，f是指权重系数，当r所对应的利用率越高，权重系数则越高；当所显示缺陷对后续工序的影响度高于标准影响度时，则跳转到步骤E03;当所显示缺陷对后续工序的影响度低于标准影响度时，则跳转到步骤E04;
E03：对压铸件进行标记，实时对压铸件位置进行定位，以免参与进入后续工序；
E04：将压铸件放入待定区，执行后续工序步骤。
所述缺陷包括毛刺、印痕、凹陷、气孔中的任意一种或多种组合。
实施例1：在此过程中对压铸件进行了左上侧缓步移动，并获取压铸件的正面、上表面和左侧面的图像，并将第一组图像集与训练集内缺陷图像比较，得到第一组二维图像的重叠数据；对压铸件进行右后侧缓步移动，并获取压铸件的后表面、下表面和右侧面的图像，并将第二组图像集与训练集内缺陷图像比较，得到第二组二维图像的重叠数据，设定压铸件不同面内二维图像的坐标集合为W={(x1,y1),(x2,y2),(x3,y3),(x4,y4)}={(5,20),(45,20),(5,5),(45,5)},训练集内二维图像的坐标集合为H={(a1,b1),(a2,b2)...(an,bn)}={(3,18),(42,18),(3,3),(42,3)};标准的误差为1.5；
Figure DEST_PATH_IMAGE008
；
检测到2.8>1.5，需要将二维图像向训练集方向移动。
实施例2：例如图4中，S是指二维图像，K是指训练集内图像，将S和K进行对照比较，判断毛刺C是否在同一位置处，当毛刺在同一位置处且长度高于标准误差值时，需要对压铸件进行定位并去毛刺；当毛刺在同一位置处且长度低于标准误差值时，将压铸件移动到下一工序。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于深度学习的压铸件表面缺陷测量系统，其特征在于：该系统包括数据存储模块、图形处理流程模块和缺陷定位模块；
所述图形处理流程模块，通过工业相机对压铸件进行扫描，获取到不同切面的二维图像而建立三维模型，判断压铸件表面是否存在缺陷；
所述缺陷定位模块，通过从三维模型切割得到新二维图像，将存在缺陷的新二维图像与数据存储模块内的数据进行对比，判断压铸件表面的缺陷大小和位置是否影响后方工序工作，当影响程度较高时，进行预警；
所述数据存储模块，设置若干训练集数据，并实时更新训练集；
压铸件表面缺陷测量系统的执行方法如下：
Z01:通过工业相机对压铸件拍照扫描，将所得压铸件的二维图像进行建模得到压铸件的三维模型；
Z02:验证三维模型是否存在明显的缺陷标记，并对三维模型进行切割形成新二维图像，将新二维图像与训练集内的缺陷图像进行比较；
Z03:得出比较后的缺陷报告，判断缺陷的影响程度；
将新二维图像与训练集内的缺陷图像进行比较，具体为：对压铸件进行左上侧缓步移动，并获取压铸件的正面、上表面和左侧面的图像，并将第一组图像集与训练集内缺陷图像比较，得到第一组新二维图像的重叠数据；对压铸件进行右后侧缓步移动，并获取压铸件的后表面、下表面和右侧面的图像，并将第二组图像集与训练集内缺陷图像比较，得到第二组新二维图像的重叠数据，设定压铸件同一面内新二维图像的坐标集合为W={(x1,y1),(x2,y2)...(xn,yn)}，训练集同一面内二维图像的坐标集合为H={(a1,b1),(a2,b2)...(an,bn)}；n是指二维图像中同一面内的坐标总项数；
以相同格式的二维图像为前提，当
Figure DEST_PATH_IMAGE002
时，表示所比较压铸件的距离小于预设距 离，无需移动二维图像进行二次比较，当
Figure DEST_PATH_IMAGE004
时，表示所比较压铸件的距离大于预设 距离，需要再次调节二维图像以便于重合比较；
Figure DEST_PATH_IMAGE006
；
其中，wj是指压铸件二维图像中第j个坐标，ho是指训练集内二维图像中第o个坐标，且所比较的二维图像坐标ho与wj的格式、方向相同，j是指压铸件新二维图像中的坐标项，o是指训练集内二维图像中的坐标项，p是指预设距离。
2.根据权利要求1所述的基于深度学习的压铸件表面缺陷测量系统，其特征在于：所述数据存储模块包括训练集分类存储单元、训练集更新单元和数据处理单元；
所述训练集分类存储单元，将表面无缺陷和表面存在缺陷的压铸件图像进行存储，以便于将最新压铸件图像与训练集内所保存图像进行比较，作为判断压铸件表面好坏的依据；
所述训练集更新单元，实时更新训练集内的压铸件图像，以便于及时对比；
所述数据处理单元，使用深度学习法对数据进行训练，得到训练结果。
3.根据权利要求1所述的基于深度学习的压铸件表面缺陷测量系统，其特征在于：所述图形处理流程模块包括图像采集单元、模型建立单元和图像预处理单元；
所述图像采集单元，通过工业相机对压铸件不同角度进行拍照，形成不同面的二维图像；
所述模型建立单元，将不同角度的二维图像建模得到三维模型，根据所设置的三维模型判断压铸件表面是否存在缺陷；
所述图像预处理单元，检测到压铸件表面含有缺陷时，将三维模型切割成新二维图像进行比较。
4.根据权利要求1所述的基于深度学习的压铸件表面缺陷测量系统，其特征在于：所述缺陷定位模块包括偏移归正单元、特征值提取单元、特征比较更新单元、缺陷比较定位单元和工序影响单元；
所述偏移归正单元，通过将新二维图像与训练集内图像进行自动比较，判断图像比较过程中是否存在偏移，当存在偏移时进行校正，从而能够更好的进行比对；
所述特征值提取单元，对新二维图像中缺陷位置进行定位提取；
所述特征比较更新单元，将所提取的缺陷与训练集内图像比较并更新训练集内图像；
所述缺陷比较定位单元，对存在缺陷的压铸件进行标记和定位，判断存在缺陷的压铸件是否会流入到下个工作中，从而影响下一个工作；
所述工序影响单元，判断含有缺陷的压铸件对下一个工序的影响程度。
5.根据权利要求1所述的基于深度学习的压铸件表面缺陷测量系统，其特征在于：所述缺陷包括毛刺、印痕、凹陷、气孔中的任意一种或多种组合。
6.根据权利要求2所述的基于深度学习的压铸件表面缺陷测量系统，其特征在于：使用深度学习法对数据进行训练具体为，将缺陷图像作为特征数据通过DNN进行处理，设置DNN的输入层的神经元的节点数为3，具体输入层变量为特征数据的长、特征数据的宽和特征数据的深度；输出层的神经元的节点数为1，输出层变量为压铸件是否发生缺陷，如发生，则表示为1；如未发生，则表示为0；调整输出层的激活函数sigmoid；确定隐藏层的层数以及神经元的节点和设置学习率；将训练集中的数据分为训练集和验证集，将其中的70%数据作为训练集，30%的数据作为验证集；训练网络，直至网络训练模型达到训练次数，停止训练，得到训练结果。
7.根据权利要求1所述的基于深度学习的压铸件表面缺陷测量系统的执行方法，其特征在于：三维模型进行切割形成新二维图像的步骤，具体为：
Q01：对三维模型进行归一化处理，建立二维投影图像与三维模型之间的映射关系；
Q02：对图像中的轮廓线进行提取；
Q03：根据轮廓线所存在的不同角点进行筛选，并删除部分不达标的角点，避免过度分割；
Q04：根据映射在三维模型表面的分割线进行切割，得到切割结果，分割线具体为平面。
8.根据权利要求1所述的基于深度学习的压铸件表面缺陷测量系统的执行方法，其特征在于：得出比较后的缺陷报告，判断缺陷的影响程度，具体步骤包括：
E01：判断二维图像所显示缺陷是否在标准误差范围内；当检测到不在标准误差内时，跳转到步骤E02；当检测到在标准误差内时，跳转到步骤E04；
E02：判断当前所显示缺陷对后续工序的影响程度为L，L=D*V;V=r*f；其中：D是指缺陷所在面积，V是指权重值，r是指后续工序中不同面的利用率，f是指权重系数，当r所对应的利用率越高，权重系数则越高；当所显示缺陷对后续工序的影响度高于标准影响度时，则跳转到步骤E03;当所显示缺陷对后续工序的影响度低于标准影响度时，则跳转到步骤E04；
E03：对压铸件进行标记，实时对压铸件位置进行定位，以免参与进入后续工序；
E04：将压铸件放入待定区，执行后续工序步骤。
CN202110824892.7A 2021-07-21 2021-07-21 基于深度学习的压铸件表面缺陷测量系统 Active CN113269780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110824892.7A CN113269780B (zh) 2021-07-21 2021-07-21 基于深度学习的压铸件表面缺陷测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110824892.7A CN113269780B (zh) 2021-07-21 2021-07-21 基于深度学习的压铸件表面缺陷测量系统

Publications (2)

Publication Number Publication Date
CN113269780A CN113269780A (zh) 2021-08-17
CN113269780B true CN113269780B (zh) 2021-11-09

Family

ID=77236946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110824892.7A Active CN113269780B (zh) 2021-07-21 2021-07-21 基于深度学习的压铸件表面缺陷测量系统

Country Status (1)

Country Link
CN (1) CN113269780B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115494813B (zh) * 2022-11-16 2023-03-24 优铸科技(北京)有限公司 一种用于铸造工部的域控制方法及域控制器
CN115830403B (zh) * 2023-02-22 2023-05-30 厦门微亚智能科技有限公司 一种基于深度学习的自动缺陷分类系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106018443A (zh) * 2016-07-08 2016-10-12 丹东华日理学电气股份有限公司 基于3d球检测平台的工业ct检测装置及检测方法
CN111445471A (zh) * 2020-06-16 2020-07-24 杭州百子尖科技股份有限公司 基于深度学习和机器视觉的产品表面缺陷检测方法及装置
CN113096098A (zh) * 2021-04-14 2021-07-09 大连理工大学 基于深度学习的铸件外观缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106018443A (zh) * 2016-07-08 2016-10-12 丹东华日理学电气股份有限公司 基于3d球检测平台的工业ct检测装置及检测方法
CN111445471A (zh) * 2020-06-16 2020-07-24 杭州百子尖科技股份有限公司 基于深度学习和机器视觉的产品表面缺陷检测方法及装置
CN113096098A (zh) * 2021-04-14 2021-07-09 大连理工大学 基于深度学习的铸件外观缺陷检测方法

Also Published As

Publication number Publication date
CN113269780A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113269780B (zh) 基于深度学习的压铸件表面缺陷测量系统
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN105067638B (zh) 基于机器视觉的轮胎胎膜表面字符缺陷检测方法
US20180253836A1 (en) Method for automated detection of defects in cast wheel products
CN102529019B (zh) 一种模具检测、保护及零件检测、摘取的方法
CN112465809B (zh) 一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置
CN113012098B (zh) 一种基于bp神经网络的铁塔角钢冲孔缺陷检测方法
CN108073747A (zh) 飞机结构件三维设计模型质量检测系统及方法
CN114419007A (zh) 多策略融合深度学习网络模型的缺陷类型识别方法及系统
CN115619738A (zh) 一种模组侧缝焊焊后检测方法
CN106556606B (zh) 基于机器视觉的大型机械产品总成件的在线质量控制方法
CN116050678A (zh) 一种基于云计算的压铸产品加工测试系统及方法
CN113513991A (zh) 一种电池极片毛刺高度检测方法及装置
CN116305436A (zh) 一种基于三维激光扫描结合bim的既有桥梁监测方法
CN117274167A (zh) 一种基于三维信息的成形焊缝外观缺陷提取方法
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN112183264B (zh) 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法
CN113781435A (zh) 一种基于yolov5网络的香烟小包外观缺陷检测方法
CN115945743B (zh) 一种对非标零件试加工的方法及系统
CN116664508A (zh) 一种焊缝表面质量检测方法及计算机可读存储介质
CN112561989A (zh) 一种建造场景下吊装对象的识别方法
CN115115578B (zh) 一种增材制造过程中的缺陷检测方法及系统
CN115625317A (zh) 一种用于压铸调控的表面水纹优化处理方法及系统
CN115564792A (zh) 基于八叉树区域生长的焊接路径提取方法
CN114155522A (zh) 一种点云数据质检修复方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant