CN114994051A - 汽车数控锻压件冲孔智能集成实时检测系统 - Google Patents

汽车数控锻压件冲孔智能集成实时检测系统 Download PDF

Info

Publication number
CN114994051A
CN114994051A CN202210565718.XA CN202210565718A CN114994051A CN 114994051 A CN114994051 A CN 114994051A CN 202210565718 A CN202210565718 A CN 202210565718A CN 114994051 A CN114994051 A CN 114994051A
Authority
CN
China
Prior art keywords
image
punching
detection
piece
forged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210565718.XA
Other languages
English (en)
Inventor
司贤章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210565718.XA priority Critical patent/CN114994051A/zh
Publication of CN114994051A publication Critical patent/CN114994051A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本申请基于视觉图像设计实时检测汽车数控锻压件冲孔的图像处理算法和软件，包括：锻压件的多级定位、冲孔先验集成检测、基于图像知识谱的冲孔检测、检测系统软件与实时系统共四大部分，通过若干技术点的改进和创造性的算法流程的提出，能够满足现代汽车制造锻压件实时准确检测的要求，成功实现了在不影响生产效率的情况下，对所有汽车锻压件核心零部件的全过程实时监测,检测速度和精度上都有明显提高，有助于后续的生产效率和汽车整车的质量的提高，本申请进一步设计了实时准确检测冲孔的方法，并针对其圆特征进行了一些列算法设计，对冲孔的检测不会出现偏差，效率高，错误少，具有重大意义和巨大实用价值。

Description

汽车数控锻压件冲孔智能集成实时检测系统
技术领域
本申请涉及一种汽车锻压件冲孔检测系统，特别涉及一种汽车数控锻压件冲孔智能集成实时检测系统，属于机器视觉检测技术领域。
背景技术
如今汽车制造企业争相采用各种高科技手段对生产线做出改革，使其越来越智能化。在工业生产线上,运用数字图像处理技术实现生产线上工件的定位有着广泛的应用，机器人对于生产线上产品的定位功能也属于工件定位的范畴，越来越多的厂家要求能够在准确率高的前提下实现生产线上工件的实时定位系统。目前，已经有很多这样的实时定位系统应用在工业生产中,扩大工件定位技术实时定位的应用范围对工业生产的生产效率有重大意义。
汽车锻压件是构成汽车的核心零部件,其质量优劣直接关系到后续的生产效率和汽车整车的质量。现代汽车制造业要求对锻压件进行实时检测，在不影响生产效率的情况下，完成对所有产品的全检测。汽车锻压件中冲孔的数目是锻压件的一个重要参数，如果能够研发一种基于机器视觉的锻压件冲孔实时检测方案，设计实时检测汽车数控锻压件冲孔的图像处理算法和软件，将大幅提高汽车数控锻压件的检测速度和检测精度，给汽车制造企业带来巨大的收益，有助于提高汽车的整体性能。
随着汽车工业制造技术的发展,传统的锻压件冲孔检测方法已达不到现代汽车制造要求。为解决实际应用环境中的锻压件冲孔实时检测要求，当前亟需一种基于机器视觉研发的锻压件冲孔实时检测方法和关键技术,亟需一套基于机器视觉的锻压件冲孔实时检测方案。
综上，现有技术的汽车数控锻压件冲检测仍然存在问题，本申请的难点和待解决的问题集中在以下方面：
(1)现代汽车制造业要求对锻压件进行实时检测，而现有技术达不到实时准确检测的要求，无法实现在不影响生产效率的情况下，对所有产品的全检测，汽车锻压件是构成汽车的核心零部件,现有技术的检测技术在检测速度和精度上都存在明显短板，直接制约了后续的生产效率和汽车整车的质量，汽车锻压件中冲孔的数目是锻压件的一个重要参数，现有技术更是无法实时准确检测冲孔，经常出现较大偏差，很多情况下甚至需要人工复检，效率低下，错误较多，通知也缺少针对性设计的实时检测汽车数控锻压件冲孔的图像处理算法和软件。
(2)现有技术缺少锻压件的精度定位方法，现有技术一般是采用普通的图像特征定位方法，缺少结合冲孔圆特征的锻压件精准定位设计，缺少对锻压件图像进行高斯滤波、边缘锐化的预处理处理；无法根据锻压件的自身特征采用先分割后匹配的方法，缺少临界域的自适应二值化方法分割图像完成初阶定位；无法验证初阶定位的位置确定为锻压件的位置,缺少基于锻压件模板库，采用外要素拟合匹配的方法判断分割区域是否为锻压件的方法，由于无法在图像中定位出锻压件所在区域，给后续的锻压件冲孔检测带来较大困难。
(3)现有技术缺少冲孔先验集成检测，无法基于锻压件冲孔自身具有的灰度、形状特征，采用拓扑排序隐藏变换对图像进行分割，无法根据每个区域的形状和灰度分布检测圆孔区域，完成冲孔的初检测，缺少对可能的虚假圆孔采用同构复杂网络的方法进行滤除，冲孔检测准确率低，失去了大规模推广应用的价值。
(4)现有技术缺少基于图像知识谱的冲孔检测，无法解决锻压件冲孔实时检测过程中冲孔检测结果不稳定问题；现有技术缺少检测系统软件与实时系统，缺少传送锻压件并进行锻压件冲孔实时检测的平台,缺少基于该平台进行对应软件代码的编写，缺少处理方法的操作界面,由于以上一系列缺陷，现有技术无法快速、稳定、高精度的检测出冲孔，不能满足实际应用的要求。
(5)本申请关于汽车锻压件冲孔实时检测的方法包括图像中锻压件的多级定位和冲孔先验集成检测两个方面。对于锻压件的多级定位部分，在目前已有的目标定位方法的基础上，如何快速、准确地在图像中定位出锻压件是本申请研究的第一个难点；在冲孔先验集成检测方面,如何能在保证冲孔先验集成检测精度的条件下，提高系统的抗环境干扰能力是第二个难点；最后，为了满足实际应用的要求，实现锻压件冲孔实时检测是第三个难点。
发明内容
现代汽车制造业要求对锻压件进行实时检测，本申请通过若干技术点的改进和创造性的算法流程的提出，能够满足锻压件实时准确检测的要求，成功实现了在不影响生产效率的情况下，对所有汽车锻压件核心零部件的全过程实时监测,在检测速度和精度上都有明显提高，有助于后续的生产效率和汽车整车的质量的提高，汽车锻压件中冲孔的数目是锻压件的一个重要参数，本申请进一步设计了实时准确检测冲孔的方法，并针对其圆特征进行了一些列算法设计，对冲孔的检测不会出现偏差，完全不需要人工复检，效率高，错误少，同时还针对性设计的实时检测汽车数控锻压件冲孔的图像处理算法和软件，具有重大意义和巨大实用价值。
为实现以上技术特征优势，本申请所采用的技术方案如下：
汽车数控锻压件冲孔智能集成实时检测系统，基于视觉图像设计实时检测汽车数控锻压件冲孔的图像处理算法和软件，包括：锻压件的多级定位、冲孔先验集成检测、基于图像知识谱的冲孔检测、检测系统软件与实时系统共四大部分；
1)锻压件的多级定位，包括：图像的预处理、锻压件的初定位、锻压件的终定位；首先对原锻压件图像进行高斯滤波、边缘锐化的预处理处理；然后根据锻压件的自身特征，采用先分割后匹配的方法，采用临界域的自适应二值化方法分割图像，初阶定位锻压件；然后进一步验证初阶定位的位置确定为锻压件的位置,基于锻压件模板库，采用外要素拟合匹配的方法判断分割区域是否为锻压件，将待检测图像锻压件的外要素与模板图像中锻压件的外要素进行匹配,完成锻压件的最终精定位，准确找到锻压件的位置及范围；
2)冲孔先验集成检测，包括：区域链接融合、冲孔集成初检、虚假圆孔的识别滤除；基于锻压件冲孔自身具有的灰度、形状特征，首先采用拓扑排序隐藏变换及区域链接融合将锻压件图像分割成合适大小的区域，根据每个锻压件冲孔区域像素的灰度、区域形状、大小特征，选定冲孔区域像素的灰度平均值、区域大小、细长比、圆度这四个参数作为判断每个分割区域是否为冲孔的依据，完成冲孔的初检测，对可能的虚假圆孔采用同构复杂网络的方法进行滤除，在原始图像上标出锻压件及所有冲孔的位置，完成冲孔检测；
3)基于图像知识谱的冲孔检测：基于实验明确论证冲孔实时检测结果的不稳定性是光照不均匀造成的，采用基于图像知识谱的冲孔检测方法，将总检测次数定为八次、检测正确的次数定为四到六次，获得良好的冲孔检测精度及实时检测的稳定性；
4)检测系统软件与实时系统：基于上述方法搭建传送锻压件并进行锻压件冲孔实时检测的平台,基于该平台进行对应软件代码的编写，并设计处理方法的操作界面。
优选地，冲孔智能集成实时检测系统架构：包括图像锻压件的多级定位和冲孔先验集成检测，采用CCD照相机把待检测目标转换成图像信号，再根据图像中像素的分布、灰度、纹理信息转换成数字信号，图像处理系统通过对这些信号进行运算提取价值特征,最后根据预设的条件实现目标的识别和检测；
对于锻压件的多级定位，首先采用临界域自适应二值化图像分割法将锻压件从原图像中分离出来,对锻压件进行初阶聚焦定位，然后为进一步判定分割图像的前景确定为锻压件，采用外要素拟合匹配的方法将待检测图像锻压件的外要素与模板图像中锻压件的外要素进行匹配,实现锻压件的最终精定位；
冲孔检测的过程根据冲孔区域像素的灰度值及冲孔的形状特征，采用冲孔先验集成检测，首先运用拓扑排序隐藏将整个检测到的工件区域分割成很多小的区域，采用区域链接融合的方法把相似区域链接融合，处理拓扑排序隐藏变换后的过分割问题，最后根据冲孔区域像素的灰度平均值、区域大小、圆度特征来判断这些小的区域是否是要寻找的冲孔位置。
优选地，锻压件的初定位：采用临界域的自适应二值化方法将锻压件从图像中分割出来，将基于最大间类方差法计算出来的临界值作为临界域中的其中一个临界值，记作O临界值；假设临界值t分割图像后得到的目标和背景两类像素点的混合点集服从高斯分布，根据中位像素法计算出来的临界值作为临界域中的另一个临界值，记作P临界值；设图像的灰度值范围为[0,L-1]，比较O临界值和P临界值的大小，记T1＜T2，然后对每个像素点的灰度值进行判断，小于等于T1的,为黑，即0；大于T2的，为白，即L-1；而灰度值介于T1与T2之间的像素，采用自适应临界值Sauvola局部法，式1表示临界域的自适应二值化方法的灰度转换函数：
Figure BDA0003658162130000041
临界域的自适应二值化分割图像不仅保留图像的一些细节信息，同时也不需要对大量的像素灰度值进行判断。
优选地，锻压件的终定位：首先在二值化图像中将锻压件的边缘外要素提取出来，然后采用外要素拟合匹配法,将待检测图像锻压件的外要素与模板图像中锻压件的外要素进行匹配,完成锻压件的最终精定位；
(1)锻压件外要素提取：锻压件外要素的提取直接在二值化分割结果图中进行，首先提取二值化图像中的所有边缘，再根据边缘的长度及闭合边缘内区域的面积找到锻压件的边缘外要素；
(2)锻压件外要素拟合匹配：采用基于多尺度弦长夹角的外要素拟合匹配方法，首先在图像的外要素上任意选取一个参考点Pi，然后与外要素上任意一个点Pj连接形成一条弦
Figure BDA0003658162130000042
同时再将该点Pj和外要素上位于该点和参考点之间的某点Pj-Δ相连形成另一条弦
Figure BDA0003658162130000043
这两条弦形成一个夹角αij；
如果该外要素上共有N个点，基于同一个参考点按照同样的形成夹角的方式产生N个α，即αi1...α1N；如果这N个点都分别作为一次参考点，产生N×N个α，形成外要素的描述子矩阵A：
Figure BDA0003658162130000044
判断两个外要素是否匹配的规则为：若大小为M×M的矩阵A1为外要素P的描述子，大小为N×N的矩阵A2是外要素Q的描述子，假设M小于等于N，如果在这两个矩阵中有大小为r×r的矩阵其各元素的值接近，那么外要素P与外要素Q在矩阵r×r的这部分外要素匹配；
判断矩阵r×r中各元素的值是否接近的标准是Dα(s,m,r)是否小于某一临界值，Dα(s,m,r)的计算式为：
Figure BDA0003658162130000051
s,m分别为矩阵A1和A2接近元素对应的系数。
(3)锻压件终定位结果：采用锻压件外要素的最小外接矩形将锻压件的位置在图中标注出来。
优选地，区域链接融合：
采用区域灰度近似度规则实现分割区域的融合，对于两个相邻区域Ri和Rj(i≠j)，如果：
|μ(Ri)-μ(Rj)|＜T 式4
将区域Ri、Rj融合，其中μ(Ri)表示分割区域Ri灰度的平均值，μ(Rj)表示分割区域Rj灰度的平均值，T表示融合两个区域的临界值；
区域链接融合在整幅分割图像上进行，除分割区域本身的融合外，把所有的拓扑排序隐藏像素点融合到与其相邻的区域中，拓扑排序隐藏像素点融合依据灰度的近似度规则,即在与拓扑排序隐藏像素点的相邻的区域中，寻找本身不是拓扑排序隐藏像素点并且与该拓扑排序隐藏像素点的灰度值最接近的像素点，最后把该拓扑排序隐藏像素点的标号设置成此像素点所在区域的标号。
优选地，冲孔集成初检：对锻压件图像进行拓扑排序隐藏变换，并不直接对整个锻压件变换一次性将所有冲孔都检测出来,而是先对原图像分块后，再对每一张分块得到的复杂网络进行分割；
对原图像进行分块处理的标准为：以框选锻压件位置矩形长边的1/4为长、保留矩形的宽,在这个只占原锻压件位置框选区域面积1/4的新矩形中检测冲孔,然后以3/16为步长，从框选锻压件位置矩形的最左端向最右端移动，直至覆盖到整个框选锻压件位置的矩形，每相邻两张复杂网络重叠的部分占框选锻压件位置矩形面积的1/16；
对原图像进行分块处理后，同时对五张分块复杂网络像进行拓扑排序隐藏变换，实现每张复杂网络的分割，并对每个分割区域进行标号，加快处理速度；
冲孔初检判断每个分割区域是否是冲孔，根据区域的灰度、形状、大小特征，从四个方面来判断分割子区域是否为冲孔，分别是：
1)灰度均值：分割子区域所有像素的灰度均值；
2)面积：分割子区域的面积；
3)细长比：分割子区域最小外接矩形的长宽比；
4)圆度：设分割子区域的面积为S，分割子区域的面积的周长为L，则圆度C：
C＝(4*π*S)/(L*L) 式5
规定当分割子区域这四个参数的值同时满足以下条件时，判断为冲孔：分割区域像素的灰度均值应小于150，其面积不超过1200个像素，分割区域的细长比应介于0.7-1.2之间，其圆度值应在0.5-1之间。
优选地，虚假圆孔的识别滤除：每个冲孔在工件上的位置固定，冲孔之间的相对位置已知，采用同构复杂网络的方法对可能的虚假冲孔进行滤除；
设Q＝(V,E)和Q1＝(V1，El)代表两个图，假如存在一个映射n：V→V1，使得对所有的x,y∈V均有x,y∈E等价于n(x)n(y)∈E1，则认定图Q和图Q1同构，存在满足同构复杂网络定义的映射m；
如果将标准的工件模板图像看做复杂网络，存在一种映射m使得模板图像中的每个冲孔都能在待检测锻压件图像中找到与其对应的冲孔，即模板图像与待检测锻压件图像同构，在待检测锻压件图像冲孔初检结果中，除去与模板图像对应的真冲孔以外，剩下的初检结果中为冲孔的圆孔均为虚假冲孔。
优选地，同构复杂网络算法滤除虚假圆孔的执行步骤包括：
(1)创建先验模板
首先采用人工标注的方式，从标准工件图像中提取冲孔中心位置，然后将标准模板中工件冲孔的中心坐标存入标准模板文件；
(2)结点集成匹配
将检测到的圆孔圆心坐标作为结点，结点与结点间的欧几里得距离作为边建立图模型，同样地对模板中的冲孔中心建立图模型，将结点连成三角形作为特征来匹配，任意选取待检测图模型的三个结点，两两相连形成三条边，同样将标准图模型中的十二个结点两两相连,然后搜索标准图模型中与待检测图模型中三条边长度相同的三条边，若存在这样的三条边，则两图完成匹配，同时得到待检测图模型中与标准图模型相对应的结点位置，若不存在，则在待检测图模型中另选三个结点重复上述过程直至匹配成功；
(3)坐标转换
首先确定待检测图像中所有正确冲孔的位置，通过旋转平移变换使待检测图像上的锻压件与模板重合,根据成功匹配的两组结点的位置坐标，得到旋转平移矩阵的参数，将两幅图像的结点坐标采用矩阵对应起来；
设模板三角形中三个冲孔的中心坐标分别为(Ax，Ay)、(Bx，By)、(Cx，Cy)，待检测锻压件图像中与之匹配的三角形中三个冲孔的中心坐标分别为(Mx，My)、(Nx，Ny)、(Ox，0y)，则存在矩阵P，使得：
Figure BDA0003658162130000071
(4)去除虚检
将模板冲孔的坐标通过矩阵变换映射到待检测图像中，预估剩余部分冲孔的位置，如果初检结果中某圆孔明显不靠近任何一个标准孔位，则认定该孔为虚假圆孔，并将此圆孔从初检结果中去除；
根据模板图像中剩余九个冲孔的坐标(Dx，Dy)、(Ex，Ey)…(Lx，Ly),通过矩阵P,得到在待检测锻压件图像中与其对应的剩余九个真冲孔的坐标应为(1x，1y)、(2x，2y)…(9x，9y)，初检结果中所有与这九个坐标不靠近的圆孔均为虚假孔，予以滤除。
优选地，基于图像知识谱的冲孔检测：在一次完整的检测过程中，规定被检测到有孔的位置其被检测到的总次数占总检测次数的比例超过了某一临界值，才认定该位置确定有孔；
确定一次完整检测的总检测次数及在该总检测次数下的临界值大小，随着总检测次数的增多，发生漏检或误检的次数也随之增多，即检测正确的总次数占总次数的比例并没有随之增高，而是与相对少一些总检测次数的正确检测次数比例基本持平，同时，总统计次数越少，随机性误差的规律越难体现；本申请针对总检测次数和正确检测次数的临界值进行两组对比,综合对比结果,基于图像知识谱将总检测次数定为八次、检测正确的次数定为四到六次能达到很好的效果。
与现有技术相比，上述技术方案具有以下创新点和优势：
第一，现代汽车制造业要求对锻压件进行实时检测，本申请通过若干技术点的改进和创造性的算法流程的提出，能够满足锻压件实时准确检测的要求，成功实现了在不影响生产效率的情况下，对所有汽车锻压件核心零部件的全过程实时监测,在检测速度和精度上都有明显提高，有助于后续的生产效率和汽车整车的质量的提高，汽车锻压件中冲孔的数目是锻压件的一个重要参数，本申请进一步设计了实时准确检测冲孔的方法，并针对其圆特征进行了一些列算法设计，对冲孔的检测不会出现偏差，完全不需要人工复检，效率高，错误少，同时还针对性设计的实时检测汽车数控锻压件冲孔的图像处理算法和软件，具有重大意义和巨大实用价值。
第二，本申请提出了针对锻压件的多级定位方法，首先对原锻压件图像进行高斯滤波、边缘锐化的预处理处理，图像质量提高；然后根据锻压件的自身特征，采用先分割后匹配的方法，采用临界域的自适应二值化方法分割图像，初阶定位锻压件；然后进一步验证初阶定位的位置确定为锻压件的位置,基于锻压件模板库，采用外要素拟合匹配的方法判断分割区域是否为锻压件，以在图像中定位出锻压件所在区域，通过分步完成锻压件的精定位，快速、准确地在图像中定位出锻压件，给后续的锻压件冲孔检测奠定良好的基础。
第三，本申请提出了冲孔先验集成检测方法，基于锻压件冲孔自身具有的灰度、形状特征，创造性提出采用拓扑排序隐藏变换对图像进行分割，根据每个区域的形状和灰度分布检测圆孔区域，完成冲孔的初检测，并进一步考虑对可能的虚假圆孔采用同构复杂网络的方法进行滤除，在原始图像上标出锻压件及所有冲孔的位置，完成冲孔检测，在保证冲孔先验集成检测精度的条件下，提高了系统的抗环境干扰能力。
第四，本申请提出了基于图像知识谱的冲孔检测方法，解决了锻压件冲孔实时检测过程中冲孔检测结果不稳定问题，基于实验明确论证冲孔实时检测结果的不稳定性是光照不均匀造成，采用基于图像知识谱的冲孔检测方法获得良好的冲孔检测精度及实时检测的稳定性。本申请还提出了基检测系统软件与实时系统，基于本申请搭建一个传送锻压件并进行锻压件冲孔实时检测的平台,基于该平台进行对应软件代码的编写，并设计处理方法的操作界面，能快速、稳定、高精度的检测出冲孔，满足实际应用的要求。
附图说明
图1是冲孔智能集成实时检测系统处理流程图。
图2是冲孔实时检测现步骤及实现的方法示意图。
图3是本申请的锻压件外要素提取图。
图4是锻压件外要素拟合匹配示意图。
图5是外要素匹配矩阵示意图。
图6是锻压件外要素最小外接矩形将锻压件的位置标注图。
图7是锻压件图像分块结果示意图。
图8是锻压件图像的复杂网络分割结果图。
图9是结点集成匹配三角形匹配成功示意图。
图10是同构复杂网络虚假孔滤除示意图。
图11是基于图像知识谱的冲孔检测不同总检测次数结果图。
图12是基于图像知识谱的冲孔检测不同临界值次数结果图。
图13是冲孔智能集成实时检测系统操作界面示意图。
具体实施方法
为了使本申请的目的、特征优势和创新点能够更为明显易懂和便于实施,下面结合附图对具体实施方式做详细的说明。本领域技术人员可以在不违背本申请内涵时做类似推广，因此本申请不受下面公开的具体实施方式的限制。
汽车锻压件是构成汽车的核心零部件,其质量优劣直接关系到后续的生产效率和汽车整车的质量。现代汽车制造业要求对锻压件进行实时检测，在不影响生产效率的情况下，完成对所有产品的全检测。汽车锻压件中冲孔的数目是锻压件的一个重要参数，本申请提出一种基于机器视觉的锻压件冲孔实时检测方案，设计实时检测汽车数控锻压件冲孔的图像处理算法和软件。
第一，锻压件的多级定位方法：首先对原锻压件图像进行高斯滤波、边缘锐化的预处理处理；然后根据锻压件的自身特征，采用先分割后匹配的方法，采用临界域的自适应二值化方法分割图像，初阶定位锻压件；然后进一步验证初阶定位的位置确定为锻压件的位置,基于锻压件模板库，采用外要素拟合匹配的方法判断分割区域是否为锻压件，以在图像中定位出锻压件所在区域；
第二，冲孔先验集成检测：基于锻压件冲孔自身具有的灰度、形状特征，首先采用拓扑排序隐藏变换对图像进行分割，根据每个区域的形状和灰度分布检测圆孔区域，完成冲孔的初检测，对可能的虚假圆孔采用同构复杂网络的方法进行滤除，在原始图像上标出锻压件及所有冲孔的位置，完成冲孔检测。
第三，基于图像知识谱的冲孔检测：解决锻压件冲孔实时检测过程中冲孔检测结果不稳定问题，基于实验明确论证冲孔实时检测结果的不稳定性是光照不均匀造成，采用基于图像知识谱的冲孔检测方法获得良好的冲孔检测精度及实时检测的稳定性。
第四，检测系统软件与实时系统：基于本申请搭建一个传送锻压件并进行锻压件冲孔实时检测的平台,基于该平台进行对应软件代码的编写，并设计处理方法的操作界面。实验结果表明,本申请系统能快速、稳定、高精度的检测出冲孔，满足实际应用的要求。
一、冲孔智能集成实时检测系统架构
本申请锻压件冲孔实时检测系统包括图像锻压件的多级定位和冲孔先验集成检测，整个系统的处理流程如图1。采用CCD照相机把待检测目标转换成图像信号，再根据图像中像素的分布、灰度、纹理信息转换成数字信号，图像处理系统通过对这些信号进行运算提取有价值的特征,最后根据预设的条件实现目标的识别和检测。
对于锻压件的多级定位，首先采用临界域自适应二值化图像分割法将锻压件从原图像中分离出来,对锻压件进行初阶聚焦定位，然后为进一步判定分割图像的前景确定为锻压件，采用外要素拟合匹配的方法将待检测图像锻压件的外要素与模板图像中锻压件的外要素进行匹配,实现锻压件的最终精定位。
冲孔检测的过程根据冲孔区域像素的灰度值及冲孔的形状特征，采用冲孔先验集成检测，首先运用拓扑排序隐藏将整个检测到的工件区域分割成很多小的区域，采用区域链接融合的方法把相似区域链接融合，处理拓扑排序隐藏变换后的过分割问题，最后根据冲孔区域像素的灰度平均值、区域大小、圆度特征来判断这些小的区域是否是要寻找的冲孔位置。具体实现的步骤及实现的方法见图2。
二、锻压件的多级定位
锻压件定位是冲孔检测的基础,只有确认图像中存在锻压件并且找到锻压件位置才能进行冲孔先验集成检测，满足实时检测要求。为实现这一目标，本申请提出快速准确定位锻压件的方法。首先对锻压件图像进行预处理，然后采用临界域自适应二值化方法将锻压件从原图像中分离出来。为进一步判断分割图像的前景确定为锻压件,在二值化图像中提取锻压件的边缘外要素,然后采用外要素拟合匹配法,将待检测图像锻压件的外要素与模板图像中锻压件的外要素进行匹配，完成锻压件的最终精定位。
(一)图像的预处理
为了更方便的提取尽可能完整的锻压件外要素，本申请采用包括高斯滤波、边缘锐化的数字图像预处理的方法让锻压件从背景中突显出来。
(二)锻压件的初定位
采用临界域的自适应二值化方法将锻压件从图像中分割出来，将基于最大间类方差法计算出来的临界值作为临界域中的其中一个临界值，记作O临界值；假设临界值t分割图像后得到的目标和背景两类像素点的混合点集服从高斯分布，根据中位像素法计算出来的临界值作为临界域中的另一个临界值，记作P临界值；设图像的灰度值范围为[0,L-1]，比较O临界值和P临界值的大小，记T1＜T2，然后对每个像素点的灰度值进行判断，小于等于T1的,为黑，即0；大于T2的，为白，即L-1；而灰度值介于T1与T2之间的像素，采用自适应临界值Sauvola局部法，式1表示临界域的自适应二值化方法的灰度转换函数：
Figure BDA0003658162130000101
临界域的自适应二值化分割图像不仅保留图像的一些细节信息，同时也不需要对大量的像素灰度值进行判断，节省很多时间。
(三)锻压件的终定位
为进一步判断分割图像的前景确定为锻压件，首先在二值化图像中将锻压件的边缘外要素提取出来，然后采用外要素拟合匹配法,将待检测图像锻压件的外要素与模板图像中锻压件的外要素进行匹配,完成锻压件的最终精定位。
(1)锻压件外要素提取
锻压件外要素的提取直接在二值化分割结果图中进行，首先提取二值化图像中的所有边缘，再根据边缘的长度及闭合边缘内区域的面积找到锻压件的边缘外要素，如图3。
(2)锻压件外要素拟合匹配
采用基于多尺度弦长夹角的外要素拟合匹配方法，首先在图像的外要素上任意选取一个参考点Pi，然后与外要素上任意一个点Pj连接形成一条弦
Figure BDA0003658162130000111
同时再将该点Pj和外要素上位于该点和参考点之间的某点Pj-Δ相连形成另一条弦
Figure BDA0003658162130000112
这两条弦形成一个夹角αij，如图4。
如果该外要素上共有N个点，基于同一个参考点按照同样的形成夹角的方式产生N个α，即αi1...α1N；如果这N个点都分别作为一次参考点，产生N×N个α，形成外要素的描述子矩阵A：
Figure BDA0003658162130000113
判断两个外要素是否匹配的规则为：若大小为M×M的矩阵A1为外要素P的描述子，大小为N×N的矩阵A2是外要素Q的描述子，假设M小于等于N，如果在这两个矩阵中有大小为r×r的矩阵其各元素的值接近，那么外要素P与外要素Q在矩阵r×r的这部分外要素匹配，见图5。
判断矩阵r×r中各元素的值是否接近的标准是Dα(s,m,r)是否小于某一临界值，Dα(s,m,r)的计算式为：
Figure BDA0003658162130000114
s,m分别为矩阵A1和A2接近元素对应的系数。
(3)锻压件终定位结果
采用锻压件外要素的最小外接矩形将锻压件的位置在图中标注出来，见图6。
三、冲孔先验集成检测
由于锻压件区域中冲孔的面积、周长及冲孔间相对位置关系已知，故本申请基于冲孔区域像素的灰度值及冲孔的形状特征，进行冲孔先验集成检测，首先采用拓扑排序隐藏将整个检测到的工件区域分割成很多小的区域，采用区域链接融合的方法把相似区域融合，处理过分割问题，最后根据冲孔区域像素的灰度平均值、区域大小、圆度特征来判断这些小的区域是否是要寻找的冲孔位置。
(一)区域链接融合
由于直接在梯度图像上运用拓扑排序隐藏很容易产生过分割的现象，而出现这一问题的原因是因为输入图像中有很多的极小区域,而拓扑排序隐藏对细小的边缘、噪声也有良好的反应，从而使得分割结果中出现很多很小的分割区域，使得原图像中有价值的区域并不能在分割图像中很好的显示出来,所以必须对拓扑排序隐藏后的分割图像进行相似区域的融合。
采用区域灰度近似度规则实现分割区域的融合，对于两个相邻区域Ri和Rj(i≠j)，如果：
|μ(Ri)-μ(Rj)|＜T 式4
将区域Ri、Rj融合，其中μ(Ri)表示分割区域Ri灰度的平均值，μ(Rj)表示分割区域Rj灰度的平均值，T表示融合两个区域的临界值。
区域链接融合在整幅分割图像上进行，除分割区域本身的融合外，把所有的拓扑排序隐藏像素点融合到与其相邻的区域中，拓扑排序隐藏像素点融合依据灰度的近似度规则,即在与拓扑排序隐藏像素点的相邻的区域中，寻找本身不是拓扑排序隐藏像素点并且与该拓扑排序隐藏像素点的灰度值最接近的像素点，最后把该拓扑排序隐藏像素点的标号设置成此像素点所在区域的标号。
(二)冲孔集成初检
对锻压件图像进行拓扑排序隐藏变换，并不直接对整个锻压件变换一次性将所有冲孔都检测出来,而是先对原图像分块后，再对每一张分块得到的复杂网络进行分割。
对原图像进行分块处理的标准为：以框选锻压件位置矩形长边的1/4为长、保留矩形的宽,在这个只占原锻压件位置框选区域面积1/4的新矩形中检测冲孔,然后以3/16为步长，从框选锻压件位置矩形的最左端向最右端移动，直至覆盖到整个框选锻压件位置的矩形，每相邻两张复杂网络重叠的部分占框选锻压件位置矩形面积的1/16，见图7。
对原图像进行分块处理后，同时对五张分块复杂网络像进行拓扑排序隐藏变换，实现每张复杂网络的分割，并对每个分割区域进行标号，加快处理速度，见图8。
冲孔初检判断每个分割区域是否是冲孔，根据区域的灰度、形状、大小特征，从四个方面来判断分割子区域是否为冲孔，分别是：
1)灰度均值：分割子区域所有像素的灰度均值；
2)面积：分割子区域的面积；
3)细长比：分割子区域最小外接矩形的长宽比；
4)圆度：设分割子区域的面积为S，分割子区域的面积的周长为L，则圆度C：
C＝(4*π*S)/(L*L) 式5
冲孔区域像素的灰度均值在25-100之间，冲孔区域的面积在100-1000之间，冲孔区域的细长比在0.8-1之间，冲孔区域的圆度在0.6-0.9之间。通过对大量图像的统计处理，同时为尽量将所有的冲孔都能纳入最终冲孔检测结果中，规定当分割子区域这四个参数的值同时满足以下条件时，判断为冲孔：分割区域像素的灰度均值应小于150，其面积不超过1200个像素，分割区域的细长比应介于0.7-1.2之间，其圆度值应在0.5-1之间。
(三)虚假圆孔的识别滤除
运用上述方法检测冲孔，多检的现象比较严重，直接导致了冲孔检测精度的降低。为了将正确位置的冲孔都能纳入检测结果内，无法修改冲孔初检中四个判断依据的临界值。必须对多检的圆孔进行识别滤除，提高冲孔检测的精度，每个冲孔在工件上的位置固定，冲孔之间的相对位置已知，本申请采用同构复杂网络的方法对可能的虚假冲孔进行滤除。
设Q＝(V,E)和Q1＝(V1，El)代表两个图，假如存在一个映射n：V→V1，使得对所有的x,y∈V均有x,y∈E等价于n(x)n(y)∈E1，则认定图Q和图Q1同构，存在满足同构复杂网络定义的映射m，其复杂网络与右图是同构。
如果将标准的工件模板图像看做复杂网络，存在一种映射m使得模板图像中的每个冲孔都能在待检测锻压件图像中找到与其对应的冲孔，即模板图像与待检测锻压件图像同构，在待检测锻压件图像冲孔初检结果中，除去与模板图像对应的真冲孔以外，剩下的初检结果中为冲孔的圆孔均为虚假冲孔。
同构复杂网络算法滤除虚假圆孔的执行步骤包括：
(1)创建先验模板
首先采用人工标注的方式，从标准工件图像中提取冲孔中心位置，然后将标准模板中工件冲孔的中心坐标存入标准模板文件。
(2)结点集成匹配
将检测到的圆孔圆心坐标作为结点，结点与结点间的欧几里得距离作为边建立图模型，同样地对模板中的冲孔中心建立图模型，将结点连成三角形作为特征来匹配，任意选取待检测图模型的三个结点，两两相连形成三条边，同样将标准图模型中的十二个结点两两相连,然后搜索标准图模型中与待检测图模型中三条边长度相同的三条边，若存在这样的三条边，则两图完成匹配，同时得到待检测图模型中与标准图模型相对应的结点位置，若不存在，见图9，则在待检测图模型中另选三个结点重复上述过程直至匹配成功。
(3)坐标转换
首先确定待检测图像中所有正确冲孔的位置，通过旋转平移变换使待检测图像上的锻压件与模板重合,根据成功匹配的两组结点的位置坐标，得到旋转平移矩阵的参数，将两幅图像的结点坐标采用矩阵对应起来；
设模板三角形中三个冲孔的中心坐标分别为(Ax，Ay)、(Bx，By)、(Cx，Cy)，待检测锻压件图像中与之匹配的三角形中三个冲孔的中心坐标分别为(Mx，My)、(Nx，Ny)、(Ox，0y)，则存在矩阵P，使得：
Figure BDA0003658162130000141
(4)去除虚检
将模板冲孔的坐标通过矩阵变换映射到待检测图像中，预估剩余部分冲孔的位置，如果初检结果中某圆孔明显不靠近任何一个标准孔位，则可认定该孔为虚假圆孔，并将此圆孔从初检结果中去除。
根据模板图像中剩余九个冲孔的坐标(Dx，Dy)、(Ex，Ey)…(Lx，Ly),通过矩阵P,得到在待检测锻压件图像中与其对应的剩余九个真冲孔的坐标应为(1x，1y)、(2x，2y)…(9x，9y)，初检结果中所有与这九个坐标不靠近的圆孔均为虚假孔，予以滤除，见图10。
四、基于图像知识谱的冲孔检测
在冲孔实时检测过程中发现，当同一锻压件随着传送带从传送平台的一端移动到另一端时，冲孔检测系统软件界面上实时显示的冲孔个数有时候会发生改变,这是传送平台不同位置处光照的变化和锻压件表面的反射特性导致的。实验结果表明：在同样的光照条件下，锻压件处于不同位置时，冲孔检测结果可能会不一样，产生漏检或者误检，所以光照变化和锻压件表面反射特性的变化确定会影响冲孔检测的结果。
采用基于图像知识谱的冲孔检测方法，提高冲孔实时检测的精度及检测结果的稳定性，在一次完整的检测过程中，规定被检测到有孔的位置其被检测到的总次数占总检测次数的比例超过了某一临界值，才认定该位置确定有孔。
为确定一次完整检测的总检测次数(即一次完整检测的时间)及在该总检测次数下的临界值大小，随着总检测次数的增多，发生漏检或误检的次数也随之增多，即检测正确的总次数占总次数的比例并没有随之增高，而是与相对少一些总检测次数的正确检测次数比例基本持平，同时，总统计次数越少，随机性误差的规律越难体现，所以也不能为了缩短检测时间而将总检测次数减少太多。为了同时保证检测时间与检测精度，本申请针对总检测次数和正确检测次数的临界值进行两组对比实验,同一总检测次数及同一正确检测次数的临界值分别进行10次试验，检测结果见图11。
随着总检测次数的增多,产生随机误差即误检或漏检的情况也会增多，所以设置检测为冲孔的次数的临界值也该随之增加。当总检测次数大于等于8次时，检测精度均可达到100％，为了缩短检测时间，选择总检测次数为8次做不同检测为冲孔的临界值次数的对比实验，实验结果如图12所示：
综合以上两个对比实验可知,基于图像知识谱能在很大程度上提高冲孔检测的精度，而且将总检测次数定为八次、检测正确的次数定为四到六次能达到很好的效果。
五、检测系统软件与实时系统
(一)静态检测操作步骤
步骤一：点击操作界面中的“文件”按钮，选择要检测的锻压件图像；
步骤二：点击“勾孔”按钮，可以手动勾选冲孔的位置，用于冲孔检测的标准冲孔，效果如图13显示的方框所示；
步骤三：点击“保存”按钮，即可将标准冲孔的坐标参数保存在.txt文件中；
步骤四：点击“模创”按钮,即可采用当前锻压件图像制作锻压件的模板图像，模板图像见图13；
步骤五：点击“模开”按钮，在锻压件模板库中寻找与当前图像中锻压件摆放方向、及其正反面相同的模板图像；
步骤六：点击“加载”按钮，加载当前待处理的锻压件图像；
步骤七：点击“处理”按钮，处理当前图像，完成锻压件定位及冲孔检测，给出定位及检测结果。
(二)实时检测操作步骤
实时检测时,操作界面中原本放图像的位置会出现摄像机的拍摄画面，此时，只用按顺序点击“采集”、“自动”按钮即可实时检测冲孔。
(三)冲孔检测实时系统
为了能更好的让本研究成果符合实际应用环境中锻压件冲孔自动计数的要求，搭建了一个传送锻压件的平台，模拟实际环境中锻压件冲孔自动计数的过程。
硬件系统包括一个传送平台，在硬件系统顶部的正中央有一个摄像头，用来拍摄工件图像，顶部的周围有八盏照明灯，可以调节光照的强弱。

Claims (9)

1.汽车数控锻压件冲孔智能集成实时检测系统，其特征在于，基于视觉图像设计实时检测汽车数控锻压件冲孔的图像处理算法和软件，包括：锻压件的多级定位、冲孔先验集成检测、基于图像知识谱的冲孔检测、检测系统软件与实时系统共四大部分；
1)锻压件的多级定位，包括：图像的预处理、锻压件的初定位、锻压件的终定位；首先对原锻压件图像进行高斯滤波、边缘锐化的预处理处理；然后根据锻压件的自身特征，采用先分割后匹配的方法，采用临界域的自适应二值化方法分割图像，初阶定位锻压件；然后进一步验证初阶定位的位置确定为锻压件的位置,基于锻压件模板库，采用外要素拟合匹配的方法判断分割区域是否为锻压件，将待检测图像锻压件的外要素与模板图像中锻压件的外要素进行匹配,完成锻压件的最终精定位，准确找到锻压件的位置及范围；
2)冲孔先验集成检测，包括：区域链接融合、冲孔集成初检、虚假圆孔的识别滤除；基于锻压件冲孔自身具有的灰度、形状特征，首先采用拓扑排序隐藏变换及区域链接融合将锻压件图像分割成合适大小的区域，根据每个锻压件冲孔区域像素的灰度、区域形状、大小特征，选定冲孔区域像素的灰度平均值、区域大小、细长比、圆度这四个参数作为判断每个分割区域是否为冲孔的依据，完成冲孔的初检测，对可能的虚假圆孔采用同构复杂网络的方法进行滤除，在原始图像上标出锻压件及所有冲孔的位置，完成冲孔检测；
3)基于图像知识谱的冲孔检测：基于实验明确论证冲孔实时检测结果的不稳定性是光照不均匀造成的，采用基于图像知识谱的冲孔检测方法，将总检测次数定为八次、检测正确的次数定为四到六次，获得良好的冲孔检测精度及实时检测的稳定性；
4)检测系统软件与实时系统：基于上述方法搭建传送锻压件并进行锻压件冲孔实时检测的平台,基于该平台进行对应软件代码的编写，并设计处理方法的操作界面。
2.根据权利要求1所述汽车数控锻压件冲孔智能集成实时检测系统，其特征在于，冲孔智能集成实时检测系统架构：包括图像锻压件的多级定位和冲孔先验集成检测，采用CCD照相机把待检测目标转换成图像信号，再根据图像中像素的分布、灰度、纹理信息转换成数字信号，图像处理系统通过对这些信号进行运算提取价值特征,最后根据预设的条件实现目标的识别和检测；
对于锻压件的多级定位，首先采用临界域自适应二值化图像分割法将锻压件从原图像中分离出来,对锻压件进行初阶聚焦定位，然后为进一步判定分割图像的前景确定为锻压件，采用外要素拟合匹配的方法将待检测图像锻压件的外要素与模板图像中锻压件的外要素进行匹配,实现锻压件的最终精定位；
冲孔检测的过程根据冲孔区域像素的灰度值及冲孔的形状特征，采用冲孔先验集成检测，首先运用拓扑排序隐藏将整个检测到的工件区域分割成很多小的区域，采用区域链接融合的方法把相似区域链接融合，处理拓扑排序隐藏变换后的过分割问题，最后根据冲孔区域像素的灰度平均值、区域大小、圆度特征来判断这些小的区域是否是要寻找的冲孔位置。
3.根据权利要求1所述汽车数控锻压件冲孔智能集成实时检测系统，其特征在于，锻压件的初定位：采用临界域的自适应二值化方法将锻压件从图像中分割出来，将基于最大间类方差法计算出来的临界值作为临界域中的其中一个临界值，记作O临界值；假设临界值t分割图像后得到的目标和背景两类像素点的混合点集服从高斯分布，根据中位像素法计算出来的临界值作为临界域中的另一个临界值，记作P临界值；设图像的灰度值范围为[0,L-1]，比较O临界值和P临界值的大小，记T1＜T2，然后对每个像素点的灰度值进行判断，小于等于T1的,为黑，即0；大于T2的，为白，即L-1；而灰度值介于T1与T2之间的像素，采用自适应临界值Sauvola局部法，式1表示临界域的自适应二值化方法的灰度转换函数：
Figure FDA0003658162120000021
临界域的自适应二值化分割图像不仅保留图像的一些细节信息，同时也不需要对大量的像素灰度值进行判断。
4.根据权利要求1所述汽车数控锻压件冲孔智能集成实时检测系统，其特征在于，锻压件的终定位：首先在二值化图像中将锻压件的边缘外要素提取出来，然后采用外要素拟合匹配法,将待检测图像锻压件的外要素与模板图像中锻压件的外要素进行匹配,完成锻压件的最终精定位；
(1)锻压件外要素提取：锻压件外要素的提取直接在二值化分割结果图中进行，首先提取二值化图像中的所有边缘，再根据边缘的长度及闭合边缘内区域的面积找到锻压件的边缘外要素；
(2)锻压件外要素拟合匹配：采用基于多尺度弦长夹角的外要素拟合匹配方法，首先在图像的外要素上任意选取一个参考点Pi，然后与外要素上任意一个点Pj连接形成一条弦
Figure FDA0003658162120000022
同时再将该点Pj和外要素上位于该点和参考点之间的某点Pj-Δ相连形成另一条弦
Figure FDA0003658162120000023
这两条弦形成一个夹角αij；
如果该外要素上共有N个点，基于同一个参考点按照同样的形成夹角的方式产生N个α，即αi1...α1N；如果这N个点都分别作为一次参考点，产生N×N个α，形成外要素的描述子矩阵A：
Figure FDA0003658162120000031
判断两个外要素是否匹配的规则为：若大小为M×M的矩阵A1为外要素P的描述子，大小为N×N的矩阵A2是外要素Q的描述子，假设M小于等于N，如果在这两个矩阵中有大小为r×r的矩阵其各元素的值接近，那么外要素P与外要素Q在矩阵r×r的这部分外要素匹配；
判断矩阵r×r中各元素的值是否接近的标准是Dα(s,m,r)是否小于某一临界值，Dα(s,m,r)的计算式为：
Figure FDA0003658162120000032
s,m分别为矩阵A1和A2接近元素对应的系数；
(3)锻压件终定位结果：采用锻压件外要素的最小外接矩形将锻压件的位置在图中标注出来。
5.根据权利要求1所述汽车数控锻压件冲孔智能集成实时检测系统，其特征在于，区域链接融合：
采用区域灰度近似度规则实现分割区域的融合，对于两个相邻区域Ri和Rj(i≠j)，如果：
|μ(Ri)-μ(Rj)|＜T 式4
将区域Ri、Rj融合，其中μ(Ri)表示分割区域Ri灰度的平均值，μ(Rj)表示分割区域Rj灰度的平均值，T表示融合两个区域的临界值；
区域链接融合在整幅分割图像上进行，除分割区域本身的融合外，把所有的拓扑排序隐藏像素点融合到与其相邻的区域中，拓扑排序隐藏像素点融合依据灰度的近似度规则,即在与拓扑排序隐藏像素点的相邻的区域中，寻找本身不是拓扑排序隐藏像素点并且与该拓扑排序隐藏像素点的灰度值最接近的像素点，最后把该拓扑排序隐藏像素点的标号设置成此像素点所在区域的标号。
6.根据权利要求1所述汽车数控锻压件冲孔智能集成实时检测系统，其特征在于，冲孔集成初检：对锻压件图像进行拓扑排序隐藏变换，并不直接对整个锻压件变换一次性将所有冲孔都检测出来,而是先对原图像分块后，再对每一张分块得到的复杂网络进行分割；
对原图像进行分块处理的标准为：以框选锻压件位置矩形长边的1/4为长、保留矩形的宽,在这个只占原锻压件位置框选区域面积1/4的新矩形中检测冲孔,然后以3/16为步长，从框选锻压件位置矩形的最左端向最右端移动，直至覆盖到整个框选锻压件位置的矩形，每相邻两张复杂网络重叠的部分占框选锻压件位置矩形面积的1/16；
对原图像进行分块处理后，同时对五张分块复杂网络像进行拓扑排序隐藏变换，实现每张复杂网络的分割，并对每个分割区域进行标号，加快处理速度；
冲孔初检判断每个分割区域是否是冲孔，根据区域的灰度、形状、大小特征，从四个方面来判断分割子区域是否为冲孔，分别是：
1)灰度均值：分割子区域所有像素的灰度均值；
2)面积：分割子区域的面积；
3)细长比：分割子区域最小外接矩形的长宽比；
4)圆度：设分割子区域的面积为S，分割子区域的面积的周长为L，则圆度C：
C＝(4*π*S)/(L*L)) 式5
规定当分割子区域这四个参数的值同时满足以下条件时，判断为冲孔：分割区域像素的灰度均值应小于150，其面积不超过1200个像素，分割区域的细长比应介于0.7-1.2之间，其圆度值应在0.5-1之间。
7.根据权利要求1所述汽车数控锻压件冲孔智能集成实时检测系统，其特征在于，虚假圆孔的识别滤除：每个冲孔在工件上的位置固定，冲孔之间的相对位置已知，采用同构复杂网络的方法对可能的虚假冲孔进行滤除；
设Q＝(V,E)和Q1＝(V1，El)代表两个图，假如存在一个映射n：V→V1，使得对所有的x,y∈V均有x,y∈E等价于n(x)n(y)∈E1，则认定图Q和图Q1同构，存在满足同构复杂网络定义的映射m；
如果将标准的工件模板图像看做复杂网络，存在一种映射m使得模板图像中的每个冲孔都能在待检测锻压件图像中找到与其对应的冲孔，即模板图像与待检测锻压件图像同构，在待检测锻压件图像冲孔初检结果中，除去与模板图像对应的真冲孔以外，剩下的初检结果中为冲孔的圆孔均为虚假冲孔。
8.根据权利要求7所述汽车数控锻压件冲孔智能集成实时检测系统，其特征在于，同构复杂网络算法滤除虚假圆孔的执行步骤包括：
(1)创建先验模板
首先采用人工标注的方式，从标准工件图像中提取冲孔中心位置，然后将标准模板中工件冲孔的中心坐标存入标准模板文件；
(2)结点集成匹配
将检测到的圆孔圆心坐标作为结点，结点与结点间的欧几里得距离作为边建立图模型，同样地对模板中的冲孔中心建立图模型，将结点连成三角形作为特征来匹配，任意选取待检测图模型的三个结点，两两相连形成三条边，同样将标准图模型中的十二个结点两两相连,然后搜索标准图模型中与待检测图模型中三条边长度相同的三条边，若存在这样的三条边，则两图完成匹配，同时得到待检测图模型中与标准图模型相对应的结点位置，若不存在，则在待检测图模型中另选三个结点重复上述过程直至匹配成功；
(3)坐标转换
首先确定待检测图像中所有正确冲孔的位置，通过旋转平移变换使待检测图像上的锻压件与模板重合,根据成功匹配的两组结点的位置坐标，得到旋转平移矩阵的参数，将两幅图像的结点坐标采用矩阵对应起来；
设模板三角形中三个冲孔的中心坐标分别为(Ax，Ay)、(Bx，By)、(Cx，Cy)，待检测锻压件图像中与之匹配的三角形中三个冲孔的中心坐标分别为(Mx，My)、(Nx，Ny)、(Ox，0y)，则存在矩阵P，使得：
Figure FDA0003658162120000051
(4)去除虚检
将模板冲孔的坐标通过矩阵变换映射到待检测图像中，预估剩余部分冲孔的位置，如果初检结果中某圆孔明显不靠近任何一个标准孔位，则认定该孔为虚假圆孔，并将此圆孔从初检结果中去除；
根据模板图像中剩余九个冲孔的坐标(Dx，Dy)、(Ex，Ey)…(Lx，Ly),通过矩阵P,得到在待检测锻压件图像中与其对应的剩余九个真冲孔的坐标应为(1x，1y)、(2x，2y)…(9x，9y)，初检结果中所有与这九个坐标不靠近的圆孔均为虚假孔，予以滤除。
9.根据权利要求1所述汽车数控锻压件冲孔智能集成实时检测系统，其特征在于，基于图像知识谱的冲孔检测：在一次完整的检测过程中，规定被检测到有孔的位置其被检测到的总次数占总检测次数的比例超过了某一临界值，才认定该位置确定有孔；
确定一次完整检测的总检测次数及在该总检测次数下的临界值大小，随着总检测次数的增多，发生漏检或误检的次数也随之增多，即检测正确的总次数占总次数的比例并没有随之增高，而是与相对少一些总检测次数的正确检测次数比例基本持平，同时，总统计次数越少，随机性误差的规律越难体现；本申请针对总检测次数和正确检测次数的临界值进行两组对比,综合对比结果,基于图像知识谱将总检测次数定为八次、检测正确的次数定为四到六次能达到很好的效果。
CN202210565718.XA 2022-05-23 2022-05-23 汽车数控锻压件冲孔智能集成实时检测系统 Pending CN114994051A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210565718.XA CN114994051A (zh) 2022-05-23 2022-05-23 汽车数控锻压件冲孔智能集成实时检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210565718.XA CN114994051A (zh) 2022-05-23 2022-05-23 汽车数控锻压件冲孔智能集成实时检测系统

Publications (1)

Publication Number Publication Date
CN114994051A true CN114994051A (zh) 2022-09-02

Family

ID=83027192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210565718.XA Pending CN114994051A (zh) 2022-05-23 2022-05-23 汽车数控锻压件冲孔智能集成实时检测系统

Country Status (1)

Country Link
CN (1) CN114994051A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051559A (zh) * 2023-03-31 2023-05-02 天津市再登软件有限公司 一种产品检测方法、装置、设备及存储介质
CN116372080A (zh) * 2023-03-15 2023-07-04 湖州泰仑电力器材有限公司 一种金属锻压方法及其系统
CN117291985A (zh) * 2023-11-24 2023-12-26 青岛宜霖赛瑞智能科技有限公司 一种零件冲孔的图像定位方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116372080A (zh) * 2023-03-15 2023-07-04 湖州泰仑电力器材有限公司 一种金属锻压方法及其系统
CN116372080B (zh) * 2023-03-15 2023-09-19 湖州泰仑电力器材有限公司 一种金属锻压方法及其系统
CN116051559A (zh) * 2023-03-31 2023-05-02 天津市再登软件有限公司 一种产品检测方法、装置、设备及存储介质
CN117291985A (zh) * 2023-11-24 2023-12-26 青岛宜霖赛瑞智能科技有限公司 一种零件冲孔的图像定位方法
CN117291985B (zh) * 2023-11-24 2024-03-15 青岛宜霖赛瑞智能科技有限公司 一种零件冲孔的图像定位方法

Similar Documents

Publication Publication Date Title
CN114994051A (zh) 汽车数控锻压件冲孔智能集成实时检测系统
CN106570511B (zh) 基于计算机视觉的键盘字符缺陷在线检测系统和方法
CN106251353A (zh) 弱纹理工件及其三维位姿的识别检测方法及系统
CN113870235A (zh) 基于量子烟花圆弧边缘提取的圆形冲压件缺陷检测方法
CN104680519A (zh) 基于轮廓和颜色的七巧板识别方法
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
CN110942107B (zh) 基于零件工程图像的复合磨削加工特征自动识别方法
CN111832659B (zh) 一种基于特征点提取算法检测的激光标刻系统及方法
CN111965197B (zh) 一种基于多特征融合的缺陷分类方法
CN114743259A (zh) 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN109190625A (zh) 一种大角度透视变形的集装箱箱号识别方法
CN115830359A (zh) 复杂场景下基于目标检测和模板匹配的工件识别计数方法
CN115147448A (zh) 面向自动化焊接的图像增强与特征提取方法
CN115019024B (zh) 一种qfp的视觉识别方法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN114863464A (zh) 一种pid图纸图件信息的二阶识别方法
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
CN115330757A (zh) 一种电路板焊点缺陷检测方法及系统
EP1791089A2 (en) Method and apparatus for the graphical operation of real-time image processing systems
CN108537778B (zh) 一种用于柔性基板的改进随机圆孔检测方法
CN113610052A (zh) 一种基于深度学习的隧道渗漏水自动识别方法
CN112634259A (zh) 一种键盘键帽自动建模定位方法
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法
Wang et al. Assembly defect detection of atomizers based on machine vision
CN115035118B (zh) 一种基于识别模型的pcb生产线残缺检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination