CN114627080B - 基于计算机视觉的车辆冲压配件缺陷检测方法 - Google Patents

基于计算机视觉的车辆冲压配件缺陷检测方法 Download PDF

Info

Publication number
CN114627080B
CN114627080B CN202210256800.4A CN202210256800A CN114627080B CN 114627080 B CN114627080 B CN 114627080B CN 202210256800 A CN202210256800 A CN 202210256800A CN 114627080 B CN114627080 B CN 114627080B
Authority
CN
China
Prior art keywords
area
gray level
fold
level fluctuation
fluctuation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210256800.4A
Other languages
English (en)
Other versions
CN114627080A (zh
Inventor
程紫薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jujie Electromechanical Co ltd
Original Assignee
Jiangsu Jujie Electromechanical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jujie Electromechanical Co ltd filed Critical Jiangsu Jujie Electromechanical Co ltd
Priority to CN202210256800.4A priority Critical patent/CN114627080B/zh
Publication of CN114627080A publication Critical patent/CN114627080A/zh
Application granted granted Critical
Publication of CN114627080B publication Critical patent/CN114627080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明涉及基于计算机视觉的车辆冲压配件缺陷检测方法,其是获取冲压件图像的零件图像;并根据构建的零件三维模型,得到与零件图像相似的匹配模型图像,进而得到不同部件的位置区域;计算各部件的位置区域内的像素点的褶皱热度,将褶皱热度相等的像素点划分为一个判断区域;对获取的各判断区域,建立对应的灰度波动曲线,并分别计算对应判断区域的灰度波动方向与灰度波动程度,并得到该判断区域的褶皱率,当所述褶皱率大于设定阈值,则该判断区域为褶皱区域;根据所述褶皱区域的灰度波动程度和灰度波动方向对应的方差,计算所述褶皱区域的褶皱程度。即本发明能够通过衡量各判断区域的灰度波动情况,对零件的各部件的褶皱程度进行评估。

Description

基于计算机视觉的车辆冲压配件缺陷检测方法
技术领域
本发明涉及视觉测量技术领域,具体涉及基于计算机视觉的车辆冲压配件缺陷检测方法。
背景技术
起皱是冲压件常见的一种缺陷,是由于板料厚度方向的尺寸和平面方向的尺寸相差较大,造成厚度方向不稳定,当平面方向的应力达到一定程度时,厚度方向失稳,从而产生起皱现象。
现有技术检测起皱是根据褶皱处的光影变化,即衡量图像中灰度的变化,然而冲压件本身形状变化也会导致图像中的灰度变换,简单的阈值分割并不能很好地将褶皱检测出来。
因此,现有的检测方法对于褶皱的缺陷检测的准确度不高。
发明内容
为了解决上述技术问题,本发明的目的在于提供基于计算机视觉的车辆冲压配件缺陷检测方法,所采用的技术方案具体如下:
本发明提供的一种基于计算机视觉的车辆冲压配件缺陷检测方法,包括以下步骤:
获取冲压件图像,采用零件检测网络模型提取冲压件图像的零件图像;
构建零件三维模型,获取不同位姿下的模型图像,并将所述零件图像与各模型图像进行匹配,得到匹配模型图像,并根据匹配模型图像以及零件三维模型,得到所述零件图像中的不同部件的位置区域;
计算各部件的位置区域内的像素点的褶皱热度,将褶皱热度相等的像素点划分为一个判断区域,进而得到不同褶皱热度对应的判断区域;
对获取的各判断区域,建立对应的灰度波动曲线,根据所述灰度波动曲线,分别计算对应判断区域的灰度波动方向与灰度波动程度,并得到该判断区域的褶皱率,当所述褶皱率大于设定阈值,则该判断区域为褶皱区域;
根据所述褶皱区域的灰度波动程度和灰度波动方向对应的方差,计算各部件的域的褶皱程度。
进一步地,所述褶皱热度的获取方法为:
(1)获取所述部件的位置区域的边缘像素点,并根据所述边缘像素点的位置坐标拟合出边缘曲线,根据零件三维模型,选出棱边缘曲线,所述棱边缘曲线上的像素点与相邻的像素点在三维空间上具有高度差;
(2)计算部件中的各像素点到棱边缘曲线的距离,获取距离最小时的像素点p;
(3)计算所述棱边缘曲线在像素点p处的曲率k,如图3所示;
(4)计算部件各像素点到像素点p的距离d;
(5)根据获取的曲率k和距离d,计算部件的各像素点的褶皱热度:
R=(h+k)e-d
其中,h表示点p处与相邻的像素点在三维空间上的高度差。
进一步地,建立的灰度波动曲线的过程为:
a、以每个判断区域的区域中心C为极点,以像素坐标系中u轴方向为极轴,每个像素为单位1,逆时针方向为正,极角取值范围[0,π),建立当前判断区域的基准极坐标;
b、计算判断区域中各像素点的极径的绝对值的最大值ρ;
c、以ρ为极径,使极角从0到π遍历得到各灰度轴;对每个灰度轴,遍历-到ρ之间的像素点,确定各基准点;
d、以基准点为中心,得到垂直于灰度轴方向的统计轴,该统计轴的长度为2ρ;
e、计算该判断区域中的各统计轴上的所有像素灰度值的均值g;以灰度轴为横轴,以均值g为纵轴,建立各极角对应的灰度波动曲线。
进一步地,所述灰度波动方向为:根据各极角对应的灰度波动曲线,计算灰度波动曲线中均值g的方差,比较各极角对应灰度波动曲线的方差的大小,选择最大方差对应的灰度波动曲线,则该灰度波动曲线对应的灰度轴的极角为该判断区域的灰度波动方向。
进一步地,灰度波动程度的获取方法为:
1)计算最大方差对应的灰度波动曲线P中各基准点g处的均值Eg
2)对灰度波动曲线中均值g进行归一化处理,得到g′,以g′为各基准点的值,得到归一化灰度波动曲线P′;
3)对归一化灰度波动曲线P′,从曲线的两端到中间遍历各基准点,去掉值为零的基准点,保留不为零的基准点,并将不为零的基准点与均值Eg作差,得到标准灰度波动曲线Ps
4)统计标准灰度波动曲线Ps中基准点的个数,将个数之和作为灰度轴的长度l;统计曲线上值为零的基准点,并得到值为零的相邻两基准点之间的距离,统计计算所有距离的均值ET
5)根据步骤1)-步骤4)得到的相关参数,计算灰度波动程度S:
进一步地,判断区域的褶皱率的获取过程为:
(1)获取各判断区域的中心位置C和灰度波动方向θ;
若θ大于则判断区域的褶皱延伸方向ω为:/>
若θ小于则判断区域的褶皱延伸方向ω为:/>
(2)以当前判断区域中心位置C为起点,沿着褶皱延伸方向ω和反方向-,向外延伸,当像素点位于当前判断区域,则继续延伸;当像素点不位于当前判断区域,则像素点所处判断区域为褶皱延伸区域;
以当前判断区域中心位置C为起点,沿着灰度波动方向θ和反方向-,向外延伸,当像素点位于当前判断区域,则继续延伸;当像素点不位于当前判断区域,则像素点所处判断区域为褶皱相邻区域;
(3)分别计算褶皱延伸区域和褶皱相邻区域的灰度波动方向和灰度波动程度;
(4)根据当前判断区域、褶皱延伸区域、褶皱相邻区域的灰度波动方向和灰度波动程度,计算当前判断区域的褶皱率:
其中,E(θ)为当前判断区域、褶皱延伸区域、褶皱相邻区域的灰度波动方向均值;E(S0)为当前判断区域、褶皱延伸区域、褶皱相邻区域的灰度波动程度均值;E(|θ2-θ|)为褶皱延伸区域与当前判断区域灰度波动方向差的均值;E(|θ1-θ|)为褶皱相邻区域与当前判断区域灰度波动方向差的均值;E(|S2-S0|)为褶皱延伸区域与当前判断区域灰度波动程度差的均值;E(|S1-S0|)为褶皱相邻区域与当前判断区域灰度波动程度差的均值。
进一步地,所述部件的褶皱程度:
σ=D(θ)max[Mo(S3),E(S3)]
其中,D(θ)为部件的所有褶皱区域的灰度波动方向θ的方差,S3为褶皱区域,Mo(S3)为部件的所有褶皱区域的灰度波动程度的众数,E(S3)为部件的所有褶皱区域的灰度波动程度的均值。
本发明具有如下有益效果:
本发明方案通过衡量各判断区域的灰度波动情况,判断梳状不规则纹理是否存在,即计算各判断区域的褶皱率,确定零件是否起皱,进而对零件的各部件的褶皱程度进行评估。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明的基于计算机视觉的车辆冲压配件缺陷检测方法实施例的流程图;
图2为冲压件图像;
图3为本发明的基于计算机视觉的车辆冲压配件缺陷检测方法实施例的获取褶皱热度的参数的示意图;
图4为部件褶皱区域与非褶皱区域的对比示意图;
图5为本发明的基于计算机视觉的车辆冲压配件缺陷检测方法实施例的建立的灰度波动曲线的参数示意图;
图6为本发明的基于计算机视觉的车辆冲压配件缺陷检测方法实施例的灰度波动曲线和标准灰度波动曲线的示意图;
图7为本发明的基于计算机视觉的车辆冲压配件缺陷检测方法实施例的判断区域和褶皱延伸区域的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明的方案,其具体实施方式、结构、特征及其功效,详细说明如下。除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于计算机视觉的车辆冲压配件缺陷检测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于计算机视觉的车辆冲压配件缺陷检测方法的步骤流程图,该方法包括以下步骤:
步骤1,获取冲压件图像,采用零件检测网络模型提取冲压件图像的零件图像。
本实施例中将待检测零件放置在流水线上;相机置于流水线正上方,相机光轴尽量垂直于流水线表面;光源置于流水线的侧上方;使用相机获取冲压件图像,如图2所示。
本实施例中的匹配方法采用零件检测网络获取冲压件图像的零件图像;其中的零件检测网络采用Encoder-Decoder结构。
对于零件检测网络的训练过程,步骤如下:
1)获取标记图像;
其中的标记图像是采用相机获取的冲压件图像,并进行人工标记,即将冲压件图像中的;零件区域标注为1,其他区域标记为0。
2)将标记图像输入构建的零件检测网络中进行训练,得到训练好的零件检测网络。
其中,上述训练过程中采用的损失函数为交叉熵损失函数。
需要说明的是,上述步骤是为了进行零件图像的提取,去掉背景部分信息。
步骤2,构建零件三维模型,获取不同位姿下的模型图像,并将所述零件图像与各模型图像进行匹配,得到匹配模型图像,并根据匹配模型图像以及零件三维模型,得到所述零件图像中的不同部件的位置区域。
本实施例中的匹配方法为:
1)改变模拟器中的相机的位姿,获取不同位姿下的零件三维模型的模型图像;
2)分别将不同位姿下的模型图像与所述零件图像进行对比,计算各位姿下的零件三维模型的图像与所述零件特征的交并比,选取交并比为1时对应的相机位姿下的模型图像为匹配模型图像,从而记录该匹配模型图像中的各部件在零件三维模型对的位置区域。
上述步骤2)中计算的交并比为公知技术,此处不再过多赘述。
需要说明的是,上述实施例中通过先获取当前生产线上的所产零件的零件三维模型,获取不同位姿下的零件三维模型的模型图像,从中找到与零件图像相似的匹配模型图像,来得到零件图像中的部件的位置区域,这是由于零件图像为二维图像,其并不能真实的反映零件中各部件的真实信息,因此借助三维模型的三维信息获取对应的部件的信息,避免了获取部件信息不准确的问题;其中,如图2所示,图中包括背景部分和零件部分,该零件部分为对称结构的零件,以图中零件的右半部分为例,则其上可以得到零件中的各部件的位置区域示意图。
步骤3,计算各部件的位置区域内的像素点的褶皱热度,将褶皱热度相等的像素点划分为一个判断区域,进而得到不同褶皱热度对应的判断区域。
其中的褶皱热度的获取方法为:
(1)获取所述部件的位置区域的边缘像素点,并根据所述边缘像素点的位置坐标拟合出边缘曲线,根据零件三维模型,选出棱边缘曲线,所述棱边缘曲线上的像素点与相邻的像素点在三维空间上具有高度差(该高度差是通过模拟器对零件三维模型知己采集得到的);
(2)计算部件中的各像素点到棱边缘曲线的距离,获取距离最小时的像素点p;
(3)计算所述棱边缘曲线在像素点p处的曲率k,如图3所示;
(4)计算部件各像素点到像素点p的距离d;
(5)根据获取的曲率k和距离d,计算部件的各像素点的褶皱热度:
R=(h+k)e-d
其中,h表示点p处在三维空间上的凹凸的高度差。
需要说明的是,采用上述方法计算褶皱热度是基于冲压件中起皱的区域都是凹陷或者突起的边缘附近,越靠近凹陷/突起,起皱概率越大;起皱的概率也与凸起/凹陷的高度有关,凸起越高,起皱概率越大;起皱的概率还与凸起/凹陷的边缘形状有关,在拐弯处更容易起皱。同时,本实施例中的褶皱热度表示的是该像素点起皱的概率程度,如图4所示,左侧图为有褶皱的零件图像(有梳齿状的、不规则的纹理),右侧为无褶皱的零件图像。
作为其他实施方式,计算的褶皱热度涉及到的相关参数也可以从零件三维模型中直接测量获取。
本实施例中,获取每个部件的位置区域内的像素点的褶皱热度,将褶皱热度相同的像素点划分为同一个判断区域。也就是说,每个部件的每一个判断区域内部,热度值都是相同的;一个热度值划分出一个判断区域,当褶皱热度有多个不同的值时,该部件就有对应的多个判断区域,其中本实施例中的相同热度值对应的像素点均是位置相近、相邻的像素点,不考虑其他情况下的像素点。需要说明的是,褶皱热度表示零件中各部位起皱的概率,热度越高的地方,越有可能起皱。
步骤4,对获取的各判断区域,建立对应的灰度波动曲线,根据所述灰度波动曲线,分别计算对应判断区域的灰度波动方向与灰度波动程度,并得到该判断区域的褶皱率,当所述褶皱率大于设定阈值,则该判断区域为褶皱区域。
其中,建立的灰度波动曲线的过程为:
a、以每个判断区域的区域中心C为极点(见图5),以像素坐标系中u轴方向为极轴,每个像素为单位1,逆时针方向为正,极角取值范围[0,π),建立当前判断区域的基准极坐标;
b、计算判断区域中各像素点的极径的绝对值的最大值ρ;
c、以ρ为极径,使极角从0到π遍历得到各灰度轴;对每个灰度轴,遍历-ρ到ρ之间的像素点,确定各基准点;
d、以基准点为中心,得到垂直于灰度轴方向的统计轴,该统计轴的长度为2ρ;
本实施例中,采用2ρ的长度保证灰度轴旋转的过程中,统计轴上不会漏掉某个判断区域的像素。
e、计算该判断区域中的各统计轴上的所有像素灰度值的均值g;以灰度轴为横轴,以均值g为纵轴,建立各极角对应的灰度波动曲线,如图6所示。
本实施例中,若是部件起皱,则褶皱的大小和方向都是不固定的,为了能够分析褶皱情况,在判断区域建立灰度波动曲线。
其中,灰度波动方向为:根据各极角对应的灰度波动曲线,计算灰度波动曲线中均值g的方差Dg,比较各极角对应灰度波动曲线的方差Dg的大小,选择最大方差对应的灰度波动曲线P,则该灰度波动曲线P对应的灰度轴的极角θ为该判断区域的灰度波动方向。
其中,灰度波动程度的获取方法为:
1)计算最大方差对应的灰度波动曲线P中各基准点g处的均值Eg
2)对灰度波动曲线中均值g进行归一化处理,得到g′,以g′为各基准处的值,得到归一化灰度波动曲线P′;
3)对归一化灰度波动曲线P′,从曲线的两端到中间遍历各基准点,去掉值为零的基准点,保留不为零的基准点,并将不为零的基准点与均值Eg作差,得到标准灰度波动曲线Ps;如图6所示;
4)统计标准灰度波动曲线Ps中基准点的个数,将基准点的个数之和作为灰度轴的长度l;统计曲线上值为零的基准点,并得到值为零的相邻两基准点之间的距离,计算所有距离的均值ET
5)根据步骤1)-步骤4)得到的相关参数,计算灰度波动程度;
本实施例中,褶皱中单个褶的幅度越大,褶皱波动程度越大;褶皱数量越多,褶皱波动程度越大。
其中,本实施例中的判断区域的褶皱率的获取过程为:
(1)获取各判断区域的中心位置C和灰度波动方向θ;
若θ大于则判断区域的褶皱延伸方向ω为:/>
若θ小于则判断区域的褶皱延伸方向ω为:/>
(2)以当前判断区域中心位置C为起点,沿着褶皱延伸方向ω和反方向-,向外延伸,当像素点位于当前判断区域,则继续延伸;当像素点不位于当前判断区域,则像素点所处判断区域为褶皱延伸区域,如图7中的标号为1的褶皱延伸区域;
以当前判断区域中心位置C为起点,沿着灰度波动方向θ和反方向-,向外延伸,当像素点位于当前判断区域,则继续延伸;当像素点不位于当前判断区域,则像素点所处判断区域为褶皱相邻区域,如图7中的标号为2的褶皱相邻区域;
其中,本实施例中是为了确定判断区域的褶皱延伸区域和相邻区域,便于考虑判断区域周围的情况,那么判断像素点具体位置,其是可以直接通过步骤2中划分的判断区域以及区域中的像素点直接得到的。
(3)分别计算褶皱延伸区域和褶皱相邻区域的灰度波动方向和灰度波动程度;
(4)根据当前判断区域、褶皱延伸区域、褶皱相邻区域的灰度波动方向和灰度波动程度,计算当前判断区域的褶皱率:
其中,E(θ)为当前判断区域、褶皱延伸区域、褶皱相邻区域的灰度波动方向均值;E(S0)为当前判断区域、褶皱延伸区域、褶皱相邻区域的灰度波动程度均值;E(|θ2-θ|)为褶皱延伸区域与当前判断区域灰度波动方向差的均值;E(|θ1-θ|)为褶皱相邻区域与当前判断区域灰度波动方向差的均值;E(|S2-S0|)为褶皱延伸区域与当前判断区域灰度波动程度差的均值;E(|S1-S0|)为褶皱相邻区域与当前判断区域灰度波动程度差的均值。
上述中,当前判断区域的灰度波动,与褶皱延伸区域和褶皱相邻区域的灰度波动,一致性越高,当前判断区域越不可能是褶皱。
其中,本实施例中确定判断区域为褶皱区域的设定阈值,取值通过先验知识获取。
步骤5,根据所述褶皱区域的灰度波动程度和灰度波动方向对应的方差,计算各部件的褶皱程度;
其中,各部件的褶皱程度为:
σ=D(θ)max[Mo(S3),E(S3)]
其中,D(θ)为部件的所有褶皱区域的灰度波动方向θ的方差,S3为褶皱区域,Mo(S3)为部件的所有褶皱区域的灰度波动程度的众数,E(S3)为部件的所有褶皱区域的灰度波动程度的均值。
本实施例中灰度波动程度的众数为灰度波动程度中出现次数最多的数值。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.基于计算机视觉的车辆冲压配件缺陷检测方法,其特征在于,包括以下步骤:
获取冲压件图像,采用零件检测网络模型提取冲压件图像的零件图像;
构建零件三维模型,获取不同位姿下的模型图像,并将所述零件图像与各模型图像进行匹配,得到匹配模型图像,并根据匹配模型图像以及零件三维模型,得到所述零件图像中的不同部件的位置区域;
计算各部件的位置区域内的像素点的褶皱热度,将褶皱热度相等的像素点划分为一个判断区域,进而得到不同褶皱热度对应的判断区域;
对获取的各判断区域,建立对应的灰度波动曲线,根据所述灰度波动曲线,分别计算对应判断区域的灰度波动方向与灰度波动程度,并得到该判断区域的褶皱率,当所述褶皱率大于设定阈值,则该判断区域为褶皱区域;
根据所述褶皱区域的灰度波动程度和灰度波动方向对应的方差,计算各部件的褶皱程度;
所述褶皱热度的获取方法为:
(1)获取所述部件的位置区域的边缘像素点,并根据所述边缘像素点的位置坐标拟合出边缘曲线,根据零件三维模型,选出棱边缘曲线,所述棱边缘曲线上的像素点与相邻的像素点在三维空间上具有高度差;
(2)计算部件中的各像素点到棱边缘曲线的距离,获取距离最小时的像素点p;
(3)计算所述棱边缘曲线在像素点p处的曲率k;
(4)计算部件各像素点到像素点p的距离d;
(5)根据获取的曲率k和距离d,计算部件的各像素点的褶皱热度:
R=(h+k)e-d
其中,h表示点p处与相邻的像素点在三维空间上的高度差;
建立的灰度波动曲线的过程为:
a、以每个判断区域的区域中心C为极点,以像素坐标系中u轴方向为极轴,每个像素为单位1,逆时针方向为正,极角取值范围[0,π),建立当前判断区域的基准极坐标;
b、计算判断区域中各像素点的极径的绝对值的最大值ρ;
c、以ρ为极径,使极角从0到π遍历得到各灰度轴;对每个灰度轴,遍历-ρ到ρ之间的像素点,确定各基准点;
d、以基准点为中心,得到垂直于灰度轴方向的统计轴,该统计轴的长度为2ρ;
e、计算该判断区域中的各统计轴上的所有像素灰度值的均值g;以灰度轴为横轴,以均值g为纵轴,建立各极角对应的灰度波动曲线;
判断区域的褶皱率的获取过程为:
(1)获取各判断区域的中心位置C和灰度波动方向θ;
若θ大于则判断区域的褶皱延伸方向ω为:/>
若θ小于则判断区域的褶皱延伸方向ω为:/>
(2)以当前判断区域中心位置C为起点,沿着褶皱延伸方向ω和反方向-ω,向外延伸,当像素点位于当前判断区域,则继续延伸;当像素点不位于当前判断区域,则像素点所处判断区域为褶皱延伸区域;
以当前判断区域中心位置C为起点,沿着灰度波动方向θ和反方向-θ,向外延伸,当像素点位于当前判断区域,则继续延伸;当像素点不位于当前判断区域,则像素点所处判断区域为褶皱相邻区域;
(3)分别计算褶皱延伸区域和褶皱相邻区域的灰度波动方向和灰度波动程度;
(4)根据当前判断区域、褶皱延伸区域、褶皱相邻区域的灰度波动方向和灰度波动程度,计算当前判断区域的褶皱率:
其中,E(θ)为当前判断区域、褶皱延伸区域、褶皱相邻区域的灰度波动方向均值;E(S0)为当前判断区域、褶皱延伸区域、褶皱相邻区域的灰度波动程度均值;E(|θ2-θ|)为褶皱延伸区域与当前判断区域灰度波动方向差的均值;E(|θ1-θ|)为褶皱相邻区域与当前判断区域灰度波动方向差的均值;E(|S2-S0|)为褶皱延伸区域与当前判断区域灰度波动程度差的均值;E(|S1-S0|)为褶皱相邻区域与当前判断区域灰度波动程度差的均值。
2.根据权利要求1所述的计算机视觉的车辆冲压配件缺陷检测方法,其特征在于,
所述灰度波动方向为:根据各极角对应的灰度波动曲线,计算灰度波动曲线中均值的方差,比较各极角对应灰度波动曲线的方差的大小,选择最大方差对应的灰度波动曲线,则该灰度波动曲线对应的灰度轴的极角为该判断区域的灰度波动方向。
3.根据权利要求2所述的计算机视觉的车辆冲压配件缺陷检测方法,其特征在于,
灰度波动程度的获取方法为:
1)计算最大方差对应的灰度波动曲线P中各基准点g处的均值Eg
2)对灰度波动曲线中均值g进行归一化处理,得到g,以g为各基准点的值,得到归一化灰度波动曲线P
3)对归一化灰度波动曲线P,从曲线的两端到中间遍历各基准点,去掉值为零的基准点,保留不为零的基准点,并将不为零的基准点与均值Eg作差,得到标准灰度波动曲线Ps
4)统计标准灰度波动曲线Ps中基准点的个数,将个数之和作为灰度轴的长度l;统计曲线上值为零的基准点,并得到值为零的相邻两基准点之间的距离,统计计算所有距离的均值ET
5)根据步骤1)-步骤4)得到的相关参数,计算灰度波动程度S:
4.根据权利要求1所述的计算机视觉的车辆冲压配件缺陷检测方法,其特征在于,
所述部件的褶皱程度:
σ=D(θ)max[Mo(S3),E(S3)]
其中,D(θ)为部件的所有褶皱区域的灰度波动方向θ的方差,S3为褶皱区域,Mo(S3)为部件的所有褶皱区域的灰度波动程度的众数,E(S3)为部件的所有褶皱区域的灰度波动程度的均值。
CN202210256800.4A 2022-03-16 2022-03-16 基于计算机视觉的车辆冲压配件缺陷检测方法 Active CN114627080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210256800.4A CN114627080B (zh) 2022-03-16 2022-03-16 基于计算机视觉的车辆冲压配件缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210256800.4A CN114627080B (zh) 2022-03-16 2022-03-16 基于计算机视觉的车辆冲压配件缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114627080A CN114627080A (zh) 2022-06-14
CN114627080B true CN114627080B (zh) 2023-08-25

Family

ID=81902493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210256800.4A Active CN114627080B (zh) 2022-03-16 2022-03-16 基于计算机视觉的车辆冲压配件缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114627080B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100203B (zh) * 2022-08-25 2022-11-18 山东振鹏建筑钢品科技有限公司 一种钢筋打磨除锈质量检测方法
CN116124791B (zh) * 2023-01-18 2023-06-20 江阴市千里马电工材料有限公司 同轴电缆敷设褶皱检测装置
CN117132594B (zh) * 2023-10-25 2024-02-20 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) 基于高光谱图像的地下水微塑料智能检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799434A (zh) * 2010-03-15 2010-08-11 深圳市中钞科信金融科技有限公司 一种印刷图像缺陷检测方法
CN105844618A (zh) * 2016-03-17 2016-08-10 浙江理工大学 评价服装穿着起皱程度的图像处理及特征提取方法
WO2016158392A1 (ja) * 2015-03-31 2016-10-06 グローリー株式会社 紙葉類判別装置及び紙葉類判別方法
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜系统
CN108615239A (zh) * 2018-05-10 2018-10-02 福建中医药大学 基于阈值技术和灰度投影的舌图像分割方法
CN110866915A (zh) * 2019-11-22 2020-03-06 郑州智利信信息技术有限公司 基于度量学习的圆形砚台质量检测方法
CN111145163A (zh) * 2019-12-30 2020-05-12 深圳市中钞科信金融科技有限公司 一种纸张褶皱缺陷检测方法及装置
CN114113231A (zh) * 2022-01-27 2022-03-01 国网天津市电力公司电力科学研究院 电缆皱纹金属护套的缺陷检测方法、装置、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799434A (zh) * 2010-03-15 2010-08-11 深圳市中钞科信金融科技有限公司 一种印刷图像缺陷检测方法
WO2016158392A1 (ja) * 2015-03-31 2016-10-06 グローリー株式会社 紙葉類判別装置及び紙葉類判別方法
CN105844618A (zh) * 2016-03-17 2016-08-10 浙江理工大学 评价服装穿着起皱程度的图像处理及特征提取方法
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜系统
CN108615239A (zh) * 2018-05-10 2018-10-02 福建中医药大学 基于阈值技术和灰度投影的舌图像分割方法
CN110866915A (zh) * 2019-11-22 2020-03-06 郑州智利信信息技术有限公司 基于度量学习的圆形砚台质量检测方法
CN111145163A (zh) * 2019-12-30 2020-05-12 深圳市中钞科信金融科技有限公司 一种纸张褶皱缺陷检测方法及装置
CN114113231A (zh) * 2022-01-27 2022-03-01 国网天津市电力公司电力科学研究院 电缆皱纹金属护套的缺陷检测方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的烟支接装质量在线检测系统;李 捷 等;烟草科技;全文 *

Also Published As

Publication number Publication date
CN114627080A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN114627080B (zh) 基于计算机视觉的车辆冲压配件缺陷检测方法
CN111243032B (zh) 一种棋盘格角点全自动检测方法
CN105067638B (zh) 基于机器视觉的轮胎胎膜表面字符缺陷检测方法
CN109816673B (zh) 一种非极大值抑制、动态阈值计算及图像边缘检测方法
CN109900711A (zh) 基于机器视觉的工件缺陷检测方法
CN108918526B (zh) 一种柔性ic封装基板线路的缺口缺陷检测方法
CN113706537B (zh) 一种基于机器视觉的不规则工件检测方法
CN105335973B (zh) 运用于带钢加工生产线的视觉处理方法
CN115861291B (zh) 基于机器视觉的贴片电路板生产缺陷检测方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN104568986A (zh) 基于surf算法的遥控器面板印刷缺陷自动检测方法
CN108613630B (zh) 基于图像处理技术的两线型管水准器气泡偏移量测量方法
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
WO2018072333A1 (zh) 一种元件错件检测方法和装置
CN112233116B (zh) 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
CN112037203A (zh) 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统
CN111257329A (zh) 一种智能手机摄像头缺陷检测方法以及检测系统
CN110211178A (zh) 一种利用投影计算的指针式仪表识别方法
CN113077392A (zh) 一种针对指针表模糊照片的高准确度自动读数方法
CN116358449A (zh) 一种基于双目面结构光的飞机铆钉凹凸量测量方法
CN106682674A (zh) 一种基于智能巡检机器人的指针式仪表自动读数方法
CN116563279A (zh) 基于计算机视觉的量测开关检测方法
CN108109154A (zh) 一种工件的新型定位及数据获取方法
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
CN109671084B (zh) 一种工件形状的测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant