CN116630329A - 用于多轴多通道数控系统的在线视觉检测方法 - Google Patents

用于多轴多通道数控系统的在线视觉检测方法 Download PDF

Info

Publication number
CN116630329A
CN116630329A CN202310918990.6A CN202310918990A CN116630329A CN 116630329 A CN116630329 A CN 116630329A CN 202310918990 A CN202310918990 A CN 202310918990A CN 116630329 A CN116630329 A CN 116630329A
Authority
CN
China
Prior art keywords
pixel
pixel point
sliding window
value
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310918990.6A
Other languages
English (en)
Other versions
CN116630329B (zh
Inventor
张子恒
张士银
张启甲
刘栗
杨德伟
刘斌
张彬
王太勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shansen Numerical Control Technology Co ltd
Original Assignee
Shandong Shansen Numerical Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shansen Numerical Control Technology Co ltd filed Critical Shandong Shansen Numerical Control Technology Co ltd
Priority to CN202310918990.6A priority Critical patent/CN116630329B/zh
Publication of CN116630329A publication Critical patent/CN116630329A/zh
Application granted granted Critical
Publication of CN116630329B publication Critical patent/CN116630329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/64Analysis of geometric attributes of convexity or concavity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本申请属于图像处理技术领域,提供了用于多轴多通道数控系统的在线视觉检测方法,包括:获取待测和标准汽车齿轮灰度图像;设置滑动窗口;分析滑动窗口内像素点的灰度值变化,获得每个像素点的凹坑特征值;计算每个中心像素点的曲率变化程度;然后获得每个像素点的缺陷可能性指数,得到缺陷可能性大小图像;基于缺陷可能性大小图像,获得可能存在缺陷区域和第一特征点,并保存标准汽车齿轮灰度图像中对应的第二特征点;将特征点进行图像匹配,获得有效匹配率;根据有效匹配率判断待测汽车齿轮是否存在质量缺陷。本发明方法使图像匹配的结果对待测汽车齿轮上的缺陷更加灵敏,更加准确地识别多轴多通道数控系统生产出的汽车齿轮外观缺陷。

Description

用于多轴多通道数控系统的在线视觉检测方法
技术领域
本申请涉及图像处理技术领域,尤其涉及用于多轴多通道数控系统的在线视觉检测方法。
背景技术
随着电子技术的快速发展,数控系统的功能越来越完善。数控系统被广泛应用于汽车、飞机等机器零件生产中。如今,用于单一化生产的数控系统渐渐被淘汰,而多轴多通道数控系统已成为未来的主流,在机械零件中发挥巨大的作用。但是,对于多轴多通道数控系统进行机械零件生产时的质量控制一直是比较重要的课题。
现有方法中通常通过图像处理技术进行外观质量检测,反馈给数控系统,完成汽车齿轮的高质量生产。比如,图像分割技术,能够快速识别明显的外观缺陷。但是,对于较为复杂的场景,利用图像分割技术无法得到较好的分割结果,对零件质量容易产生误判。
因此,亟需一种方法提高图像分割的准确性,进而用以提高多轴多通道数控系统的在线视觉检测的质量。
发明内容
为了解决以上技术问题,本申请提供了用于多轴多通道数控系统的在线视觉检测方法,用以提高多轴多通道数控系统的在线视觉检测的质量。
本发明提供的一种用于多轴多通道数控系统的在线视觉检测方法,所述方法包括:
采集并处理多轴多通道数控系统生产出的待测汽车齿轮RGB图像和标准汽车齿轮RGB图像,获取待测汽车齿轮灰度图像和标准汽车齿轮灰度图像;
以所述待测汽车齿轮灰度图像中的每个像素点为中心,设置滑动窗口,利用灰度区域大小矩阵算法提取每个所述滑动窗口内的连通域;
分析所述滑动窗口内像素点的灰度值变化,计算获得每个像素点的凹坑特征值;
根据每个边缘像素点的边缘曲率,基于每个所述滑动窗口,计算每个中心像素点的曲率变化程度;
结合所述凹坑特征值以及所述曲率变化程度,计算每个像素点的缺陷可能性指数,得到缺陷可能性大小图像;
基于所述缺陷可能性大小图像,利用大津阈值分割算法,分割获得可能存在缺陷区域,保留可能存在缺陷区域的第一特征点,并保存所述标准汽车齿轮灰度图像中对应所述存在缺陷区域位置处的第二特征点;
利用SIFT图像匹配算法,将所述第一特征点和所述第二特征点之间进行图像匹配,获得有效匹配率;
根据所述有效匹配率,判断所述待测汽车齿轮是否存在质量缺陷。
在本发明的一些实施例中,分析所述滑动窗口内像素点的灰度值变化,计算获得每个像素点的凹坑特征值,包括:
分析所述滑动窗口内像素点的灰度值变化,计算每个像素点的摩擦粗糙程度;
根据所述滑动窗口,形成抽样序列和差分序列,计算获得所述差分序列中数值的距离特征向量序列;
结合所述摩擦粗糙程度、所述差分序列和所述距离特征向量序列,计算每个像素点的凹坑特征值。
在本发明的一些实施例中,所述摩擦粗糙程度的计算方法为:
式子中,表示像素点x的摩擦粗糙程度,表示像素点x的滑动窗口中第i个连 通域的粗糙程度,n表示像素点x的滑动窗口内连通域数目,分别表示像素点x的滑动 窗口内第i、第j个连通域所代表的灰度值,表示最大欧式距离函数,表 示像素点x的滑动窗口内第i、第j个连通域内的像素点位置,表示极差归一化函 数,表示像素点x的滑动窗口内的灰度变异系数。
在本发明的一些实施例中,根据所述滑动窗口,形成抽样序列和差分序列,计算获得所述差分序列中数值的距离特征向量序列,包括:
根据所述滑动窗口内的灰度值,以完全抽样的方式形成抽样序列,即:
式子中,表示像素点x的滑动窗口形成的抽样序列,表示第1,2个抽 样序列元素值,表示第m个抽样序列元素值;
将所述抽样序列中相邻两个元素作差,得到差分序列,即:
式子中,表示像素点x的滑动窗口所形成的差分序列,表示差分序列 中第1,2,3个差分数值,表示差分序列中第(m-1)个差分数值;
利用K-means聚类算法,将所述差分序列中的数值分为多个类别,计算每个类别的 差分平均值,记为
根据每个类别的所述差分平均值,分别计算所述差分序列中每个差分数值到所有 类别的差分平均值的欧氏距离,即
根据所述欧氏距离,得到每个差分数值的距离特征向量,进而得到距离特征向量 序列,即:
式子中,表示像素点x的滑动窗口形成的距离特征向量序列, 表示第1,2,3个差分数值的距离特征向量,表示第(m-1)个差分数值的距离特征 向量。
在本发明的一些实施例中,所述凹坑特征值计算方法为:
式子中,表示像素点x的凹坑特征值,表示像素点x的摩擦粗糙程度,分别表示像素点x的滑动窗口所形成的差分序列中的最大值和最小值, 表示距离特征向量序列中距离特征向量的数目,表示距离函数,分 别表示距离特征向量序列中第t、第(t-1)个距离特征向量。
在本发明的一些实施例中,根据每个边缘像素点的边缘曲率,基于每个所述滑动窗口,计算每个中心像素点的曲率变化程度,包括:
根据所述待测汽车齿轮灰度图像,利用canny算子边缘检测算法,得到二值化的边缘图像;
利用有限差分算法,求得所述边缘图像中每个边缘像素点的边缘曲率
基于每个所述滑动窗口,计算每个中心像素点的曲率变化程度,即:
式子中,表示像素点x的曲率变化程度,表示像素点x的滑动窗口内边缘像素 点的数目,边缘像素点x的曲率,表示像素点x滑动窗口区域内第y个边缘像素点的曲 率,表示像素点x的滑动窗口内边缘像素点的集合。
在本发明的一些实施例中,结合所述凹坑特征值以及所述曲率变化程度,计算每个像素点的缺陷可能性指数,得到缺陷可能性大小图像,包括:
根据所述曲率变化程度,筛选出疑似外观缺陷区域的特征点;
结合所述凹坑特征值以及所述曲率变化程度,计算每个像素点的缺陷可能性指数,即:
式子中,表示归一化函数,表示像素点x的缺陷可能性指数,表示像素 点x的凹坑特征值,表示像素点x的曲率变化程度;
将每个像素点的所述缺陷可能性指数替换每个像素点的灰度值,得到缺陷可能性大小图像。
在本发明的一些实施例中,根据所述有效匹配率,判断所述待测汽车齿轮是否存在质量缺陷,包括:
判断所述有效匹配率是否高于预设值;
如果是,判断匹配成功,则待测汽车齿轮不存在质量缺陷;
否则,判断匹配失败,则待测汽车齿轮存在质量缺陷。
在本发明的一些实施例中,判断所述待测汽车齿轮是否存在质量缺陷,之后还包括:
若判断不存在质量缺陷,则多轴多通道数控系统继续生产汽车齿轮;
若判断存在质量缺陷,则将所述有效匹配率以及匹配区域反馈至数控系统,由所述数控系统自动识别匹配失败原因。
由以上实施例可见,本申请实施例提供的用于多轴多通道数控系统的在线视觉检测方法,具有的有益效果如下:
根据汽车齿轮碰撞摩擦导致其表面光滑性的变化,计算摩擦粗糙程度,同时结合碰撞产生的凹坑的局部特征,计算凹坑特征值。另外,基于图像边缘曲率,根据汽车齿轮的轮齿区域曲率的变化,识别轮齿区域。由于轮齿区域有较大的可能会产生崩角,结合轮齿区域的特征,构建缺陷可能性指数。其有益效果在于使可能存在缺陷区域的完备性更高。根据缺陷可能性指数,完成对待测汽车齿轮灰度图像中特征点的筛选,同时筛选标准汽车齿轮灰度图像中对应区域的特征点,避免其余无关特征点对检测的影响,使图像匹配的结果对待测汽车齿轮上的缺陷更加灵敏,更加准确地识别用多轴多通道数控系统生产出的汽车齿轮外观缺陷。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种用于多轴多通道数控系统的在线视觉检测方法基本流程示意图;
图2为本申请实施例提供的另一种用于多轴多通道数控系统的在线视觉检测方法基本流程示意图;
图3为本申请实施例提供的一种获得每个像素点的凹坑特征值的方法基本流程示意图;
图4为本申请实施例提供的一种距离特征向量序列获取方法基本流程示意图;
图5为本申请实施例提供的一种每个中心像素点的曲率变化程度获取方法基本流程示意图;
图6为本申请实施例提供的一种缺陷可能性大小图像获取方法基本流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面将结合附图,对本实施例提供的用于多轴多通道数控系统的在线视觉检测方法进行详细介绍。
图1为本申请实施例提供的一种用于多轴多通道数控系统的在线视觉检测方法基本流程示意图,如图1所示,该方法具体包括如下步骤:
S100:采集并处理多轴多通道数控系统生产出的待测汽车齿轮RGB图像和标准汽车齿轮RGB图像,获取待测汽车齿轮灰度图像和标准汽车齿轮灰度图像。
在数控系统中,参数的改变以及刀具的磨损,都会对汽车齿轮的外观质量产生较大的影响。为了保证多轴多通道数控系统的优良性,进而保证生产出的汽车齿轮的质量,需要对多轴多通道数控系统进行在线视觉检测。
首先,利用CCD相机对多轴多通道数控系统生产出的待测汽车齿轮和标准汽车齿轮外观进行俯视拍摄采集,获得待测汽车齿轮RGB图像和标准汽车齿轮RGB图像。拍摄过程中待测汽车齿轮和标准汽车齿轮的摆放方式以及拍摄位姿相同。
为了后续图像匹配的准确性,需要对待测汽车齿轮RGB图像和标准汽车齿轮RGB图像进行去噪处理,用以消除噪声以及部分外界干扰所造成的影响。本发明采用非局部均值滤波对待测汽车齿轮RGB图像和标准汽车齿轮RGB图像进行去噪处理,并将去噪后的RGB图像进行灰度转化,得到待测汽车齿轮灰度图像和标准汽车齿轮灰度图像。非局部均值滤波和图像灰度转化为公知技术,不做多余赘述。
以待测汽车齿轮灰度图像为例进行分析,标准汽车齿轮灰度图像作相关的处理。由于多轴多通道数控系统加工汽车齿轮,一般是多个通道互相合作,共同完成汽车齿轮的加工,所以在多轴多通道数控系统的工作过程中,某个通道轴磨损或者刀具磨损都有极大的可能导致加工出来的汽车齿轮存在较大的外表质量问题。基于以上的分析,汽车齿轮在利用数控系统进行生产时,由于设备的问题,有极大的可能会出现划伤、碰伤以及崩角的外观缺陷。因此,在本发明中,包括分析每个像素点的摩擦粗糙程度、凹坑特征值、曲率变化程度等,进而得到缺陷可能性大小图像。具体步骤如下。
S200:以待测汽车齿轮灰度图像中的每个像素点为中心,设置滑动窗口,利用灰度区域大小矩阵算法提取每个滑动窗口内的连通域。
由于在汽车齿轮生产的过程中,质量完好的汽车齿轮表面较为光滑,而一旦发生摩擦碰伤,有极大的可能会导致局部区域变得粗糙,并且光滑的汽车齿轮表面会形成一个较大的连通域,而粗糙性发生改变会形成不同的连通域。在此,根据待测汽车齿轮灰度图像,以每个像素点为中心,设置15×15的滑动窗口,利用灰度区域大小矩阵算法提取每个滑动窗口内的连通域。灰度区域大小矩阵为公知技术,不做多余赘述。
S300:分析滑动窗口内像素点的灰度值变化,计算获得每个像素点的凹坑特征值。
图3为本申请实施例提供的一种获得每个像素点的凹坑特征值的方法基本流程示意图,如图3所示,分析滑动窗口内像素点的灰度值变化,计算获得每个像素点的凹坑特征值,包括以下步骤:
S301:分析滑动窗口内像素点的灰度值变化,计算每个像素点的摩擦粗糙程度。
根据汽车齿轮碰撞摩擦导致其表面光滑性的变化,基于每个像素点的滑动窗口,分析滑动窗口内由于表面光滑性的变化导致的像素点灰度值变化,计算每个像素点的摩擦粗糙程度,摩擦粗糙程度的计算方法为:
式子中,表示像素点x的摩擦粗糙程度,表示像素点x的滑动窗口中第i个连 通域的粗糙程度,n表示像素点x的滑动窗口内连通域数目,分别表示像素点x的滑动 窗口内第i、第j个连通域所代表的灰度值,表示最大欧式距离函数,表 示像素点x的滑动窗口内第i、第j个连通域内的像素点位置,表示极差归一化函 数,表示像素点x的滑动窗口内的灰度变异系数。
需要说明,表示像素点x的滑动窗口内第i连通域内每一个像 素点与第j连通域内所有像素点之间欧氏距离的最大值,即计算方式是一对多而不是一一 对应。
标准的汽车齿轮由机器打磨的较为光滑,而其粗糙性发生改变会形成不同的连通 域。因此,滑动窗口内的灰度变异系数越大,说明局部的灰度变化越大,由于零件表面粗 糙时灰度产生较大的差异,则摩擦粗糙程度越大,即越有可能为机器摩擦碰伤位置;滑 动窗口内连通域之间的灰度差异越大,连通域数目越多,则摩擦粗糙程度越 大,即越有可能为机器摩擦碰伤位置;滑动窗口内连通域内每一个像素点与其余连通域内 所有像素点之间欧氏距离的最大值越大,且连通域数目越多,说明汽 车齿轮表面粗糙性变化复杂,摩擦程度越大,则摩擦粗糙程度越大,即越有可能为机器 摩擦碰伤位置。
S302:根据滑动窗口,形成抽样序列和差分序列,计算获得差分序列中数值的距离特征向量序列。
在汽车齿轮碰伤区域的中心位置,由于机器碰触的力度较大,极有可能会出现不规则的碰触凹坑,并且凹坑边缘会产生较大的对比度。由此,为了计算碰触凹坑的特征,结合凹坑边缘的不规则性,需要对滑动窗口内的灰度值进行量化,避免图像原始灰度对分析产生的影响。
图4为本申请实施例提供的一种距离特征向量序列获取方法基本流程示意图,如图4所示,根据滑动窗口,形成抽样序列和差分序列,计算获得差分序列中数值的距离特征向量序列,包括以下步骤:
S3021:根据滑动窗口内的灰度值,以完全抽样的方式形成抽样序列。
基于每个15×15的滑动窗口,根据滑动窗口内像素点的灰度值,以完全抽样的方 式形成抽样序列,即:
式子中,表示像素点x的滑动窗口形成的抽样序列,表示第1,2个抽 样序列元素值,表示第m个抽样序列元素值。
S3022:将抽样序列中相邻两个元素作差,得到差分序列。
根据步骤S3021所得的抽样序列,相邻两个元素值作差,即,…,以此得到差分序列,即:
式子中,表示像素点x的滑动窗口所形成的差分序列,表示差分序列 中第1,2,3个差分数值,表示差分序列中第(m-1)个差分数值。差分序列的长度比抽 样序列的长度减一。
S3023:利用K-means聚类算法,将差分序列中的数值分为多个类别,计算每个类别的差分平均值。
因为是通过相邻元素作差得到差分序列,所以差分序列中差分数值排布的混乱程 度一定程度上可以反映碰撞凹坑边缘的不规则性。另外,对差分数值进行分析,当滑动窗口 位于碰撞凹坑区域上,窗口内的灰度值分布较为离散,那么计算出来差分数值的分布也会 较为分散。在此,根据所获差分序列,利用K-means聚类算法,参数K取值为5,将差分序列中 的数值分为5个类别,计算每个类别的差分平均值,记为,s=1,2,3,4,5。
S3024:根据每个类别的差分平均值,分别计算差分序列中每个差分数值到所有类别的差分平均值的欧氏距离。
根据所获的每个类别的差分平均值,分别计算差分序列中每个差分数值到所有类 别的差分平均值的欧氏距离,即,其中为欧氏距离 函数。
S3025:根据欧氏距离,得到每个差分数值的距离特征向量,进而得到距离特征向量序列。
根据欧氏距离,得到每个差分数值的距离特征向量,进而得到距离特征向量序列,即:
式子中,表示像素点x的滑动窗口形成的距离特征向量序列, 表示第1,2,3个差分数值的距离特征向量,表示第(m-1)个差分数值的距离特征 向量。
S303:结合摩擦粗糙程度、差分序列和距离特征向量序列,计算每个像素点的凹坑特征值。
由于差分序列中差分数值排布的混乱程度一定程度上可以反映边缘的不规则性, 而相邻距离特征向量之间的相似性变化一定程度上也可以反映凹坑边缘不规则的变化,并 且差分序列中的极值一定程度上反映滑动窗口内凹坑边缘上对比度的关系。同时,摩擦粗 糙程度越大,越有可能形成碰撞凹坑。由此,结合摩擦粗糙程度、差分序列和距离特征向量 序列,计算每个像素点的凹坑特征值,即:
式子中,表示像素点x的凹坑特征值,表示像素点x的摩擦粗糙程度,分别表示像素点x的滑动窗口所形成的差分序列中的最大值和最小值, 表示距离特征向量序列中距离特征向量的数目,表示距离函数,分 别表示距离特征向量序列中第t、第(t-1)个距离特征向量。
像素点x的摩擦粗糙程度越大,说明越具有汽车齿轮摩擦碰伤的特征,则凹坑 特征值越大,即越有可能为碰触凹坑区域。像素点x的滑动窗口所形成的差分序列中的 极差越大,一定程度上说明此时滑动窗口内的对比度越大,即越能体现 凹坑边缘的对比度较大的特点,则凹坑特征值越大,即越有可能为碰触凹坑区域。同时, 距离特征向量序列中第t个距离特征向量与第(t-1)个距离特征向量之间的距离越大, 说明距离特征向量间的相似性越小,一定程度上越能体现凹坑边缘不规则的特征,则凹坑 特征值越大,即越有可能为碰触凹坑区域。
S400:根据每个边缘像素点的边缘曲率,基于每个滑动窗口,计算每个中心像素点的曲率变化程度。
汽车齿轮有较大的可能性会产生崩角,因此需要对其进行监测分析。汽车齿轮中的轮齿的边缘上的曲率变化较大,而其他内部的边缘往往呈现规则的圆形,即曲率变化较小,几乎为0。
图5为本申请实施例提供的一种每个中心像素点的曲率变化程度获取方法基本流程示意图,如图5所示,根据每个边缘像素点的边缘曲率,基于每个滑动窗口,计算每个中心像素点的曲率变化程度,包括以下步骤:
S401:根据待测汽车齿轮灰度图像,利用canny算子边缘检测算法,得到二值化的边缘图像。
S402:利用有限差分算法,求得边缘图像中每个边缘像素点的边缘曲率。
canny算子和有限差分算法为公知技术,不做多余赘述。
S403:基于每个滑动窗口,计算每个中心像素点的曲率变化程度。
基于每个15×15的滑动窗口,计算每个中心像素点的曲率变化程度,即:
式子中,表示像素点x的曲率变化程度,表示像素点x的滑动窗口内边缘像素 点的数目,边缘像素点x的曲率,表示像素点x滑动窗口区域内第y个边缘像素点的曲 率,表示像素点x的滑动窗口内边缘像素点的集合。其中,边缘像素点的集合获取方法为 通过canny边缘检测得到所有的边缘,即边缘像素点,进而可以得到每个滑动窗口内边缘像 素点的集合,具体不做多余赘述。
S500:结合凹坑特征值以及曲率变化程度,计算每个像素点的缺陷可能性指数,得到缺陷可能性大小图像。
图6为本申请实施例提供的一种缺陷可能性大小图像获取方法基本流程示意图,如图6所示,结合凹坑特征值以及曲率变化程度,计算每个像素点的缺陷可能性指数,得到缺陷可能性大小图像,包括以下步骤:
S501:根据曲率变化程度,筛选出疑似外观缺陷区域的特征点。
通过步骤S400获得每个像素点的曲率变化程度,对不属于边缘的像素点,其曲率变化程度为1;对属于边缘的像素点,由于内部的边缘往往呈现规则的圆形,曲率反映曲线的弯曲程度,那么滑动窗口在内部边缘时,曲率变化程度趋近于1,即相对较小;而在轮齿区域边缘时,由于其边缘上曲率发生较大的变化,则曲率变化程度越大,即越具有轮齿区域的特征。因此,根据曲率变化程度,筛选出疑似外观缺陷区域的特征点。
S502:结合凹坑特征值以及曲率变化程度,计算每个像素点的缺陷可能性指数。
结合凹坑特征值以及曲率变化程度,计算每个像素点的缺陷可能性指数,即:
式子中,表示归一化函数,表示像素点x的缺陷可能性指数,表示像素 点x的凹坑特征值,表示像素点x的曲率变化程度。
凹坑特征值越大,越具有摩擦碰伤以及碰触凹陷的特征,即越有可能发生缺陷, 则缺陷可能性指数越大。同时,曲率变化程度越大,越具有汽车齿轮上轮齿区域的特 征,越有可能发生崩角的缺陷,则缺陷可能性指数越大。
S503:将每个像素点的缺陷可能性指数替换每个像素点的灰度值,得到缺陷可能性大小图像。
步骤S502获得待测汽车齿轮灰度图像上每个像素点的缺陷可能性指数,然后将该缺陷可能性指数替换每个像素点的灰度值,遍历图像中所有的像素点,进行替换,得到缺陷可能性大小图像。
S600:基于缺陷可能性大小图像,利用大津阈值分割算法,分割获得可能存在缺陷区域,保留可能存在缺陷区域的第一特征点,并保存标准汽车齿轮灰度图像中对应存在缺陷区域位置处的第二特征点。
由于图像有较大可能存在缺陷区域的缺陷可能性指数较大,而其他区域较小,在此根据所得的缺陷可能性大小图像,利用大津阈值分割算法,将高于阈值的部分区域视为有极大可能存在缺陷的区域,分割获得可能存在缺陷区域,大津阈值分割算法为公知技术,不做多余赘述。
本发明做图像匹配的目的主要是识别用多轴多通道数控系统生产出的汽车齿轮外观缺陷,所以需要筛选疑似外观缺陷区域的特征点,摒弃传统SIFT筛选特征点的方式。基于此,保留可能存在缺陷的区域内的第一特征点,另一幅标准汽车齿轮灰度图像保存相同位置区域内的第二特征点。至此,完成特征点的筛选。
S700:利用SIFT图像匹配算法,将第一特征点和第二特征点之间进行图像匹配,获得有效匹配率。
根据步骤S600中筛选获得的待测汽车齿轮灰度图像和标准汽车齿轮灰度图像中的第一特征点和第二特征点,利用传统的SIFT图像匹配算法,进行特征点方向的分配以及生成特征点描述子,将第一特征点和第二特征点之间进行图像匹配。SIFT算法为公知技术,不做多余赘述。通过图像匹配,得到待匹配特征点数目以及匹配成功特征点数目,在此计算有效匹配率P:
式子中,表示有效匹配率,表示匹配成功特征点数目,表示待匹配特征点数 目。
传统的SIFT图像匹配算法,匹配对象是特征点描述子,其具备良好的优良性与可靠性。但是,该算法利用高斯差分金字塔将每一个点与同尺寸和同组相邻尺寸上的点进行比较,将其极值点作为初始特征点,而利用SIFT算法得到的初始特征点遍布整幅图像,往往需要对初始特征点进行筛选,传统的特征点筛选方式是基于对比度的大小,往往容易将图像中需要的细节特征点剔除。通过以上方法筛选获得的特征点避免了以上问题的发生。
S800:根据有效匹配率,判断待测汽车齿轮是否存在质量缺陷。
根据有效匹配率,判断待测汽车齿轮是否存在质量缺陷,具体可以为,判断有效匹配率是否高于预设值;如果是,判断匹配成功,则待测汽车齿轮不存在质量缺陷;否则,判断匹配失败,则待测汽车齿轮存在质量缺陷。进一步的,预设值可以设置为70%,即有效匹配率高于70%,认为匹配成功,即待测汽车齿轮不存在质量缺陷;否则,认为匹配失败,即待测汽车齿轮存在质量缺陷,识别和标识待测汽车齿轮存在质量缺陷的区域。
图2为本申请实施例提供的另一种用于多轴多通道数控系统的在线视觉检测方法基本流程示意图,如图2所示,判断待测汽车齿轮是否存在质量缺陷之后,还包括以下步骤S900和步骤S1000。
S900:若判断不存在质量缺陷,则多轴多通道数控系统继续生产汽车齿轮。
S1000:若判断存在质量缺陷,则将有效匹配率以及匹配区域反馈至数控系统,由数控系统自动识别匹配失败原因。
根据图像匹配的结果,若图像匹配成功,说明多轴多通道数控系统可以继续生产汽车齿轮;若匹配不成功,将有效匹配率以及匹配区域反馈至数控系统,由系统自动识别检测区域的模型参数是否正常,同时由系统确认缺陷区域所加工的机械刀具,检测是否发生较大的磨损导致无法生产工作。由此,完成用于多轴多通道数控系统的在线视觉检测。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
需要说明的是,除非另有规定和限定,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。另外,本文使用的术语“和\或”包括一个或多个相关的所列项目的任一的和所有的组合。
本领域技术人员在考虑说明书及实践这里发明的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种用于多轴多通道数控系统的在线视觉检测方法,其特征在于,所述方法包括:
采集并处理多轴多通道数控系统生产出的待测汽车齿轮RGB图像和标准汽车齿轮RGB图像,获取待测汽车齿轮灰度图像和标准汽车齿轮灰度图像;
以所述待测汽车齿轮灰度图像中的每个像素点为中心,设置滑动窗口,利用灰度区域大小矩阵算法提取每个所述滑动窗口内的连通域;
分析所述滑动窗口内像素点的灰度值变化,计算获得每个像素点的凹坑特征值;
根据每个边缘像素点的边缘曲率,基于每个所述滑动窗口,计算每个中心像素点的曲率变化程度;
结合所述凹坑特征值以及所述曲率变化程度,计算每个像素点的缺陷可能性指数,得到缺陷可能性大小图像;
基于所述缺陷可能性大小图像,利用大津阈值分割算法,分割获得可能存在缺陷区域,保留可能存在缺陷区域的第一特征点,并保存所述标准汽车齿轮灰度图像中对应所述存在缺陷区域位置处的第二特征点;
利用SIFT图像匹配算法,将所述第一特征点和所述第二特征点之间进行图像匹配,获得有效匹配率;
根据所述有效匹配率,判断所述待测汽车齿轮是否存在质量缺陷。
2.根据权利要求1所述的用于多轴多通道数控系统的在线视觉检测方法,其特征在于,分析所述滑动窗口内像素点的灰度值变化,计算获得每个像素点的凹坑特征值,包括:
分析所述滑动窗口内像素点的灰度值变化,计算每个像素点的摩擦粗糙程度;
根据所述滑动窗口,形成抽样序列和差分序列,计算获得所述差分序列中数值的距离特征向量序列;
结合所述摩擦粗糙程度、所述差分序列和所述距离特征向量序列,计算每个像素点的凹坑特征值。
3.根据权利要求2所述的用于多轴多通道数控系统的在线视觉检测方法,其特征在于,所述摩擦粗糙程度的计算方法为:
式子中,表示像素点x的摩擦粗糙程度,/>表示像素点x的滑动窗口中第i个连通域的粗糙程度,n表示像素点x的滑动窗口内连通域数目,/>和/>分别表示像素点x的滑动窗口内第i、第j个连通域所代表的灰度值,/>表示最大欧式距离函数,/>和/>表示像素点x的滑动窗口内第i、第j个连通域内的像素点位置,/>表示极差归一化函数,表示像素点x的滑动窗口内的灰度变异系数。
4.根据权利要求2所述的用于多轴多通道数控系统的在线视觉检测方法,其特征在于,根据所述滑动窗口,形成抽样序列和差分序列,计算获得所述差分序列中数值的距离特征向量序列,包括:
根据所述滑动窗口内的灰度值,以完全抽样的方式形成抽样序列,即:
式子中,表示像素点x的滑动窗口形成的抽样序列,/>表示第1,2/>个抽样序列元素值,/>表示第m个抽样序列元素值;
将所述抽样序列中相邻两个元素作差,得到差分序列/>,即:
式子中,表示像素点x的滑动窗口所形成的差分序列,/>表示差分序列中第1,2,3/>个差分数值,/>表示差分序列中第(m-1)个差分数值;
利用K-means聚类算法,将所述差分序列中的数值分为多个类别,计算每个类别的差分平均值,记为
根据每个类别的所述差分平均值,分别计算所述差分序列中每个差分数值到所有类别的差分平均值的欧氏距离,即
根据所述欧氏距离,得到每个差分数值的距离特征向量,进而得到距离特征向量序列,即:
式子中,表示像素点x的滑动窗口形成的距离特征向量序列,/>表示第1,2,3/>个差分数值的距离特征向量,/>表示第(m-1)个差分数值的距离特征向量。
5.根据权利要求2所述的用于多轴多通道数控系统的在线视觉检测方法,其特征在于,所述凹坑特征值计算方法为:
式子中,表示像素点x的凹坑特征值,/>表示像素点x的摩擦粗糙程度,/>分别表示像素点x的滑动窗口所形成的差分序列中的最大值和最小值,/>表示距离特征向量序列中距离特征向量的数目,/>表示/>距离函数,/>和/>分别表示距离特征向量序列中第t、第(t-1)个距离特征向量。
6.根据权利要求1所述的用于多轴多通道数控系统的在线视觉检测方法,其特征在于,根据每个边缘像素点的边缘曲率,基于每个所述滑动窗口,计算每个中心像素点的曲率变化程度,包括:
根据所述待测汽车齿轮灰度图像,利用canny算子边缘检测算法,得到二值化的边缘图像;
利用有限差分算法,求得所述边缘图像中每个边缘像素点的边缘曲率
基于每个所述滑动窗口,计算每个中心像素点的曲率变化程度,即:
式子中,表示像素点x的曲率变化程度,/>表示像素点x的滑动窗口内边缘像素点的数目,/>边缘像素点x的曲率,/>表示像素点x滑动窗口区域内第y个边缘像素点的曲率,表示像素点x的滑动窗口内边缘像素点的集合。
7.根据权利要求1所述的用于多轴多通道数控系统的在线视觉检测方法,其特征在于,结合所述凹坑特征值以及所述曲率变化程度,计算每个像素点的缺陷可能性指数,得到缺陷可能性大小图像,包括:
根据所述曲率变化程度,筛选出疑似外观缺陷区域的特征点;
结合所述凹坑特征值以及所述曲率变化程度,计算每个像素点的缺陷可能性指数,即:
式子中,表示归一化函数,/>表示像素点x的缺陷可能性指数,/>表示像素点x的凹坑特征值,/>表示像素点x的曲率变化程度;
将每个像素点的所述缺陷可能性指数替换每个像素点的灰度值,得到缺陷可能性大小图像。
8.根据权利要求1所述的用于多轴多通道数控系统的在线视觉检测方法,其特征在于,根据所述有效匹配率,判断所述待测汽车齿轮是否存在质量缺陷,包括:
判断所述有效匹配率是否高于预设值;
如果是,判断匹配成功,则待测汽车齿轮不存在质量缺陷;
否则,判断匹配失败,则待测汽车齿轮存在质量缺陷。
9.根据权利要求1或8所述的用于多轴多通道数控系统的在线视觉检测方法,其特征在于,判断所述待测汽车齿轮是否存在质量缺陷,之后还包括:
若判断不存在质量缺陷,则多轴多通道数控系统继续生产汽车齿轮;
若判断存在质量缺陷,则将所述有效匹配率以及匹配区域反馈至数控系统,由所述数控系统自动识别匹配失败原因。
CN202310918990.6A 2023-07-26 2023-07-26 用于多轴多通道数控系统的在线视觉检测方法 Active CN116630329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310918990.6A CN116630329B (zh) 2023-07-26 2023-07-26 用于多轴多通道数控系统的在线视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310918990.6A CN116630329B (zh) 2023-07-26 2023-07-26 用于多轴多通道数控系统的在线视觉检测方法

Publications (2)

Publication Number Publication Date
CN116630329A true CN116630329A (zh) 2023-08-22
CN116630329B CN116630329B (zh) 2023-09-29

Family

ID=87597707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310918990.6A Active CN116630329B (zh) 2023-07-26 2023-07-26 用于多轴多通道数控系统的在线视觉检测方法

Country Status (1)

Country Link
CN (1) CN116630329B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218169A (zh) * 2023-11-09 2023-12-12 北京科技大学 一种融合深度信息的图像配准方法和装置
CN117495852A (zh) * 2023-12-29 2024-02-02 天津中荣印刷科技有限公司 一种基于图像分析的数字印刷质量检测方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400399A (zh) * 2013-08-07 2013-11-20 长春工业大学 一种基于空间矩的线结构光中心提取方法
JP2014190805A (ja) * 2013-03-27 2014-10-06 Kobe Steel Ltd タイヤ形状検査装置のデータ処理方法、タイヤ形状検査装置のデータ処理プログラム、及び、タイヤ形状検査装置のデータ処理装置
CN104933709A (zh) * 2015-06-04 2015-09-23 西安理工大学 基于先验信息的随机游走ct肺组织图像自动分割方法
CN105809628A (zh) * 2014-12-30 2016-07-27 南京大目信息科技有限公司 基于局部曲率流分析的胶囊图像滤波方法
CN110261390A (zh) * 2019-06-13 2019-09-20 深圳市智能机器人研究院 一种漫反射结构光的表面缺陷光学检测系统和方法
CN112150441A (zh) * 2020-09-24 2020-12-29 菲特(天津)检测技术有限公司 一种基于机器视觉的光滑漆面表面缺陷检测方法
CN112326671A (zh) * 2020-11-05 2021-02-05 菲特(天津)检测技术有限公司 一种基于机器视觉的金属板材表面缺陷检测方法
CN112581434A (zh) * 2020-12-07 2021-03-30 无锡智创云图信息科技有限公司 一种用于产品缺陷检测的图像识别方法
CN114862862A (zh) * 2022-07-11 2022-08-05 江苏大田阀门制造有限公司 一种基于图像处理的泵体冷隔缺陷识别方法与系统
CN114913177A (zh) * 2022-07-19 2022-08-16 山东聊城富锋汽车部件有限公司 一种基于霍夫圆的汽车零部件缺陷检测方法
CN114972892A (zh) * 2022-07-12 2022-08-30 山东嘉通专用汽车制造有限公司 基于计算机视觉的汽车刹车片缺陷分类方法
CN115351598A (zh) * 2022-10-17 2022-11-18 南通钜德智能科技有限公司 一种数控机床轴承检测方法
CN116309671A (zh) * 2023-05-23 2023-06-23 浩珂科技有限公司 一种土工合成织物质量检测系统
WO2023134789A1 (zh) * 2022-10-25 2023-07-20 苏州德斯米尔智能科技有限公司 一种用于带式输送设备的自动检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014190805A (ja) * 2013-03-27 2014-10-06 Kobe Steel Ltd タイヤ形状検査装置のデータ処理方法、タイヤ形状検査装置のデータ処理プログラム、及び、タイヤ形状検査装置のデータ処理装置
CN103400399A (zh) * 2013-08-07 2013-11-20 长春工业大学 一种基于空间矩的线结构光中心提取方法
CN105809628A (zh) * 2014-12-30 2016-07-27 南京大目信息科技有限公司 基于局部曲率流分析的胶囊图像滤波方法
CN104933709A (zh) * 2015-06-04 2015-09-23 西安理工大学 基于先验信息的随机游走ct肺组织图像自动分割方法
CN110261390A (zh) * 2019-06-13 2019-09-20 深圳市智能机器人研究院 一种漫反射结构光的表面缺陷光学检测系统和方法
CN112150441A (zh) * 2020-09-24 2020-12-29 菲特(天津)检测技术有限公司 一种基于机器视觉的光滑漆面表面缺陷检测方法
CN112326671A (zh) * 2020-11-05 2021-02-05 菲特(天津)检测技术有限公司 一种基于机器视觉的金属板材表面缺陷检测方法
CN112581434A (zh) * 2020-12-07 2021-03-30 无锡智创云图信息科技有限公司 一种用于产品缺陷检测的图像识别方法
CN114862862A (zh) * 2022-07-11 2022-08-05 江苏大田阀门制造有限公司 一种基于图像处理的泵体冷隔缺陷识别方法与系统
CN114972892A (zh) * 2022-07-12 2022-08-30 山东嘉通专用汽车制造有限公司 基于计算机视觉的汽车刹车片缺陷分类方法
CN114913177A (zh) * 2022-07-19 2022-08-16 山东聊城富锋汽车部件有限公司 一种基于霍夫圆的汽车零部件缺陷检测方法
CN115351598A (zh) * 2022-10-17 2022-11-18 南通钜德智能科技有限公司 一种数控机床轴承检测方法
WO2023134789A1 (zh) * 2022-10-25 2023-07-20 苏州德斯米尔智能科技有限公司 一种用于带式输送设备的自动检测方法
CN116309671A (zh) * 2023-05-23 2023-06-23 浩珂科技有限公司 一种土工合成织物质量检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN LI等: "Research on Surface Defect Detection Technology Based on the Zonal and Time-Sharing Computational Imaging", IEEE ACCESS, vol. 10, pages 79574 *
任慧等: "基于视差信息的立体图像主动闭合轮廓提取算法研究", 电子与信息学报, vol. 40, no. 2, pages 282 - 288 *
杨亚;陶红艳;余成波;: "SURF与灰度差分在小模数塑料齿轮缺陷检测中的研究与应用", 机械传动, no. 05, pages 162 - 166 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218169A (zh) * 2023-11-09 2023-12-12 北京科技大学 一种融合深度信息的图像配准方法和装置
CN117218169B (zh) * 2023-11-09 2024-02-23 北京科技大学 一种融合深度信息的图像配准方法和装置
CN117495852A (zh) * 2023-12-29 2024-02-02 天津中荣印刷科技有限公司 一种基于图像分析的数字印刷质量检测方法

Also Published As

Publication number Publication date
CN116630329B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN116630329B (zh) 用于多轴多通道数控系统的在线视觉检测方法
CN114842017B (zh) 一种hdmi线缆表面质量检测方法及系统
CN116721106B (zh) 一种基于图像处理的型材瑕疵视觉检测方法
CN115170576B (zh) 基于机器视觉的铝管表面缺陷检测方法
CN116168026B (zh) 基于计算机视觉的水质检测方法及系统
CN115063409B (zh) 一种机械刀具表面材质检测方法及系统
CN110689524B (zh) 一种无参考在线图像清晰度评价方法与系统
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN114445386B (zh) 一种基于人工智能的pvc管件质量检测评估方法及系统
CN116777907A (zh) 一种钣金件质量检测方法
CN115330799B (zh) 一种仪表自动化故障诊断方法
CN115035113B (zh) 基于x射线的手机数据线生产缺陷无损检测方法
CN116993742B (zh) 基于机器视觉的镍合金轧制缺陷检测方法
CN115471503B (zh) 用于数控剖锭机的设备异常检测方法
CN115684176A (zh) 一种薄膜表面缺陷在线视觉检测系统
CN113870202A (zh) 一种基于深度学习技术的远端芯片缺陷检测系统
CN116485779A (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN116740044B (zh) 基于视觉检测与控制的铜管铣面加工方法及系统
CN115564705B (zh) 用于精密标准件的毛刺检测精度增强方法及系统
CN115294119B (zh) 基于机器视觉的梅花螺纹头部内槽污渍检测方法
CN114972353A (zh) 一种金属高压特种管件质量评估方法及系统
CN114548250A (zh) 一种基于数据分析的手机外观检测方法及装置
CN112150434A (zh) 一种轮胎缺陷的检测方法、装置、设备及存储介质
CN117474916B (zh) 一种图像检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant