CN116309602A - 基于机器视觉的数控钻铣床工作状态检测方法 - Google Patents

基于机器视觉的数控钻铣床工作状态检测方法 Download PDF

Info

Publication number
CN116309602A
CN116309602A CN202310587006.2A CN202310587006A CN116309602A CN 116309602 A CN116309602 A CN 116309602A CN 202310587006 A CN202310587006 A CN 202310587006A CN 116309602 A CN116309602 A CN 116309602A
Authority
CN
China
Prior art keywords
gradient
suspected
grinding
area
tool mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310587006.2A
Other languages
English (en)
Other versions
CN116309602B (zh
Inventor
孙庆海
韩纪光
韩纪强
牛作文
郭书超
刘恩喜
赵延良
胡东阳
刘营平
李振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Zhangli Machinery Co ltd
Original Assignee
Jinan Zhangli Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Zhangli Machinery Co ltd filed Critical Jinan Zhangli Machinery Co ltd
Priority to CN202310587006.2A priority Critical patent/CN116309602B/zh
Publication of CN116309602A publication Critical patent/CN116309602A/zh
Application granted granted Critical
Publication of CN116309602B publication Critical patent/CN116309602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请涉及一种基于机器视觉的数控钻铣床工作状态检测方法，通过判断数控钻铣床工作时加工的工件表面磨削情况对数控钻铣床工作的状态进行评价，从像素点的梯度方向特征出发，获取工件表面对应的各像素点的梯度分布直方图，根据梯度分布直方图得到梯度特征矩阵，得到突出各像素点位置处形态表征的特征的特征提取结果；其次，根据各像素点提取的梯度特征矩阵之间的相似度对图像进行区域划分，得到工件表面的各个损伤位置，这些损伤位置包含正常磨削区域和疑似异常区域；再根据正常磨损出现的损伤的方向一致性和直线形态特征对损伤位置进行评价，根据评价结果判断是否存在异常损伤并对数控钻铣床工作状态进行判断，使判断更为精确。

Description

基于机器视觉的数控钻铣床工作状态检测方法
技术领域
本申请涉及图像数据处理技术领域，特别是涉及一种基于机器视觉的数控钻铣床工作状态检测方法。
背景技术
为达到设备日益增长的精度要求，人们对机械零件的加工精度要求越来越高，普通机床或专用化程度高的自动化机床已不能达到这些要求，综合应用了电子计算机、自动控制、精密测量和新型机械结构等多方面的技术成果的数控机床应运而生。数控钻铣床在使用过程中，通过铣刀对金属材料进行切削、摩擦后得到目标零件的形状，所以数控钻铣床具有适应性强、加工精度高、加工质量稳定和生产效率高等优点。但是，若铣刀在使用的过程中出现磨损，就会在加工过程中损坏金属零件，导致加工精度不足，影响零件后续的使用。所以通常会在零件加工完成后对零件表面的加工质量进行检测，以达到对数控钻铣床工作状态的检测。
现有的对数控钻铣床工作状态检测的方法一般使用神经网络，检测效果过于依赖大量训练集和人工标注的标签，难以脱离大量人工标注要求，且无法根据零件表面的状态对数控钻铣床工作状态进行检测。
发明内容
基于此，有必要针对现有的对数控钻铣床工作状态检测的方法一般使用神经网络，检测效果过于依赖大量训练集和人工标注的标签，难以脱离大量人工标注要求，且无法根据零件表面的状态对数控钻铣床工作状态进行检测的问题，提供一种基于机器视觉的数控钻铣床工作状态检测方法。
本申请提供一种基于机器视觉的数控钻铣床工作状态检测方法，包括：
在对工件执行一个处理工序后，获取工件表面图像并对工件表面图像进行预处理，得到工件表面灰度图像，提取工件表面灰度图像中经所述处理工序加工后的表面区域，得到磨削处理图；
提取磨削处理图中每一个像素点的梯度特征，分析不同像素点之间梯度特征的差异，将磨削处理图划分为多个工件表面区域和多个疑似刀痕区；
依据各个疑似刀痕区内各像素点间的差异程度和各个疑似刀痕区之间的方向一致性，对数控钻铣床工作状态进行判断，得到数控钻铣床工作状态的判断结果；
每当对工件执行一个处理工序后，均对应执行一次所述得到数控钻铣床工作状态的判断结果的过程。
本申请涉及一种基于机器视觉的数控钻铣床工作状态检测方法，通过判断数控钻铣床工作时加工的工件表面磨削情况对数控钻铣床工作的状态进行评价，从像素点的梯度方向特征出发，获取工件表面对应的各像素点的梯度分布直方图，根据梯度分布直方图得到梯度特征矩阵，得到突出各像素点位置处形态表征的特征的特征提取结果；其次，根据各像素点提取的梯度特征矩阵之间的相似度对图像进行区域划分，得到工件表面的各个损伤位置，这些损伤位置包含正常磨削区域和疑似异常区域；再根据正常磨损出现的损伤的方向一致性和直线形态特征对损伤位置进行评价，根据评价结果判断是否存在异常损伤并对数控钻铣床工作状态进行判断，使判断更为精确。
附图说明
图1为本申请一实施例提供的基于机器视觉的数控钻铣床工作状态检测方法的流程示意图。
图2为运用本申请一实施例提供的基于机器视觉的数控钻铣床工作状态检测方法得到的工件表面灰度图像的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种基于机器视觉的数控钻铣床工作状态检测方法。需要说明的是，本申请提供的基于机器视觉的数控钻铣床工作状态检测方法的应用于任何种类的数控钻铣床。
如图1所示，在本申请的一实施例中，所述基于机器视觉的数控钻铣床工作状态检测方法包括如下S100至S400：
S100，在对工件执行一个处理工序后，获取工件表面图像并对工件表面图像进行预处理，得到工件表面灰度图像，提取工件表面灰度图像中经所述处理工序加工后的表面区域，得到磨削处理图。
S200，提取磨削处理图中每一个像素点的梯度特征，分析不同像素点之间梯度特征的差异，将磨削处理图划分为多个工件表面区域和多个疑似刀痕区。
S300，依据各个疑似刀痕区内各像素点间的差异程度和各个疑似刀痕区之间的方向一致性，对数控钻铣床工作状态进行判断，得到数控钻铣床工作状态的判断结果。
S400，返回所述S100。
具体地，超像素分割是对图像中的每个像素加标签的一个过程，这一过程使得具有相同标签的像素具有某种共同视觉特性。超像素分割的结果是图像上子区域的集合（这些子区域的全体覆盖了整个图像），或是从图像中提取的轮廓线的集合（例如边缘检测）。一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。
高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。
使用高斯滤波去噪主要有以下优点：
1、提高图像质量。2、方便后续处理。3、增强视觉效果。4、降低数据量。
本申请涉及一种基于机器视觉的数控钻铣床工作状态检测方法，通过判断数控钻铣床工作时加工的工件表面磨削情况对数控钻铣床工作的状态进行评价，从像素点的梯度方向特征出发，获取工件表面对应的各像素点的梯度分布直方图，根据梯度分布直方图得到梯度特征矩阵，得到突出各像素点位置处形态表征的特征的特征提取结果。其次，根据各像素点提取的梯度特征矩阵之间的相似度对图像进行区域划分，得到工件表面的各个损伤位置，这些损伤位置包含正常磨削区域和疑似异常区域。再根据正常磨损出现的损伤的方向一致性和直线形态特征对损伤位置进行评价，根据评价结果判断是否存在异常损伤并对数控钻铣床工作状态进行判断，使判断更为精确。
在本申请的一实施例中，所述S100包括如下S110至S140：
S110，在对工件执行一个处理工序后，获取工件被处理面的图像，记为工件表面图像。
S120，将工件表面图像转化为灰度图像，得到工件表面灰度图像。
S130，对工件表面灰度图像进行高斯滤波去噪。
S140，基于GrabCut算法对高斯滤波去噪后的工件表面灰度图像进行分割，提取工件表面灰度图像中经所述处理工序加工后的表面区域，将所述经所述处理工序加工后的表面区域的图像作为磨削处理图。
具体地，S110中获取工件被处理面的图像时，可以使用到工业相机和LED灯拍摄，工业相机可以设置于数控钻铣床上可自由移动的机械臂末端，工业相机使用显微镜头，在显微镜头上端环绕安装有圆环形LED灯。
本实施例中，通过工业相机协同LED灯在铣刀对工件进行处理的每个工序完成后拍摄工件被处理面的图像，将获取的图像记为工件表面图像，工件表面图像为RGB图像，将工件表面图像转化为工件表面灰度图像，并使用高斯滤波对工件表面灰度图像进行去噪，去噪能够减少或消除图像中的噪声，使得图像更加干净和清晰，便于后续的处理和分析。
S140中，基于GrabCut算法将去噪后的工件表面灰度图像分割为多个区域，将这些区域中包含处理工序加工后的表面区域的图像记为磨削处理图，磨削处理图显示了工件表面经过上一工序磨削处理后的状况，使用不同粗糙程度的铣刀处理后工件表面的灰度图像表征也各不相同，沿铣刀磨削的方向出现重复规则的痕迹，如图2所示，为粗糙程度Ra取值不同、且加工方式不同的情况下所对应得到的不同的磨削处理图。
在本申请的一实施例中，所述S200包括：
S210，利用超像素分割将磨削处理图划分为多个磨削痕迹区域，不同磨削痕迹区域的纹理特征不同。
S220，在每一个磨削痕迹区域中，分析不同像素点之间梯度特征的差异，将每一个磨削痕迹区域划分为一个工件表面区域和多个疑似刀痕区。
具体地，为对工件表面灰度图像中这些重复出现的痕迹进行评价，判断磨削效果的一致性强弱、检查是否存在由于铣刀磨损导致的工件表面损伤，本实施例使用超像素分割将工件表面灰度图像划分为n个区域，每个区域对应工件表面一块纹理较为均匀一致的部分，记为一个磨削痕迹区域。可选地，n可以取50。
超像素分割指的是将数字图像细分为多个图像子区域（像素的集合）的过程。超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。超像素分割的结果是图像上子区域的集合（这些子区域的全体覆盖了整个图像），或是从图像中提取的轮廓线的集合（例如边缘检测）。一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。
本实施例中，当n=50时，此时磨削处理图被划分为磨削痕迹区域N1、磨削痕迹区域N2、...、磨削痕迹区域N50。
根据磨削痕迹区域N1中的像素点之间的梯度特征差异将磨削痕迹区域N1划分为工作表面区域W1和疑似刀痕区Z11、Z12、...、Z1x，x为磨削痕迹区域N1中疑似刀痕区的个数。
根据磨削痕迹区域N2中的像素点之间的梯度特征差异将磨削痕迹区域N2划分为工作表面区域W2和疑似刀痕区Z21、Z22、...、Z2y，y为磨削痕迹区域N2中疑似刀痕区的个数。
......
根据磨削痕迹区域N50中的像素点之间的梯度特征差异将磨削痕迹区域N50划分为工作表面区域W50和疑似刀痕区Z501、Z502、...、Z50u，u为磨削痕迹区域N50中疑似刀痕区的个数。
在本申请的一实施例中，所述S220包括如下S2221至S228：
S221，选取一个磨削痕迹区域。
S222，获取磨削痕迹区域内每个像素点的梯度特征矩阵。
S223，依据每个像素点的梯度特征矩阵获得该像素点与其他各像素点之间的梯度差异。
S224，根据各像素点之间的梯度差异将磨削痕迹区域内的所有像素点使用DBSCAN算法进行聚类，得到多个簇。
S225，获取每个簇内包含的各个像素点的位置，依据每个簇内包含的各个像素点的位置建立每个簇的二值图。
S226，对每个二值图进行连通域分析，得到多个连通域。
S227，将包含像素点数量最多的连通域作为工件表面区域，将其他连通域均作为疑似刀痕区。
S228，返回S221，直至所有磨削痕迹区域均被划分完毕。
具体地，S224中，由于磨削痕迹区域内每个像素点与其他各个像素点均有一个对应的梯度差异值，所以在其他各个像素点对应的梯度差异值进行聚类时，像素点可能会被划分到不同的簇中，计算该像素点被划分到各个簇中的次数，记被划分次数最多的簇为该像素点对应的簇。
本实施例中，当n=50时，则此时的磨削痕迹区域分别为N1，N2，...，N50，以磨削痕迹区域N1为例，磨削痕迹区域N1内包含像素点p1，p2，...，pm，m为磨削痕迹区域N1包含的像素点总数，获取磨削痕迹区域N1每个像素点对应的梯度特征矩阵。
依据公式2计算每个像素点与其他各像素点之间的梯度差异值，p1与其他像素点之间的梯度差异值分别记为g1,2、g1,3、...、g1,m；p2与其他像素点之间的梯度差异值分别记为g2,1、g2,3、...、g2,m；...；pm与其他像素点之间的梯度差异值分别记为gm,1、gm,2、...、gm,m-1。
对p1至pm对应的各梯度差异值使用DBSCAN算法，以4为最少点数目，7为半径进行聚类，得到多个簇，分别记为C1，C2，...，Cq，
Figure SMS_1
为簇的总数，每个簇内包含的刀痕像素点对应着同一个刀痕。
获取簇C1，C2，...，Cq内包含的像素点的位置，建立q张二值图，将这些二值图分别记为Q1，Q2，...，Qq,Q1内仅包含簇C1内的像素点；Q2内仅包含簇C2内的像素点；...；Qq内仅包含簇Cq内的像素点。
对Q1至Qq分别进行连通域分析，得到多个连通域。
由于工件刀痕位于工件的多个不同位置，对应多个连通域，每个连通域内包含的像素点数目较少，而工件表面包含的表面像素点为一个较大连通域，包含的像素点个数明显多于工件上的各刀痕对应的连通域内像素点个数，所以包含像素点数目最多的连通域即对应工件表面位置，该连通域内各像素点即为表面像素点，将其他各连通域内包含的各像素点组成的各个区域记为疑似刀痕区。
在本申请的一实施例中，所述S222包括如下S222A至S222C:
S222A，根据磨削痕迹区域内每个像素点的灰度值获取每个像素点的梯度向量。
S222B，以每个像素点为中心建立尺寸为
Figure SMS_2
的窗口，根据窗口内各像素点的 梯度向量生成梯度方向分布直方图，所述梯度方向分布直方图的横坐标为在0至
Figure SMS_3
之间 划分的多个角度范围，所述梯度方向分布直方图的纵坐标为梯度向量对应的方向落入各个 角度范围的像素点的数量。
S222C，根据梯度方向分布直方图获取每个像素点对应的指标并建立每个像素点的梯度特征矩阵。
具体地，
Figure SMS_4
为奇数，经验值为9。
将梯度方向分布直方图的横坐标范围设置在0至
Figure SMS_5
之间是为了保证每个梯度向 量的方向在一个范围内。梯度分布直方图的横轴为的横坐标为在0至
Figure SMS_6
之间划分的多个 角度范围，横轴对应的各角度范围可以分别为：
Figure SMS_7
。
所述梯度方向分布直方图的纵坐标为梯度向量对应的方向落入各个角度范围的像素点的数量。
本实施例中，以磨削痕迹区域N1为例，磨削痕迹区域N1内包含像素点p1，p2，...，pm，m为磨削痕迹区域N1包含的像素点总数。
获取磨削痕迹区N1内每个像素点的灰度值对应的梯度向量。
对p1至pm，分别以p1至pm为中心建立
Figure SMS_8
窗口，根据窗口内各像素点对应的梯度 向量获得梯度方向分布直方图，磨削痕迹区域N1可获得m个梯度方向分布直方图，分别记为 M1，M2，...，Mm。
根据梯度方向分布直方图M1，M2，...，Mm建立m个梯度特征矩阵。
在本申请的一实施例中，所述S222C包括S222C-1至S222C-6：
S222C-1，选取磨削痕迹区域内的一个像素点。
S222C-2，获取与所述像素点对应的梯度方向分布直方图。
S222C-3，将与所述像素点对应的梯度方向分布直方图中各个梯度方向所落入的像素点数量依照从多到少的顺序排序。
S222C-4，将落入像素点数量最多的梯度方向记为与所述像素点对应的第一方向
Figure SMS_9
，将落入第一方向
Figure SMS_12
的像素点数量记为第一方向频次
Figure SMS_14
，将落入像素点数量第二多 的梯度方向记为与所述像素点对应的第二方向
Figure SMS_11
，将落入第二方向
Figure SMS_13
的像素点数量记为 第二方向频次
Figure SMS_15
，......，直至得到第i方向
Figure SMS_16
和第i方向频次
Figure SMS_10
。
S222C-5，计算第
Figure SMS_17
方向
Figure SMS_18
对应的梯度向量的模长均值，记为第
Figure SMS_19
方向强度
Figure SMS_20
，其 中，
Figure SMS_21
。
S222C-6，根据第i方向
Figure SMS_22
，第i方向频次
Figure SMS_23
和第
Figure SMS_24
方向强度
Figure SMS_25
，得到每个像素 点的梯度特征矩阵。
Figure SMS_26
其中，
Figure SMS_27
为图像中坐标为
Figure SMS_28
的像素点对应的梯度特征矩阵。
具体地，当出现频次相同的情况，则根据该范围与中心像素点的距离进行判断，如
Figure SMS_29
与
Figure SMS_30
两个方向对应的频次均为5，需判断哪个范围对应第四方向和哪个范围对应第五方 向，由于
Figure SMS_31
距离原点更近，则认为
Figure SMS_32
为第四方向，
Figure SMS_33
对应第五方向。
本实施例中，以磨削痕迹区域N1为例，则此时对应像素点p1可得到一个梯度特征矩阵P1，对应像素点p2可得到一个梯度特征矩阵P2，...，对应像素点pm可得到一个梯度特征矩阵Pm，共计m个梯度特征矩阵。
根据梯度方向分布直方图获取每个像素点对应的第一方向
Figure SMS_34
，第二方向
Figure SMS_35
，...， 第九方向
Figure SMS_36
。获取第一方向频次
Figure SMS_37
，第二方向频次
Figure SMS_38
，...，第九方向频次
Figure SMS_39
。
将第一方向
Figure SMS_40
对应的梯度向量的模长均值记为第一方向强度
Figure SMS_41
，将第二方向
Figure SMS_42
对应的梯度向量的模长均值记为第二方向强度
Figure SMS_43
，...，将第九方向
Figure SMS_44
对应的梯度向 量的模长均值记为第九方向强度
Figure SMS_45
。
建立每个像素点的梯度特征矩阵。
在本申请的一实施例中，所述S223包括：
S223a，根据每个像素点的梯度特征矩阵，采用公式1计算每两个像素点之间的梯度差异值。
Figure SMS_46
公式1
其中，
Figure SMS_48
，
Figure SMS_51
均为该磨削区域内像素点的坐标，
Figure SMS_55
为该磨削痕迹 区域中坐标为
Figure SMS_50
的像素点与坐标为
Figure SMS_54
的像素点之间的梯度差异，
Figure SMS_57
为该 磨削痕迹区域中坐标为
Figure SMS_60
的像素点的梯度特征矩阵中
Figure SMS_47
位置的数值，
Figure SMS_52
为图像中坐标为
Figure SMS_58
的像素点的梯度特征矩阵中
Figure SMS_61
位置的数值，
Figure SMS_49
，
Figure SMS_53
为该磨削痕迹区域中坐标为
Figure SMS_56
的像素点对应的梯度特征矩阵与坐标为
Figure SMS_59
的像素点对应的梯度特征矩阵中 各个对应位置的值之间的欧氏距离的和。
本实施例中，图像中每两个像素点之间均可获得一个对应的梯度差异，当两像素点的梯度分布状况越为接近时，则两个像素点对应的梯度分布直方图、梯度特征矩阵均越为接近，梯度差异越小。
在本申请的一实施例中，所述S300包括S310至S340：
S310，选取一个磨削痕迹区域。
S320，对每个疑似刀痕区内包含的各像素点使用最小二乘法与直线进行拟合，得 到疑似刀痕区的直线拟合优度
Figure SMS_62
，
Figure SMS_63
。
S330，根据公式2计算每个疑似刀痕区的刀痕偏差度。
Figure SMS_64
公式2
其中，
Figure SMS_66
为疑似刀痕区的刀痕偏差度，
Figure SMS_70
为该疑似刀痕区内第
Figure SMS_73
个像素点与其他 各像素点之间的梯度差异值的均值，其中
Figure SMS_67
，
Figure SMS_68
为该疑似刀痕区内包含的像素 点个数，
Figure SMS_71
为该疑似刀痕区内各像素点的
Figure SMS_74
的均值，
Figure SMS_65
为该疑似刀痕区的直线拟合优度，
Figure SMS_69
为疑似刀痕区的个数，
Figure SMS_72
为同属于同一簇的各疑似刀痕区的拟合优度的均值。
S340，返回S310，直至所有的磨削痕迹区域均被选取完毕。
具体地，拟合优度
Figure SMS_75
为该区域分布和走向与直线的相似程度，相似程度越大，则拟 合优度
Figure SMS_76
越大。
本实施例中，
Figure SMS_77
反映了疑似刀痕区内各像素点间的差异程度。
Figure SMS_78
反映了疑似刀痕区与同属于同一簇内各疑似刀痕区域间方向一致性。
当两者越小时，则该疑似刀痕区对应刀痕位置的显著性越大，区域内各像素点越可能是刀痕像素点，而当数控钻铣床工作状态出现问题时，铣刀会对工件产生少量损伤，该损伤没有刀痕区与一致性强且呈直线分布的特征，对应的刀痕偏差度较大。
在本申请的一实施例中，所述S300还包括：
S350，对每一个磨削痕迹区域中的每一个疑似刀痕区的刀痕偏差度使用LOF异常值判断数控钻铣床的工作状态。数控钻铣床的工作状态包括数控钻铣床出现异常和数控钻铣床未出现异常。
具体地，当该疑似刀痕区内各像素点均对应刀痕像素点时，则每个疑似刀痕区对应的刀痕偏差度均较小且数值较为接近。当该疑似刀痕区内包含数控钻铣床工作状态出现问题导致的损伤时，则损伤位置对应的疑似刀痕区的刀痕偏差度较大，与刀痕像素点所在的疑似刀痕区的刀痕偏差度差异较大。
在本申请的一实施例中，所述S350包括：
S351，利用LOF异常值检测算法遍历所有疑似刀痕区，判断是否存在任意一个疑似刀痕区的刀痕偏差度为异常值。
S352，若存在任意一个疑似刀痕区的刀痕偏差度为异常值，则确定该疑似刀痕区对应的磨削痕迹区域出现异常损伤，确定数控钻铣床工作状态出现异常，同时输出疑似刀痕区。
S353，若所有疑似刀痕区的刀痕偏差度均不为异常值，则确定该疑似刀痕区对应的磨削痕迹区域没有出现异常损伤，确定数控钻铣床工作状态未出现异常。
具体地，LOF异常值检测主要是通过比较每个点和其邻域点的密度来判断该点是否为异常点，如果该点的密度越低，越可能被认定是异常点。即LOF异常值检测是基于密度分析，通过局部的数据密度来检测异常。
本实施例中，当n=50时，此时的磨削痕迹区域分别为N1、N2，...，N50，将磨削痕迹区域N1中包含的疑似刀痕区分别记为Z11、Z12，...，Z1x，x为磨削痕迹区域N1中包含的疑似刀痕区的数量。
对疑似刀痕区Z11进行LOF异常值检测。
对疑似刀痕区Z12进行LOF异常值检测。
......
对疑似刀痕区Z1x进行LOF异常值检测。
若疑似刀痕区Z11至疑似刀痕区Z1x内均未检测出异常值，则确定磨削痕迹区域N1对应的表面区域没有出现损伤。
若疑似刀痕区Z11至疑似刀痕区Z1x中的任意一个疑似刀痕区内检测出异常值，则确定磨削痕迹区域N1出现异常损伤。
之后再分别对磨削痕迹区域N2至N50进行LOF异常值检测并作出判断。
以上所述实施例的各技术特征可以进行任意的组合，各方法步骤也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述基于机器视觉的数控钻铣床工作状态检测方法包括：
在对工件执行一个处理工序后，获取工件表面图像并对工件表面图像进行预处理，得到工件表面灰度图像，提取工件表面灰度图像中经所述处理工序加工后的表面区域，得到磨削处理图；
提取磨削处理图中每一个像素点的梯度特征，分析不同像素点之间梯度特征的差异，将磨削处理图划分为多个工件表面区域和多个疑似刀痕区；
依据各个疑似刀痕区内各像素点间的差异程度和各个疑似刀痕区之间的方向一致性，对数控钻铣床工作状态进行判断，得到数控钻铣床工作状态的判断结果；
每当对工件执行一个处理工序后，均对应执行一次所述得到数控钻铣床工作状态的判断结果的过程。
2.根据权利要求1所述的基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述在对工件执行一个处理工序后，获取工件表面图像并对工件表面图像进行预处理，得到工件表面灰度图像，提取工件表面灰度图像中经所述处理工序加工后的表面区域，得到磨削处理图，包括：
在对工件执行一个处理工序后，获取工件被处理面的图像，记为工件表面图像；
将工件表面图像转化为灰度图像，得到工件表面灰度图像；
对工件表面灰度图像进行高斯滤波去噪；
基于GrabCut算法对高斯滤波去噪后的工件表面灰度图像进行分割，提取工件表面灰度图像中经所述处理工序加工后的表面区域，将所述经所述处理工序加工后的表面区域的图像作为磨削处理图。
3.根据权利要求1所述的基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述提取磨削处理图中每一个像素点的梯度特征，分析不同像素点之间梯度特征的差异，将磨削处理图划分为一个工件表面区域和多个疑似刀痕区，包括：
利用超像素分割将磨削处理图划分为多个磨削痕迹区域，不同磨削痕迹区域的纹理特征不同；
在每一个磨削痕迹区域中，分析不同像素点之间梯度特征的差异，将每一个磨削痕迹区域划分为一个工件表面区域和多个疑似刀痕区。
4.根据权利要求3所述的基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述在每一个磨削痕迹区域中，分析不同像素点之间梯度特征的差异，将每一个磨削痕迹区域划分为一个工件表面区域和多个疑似刀痕区，包括：
选取一个磨削痕迹区域；
获取磨削痕迹区域内每个像素点的梯度特征矩阵；
依据每个像素点的梯度特征矩阵获得该像素点与其他各像素点之间的梯度差异；
根据各像素点之间的梯度差异将磨削痕迹区域内的所有像素点使用DBSCAN算法进行聚类，得到多个簇；
获取每个簇内包含的各个像素点的位置，依据每个簇内包含的各个像素点的位置建立每个簇的二值图；
对每个二值图进行连通域分析，得到多个连通域；
将包含像素点数量最多的连通域作为工件表面区域，将其他连通域均作为疑似刀痕区；
返回所述选取一个磨削痕迹区域，直至所有磨削痕迹区域均被划分完毕。
5.根据权利要求4所述的基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述获取磨削痕迹区域内每个像素点的梯度特征矩阵，包括：
根据磨削痕迹区域内每个像素点的灰度值获取每个像素点的梯度向量；
以每个像素点为中心建立尺寸为
Figure QLYQS_1
的窗口，根据窗口内各像素点的梯度向量生成梯度方向分布直方图，所述梯度方向分布直方图的横坐标为在0至/>
Figure QLYQS_2
之间划分的多个角度范围，所述梯度方向分布直方图的纵坐标为梯度向量对应的方向落入各个角度范围的像素点的数量；
根据梯度方向分布直方图获取每个像素点对应的指标并建立每个像素点的梯度特征矩阵。
6.根据权利要求5所述的基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述根据梯度方向分布直方图获取每个像素点对应的指标并建立每个像素点的梯度特征矩阵，包括：
选取磨削痕迹区域内的一个像素点；
获取与所述像素点对应的梯度方向分布直方图；
将与所述像素点对应的梯度方向分布直方图中各个梯度方向所落入的像素点数量依照从多到少的顺序排序；
将落入像素点数量最多的梯度方向记为与所述像素点对应的第一方向
Figure QLYQS_4
，将落入第一方向/>
Figure QLYQS_6
的像素点数量记为第一方向频次/>
Figure QLYQS_8
，将落入像素点数量第二多的梯度方向记为与所述像素点对应的第二方向/>
Figure QLYQS_5
，将落入第二方向/>
Figure QLYQS_7
的像素点数量记为第二方向频次
Figure QLYQS_9
，……，直至得到第i方向/>
Figure QLYQS_10
和第i方向频次/>
Figure QLYQS_3
；
计算第
Figure QLYQS_11
方向/>
Figure QLYQS_12
对应的梯度向量的模长均值，记为第/>
Figure QLYQS_13
方向强度/>
Figure QLYQS_14
，其中，
Figure QLYQS_15
；
根据第i方向
Figure QLYQS_16
，第i方向频次/>
Figure QLYQS_17
和第/>
Figure QLYQS_18
方向强度/>
Figure QLYQS_19
，得到每个像素点的梯度特征矩阵；
Figure QLYQS_20
其中，
Figure QLYQS_21
为图像中坐标为/>
Figure QLYQS_22
的像素点对应的梯度特征矩阵。
7.根据权利要求6所述的基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述依据每个像素点的梯度特征矩阵获得该像素点与其他各像素点之间的梯度差异，包括：
根据每个像素点的梯度特征矩阵，采用公式1计算每两个像素点之间的梯度差异值；
Figure QLYQS_23
公式1；
其中，
Figure QLYQS_25
，/>
Figure QLYQS_31
均为该磨削区域内像素点的坐标，/>
Figure QLYQS_35
为该磨削痕迹区域中坐标为/>
Figure QLYQS_26
的像素点与坐标为/>
Figure QLYQS_29
的像素点之间的梯度差异，/>
Figure QLYQS_33
为该磨削痕迹区域中坐标为/>
Figure QLYQS_37
的像素点的梯度特征矩阵中/>
Figure QLYQS_24
位置的数值，/>
Figure QLYQS_30
为图像中坐标为/>
Figure QLYQS_34
的像素点的梯度特征矩阵中/>
Figure QLYQS_38
位置的数值，
Figure QLYQS_27
，/>
Figure QLYQS_28
为该磨削痕迹区域中坐标为
Figure QLYQS_32
的像素点对应的梯度特征矩阵与坐标为/>
Figure QLYQS_36
的像素点对应的梯度特征矩阵中各个对应位置的值之间的欧氏距离的和。
8.根据权利要求7所述的基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述依据各个疑似刀痕区内各像素点间的差异程度和各个疑似刀痕区之间的方向一致性，对数控钻铣床工作状态进行判断，得到数控钻铣床工作状态的判断结果，包括：
选取一个磨削痕迹区域；
对该磨削痕迹区域中的每个疑似刀痕区内包含的各像素点使用最小二乘法与直线进行拟合，得到疑似刀痕区的直线拟合优度
Figure QLYQS_39
，/>
Figure QLYQS_40
；
根据公式2计算每个疑似刀痕区的刀痕偏差度；
Figure QLYQS_41
公式2；
其中，
Figure QLYQS_43
为疑似刀痕区的刀痕偏差度，/>
Figure QLYQS_45
为该疑似刀痕区内第/>
Figure QLYQS_48
个像素点与其他各像素点之间的梯度差异值的均值，其中/>
Figure QLYQS_44
，/>
Figure QLYQS_47
为该疑似刀痕区内包含的像素点个数，/>
Figure QLYQS_50
为该疑似刀痕区内各像素点的/>
Figure QLYQS_51
的均值，/>
Figure QLYQS_42
为该疑似刀痕区的直线拟合优度，/>
Figure QLYQS_46
为疑似刀痕区的个数，/>
Figure QLYQS_49
为同属于同一簇的各疑似刀痕区的拟合优度的均值；
返回选取一个磨削痕迹区域，直至所有的磨削痕迹区域均被选取完毕。
9.根据权利要求8所述的基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述依据各个疑似刀痕区内各像素点间的差异程度和各个疑似刀痕区之间的方向一致性，对数控钻铣床工作状态进行判断，得到数控钻铣床工作状态的判断结果，包括：
对每一个磨削痕迹区域中的每一个疑似刀痕区的刀痕偏差度使用LOF异常值判断数控钻铣床的工作状态；数控钻铣床的工作状态包括数控钻铣床出现异常和数控钻铣床未出现异常。
10.根据权利要求9所述的基于机器视觉的数控钻铣床工作状态检测方法，其特征在于，所述对每一个磨削痕迹区域中的每一个疑似刀痕区的刀痕偏差度使用LOF异常值判断数控钻铣床的工作状态，包括：
利用LOF异常值检测算法遍历所有疑似刀痕区，判断是否存在任意一个疑似刀痕区的刀痕偏差度为异常值；
若存在任意一个疑似刀痕区的刀痕偏差度为异常值，则确定该疑似刀痕区对应的磨削痕迹区域出现异常损伤，确定数控钻铣床工作状态出现异常，同时输出疑似刀痕区；
若所有疑似刀痕区的刀痕偏差度均不为异常值，则确定该疑似刀痕区对应的磨削痕迹区域没有出现异常损伤，确定数控钻铣床工作状态未出现异常。
CN202310587006.2A 2023-05-24 2023-05-24 基于机器视觉的数控钻铣床工作状态检测方法 Active CN116309602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310587006.2A CN116309602B (zh) 2023-05-24 2023-05-24 基于机器视觉的数控钻铣床工作状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310587006.2A CN116309602B (zh) 2023-05-24 2023-05-24 基于机器视觉的数控钻铣床工作状态检测方法

Publications (2)

Publication Number Publication Date
CN116309602A true CN116309602A (zh) 2023-06-23
CN116309602B CN116309602B (zh) 2023-08-04

Family

ID=86824367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310587006.2A Active CN116309602B (zh) 2023-05-24 2023-05-24 基于机器视觉的数控钻铣床工作状态检测方法

Country Status (1)

Country Link
CN (1) CN116309602B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175688A (en) * 1988-11-25 1992-12-29 Kabushiki Kaisha Okuma Tekkosho Graphic display method of machining state in numerical control grinding machine
JPH08304302A (ja) * 1995-05-15 1996-11-22 Nachi Fujikoshi Corp 検査対象物の表面傷検出方法
CN101634551A (zh) * 2009-08-18 2010-01-27 清华大学深圳研究生院 一种检测表面粗糙度的方法及其系统
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN111192273A (zh) * 2019-12-27 2020-05-22 西北工业大学 一种基于计算机视觉技术的数字化喷丸覆盖率测量方法
WO2021164137A1 (zh) * 2020-02-21 2021-08-26 青岛理工大学 数控机床刀具状态监测及控制系统与方法
WO2022170702A1 (zh) * 2021-02-09 2022-08-18 广东拓斯达科技股份有限公司 模具的状态监测方法、装置、工控机、存储介质及系统
CN115082763A (zh) * 2022-08-22 2022-09-20 江苏安弘电气有限公司 一种隔离换向开关状态识别方法及系统
CN115431101A (zh) * 2022-10-18 2022-12-06 南通钜德智能科技有限公司 一种数控机床状态检测方法及系统
CN115690105A (zh) * 2022-12-30 2023-02-03 无锡康贝电子设备有限公司 一种基于计算机视觉的铣刀划痕检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175688A (en) * 1988-11-25 1992-12-29 Kabushiki Kaisha Okuma Tekkosho Graphic display method of machining state in numerical control grinding machine
JPH08304302A (ja) * 1995-05-15 1996-11-22 Nachi Fujikoshi Corp 検査対象物の表面傷検出方法
CN101634551A (zh) * 2009-08-18 2010-01-27 清华大学深圳研究生院 一种检测表面粗糙度的方法及其系统
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN111192273A (zh) * 2019-12-27 2020-05-22 西北工业大学 一种基于计算机视觉技术的数字化喷丸覆盖率测量方法
WO2021164137A1 (zh) * 2020-02-21 2021-08-26 青岛理工大学 数控机床刀具状态监测及控制系统与方法
WO2022170702A1 (zh) * 2021-02-09 2022-08-18 广东拓斯达科技股份有限公司 模具的状态监测方法、装置、工控机、存储介质及系统
CN115082763A (zh) * 2022-08-22 2022-09-20 江苏安弘电气有限公司 一种隔离换向开关状态识别方法及系统
CN115431101A (zh) * 2022-10-18 2022-12-06 南通钜德智能科技有限公司 一种数控机床状态检测方法及系统
CN115690105A (zh) * 2022-12-30 2023-02-03 无锡康贝电子设备有限公司 一种基于计算机视觉的铣刀划痕检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘甲甲;熊鹰;李柏林;李立;: "基于计算机视觉的轨道扣件缺陷自动检测算法研究", 铁道学报, no. 08, pages 76 - 83 *

Also Published As

Publication number Publication date
CN116309602B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN110286124B (zh) 基于机器视觉的耐火砖测量系统
Yu et al. A machine vision method for measurement of machining tool wear
CN109685760B (zh) 一种基于matlab的slm粉床铺粉图像凸包凹陷缺陷检测方法
Loizou et al. Automated wear characterization for broaching tools based on machine vision systems
Wang et al. Flank wear measurement by a threshold independent method with sub-pixel accuracy
CN113781402A (zh) 芯片表面划痕缺陷的检测方法、装置和计算机设备
You et al. On-line milling cutter wear monitoring in a wide field-of-view camera
CN115035120B (zh) 基于物联网的机床控制方法及系统
JP5852919B2 (ja) ひび割れ検出方法
Peng et al. Application of machine vision method in tool wear monitoring
CN115294159B (zh) 金属紧固件腐蚀区域分割方法
CN109658391B (zh) 一种基于轮廓归并和凸包拟合的圆半径测量方法
Said et al. Robust automatic void detection in solder balls
Bagga et al. A novel approach of combined edge detection and segmentation for tool wear measurement in machining
CN113222955A (zh) 一种基于机器视觉的齿轮尺寸参数自动测量方法
CN115359053A (zh) 一种金属板材缺陷智能检测方法及系统
CN115431101A (zh) 一种数控机床状态检测方法及系统
CN107516315B (zh) 一种基于机器视觉的掘进机出渣监测方法
Zhao et al. Recognition of flooding and sinking conditions in flotation process using soft measurement of froth surface level and QTA
CN115409787A (zh) 小型可插拔收发光模块底座缺陷的检测方法
WO2015115499A1 (ja) 工具検査方法及び工具検査装置
CN116539620A (zh) 一种刀具表面缺陷在机检测方法
Jourdan et al. A computer vision system for saw blade condition monitoring
CN116309602B (zh) 基于机器视觉的数控钻铣床工作状态检测方法
CN116612119B (zh) 基于机器视觉的机床用钻头工作状态图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant