CN116612119A - 基于机器视觉的机床用钻头工作状态图像检测方法 - Google Patents
基于机器视觉的机床用钻头工作状态图像检测方法 Download PDFInfo
- Publication number
- CN116612119A CN116612119A CN202310889884.XA CN202310889884A CN116612119A CN 116612119 A CN116612119 A CN 116612119A CN 202310889884 A CN202310889884 A CN 202310889884A CN 116612119 A CN116612119 A CN 116612119A
- Authority
- CN
- China
- Prior art keywords
- corner
- image
- drill bit
- frame
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000005553 drilling Methods 0.000 claims abstract description 20
- 238000003801 milling Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000006073 displacement reaction Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 21
- 206010044565 Tremor Diseases 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 229910052782 aluminium Inorganic materials 0.000 abstract description 7
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 abstract description 7
- 238000004544 sputter deposition Methods 0.000 abstract description 5
- 238000003754 machining Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种基于机器视觉的机床用钻头工作状态图像检测方法，涉及图像检测领域，包括：利用图像采集设备采集钻铣过程中钻头侧面图像，对每一帧图像进行预处理，对预处理后的每一帧图像进行角点检测，通过图像中钻头区域角点周围环境与溅射物角点周围环境不同，确定钻头区域的角点，通过帧差法检测相邻两帧图像中同一个角点的位移，计算每帧图像钻头的震颤幅度，将每一帧图像的钻头震颤幅度与标准震颤幅度进行比较，这样，在检测过程中排除了火花、铝板碎屑等溅射物的干扰，能够准确快速实现检测钻头的震颤幅度，进一步对机床用钻头工作状态判断更加准确。
Description
技术领域
本发明涉及图像检测领域，特别是涉及一种基于机器视觉的机床用钻头工作状态图像检测方法。
背景技术
数控钻铣床一般用于金属或非金属板材、管件的钻孔、扩孔、铰孔、攻丝等加工工作。在加工过程中刀具会受到磨损，从而影响切削时的器件表面粗糙度、加工深度、宽度等，影响加工的精度，通常刀具磨损严重使会使器件加工精度超出规定范围，导致器件加工不达标，对于器件加工时的异常工作状态检测极为必要。钻孔过程中孔径的内部状态难以检测，但钻头的左右震颤幅度会发生变化，钻头磨损严重时震颤幅度会变大，可通过检测工作状态下钻头的震颤幅度，判断钻头是否出现严重磨损，需要对其进行更换。采用帧差法进行前后图像中钻头位置的改变，获得钻头的震颤幅度。而现有技术中的帧差法处理后的图像，所检测出的图像变化不够准确，进一步使得对机床用钻头工作状态的判断准确度降低。
发明内容
鉴于上述问题，本申请提供了一种基于机器视觉的机床用钻头工作状态图像检测方法，能够避免数控钻铣床钻头工作状态检测过程中火花、铝板碎屑等溅射物的干扰，准确快速实现检测钻头的震颤幅度，在判断钻头出现严重磨损时，及时对其进行更换。
第一方面，本申请实施例提供了基于机器视觉的机床用钻头工作状态图像检测方法，包括：
获取由图像采集装置采集的数控钻铣床钻头工作状态下的图像；
对每一帧图像进行预处理；
对预处理后的每一帧图像进行角点检测，得到每一帧图像的角点检测结果；
确定每一帧图像中每个角点与周围其他角点之间的关联度，根据关联度确定钻头区域的角点；
根据相邻两帧图像中钻头区域中同一个角点的位移，确定每一帧图像钻头的震颤幅度；
将每一帧图像的钻头震颤幅度与标准震颤幅度进行比较，根据比较结果确定数控钻铣床钻头的工作状态。
在一种可能的实现方式中，对每一帧图像进行预处理，包括：
对每一帧图像进行图像增强处理和滤波处理，将经过图像增强处理和滤波处理后的每一帧图像转换为灰度图像。
在一种可能的实现方式中，确定每一帧图像中每个角点与周围其他角点之间的关联度，进一步包括：
确定每一帧图像中每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间在水平方向上的每个窗口内的灰度值变化量，其中窗口为以每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的中点像素点为中心建立的滑窗沿水平方向以一定的滑动步长向两端运动一定距离形成的；
根据每个窗口内的灰度值变化量确定每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间在水平方向上的灰度值起伏度；
根据确定的灰度值起伏度确定每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间关联度。
在一种可能的实现方式中，包括：通过滑窗以每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的以中点像素点为中心沿水平方向向两端运动的方式确定每个角点与对应角点周围以钻头宽度的2倍为半径的区域的其他角点之间在水平方向上的每个窗口的灰度值变化量，其中每个窗口的灰度值变化量的计算公式为：
其中，为窗口内每个像素点灰度值，/>为水平方向R范围内的灰度值均值，R为钻头宽度，/>为窗口内像素点个数；
根据水平方向上所有窗口的灰度值变化量，确定水平方向上的灰度起伏度，灰度起伏度的计算公式为：
其中，为每个窗口的灰度变化量，/>为水平方向R范围内总的窗口数，R为钻头宽度。
在一种可能的实现方式中，包括：对每一帧预处理后的图像进行边缘检测，得到每一帧图像的二值图；
对每一帧图像中通过角点检测得到的所有角点对应到二值图中；
在二值图中计算每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的边缘方向相似度，边缘方向相似度的计算公式为：
其中，K为边缘方向相似度，为圆心角点为/>的边缘角度序列，/>为圆心角点/>的2R半径的圆形范围内的某个角点/>的边缘角度序列，/>为序列/>中第/>个边缘角度，/>为序列/>中第/>个边缘角度，/>为两个序列中不同边缘角度之间的差值，R表示钻头宽度，j为序列/>中数值的个数，/>为角点/>与角点P之间水平方向上的灰度起伏度；
根据边缘方向相似度，确定每一帧图像中每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的关联度。
在一种可能的实现方式中，包括：二值图中每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的关联度的计算公式为：
其中，表示角点/>的2R半径的圆形范围内的第/>个角点对角点/>的边缘方向相似度，/>为/>的个数。
在一种可能的实现方式中，包括：
对确定的所有关联度进行比较，根据关联度比较结果将所有关联度均分为多个等级；
对所有关联度按所属等级范围进行直方图统计，获得关联度直方图；
根据关联度直方图，获取关联度直方图中最大峰值对应的等级内的所有角点的关联度，并计算最大峰值对应的等级内的所有角点的关联度的均值；
根据每个角点与周围其他角点之间的关联度与最大峰值对应的等级内的所有角点的关联度的均值，确定钻头区域的角点。
在一种可能的实现方式中，确定钻头区域的角点，进一步包括：
计算每个角点的关联度与钻头区域每个角点的关联度的绝对值并进行归一化处理，得到处理结果；
将处理结果与阈值进行比较，根据比较结果确定钻头区域的角点。
在一种可能的实现方式中，包括：
对所述每一帧图像确定的钻头区域的角点对应到所述预处理后的灰度图中，采用帧差法确定相邻两帧图像中所有相对应角点的位移，对相邻两帧图像中钻头区域所述所有相对应角点的位移求均值，确定所述每一帧图像钻头的震颤幅度。
本发明具有如下有益效果：
本发明通过角点检测确定图像中钻头的震颤幅度，每一帧图像中钻头的震颤幅度与标准震颤幅度进行比较，使得检测过程中排除了火花、铝板碎屑等溅射物的干扰，进一步使得对机床用钻头工作状态判断更加准确。
附图说明
图1是本申请实施例提供的基于机器视觉的机床用钻头工作状态图像检测方法的实施环境示意图；
图2是本申请实施例提供的基于机器视觉的机床用钻头工作状态图像检测方法的步骤流程图；
图3是本申请实施例提供的一种钻头区域角点特征示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其它实施例，都属于本申请保护的范围。
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
需要注意，本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
下面结合图1，对本申请实施例提供的基于机器视觉的机床用钻头工作状态图像检测方法的实施环境进行介绍。
图1是本申请实施例提供的基于机器视觉的机床用钻头工作状态图像检测方法的实施环境示意图，该实施环境包括：图像采集设备101和服务器102。该图像采集设备101和服务器102能够通过有线网络或无线网络进行直接或间接地连接，本申请实施例在此不作限定。
图像采集设备101可以是智能手机、平板电脑、笔记本电脑、高速相机等，但并不局限于此。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请实施例对此不做限定。
其中，该图像采集设备101具有图像采集功能，该图像采集设备101能够将采集的图像发送给服务器102，该服务器102运行有运维平台，该服务器102能够基于运维平台，接收并存储图像采集设备101发送的图像。
可选地，在执行基于机器视觉的机床用钻头工作状态图像检测方法的过程中，图像采集设备101承担主要计算工作，服务器102承担次要计算工作；或者，服务器102承担主要计算工作，图像采集设备101承担次要计算工作，本申请实施例对此不作限定。
应理解，图像采集设备101的数量为一个，上述服务器102的数量可以更多，本实施例仅以一个服务器102来举例说明。
下面基于图1所示的实施环境，结合图2，对本申请实施例所提供的基于机器视觉的机床用钻头工作状态图像检测方法进行说明。图2是本申请实施例提供的基于机器视觉的机床用钻头工作状态图像检测方法的步骤流程图，如图2所示，本申请实施例公开了基于机器视觉的机床用钻头工作状态图像检测方法，包括：
步骤S11，获取由图像采集装置采集的数控钻铣床钻头工作状态下的图像；
步骤S12，对每一帧图像进行预处理；
步骤S13，对预处理后的每一帧图像进行角点检测，得到每一帧图像的角点检测结果；
步骤S14，确定每一帧图像中每个角点与周围其他角点之间的关联度，根据关联度确定钻头区域的角点；
步骤S15，根据相邻两帧图像中钻头区域中同一个角点的位移，确定每一帧图像钻头的震颤幅度；
步骤S16，将每一帧图像的钻头震颤幅度与标准震颤幅度进行比较，根据比较结果确定数控钻铣床钻头的工作状态。
其中，采用图像采集设备采集钻铣过程中钻头侧面图像，将图像采集设备安装在距钻铣台前方一米内空地上，避免机床晃动产生的镜头晃动，影响检测效果。以铝板钻孔过程为例，均匀采集从开始钻孔到钻孔结束这段时间内20帧钻头图像，对采集到的图像中按采集顺序将图像记为图像，例如首帧图像为钻头开始接触铝板时的图像，记为图像/>。
在上述实施例步骤中，利用图像采集设备采集钻铣过程中钻头侧面图像，对每一帧图像进行预处理，对预处理后的每一帧图像进行角点检测，通过图像中钻头区域角点周围环境与溅射物角点周围环境不同，确定钻头区域的角点，通过帧差法检测相邻两帧图像中同一个角点的位移，计算每帧图像钻头的震颤幅度，将每一帧图像的钻头震颤幅度与标准震颤幅度进行比较，根据比较结果确定数控钻铣床钻头是否出现异常情况。本申请实施例是通过角点检测确定图像中钻头的震颤幅度，通过视频图像中钻头的震颤幅度与标准震颤幅度进行比较，判断钻头工作状态是否正常，检测过程中排除了火花、铝板碎屑等溅射物的干扰，能够准确快速实现检测钻头的震颤幅度，在判断钻头出现严重磨损时，及时对其进行更换。
需要说明的是，帧差法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动，具体为公知技术，在此不再赘述。
在一些实施例中，对每一帧图像进行预处理，包括：
对每一帧图像进行图像增强处理和滤波处理，将经过图像增强处理和滤波处理后的每一帧图像转换为灰度图像。
需要说明的是，通过图像采集设备采集到的钻铣过程中的钻头侧面图像，由于环境影响图像会出现过亮或过暗情况，采用Retinex图像增强算法处理图像，去除光照影响，采用平滑滤波算法对图像进行去噪，避免噪声点影响或失真，并将图像转化为灰度图。其中，Retinex图像增强算法算法包括，单尺度Retinex算法（SSR）和多尺度加权平均的Retinex算法（MSR）等，尽管上述Retinex图像增强算法算法不尽相同，但其基本原理都非常相似，都是通过对原始图像进行高斯滤波来获取照度图像，并尽量准确的获取照度图像，最后将照度图像从原始图像中分离出来，从而获得反射图像；平滑滤波的方法可采用均值滤波、中值滤波、高斯滤波和双边滤波之一或结合，在此不对其进行具体限定。
在一些实施例中，确定每一帧图像中每个角点与周围其他角点之间的关联度，包括：
确定每一帧图像中每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间在水平方向上的每个窗口内的灰度值变化量，其中窗口为以每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的中点像素点为中心建立的滑窗沿水平方向以一定的滑动步长向两端运动一定距离形成的；
根据每个窗口内的灰度值变化量确定每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间在水平方向上的灰度值起伏度；
根据确定的灰度值起伏度确定每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间关联度。
进一步的，还包括：通过滑窗以每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的以中点像素点为中心沿水平方向向两端运动的方式确定每个角点与对应角点周围以钻头宽度的2倍为半径的区域的其他角点之间在水平方向上的每个窗口的灰度值变化量，其中每个窗口的灰度值变化量的计算公式为：
其中，为窗口内每个像素点灰度值，/>为水平方向R范围内的灰度值均值，R为钻头宽度，/>为窗口内像素点个数；
根据水平方向上所有窗口的灰度值变化量，确定水平方向上的灰度起伏度，灰度起伏度的计算公式为：
其中，为每个窗口的灰度变化量，/>为水平方向R范围内总的窗口数，R为钻头宽度。
具体的，采用Harris角点检测算法获取图像中的角点，其中Harris角点检测是利用移动的窗口在图像中计算灰度变化值，具体为公知，在此不再赘述，角点大致分为三类，分别为钻头部分的角点；火花及铝板碎屑等溅射物产生的角点；背景区域中的角点。钻头区域的角点主要是由于螺纹光影变化和螺旋边界交叉产生的角点，使钻头水平方向上灰度值变化较大。
参见图3所示，以检测的某一角点为中心像素点，2R为半径画圆得到以角点/>为中心的圆形范围，其中R为已知钻头宽度，在角点/>的圆形范围内寻找所有角点，通过坐标计算得到角点/>到圆形范围内任一角点/>之间的连线的中点坐标，由于钻头区域的旋转螺纹在光照条件下会产生明显的光影变化，灰度值变化较大，当角点/>与角点P均为钻头区域角点时，两角点之间的区域也为钻头区域，灰度值变化较大，又因为两角点连线中点距两角点的距离相同，因此在中点坐标处分别计算水平、垂直方向和45°、135°倾斜方向上的灰度起伏度，具体以水平方向为例，以中点像素点为中心，建立3个像素点的滑窗，沿水平方向向两端运动，滑动步长为1，每个方向滑动距离为R/2，总滑动距离为R，计算每个窗口内的灰度值均值，计算水平直线R范围内灰度值均值/>，计算每个窗口内的灰度值变化量/>，其中，窗口内灰度值变化越大，/>越大，/>越大。对水平直线上所有窗口的/>求和，得到水平直线上的灰度起伏度/>。可以按上述方式求得其它方向上的灰度起伏度，并求均值，可以得到两角点之间的灰度起伏度/>。若角点/>、/>均为钻头区域角点，会导致水平方向R范围内灰度变化大的范围越大，较大/>值的占比越多，/>越大。
在一些实施例中，进一步还包括：对每一帧预处理后的图像进行边缘检测，得到每一帧图像的二值图；
对每一帧图像中通过角点检测得到的所有角点对应到二值图中；
在二值图中计算每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的边缘方向相似度，边缘方向相似度的计算公式为：
其中，K为边缘方向相似度，为圆心角点为/>的边缘角度序列，/>为圆心角点/>的2R半径的圆形范围内的某个角点/>的边缘角度序列，/>为序列/>中第/>个边缘角度，/>为序列/>中第/>个边缘角度，/>为两个序列中不同边缘角度之间的差值，R表示钻头宽度，j为序列/>中数值的个数（若O的边缘个数多，P的边缘个数少，则将P中少的边缘按0°计算；若O的边缘个数少，P的的边缘个数多，则将P中多的边缘角度舍掉），/>为角点/>与角点P之间水平方向上的灰度起伏度；
根据边缘方向相似度，确定每一帧图像中每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的关联度。
进一步的，还包括：二值图中每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的关联度的计算公式为：
其中，表示角点/>的2R半径的圆形范围内的第/>个角点对角点/>的边缘方向相似度，/>为/>的个数。
需要说明的是，在本实施方式中，图像边缘是以图像局部不连续性的形式出现的，存在于图像的不规则结构和不平稳现象，如：灰度值的突变，颜色的突变，纹理结构的突变等。图像边缘作为图像最基本的特征之一，往往携带着一幅图像的大部分信息，边缘本质上表示一个区域的终结和另一个区域的开始。对每帧灰度图像通过Robert算子、Sobel算子、Prewitt算子、Laplacian算子、Canny算子之一进行边缘检测，得到每帧图像的边缘线的二值图，记为边缘图像。对图像中的所有角点通过坐标对应到/>边缘图像中并进行标记，其中图像中的所有角点是通过前述Harris角点检测算法确定的，得到包含角点信息的二值图，以/>边缘图像中被标记的每个角点为中心像素点，2R为半径画圆，在角点/>的圆形范围内寻找所有角点，对范围内寻找到的每个角点作为圆心角点，通过Harris角点检测算法检测角点所在边缘的个数和方向，具体为公知技术，在此不再赘述，对每个角点的所有边缘方向换算为0°/>180°之间的角度，并按从小到大的顺序进行排列，记为一个序列/>。
其中，对于角点和角点P，当两个角点的都位于钻头区域时，角点处相连的边缘个数和方向大致相同，将两个角点的边缘方向分别按顺序排列后，相同次序的方向角度数值之间的差值越小，不同次序角度差值的和也越小，倒数越大，两个角点周围的边缘情况越相似，两个角点间水平方向上的灰度起伏度越大，K越大。将角点/>圆形范围内的每个角点都分别与角点/>进行边缘相似情况比较，通过本实施方式中前述边缘方向相似度计算公式计算边缘方向相似度，并求和计算角点/>对周围角点的关联度/>，由前述关联度的计算公式可知，角点/>若为钻头区域时，与角点/>的边缘情况相似的其它角点个数越多，角点/>与周围其它角点的关联度越高，/>越小。
在一些实施例中，对确定的所有关联度进行比较，根据关联度比较结果将所有关联度均分为多个等级；
对所有关联度按所属等级范围进行直方图统计，获得关联度直方图；
根据关联度直方图，获取关联度直方图中最大峰值对应的等级内的所有角点的关联度，并计算最大峰值对应的等级内的所有角点的关联度的均值；
根据每个角点与周围其他角点之间的关联度与最大峰值对应的等级内的所有角点的关联度的均值，确定钻头区域的角点。
进一步的，确定钻头区域的角点，包括：
计算每个角点的关联度与钻头区域每个角点的关联度的绝对值并进行归一化处理，得到处理结果；
将处理结果与阈值进行比较，根据比较结果确定钻头区域的角点。
在本实施例的步骤中，对计算得到的所有关联度进行比较，获取最大关联度和最小关联度，对最大关联度和最小关联度做差并除以19，得到每个关联度等级的范围，从而将最大关联度和最小关联度之间均分成20个等级，对所有关联度按所属等级范围进行直方图统计，获得关联度直方图。
按上述关联度直方图的统计方式，对计算得到的所有角点的进行直方图统计，获得关联度直方图，获取直方图中最大峰值，将最大峰值对应的等级内的所有角点的关联度，求均值为/>,由于钻头区域每个角点的关联度相近且数量最多，因此/>对应钻头区域每个角点关联度，求每个角点/>与/>差值的绝对值/>：
其中，为归一化函数，图像中每个角点的/>与钻头区域角点/>越接近，差值绝对值越小，对应的角点越可能为钻头区域角点。将/>与经验阈值进行比较，经验值可根据实际情况调整，此处取经验值为0.1。即/>小于0.1的角点为钻头区域角点。
在一些实施例中，包括：对所述每一帧图像确定的钻头区域的角点对应到所述预处理后的灰度图中，采用帧差法确定相邻两帧图像中所有相对应角点的位移，对相邻两帧图像中钻头区域所述所有相对应角点的位移求均值，确定所述每一帧图像钻头的震颤幅度。
需要说明的是，对每帧图像检测出的最终钻头区域角点坐标进行记录，将记录的角点通过坐标对应到原灰度图中，并进行标记，对相邻两帧图像采用帧差法进行对比，计算不同图像中相同角点的位移。对某帧图像中的某个被标记角点，记录该角点坐标为，在下一帧图像/>的角点图像中，以坐标/>为原点在建立直角坐标系，由于钻头区域的角点始终随时间向下运动，但由于钻孔过程中钻头会发生左右晃动，因此角点的移动并不垂直向下，因此在Y轴负方向及第三、四象限寻找距原点为R的距离范围内的所有角点，其中R为已知每帧图片钻头下降的距离，记录寻找到的每个角点坐标，分别记为，比较角点在原灰度图像中的周围像素点灰度值变化，寻找B1随时间运动后在下一帧图像中最可能的位置，具体为，在图像/>中以角点坐标/>处的像素点为中心像素点建立3*3窗口，在图像/>中分别以每个角点坐标/>处的像素点为中心像素点建立3*3窗口，将B1处窗口内的灰度值分别与每个/>处窗口内的灰度值进行比较，计算两个窗口内灰度值的汉明距离F，具体帧差法计算方式为公知技术，在此不再赘述，比较汉明距离大小，若B1运动后的位置为/>，则两个窗口内灰度值情况越相似，汉明距离越小，因此将计算出的汉明距离进行比较求最小值/>，将最小汉明距离/>对应的角点/>作为B1随时间变化后的角点，对两个角点的横坐标进行如下计算：
其中，F1为钻头角点B1的震颤幅度，为角点B1与角点/>之间的横坐标差值，对第n帧图像的中每个被标记的角点进行震颤幅度计算，并求均值/>，作为第n帧图像的钻头震颤幅度。对取到的所有图像通过上述方法进行相邻两帧图像间的震颤幅度计算，得到每帧图片的钻头震颤幅度。
在上述实施例中，将每帧图片的钻头震颤幅度按每帧图片的获取顺序集合成一个序列，与标准的震颤幅度序列进行匹配，计算相同次序的震颤幅度的差值，若差值在规定误差范围内，则震颤幅度正常，若超过误差范围，则震颤幅度不正常，统计不正常结果个数比上总个数，得到待检测序列的匹配度，若匹配度超过经验阈值，此处设为0.1，阈值可根据实际情况进行调整，说明钻头晃动剧烈，工作状态出现异常，需要维修。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
以上对本申请所提供的基于机器视觉的机床用钻头工作状态图像检测方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (9)
1.基于机器视觉的机床用钻头工作状态图像检测方法，其特征在于，所述方法包括：
获取由图像采集装置采集的数控钻铣床钻头工作状态下的图像；
对每一帧所述图像进行预处理；
对所述预处理后的每一帧图像进行角点检测，得到所述每一帧图像的角点检测结果；
确定所述每一帧图像中每个角点与周围其他角点之间的关联度，根据所述关联度确定钻头区域的角点；
根据相邻两帧图像中所述钻头区域中同一个角点的位移，确定所述每一帧图像钻头的震颤幅度；
将所述每一帧图像的钻头震颤幅度与标准震颤幅度进行比较，根据比较结果确定数控钻铣床钻头的工作状态。
2.根据权利要求1所述的基于机器视觉的机床用钻头工作状态图像检测方法，其特征在于，对每一帧所述图像进行预处理，包括：
对每一帧所述图像进行图像增强处理和滤波处理，将经过所述图像增强处理和滤波处理后的每一帧所述图像转换为灰度图像。
3.根据权利要求1所述的基于机器视觉的机床用钻头工作状态图像检测方法，其特征在于，确定所述每一帧图像中每个角点与周围其他角点之间的关联度，进一步包括：
确定所述每一帧图像中每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间在水平方向上的每个窗口内的灰度值变化量，其中所述窗口为以所述每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的中点像素点为中心建立的滑窗沿水平方向以一定的滑动步长向两端运动一定距离形成的；
根据每个窗口内的所述灰度值变化量确定每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间在水平方向上的灰度值起伏度；
根据确定的所述灰度值起伏度确定每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间关联度。
4.根据权利要求3所述的基于机器视觉的机床用钻头工作状态图像检测方法，其特征在于，进一步包括：
通过滑窗以所述每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的以中点像素点为中心沿水平方向向两端运动的方式确定每个角点与对应角点周围以钻头宽度的2倍为半径的区域的其他角点之间在水平方向上的每个窗口的灰度值变化量，其中所述每个窗口的灰度值变化量的计算公式为：
其中，为窗口内每个像素点灰度值，/>为水平方向R范围内的灰度值均值，R为钻头宽度，/>为窗口内像素点个数；
根据所述水平方向上所有窗口的灰度值变化量，确定所述水平方向上的灰度起伏度，所述灰度起伏度的计算公式为：
其中，为每个窗口的灰度变化量，/>为水平方向R范围内总的窗口数，R为钻头宽度。
5.根据权利要求3所述的基于机器视觉的机床用钻头工作状态图像检测方法，其特征在于，进一步包括：
对每一帧所述预处理后的图像进行边缘检测，得到每一帧图像的二值图；
对所述每一帧图像中通过所述角点检测得到的所有角点对应到所述二值图中；
在所述二值图中计算所述每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的边缘方向相似度，所述边缘方向相似度的计算公式为：
其中，K为边缘方向相似度，为圆心角点为/>的边缘角度序列，/>为圆心角点/>的2R半径的圆形范围内的某个角点/>的边缘角度序列，/>为序列/>中第/>个边缘角度，/>为序列/>中第/>个边缘角度，/>为两个序列中不同边缘角度之间的差值，R表示钻头宽度，j为序列/>中数值的个数，/>为角点/>与角点P之间水平方向上的灰度起伏度；
根据所述边缘方向相似度，确定所述每一帧图像中所述每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的关联度。
6.根据权利要求5所述的基于机器视觉的机床用钻头工作状态图像检测方法，其特征在于，进一步包括：所述二值图中每个角点与对应角点周围以钻头宽度的2倍为半径的圆形区域内的其他角点之间的关联度的计算公式为：
其中，表示角点/>的2R半径的圆形范围内的第/>个角点对角点/>的边缘方向相似度，/>为/>的个数。
7.根据权利要求1或6所述的基于机器视觉的机床用钻头工作状态图像检测方法，其特征在于，包括：
对确定的所有关联度进行比较，根据关联度比较结果将所有关联度均分为多个等级；
对所有关联度按所属等级范围进行直方图统计，获得关联度直方图；
根据所述关联度直方图，获取所述关联度直方图中最大峰值对应的等级内的所有角点的关联度，并计算最大峰值对应的等级内的所有角点的关联度的均值；
根据每个角点与周围其他角点之间的关联度与最大峰值对应的等级内的所有角点的关联度的均值，确定钻头区域的角点。
8.根据权利要求7所述的基于机器视觉的机床用钻头工作状态图像检测方法，其特征在于，确定钻头区域的角点，进一步包括：
计算每个角点的关联度与钻头区域每个角点的关联度的绝对值并进行归一化处理，得到处理结果；
将所述处理结果与阈值进行比较，根据比较结果确定钻头区域的角点。
9.根据权利要求8所述的基于机器视觉的机床用钻头工作状态图像检测方法，其特征在于，包括：
对所述每一帧图像确定的钻头区域的角点对应到所述预处理后的灰度图中，采用帧差法确定相邻两帧图像中所有相对应角点的位移，对相邻两帧图像中钻头区域所述所有相对应角点的位移求均值，确定所述每一帧图像钻头的震颤幅度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310889884.XA CN116612119B (zh) | 2023-07-20 | 2023-07-20 | 基于机器视觉的机床用钻头工作状态图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310889884.XA CN116612119B (zh) | 2023-07-20 | 2023-07-20 | 基于机器视觉的机床用钻头工作状态图像检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116612119A true CN116612119A (zh) | 2023-08-18 |
| CN116612119B CN116612119B (zh) | 2023-09-19 |
Family
ID=87678705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310889884.XA Active CN116612119B (zh) | 2023-07-20 | 2023-07-20 | 基于机器视觉的机床用钻头工作状态图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612119B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778532A (zh) * | 2023-08-24 | 2023-09-19 | 汶上义桥煤矿有限责任公司 | 一种煤矿井下人员目标跟踪方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5262958A (en) * | 1991-04-05 | 1993-11-16 | Texas Instruments Incorporated | Spline-wavelet signal analyzers and methods for processing signals |
| WO2011017627A1 (en) * | 2009-08-07 | 2011-02-10 | Exxonmobil Upstream Research Company | Methods to estimate downhole drilling vibration indices from surface measurement |
| CN102528561A (zh) * | 2012-02-28 | 2012-07-04 | 上海大学 | 回转体刀具全加工周期磨破损在线自动检测装置 |
| CN104331910A (zh) * | 2014-11-24 | 2015-02-04 | 沈阳建筑大学 | 一种基于机器视觉的轨道障碍物检测系统 |
| US20180027224A1 (en) * | 2016-07-19 | 2018-01-25 | Fotonation Limited | Systems and Methods for Estimating and Refining Depth Maps |
| WO2019085060A1 (zh) * | 2017-10-30 | 2019-05-09 | 南京阿凡达机器人科技有限公司 | 一种机器人的挥手检测方法、系统及一种机器人 |
| CN114207663A (zh) * | 2019-08-02 | 2022-03-18 | 西门子股份公司 | 工具的磨损程度的确定 |
| CN115797396A (zh) * | 2022-10-26 | 2023-03-14 | 北京交通大学 | 一种克服光照突变的混合高斯模型前景分割方法 |
-
2023
- 2023-07-20 CN CN202310889884.XA patent/CN116612119B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5262958A (en) * | 1991-04-05 | 1993-11-16 | Texas Instruments Incorporated | Spline-wavelet signal analyzers and methods for processing signals |
| WO2011017627A1 (en) * | 2009-08-07 | 2011-02-10 | Exxonmobil Upstream Research Company | Methods to estimate downhole drilling vibration indices from surface measurement |
| CN102528561A (zh) * | 2012-02-28 | 2012-07-04 | 上海大学 | 回转体刀具全加工周期磨破损在线自动检测装置 |
| CN104331910A (zh) * | 2014-11-24 | 2015-02-04 | 沈阳建筑大学 | 一种基于机器视觉的轨道障碍物检测系统 |
| US20180027224A1 (en) * | 2016-07-19 | 2018-01-25 | Fotonation Limited | Systems and Methods for Estimating and Refining Depth Maps |
| WO2019085060A1 (zh) * | 2017-10-30 | 2019-05-09 | 南京阿凡达机器人科技有限公司 | 一种机器人的挥手检测方法、系统及一种机器人 |
| CN114207663A (zh) * | 2019-08-02 | 2022-03-18 | 西门子股份公司 | 工具的磨损程度的确定 |
| CN115797396A (zh) * | 2022-10-26 | 2023-03-14 | 北京交通大学 | 一种克服光照突变的混合高斯模型前景分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘今越;王晓帅;李洋;贾晓辉;: "基于视觉式刀具测量的刀刃轮廓整体拟合", 激光与光电子学进展, no. 02 * |
| 宋俊芳;陈烽;何磊;王卫星;宋焕生;: "运动目标最优角点选择算法", 科学技术与工程, no. 12 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116778532A (zh) * | 2023-08-24 | 2023-09-19 | 汶上义桥煤矿有限责任公司 | 一种煤矿井下人员目标跟踪方法 |
| CN116778532B (zh) * | 2023-08-24 | 2023-11-07 | 汶上义桥煤矿有限责任公司 | 一种煤矿井下人员目标跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116612119B (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116612119B (zh) | 基于机器视觉的机床用钻头工作状态图像检测方法 | |
| Peng et al. | Application of machine vision method in tool wear monitoring | |
| WO2007101269A1 (en) | Approaches and apparatus for eye detection in a digital image | |
| Barreiro et al. | Use of descriptors based on moments from digital images for tool wear monitoring | |
| Jahedsaravani et al. | Development of a new algorithm for segmentation of flotation froth images | |
| CN111476804B (zh) | 托辊图像高效分割方法、装置、设备及存储介质 | |
| Zhang et al. | Research on tool wear detection based on machine vision in end milling process | |
| CN110047063B (zh) | 一种物料掉落的检测方法、装置、设备及存储介质 | |
| Huang et al. | Sub-pixel edge detection algorithm based on canny–zernike moment method | |
| CN114140384A (zh) | 基于轮廓拟合与形心跟踪的提升钢丝绳横向振动图像识别算法 | |
| CN114998328A (zh) | 一种基于机器视觉的工件喷涂缺陷检测方法、系统及可读存储介质 | |
| CN112907556A (zh) | 一种基于机器视觉的旋转刀具磨损量自动测量方法 | |
| CN110807354B (zh) | 一种工业流水线产品计数方法 | |
| Lakshmana Kumar et al. | Surface roughness evaluation in turning of Nimonic C263 super alloy using 2D DWT histogram equalization | |
| CN105184792A (zh) | 一种圆锯片磨损量在线测量方法 | |
| Zhou et al. | An adaptive clustering method detecting the surface defects on linear guide rails | |
| Chen et al. | Tool wear monitoring based on the combination of machine vision and acoustic emission | |
| CN110310239B (zh) | 一种基于特性值拟合消除光照影响的图像处理方法 | |
| TWI812002B (zh) | 刀具影像檢測方法 | |
| CN105405137A (zh) | 基于机器视觉的轴质量检测方法 | |
| CN115222744A (zh) | 基于深度估计的刀具磨损程度判定方法 | |
| Jywe et al. | Evaluation of tool scraping wear conditions by image pattern recognition system | |
| Banda et al. | Flank wear prediction using spatial binary properties and artificial neural network in face milling of Inconel 718 | |
| Zhang et al. | Measurement for blade edge based on machine vision | |
| Wang et al. | A Method of Workpiece Coherent Line Detection Based on Progressive Probabilistic Hough Transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |