CN114549647B - 一种hsk刀柄摆放朝向的检测方法 - Google Patents
一种hsk刀柄摆放朝向的检测方法 Download PDFInfo
- Publication number
- CN114549647B CN114549647B CN202210428226.6A CN202210428226A CN114549647B CN 114549647 B CN114549647 B CN 114549647B CN 202210428226 A CN202210428226 A CN 202210428226A CN 114549647 B CN114549647 B CN 114549647B
- Authority
- CN
- China
- Prior art keywords
- tool
- orientation
- target
- frame
- cutter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 48
- 230000006870 function Effects 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 16
- 238000003064 k means clustering Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 32
- 230000008569 process Effects 0.000 abstract description 19
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000012795 verification Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 6
- 238000003754 machining Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004873 anchoring Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种HSK刀柄摆放朝向的检测方法,采集刀具的图片,且采集的刀具的图片中清楚显示装刀定向标识,获取多个图像并作为训练样本;采用训练样本训练图像识别模型并得到训练后的图像识别模型;采用训练后的图像识别模型对待测视频画面实时识别刀柄和装刀方向,并判定装刀定向标识的预测区域是否在刀具整体的预测区域内,若装刀定向标识的预测区域在刀具整体的预测区域内,则刀具架上所有的刀具摆放正确,可以执行刀具交换,否则判定刀具架上的刀具摆放错误,报警并停止交换,并反馈摆错的位置。本发明可以实时快速检测刀柄摆放朝向,并将检测结果反馈至自动换刀机构控制器,为自动刀具交换过程提供校验保证,具有较好的实用性。
Description
技术领域
本发明属于数控加工自动换刀的技术领域,具体涉及一种HSK刀柄摆放朝向的检测方法。
背景技术
HSK刀柄是一种新型的高速锥形刀柄,采用锥面与端面双重定位的方式,广泛应用于数控加工过程中。根据现阶段HSK刀柄在中国应用范围最广的德国标准DIN 69893-1和ISO 12164-1的柄部尺寸要求,HSK刀柄区分别有大小两个传动槽,在机床主轴装刀时,若刀柄未对准大小传动槽,刀具朝向安装错误,则主轴无法夹紧刀柄。如图1、图2所示,根据标准可知,装刀定向标识与小传动槽相邻。
随着技术的进步,数控加工正朝着自动化、数字化、智能化进步。刀库自动换刀过程是提升加工效率、保证加工质量的重要环节之一。在刀具自动交换过程中,已组装刀具摆放在刀架指定位置,自动换刀机构执行移动、夹持、摆放等操作。现阶段的刀具流转包含机床刀库、刀具立体库、刀具缓存库在内的多个位置的刀具交换,但不可避免的存在至少一个环节需要人为参与,将刀具摆放在指定位置的情况。操作人员参与手动摆放刀具,存在刀具朝向摆错的风险。进一步的,夹持操作可能由于刀具朝向摆放错误,导致自动换刀机构在抓刀过程撞刀的情况,由此造成自动换刀机构损坏、刀柄损坏、刀具损坏等问题,带来巨大质量风险。
专利CN108427841A公开了一种自动换刀装置以及机床方法,其目的在于实现ATC动作的简单化且谋求刀具的交换时间缩短,通过机械手的刀具夹持,可在刀具台和刀库之间自动交换刀具。该专利没有考虑刀具朝向摆放错误,导致机械手撞伤的情况。
专利CN105500088A公开了一种数控机床自动换刀装置及方法,该专利针对盘式机床刀库设计,为校验刀柄与机械手的对应位置,设置了接近开关,数控系统通过读取接近开关的信号判断机械手的位置,仅针对机床刀库换刀,如果信号有误,停止继续操作。该专利仅考虑了盘式机床刀库换刀,且每次只能校验一把刀具,可能导致换刀途中反复发现有刀具未摆放正确,任务反复中途停止的情况。
鉴于此,本发明提供一种数控自动换刀过程HSK刀柄摆放朝向的校验方法,能够通过图像识别技术,在刀具交换机构执行换刀前快速检测刀柄摆放朝向,避免自动换刀机构在抓刀过程撞刀的情况,同时,该方法无需对刀架进行改造,支持所有种类刀架固持方式下刀柄朝向的检测,降低了发生自动换刀机构损坏、刀柄损坏、刀具损坏等问题的风险。
发明内容
本发明的目的在于提供一种HSK刀柄摆放朝向的检测方法,旨在解决上述问题。
本发明主要通过以下技术方案实现:
一种HSK刀柄摆放朝向的检测方法,包括以下步骤:
步骤S100:将刀具随机固定在刀具架上,且使刀具上的装刀定向标识朝向便于拍摄的一侧;拍摄每层的刀具,并随机打乱刀具的位置和摆放朝向,重复拍摄刀具,且拍摄图像中清楚显示装刀定向标识,获取多个拍摄图像并作为训练样本;
步骤S200:采用训练样本训练图像识别模型并得到训练后的图像识别模型;
步骤S300:采用训练后的图像识别模型对待测视频画面实时识别刀柄和装刀方向,并判定装刀定向标识的预测区域是否在刀具整体的预测区域内,若装刀定向标识的预测区域在刀具整体的预测区域内,则刀具架上所有的刀具摆放正确,可以执行刀具交换,否则判定刀具架上的刀具摆放错误,报警并停止交换,并反馈摆错的位置。
为了更好地实现本发明,进一步地,所述图像识别模型为YOLO v3模型,所述步骤S200包括以下步骤:
步骤S201:对每个训练样本中刀具和装刀定向标识进行标记,生成图像标记位置文件;将所有训练样本的图像标记位置文件按设定比例划分得到训练集与测试集;
步骤S202:利用训练集中每一张图片锚点框左上角点和右下角点的坐标提取(x,y,w,h,class)参数,其中锚点框中心点的坐标为(x,y),目标的宽和高为(w,h),class为类别;利用K-means聚类算法对训练集中目标边框的尺寸进行聚类,获取最佳锚定框的尺寸,预测出目标边框;
步骤S203:计算损失函数,所述损失函数包括置信度损失、分类损失、定位损失;采用随机梯度下降方法,计算YOLO v3模型更新后的权重值、偏置值;进行训练迭代,直至损失函数小于阈值;
步骤S204:利用测试集测试迭代训练后的YOLO v3模型,验证YOLO v3模型的正确率,若达到预定准确率,则保存模型,得到训练后的YOLO v3模型。
为了更好地实现本发明,进一步地,所述步骤S201中,对步骤S100采集到的所有训练样本中的刀具整体和装刀定向标识进行标记,并分别标记类别为Tool和Tag,用四个锚点形成一个锚定框,每个图像文件生成一个对应的图像标记位置文件;所述图像标记位置文件中记录了每一张图片锚点框左上角点和右下角点的坐标、标签的名称、图像的大小。
为了更好地实现本发明,进一步地,针对装刀定向标识的标记,选择在52*52特征图上,且锚点框为(10x13),(16x30),(33x23),检测目标;针对刀具整体的标记,选择在13*13特征图上,且锚点框为(116x90),(156x198),(373x326),检测目标。
为了更好地实现本发明,进一步地,所述步骤S202中,将测试集的图片划分成等大的若干个单元格,每一个单元格上为每一个边框预测4个值,记为(tx,ty,tw,th);若目标中心在单元格中相对图像左上角有偏移(Cx,Cy),并且锚点框具有宽度和高度(Pw,Ph),则修正后的边界框(bx,by,bw,bh)为:
其中:σ()为激活函数。
为了更好地实现本发明,进一步地,所述步骤S202中,K-means聚类算法的距离度量为:
其中,box是指数据集中边框尺寸样本,
centroid指类簇中心尺寸,
IOU是测量在特定数据集中监测相应物体准确度的标准。
为了更好地实现本发明,进一步地,所述步骤S203中,采用深度学习框架进行训练,初始参数设定:初始学习率:0.01;多项式速率衰减:2的幂次;权值衰减:0.005;动量:0.9。
为了更好地实现本发明,进一步地,所述步骤S203中,损失函数计算如下:
其中:
λ1、λ2、λ3分别为平衡系数;
其中:
c为预测值,
N为正负样本个数;
其中:
c ij 为预测值,
Npos为正样本个数;
其中:
为了更好地实现本发明,进一步地,所述步骤S300中,假设刀具整体区域的预测值为(bx1,by1,bw1,bh1),转化得到边界框的两个关键点坐标A(x1,y1)、B(X1,Y1);装刀定向标识区域的预测值为(bx2,by2,bw2,bh2),转化得到边界框的两个关键点坐标C(x2,y2)、D(X2,Y2);
首先判定是否满足交集:max(x1,x2)≦min(X1,X2)且max(y1,y2)≦min(Y1,Y2);
若满足,则判定刀具整体区域的预测区域内是否存在装刀定向标识的预测区域:x1<x2<X2<X1且Y1<Y2<y2<y1;
若存在,则表明装刀定向标识区域在刀具整体区域内,说明刀具摆放朝向正确,否则刀具摆放朝向错误。
为了更好地实现本发明,进一步地,所述步骤S300中,对刀具架上的刀具从左至右、由上至下进行编码,采用从左至右、由上至下的顺序依次判断装刀定向标识的预测区域内是否存在装刀定向标识的预测区域,若判定刀具摆放朝向错误,则反馈摆错刀具的编码。
本发明的有益效果:
本发明可以实时快速检测刀柄摆放朝向,并将检测结果反馈至自动换刀机构控制器,避免自动换刀机构在抓刀过程中出现撞刀的情况,降低了发生自动换刀机构损坏、刀柄损坏、刀具损坏等问题的风险,为自动刀具交换过程提供校验保证。
附图说明
图1为HSK刀柄的结构示意图;
图2为HSK刀柄的俯视图。
其中:1-传动槽、2-装刀定向标识。
具体实施方式
实施例1:
一种HSK刀柄摆放朝向的检测方法,包括以下步骤:
步骤S100:将刀具随机固定在刀具架上,且使刀具上的装刀定向标识2朝向便于拍摄的一侧;拍摄每层的刀具,并随机打乱刀具的位置和摆放朝向,重复拍摄刀具,且拍摄图像中清楚显示装刀定向标识2,获取多个拍摄图像并作为训练样本;
步骤S200:采用训练样本训练图像识别模型并得到训练后的图像识别模型;
步骤S300:采用训练后的图像识别模型对待测视频画面实时识别刀柄和装刀方向,并判定装刀定向标识2的预测区域是否在刀具整体的预测区域内,若装刀定向标识2的预测区域在刀具整体的预测区域内,则刀具架上所有的刀具摆放正确,可以执行刀具交换,否则判定刀具架上的刀具摆放错误,报警并停止交换,并反馈摆错的位置。
进一步地,如图1、图2所示,刀柄上设置有传动槽1和装刀定向标识2。步骤S100中,将所有刀具通过但不限于刀具夹固定在刀具架上,刀具夹固定刀具后,刀具的朝向包括但不限于正面或反面朝上、正面或反面朝左、正面或反面水平等各种摆放朝向。
进一步地,步骤S100中,摄像头可与刀具呈一定角度拍摄到所有刀具关键特征,优先的设置为45°。
进一步地,步骤S100中,图像采集目标包括不同位置、不同型号刀柄、不同摆放朝向的图像。
进一步地,步骤S200中,针对采集图像进行训练,图像识别模型包括但不限于YOLO、RNN、CNN、Open CV等。
进一步地,步骤S300中,根据图像识别结果指导换刀机构的操作,包括但不限于执行、报警、停止等动作。
本发明可以实时快速检测刀柄摆放朝向,并将检测结果反馈至自动换刀机构控制器,避免自动换刀机构在抓刀过程中出现撞刀的情况,降低了发生自动换刀机构损坏、刀柄损坏、刀具损坏等问题的风险,为自动刀具交换过程提供校验保证。
实施例2:
本实施例是在实施例1的基础上进行优化,所述图像识别模型为YOLO v3模型,所述步骤S200包括以下步骤:
步骤S201:对每个训练样本中刀具和装刀定向标识2进行标记,生成图像标记位置文件;将所有训练样本的图像标记位置文件按设定比例划分得到训练集与测试集;
步骤S202:利用训练集中每一张图片锚点框左上角点和右下角点的坐标提取(x,y,w,h,class)参数,其中锚点框中心点的坐标为(x,y),目标的宽和高为(w,h),class为类别;利用K-means聚类算法对训练集中目标边框的尺寸进行聚类,获取最佳锚定框的尺寸,预测出目标边框;
步骤S203:计算损失函数,所述损失函数包括置信度损失、分类损失、定位损失;采用随机梯度下降方法,计算YOLO v3模型更新后的权重值、偏置值;进行训练迭代,直至损失函数小于阈值;
步骤S204:利用测试集测试迭代训练后的YOLO v3模型,验证YOLO v3模型的正确率,若达到预定准确率,则保存模型,得到训练后的YOLO v3模型。
进一步地,步骤S201中,图像标记目标包括但不限于刀具轮廓、刀柄轮廓、装刀定向标识2轮廓,标记工具包括但不限于LabelImg,标记生成文件包括但不限于xml、txt。
进一步地,对步骤S100采集到的所有训练样本中的刀具整体和装刀定向标识2进行标记,并分别标记类别为Tool和Tag,用四个锚点形成一个锚定框,每个图像文件生成一个对应的图像标记位置文件;所述图像标记位置文件中记录了每一张图片锚点框左上角点和右下角点的坐标、标签的名称、图像的大小。
进一步地,针对装刀定向标识2的标记,选择在较大的52*52特征图上,感受野较小的锚点框(10x13),(16x30),(33x23),检测较小的目标;针对刀具整体的标记,选择较小的13*13特征图上,感受野最大的锚点框(116x90),(156x198),(373x326),检测较大的目标。
进一步地,所述步骤S202中,在测试集的图片的每一个单元格上为每一个边框预测4个值,记为(tx,ty,tw,th);若目标中心在单元格中相对图像左上角有偏移(Cx,Cy),并且锚点框具有宽度和高度(Pw,Ph),则修正后的边界框(bx,by,bw,bh)为:
其中:σ()为激活函数。
进一步地,所述步骤S202中,K-means聚类算法的距离度量为:
其中,box是指数据集中边框尺寸样本,
centroid指类簇中心尺寸,
IOU是测量在特定数据集中监测相应物体准确度的标准。
进一步地,所述步骤S203中,采用深度学习框架darknet进行训练,初始参数设定:初始学习率-learning rate:0.01;多项式速率衰减-polynomial rate decay:2的幂次;权值衰减-weight decay:0.005;动量-momentum:0.9。
本发明可以实时快速检测刀柄摆放朝向,并将检测结果反馈至自动换刀机构控制器,避免自动换刀机构在抓刀过程中出现撞刀的情况,降低了发生自动换刀机构损坏、刀柄损坏、刀具损坏等问题的风险,为自动刀具交换过程提供校验保证。
本实施例的其他部分与实施例1相同,故不再赘述。
实施例3:
本实施例是在实施例1或2的基础上进行优化,所述步骤S203中,损失函数计算如下:
其中:
λ1、λ2、λ3分别为平衡系数;
其中:
c为预测值,
N为正负样本个数;
其中:
c ij 为预测值,
Npos为正样本个数;
其中:
本实施例的其他部分与上述实施例1或2相同,故不再赘述。
实施例4:
本实施例是在实施例1-3任一个的基础上进行优化,所述步骤S300中,假设刀具整体区域的预测值为(bx1,by1,bw1,bh1),转化得到边界框的两个关键点坐标A(x1,y1)、B(X1,Y1);装刀定向标识2区域的预测值为(bx2,by2,bw2,bh2),转化得到边界框的两个关键点坐标C(x2,y2)、D(X2,Y2)。
首先判定是否满足交集:max(x1,x2)≦min(X1,X2)且max(y1,y2)≦min(Y1,Y2);
若满足,则判定刀具整体区域的预测区域内是否存在装刀定向标识2的预测区域:x1<x2<X2<X1且Y1<Y2<y2<y1;
若存在,则表明装刀定向标识2区域在刀具整体区域内,说明刀具摆放朝向正确,否则刀具摆放朝向错误。
进一步地,所述步骤S300中,对刀具架上的刀具从左至右、由上至下进行编码,采用从左至右、由上至下的顺序依次判断装刀定向标识2的预测区域内是否存在装刀定向标识2的预测区域,若判定刀具摆放朝向错误,则反馈摆错刀具的编码。
本实施例的其他部分与上述实施例1-3任一个相同,故不再赘述。
实施例5:
一种HSK刀柄摆放朝向的检测方法,包括以下步骤:
S1:将所有类型的刀具随机固定在刀具架每个位置上,且确保刀具的朝向为特定朝向,进一步的,可明显观察到特定朝向的刀柄装刀定向标识2轮廓;
S2:使用带有高清摄像头的换刀机械手对每一层的刀具拍照,且确保图像可清楚显示特定朝向刀具的装刀定向标识2轮廓;
S3:随机打乱刀具在刀具架上的位置和摆放朝向,重复对每一层刀具拍照,且确保图像可清楚显示装刀定向标识2轮廓;
S4:使用LabelImg软件,对采集图像中刀具和装刀定向标识2进行标记,生成XML格式的位置记录文件;
S5:利用每一张图片锚点框左上角点和右下角点的坐标提取(x,y,w,h,class)参数。利用K-means聚类算法对训练集中目标边框的尺寸进行聚类,获取最佳锚定框的尺寸,预测出目标边框;
S6:计算损失函数,包括置信度损失、分类损失、定位损失。采用随机梯度下降方法,计算卷积神经网络更新后的权重值、偏置值;进行训练迭代,直至Loss损失函数小于阈值,利用测试集测试,验证模型正确率,达到预定准确率,保存模型;
S7:使用darknet_ros启动YOLO v3,通过视频画面实时识别刀柄和装刀定向,并判断装刀定向标识2的预测区域是否在刀具整体的预测区域内。
S8:若装刀定向标识2的预测区域都在刀具整体的预测区域内,则刀架车上所有刀具摆放正确,可以执行刀具交换;若摆放错误,则报警并停止交换,并反馈错误位置。
本发明可以实时快速检测刀柄摆放朝向,并将检测结果反馈至自动换刀机构控制器,避免自动换刀机构在抓刀过程中出现撞刀的情况,降低了发生自动换刀机构损坏、刀柄损坏、刀具损坏等问题的风险,为自动刀具交换过程提供校验保证。
实施例6:
一种HSK刀柄摆放朝向的检测方法,包括以下步骤:
步骤1:在刀具架中存放刀具,使用多个刀具夹夹持固定刀具,刀具夹用于卡住刀具,同时刀具夹可以保证刀柄的朝向只有装刀定向标识2朝上或者朝下两种方向;
步骤2:将不同型号HSK刀柄的刀具装在刀具架中,确保每个位置都有刀具且有一半刀柄的装刀定向标识2向上;
步骤3:换刀机械手的夹刀机构的一侧装有高清摄像头,摄像头的朝向与刀具架上放置刀具的第一层(最高层)平面呈45°夹角,保证摄像头可以拍摄到第一层所有HSK刀柄的装刀定向标识2;进一步的,第一层的所有刀具进行拍照;将图像传输至上位机电脑中。
步骤4:将换刀机械手的夹刀机构高度水平下降,摄像头的朝向与刀具架上放置刀具的第二层平面呈45°夹角,保证摄像头可以拍摄到第二层所有HSK刀柄的装刀定向标识2;进一步的,第二层的所有刀具进行拍照;将图像传输至上位机电脑中;
步骤5:将刀具的位置随机打乱,并按照步骤2、3、4重复执行10次,确保有足够多的训练样本;在此过程中,换刀机械手的夹刀机构位置有且仅有两个,不随刀具位置变化而变化;
步骤6:对以上步骤采集到的所有图片中的刀具整体和装刀定向标识2进行标记,并分别标记类别为Tool和Tag,用四个锚点形成一个锚定框,每个图像文件生成一个对应的图像标记位置文件;文件中记录了每一张图片锚点框左上角点和右下角点的坐标、标签的名称、图像的大小等等。此处标签的名称分别为:Tool和Tag;将数据集按一定比例划分为训练集与测试集。
步骤7:构建特征提取网络进一步的利用Yolo v3对以上步骤生成的标记文件、图像进行训练。首先将原始图片缩放到416*416的大小,使用类似FPN网络的尺度金字塔结构,其中Darknet-53特征提取网络,将原始图像按照特征图的尺寸大小划分为S*S个等大的单元格,对应的三个尺度的特征图大小为13*13、26*26、52*52。在每个尺度的特征图的每个网格设置3个先验框。
步骤2中采集的图片为一层刀具,此案例中,一层刀架共有刀具8把,由于HSK刀柄的装刀定向标识2在图像中较小,所以选择在较大的52*52特征图上,感受野较小的anchorbox(10x13),(16x30),(33x23),检测较小的目标。由于HSK刀柄在图像中较大,所以选择较小的13*13特征图上,感受野最大的anchor box(116x90),(156x198),(373x326),检测较大的目标。
步骤8:利用每一张图片锚点框左上角点和右下角点的坐标生成(x,y,w,h,class)即锚点框中心点的坐标(x,y)目标的宽和高(w,h),class为类别,在此处包括刀具整体Tool和装刀定向标识2Tag。在每一个单元格上为每一个边框预测4个值,及边框左上角坐标(x,y)与目标的宽和高(w,h)记为(tx,ty,tw,th),若目标中心在单元格中相对图像左上角有偏移(Cx,Cy),并且锚点框具有宽度和高度(Pw,Ph),则修正后的边框为:
其中,锚定框的选择采用维度聚类的方法,传统的聚类算法包括层次积累和K均值聚类,以及基于模型的方法。而在此处利用K-means聚类算法对训练集中目标边框的尺寸进行聚类,获取最佳锚定框的尺寸,从而能够预测出更加准确的目标边框,其中K-means聚类算法的距离度量为:
其中,box指数据集中边框尺寸样本,centroid指类簇中心尺寸,IOU是一种测量在特定数据集中监测相应物体准确度的一个标准。
最终得到的边框坐标值是(bx,by,bw,bh)即边界框Bounding Box相对于特征图Feature Map的位置和大小,是我们需要的预测输出坐标。
采用深度学习框架darknet进行训练,初始参数设定:初始学习率-learningrate:0.01;多项式速率衰减-polynomial rate decay:2的幂次;权值衰减-weight decay:0.005;动量-momentum:0.9。
我们是一个尺度一个尺度的计算损失的,然后将最终的损失组合到一起。计算损失过程如下:
损失计算:损失=置信度损失+分类损失+定位损失
其中,λ1、λ2、λ3为平衡系数。
2.目标类别损失:使用二值交叉熵损失进行类预测。其中,,表示预测目标边界框i中是否存在第j类目标,0表示存在,1表示不存在。c ij 为预测值,为c ij 通过sigmod函数得到的目标概率,Npos为正样本个数。
3.目标定位损失:采用真实偏差指与预测偏差值的平方和,其中表示预测矩形框坐标偏移量,表示与之匹配的GTbox与默认框之间的坐标偏移量,为预测的目标矩形框参数,为默认矩形框参数,为与之匹配的真实目标矩形框参数,以上参数应设在预测特征图之上。
步骤9:采用随机梯度下降方法,计算卷积神经网络更新后的权重值、偏置值;训练迭代到10000次后,将学习率调整为0.001,继续训练;待训练至LOSS值小于0.5,且在很长的迭代周期内维持稳定。顾在10000次停止训练,最终保留训练的模型。使用测试集进行验证,两种标识的识别率为96%,模型性能较好。
步骤10:利用训练好的模型启动darknet_ros,启动YOLO v3,将换刀机械手的夹刀机构分别移动到数据采集阶段的指定位置,通过视频中画面获取,逐帧对实时识别画面中刀具整体和装刀定向标识2。
进一步的,我们使用刀具整体和装刀定向标识2预测出的边界框判断装刀朝向。假设刀具整体区域的预测值为(bx1,by1,bw1,bh1),转化为该框的两个关键点坐标,既A(x1,y1)、B(X1,Y1);装刀定向标识2区域的预测值为(bx2,by2,bw2,bh2),转化为该框的两个关键点坐标:C(x2,y2)、D(X2,Y2);以大小写来区分左上角坐标和右下角坐标。首先判断是否满足交集,既:
max(x1,x2)<=min(X1,X2)且max(y1,y2)<=min(Y1,Y2)
如果满足,判断刀具整体的预测区域内是否存在装刀定向标识2的预测区域,如果符合以下条件:
x1<x2<X2<X1且Y1<Y2<y2<y1;
则表明装刀定向标识2在刀具整体面积内,说明刀具摆放朝向正确;否则朝向错误。
步骤11:对刀架上的刀具由左至右,由上至下进行编码,参考二维数组格式,例如第1行第1列的刀具编码为(0,0)。同样采用由左至右,由上至下的方式依次判断装刀定向标识2的预测区域是否在刀具整体的预测区域内,在对识别到的图像进行分析时,装刀定向标识2的预测区域是否在刀具整体的预测区域内,数组第2列加1,如(0,1),满8第1列加1,第2列清0,如(1,0)。每发现一把负发现摆放错误的刀具,自动提示该刀具所在位置,如第1行第4个摆放错误,提示错位位置为(0,3)。上位机根据算法识别结果向机械手发送执行刀具交换操作或停止操作并报警的指令。
本发明可以实时快速检测刀柄摆放朝向,并将检测结果反馈至自动换刀机构控制器,避免自动换刀机构在抓刀过程中出现撞刀的情况,降低了发生自动换刀机构损坏、刀柄损坏、刀具损坏等问题的风险,为自动刀具交换过程提供校验保证。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。
Claims (10)
1.一种HSK刀柄摆放朝向的检测方法,其特征在于,包括以下步骤:
步骤S100:将刀具随机固定在刀具架上,且使刀具上的装刀定向标识朝向便于拍摄的一侧;拍摄每层的刀具,并随机打乱刀具的位置和摆放朝向,重复拍摄刀具,且拍摄图像中清楚显示装刀定向标识,获取多个拍摄图像并作为训练样本;
步骤S200:采用训练样本训练图像识别模型并得到训练后的图像识别模型;
步骤S300:采用训练后的图像识别模型对待测视频画面实时识别刀柄和装刀方向,并判定装刀定向标识的预测区域是否在刀具整体的预测区域内,若装刀定向标识的预测区域在刀具整体的预测区域内,则刀具架上所有的刀具摆放正确,可以执行刀具交换,否则判定刀具架上的刀具摆放错误,报警并停止交换,并反馈摆错的位置。
2.根据权利要求1所述的一种HSK刀柄摆放朝向的检测方法,其特征在于,所述图像识别模型为YOLO v3模型,所述步骤S200包括以下步骤:
步骤S201:对每个训练样本中刀具和装刀定向标识进行标记,生成图像标记位置文件;将所有训练样本的图像标记位置文件按设定比例划分得到训练集与测试集;
步骤S202:利用训练集中每一张图片锚点框左上角点和右下角点的坐标提取(x,y,w,h,class)参数,其中锚点框中心点的坐标为(x,y),目标的宽和高为(w,h),class为类别;利用K-means聚类算法对训练集中目标边框的尺寸进行聚类,获取最佳锚定框的尺寸,预测出目标边框;
步骤S203:计算损失函数,所述损失函数包括置信度损失、分类损失、定位损失;采用随机梯度下降方法,计算YOLO v3模型更新后的权重值、偏置值;进行训练迭代,直至损失函数小于阈值;
步骤S204:利用测试集测试迭代训练后的YOLO v3模型,验证YOLO v3模型的正确率,若达到预定准确率,则保存模型,得到训练后的YOLO v3模型。
3.根据权利要求2所述的一种HSK刀柄摆放朝向的检测方法,其特征在于,所述步骤S201中,对步骤S100采集到的所有训练样本中的刀具整体和装刀定向标识进行标记,并分别标记类别为Tool和Tag,用四个锚点形成一个锚定框,每个图像文件生成一个对应的图像标记位置文件;所述图像标记位置文件中记录了每一张图片锚点框左上角点和右下角点的坐标、标签的名称、图像的大小。
4.根据权利要求3所述的一种HSK刀柄摆放朝向的检测方法,其特征在于,针对装刀定向标识的标记,选择在52*52特征图上,且锚点框为(10x13),(16x30),(33x23),检测目标;针对刀具整体的标记,选择在13*13特征图上,且锚点框为(116x90),(156x198),(373x326),检测目标。
7.根据权利要求2所述的一种HSK刀柄摆放朝向的检测方法,其特征在于,所述步骤S203中,采用深度学习框架进行训练,初始参数设定:初始学习率:0.01;多项式速率衰减:2的幂次;权值衰减:0.005;动量:0.9。
8.根据权利要求2所述的一种HSK刀柄摆放朝向的检测方法,其特征在于,所述步骤S203中,损失函数计算如下:
其中:
λ1、λ2、λ3分别为平衡系数;
其中:
c为预测值,
N为正负样本个数;
其中:
c ij 为预测值,
Npos为正样本个数;
其中:
9.根据权利要求1所述的一种HSK刀柄摆放朝向的检测方法,其特征在于,所述步骤S300中,假设刀具整体区域的预测值为(bx1,by1,bw1,bh1),转化得到边界框的两个关键点坐标A(x1,y1)、B(X1,Y1);装刀定向标识区域的预测值为(bx2,by2,bw2,bh2),转化得到边界框的两个关键点坐标C(x2,y2)、D(X2,Y2);
首先判定是否满足交集:max(x1,x2)≦min(X1,X2)且max(y1,y2)≦min(Y1,Y2);
若满足,则判定刀具整体区域的预测区域内是否存在装刀定向标识的预测区域:x1<x2<X2<X1且Y1<Y2<y2<y1;
若存在,则表明装刀定向标识区域在刀具整体区域内,说明刀具摆放朝向正确,否则刀具摆放朝向错误。
10.根据权利要求9所述的一种HSK刀柄摆放朝向的检测方法,其特征在于,所述步骤S300中,对刀具架上的刀具从左至右、由上至下进行编码,采用从左至右、由上至下的顺序依次判断装刀定向标识的预测区域内是否存在装刀定向标识的预测区域,若判定刀具摆放朝向错误,则反馈摆错刀具的编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210428226.6A CN114549647B (zh) | 2022-04-22 | 2022-04-22 | 一种hsk刀柄摆放朝向的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210428226.6A CN114549647B (zh) | 2022-04-22 | 2022-04-22 | 一种hsk刀柄摆放朝向的检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114549647A CN114549647A (zh) | 2022-05-27 |
CN114549647B true CN114549647B (zh) | 2022-08-12 |
Family
ID=81667383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210428226.6A Active CN114549647B (zh) | 2022-04-22 | 2022-04-22 | 一种hsk刀柄摆放朝向的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549647B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7914242B2 (en) * | 2007-08-01 | 2011-03-29 | The Boeing Company | Aligning a machine tool with a target location on a structure |
CN102207420A (zh) * | 2011-03-15 | 2011-10-05 | 清华大学 | 主轴与刀柄结合面静动态特性试验装置及试验方法 |
CN102496038A (zh) * | 2011-11-18 | 2012-06-13 | 江苏大学 | 一种刀柄识别的方法 |
CN103196643A (zh) * | 2013-03-04 | 2013-07-10 | 同济大学 | 主轴-刀柄结合面非线性动态特性参数识别方法 |
CN103737430A (zh) * | 2013-12-11 | 2014-04-23 | 西安交通大学 | 一种应变式旋转二分量铣削力传感器 |
CN109063805A (zh) * | 2018-09-25 | 2018-12-21 | 西南大学 | 一种基于rfid的数控加工中心刀具自动识别系统及方法 |
CN110245689A (zh) * | 2019-05-23 | 2019-09-17 | 杭州有容智控科技有限公司 | 基于机器视觉的盾构刀具识别与定位检测方法 |
CN110853019A (zh) * | 2019-11-13 | 2020-02-28 | 西安工程大学 | 一种用于安检检测识别管制刀具的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7551974B2 (en) * | 2006-09-15 | 2009-06-23 | Jtekt Corporation | Processing method of workpieces using combined processing machines |
-
2022
- 2022-04-22 CN CN202210428226.6A patent/CN114549647B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7914242B2 (en) * | 2007-08-01 | 2011-03-29 | The Boeing Company | Aligning a machine tool with a target location on a structure |
CN102207420A (zh) * | 2011-03-15 | 2011-10-05 | 清华大学 | 主轴与刀柄结合面静动态特性试验装置及试验方法 |
CN102496038A (zh) * | 2011-11-18 | 2012-06-13 | 江苏大学 | 一种刀柄识别的方法 |
CN103196643A (zh) * | 2013-03-04 | 2013-07-10 | 同济大学 | 主轴-刀柄结合面非线性动态特性参数识别方法 |
CN103737430A (zh) * | 2013-12-11 | 2014-04-23 | 西安交通大学 | 一种应变式旋转二分量铣削力传感器 |
CN109063805A (zh) * | 2018-09-25 | 2018-12-21 | 西南大学 | 一种基于rfid的数控加工中心刀具自动识别系统及方法 |
CN110245689A (zh) * | 2019-05-23 | 2019-09-17 | 杭州有容智控科技有限公司 | 基于机器视觉的盾构刀具识别与定位检测方法 |
CN110853019A (zh) * | 2019-11-13 | 2020-02-28 | 西安工程大学 | 一种用于安检检测识别管制刀具的方法 |
Non-Patent Citations (2)
Title |
---|
Tool Wear Estimate in Milling Operation by FEM;Lijing Xie等;《Journal of China Ordnance》;20071215(第04期);331-335 * |
高速数控切削用刀柄工具系统;李波;《机床与液压》;20100128(第02期);197-202 * |
Also Published As
Publication number | Publication date |
---|---|
CN114549647A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109389275B (zh) | 一种图像标注方法和装置 | |
CN110599541B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
CN110580723B (zh) | 一种利用深度学习和计算机视觉进行精准定位的方法 | |
JP5800494B2 (ja) | 特定領域選択装置、特定領域選択方法及びプログラム | |
US20100259537A1 (en) | Computer vision cad models | |
CN112801050B (zh) | 行李智能跟踪监测方法和系统 | |
CN111858980B (zh) | 一种岩芯盘内岩芯识别与编录的方法 | |
EP3033875A1 (en) | Image processing apparatus, image processing system, image processing method, and computer program | |
CN108664860B (zh) | 房间平面图的识别方法及装置 | |
CN106503151A (zh) | 板材的处理方法和系统 | |
CN111259980B (zh) | 标注数据的处理方法和装置 | |
CN112184679A (zh) | 一种基于YOLOv3的酒瓶瑕疵自动检测方法 | |
CN111241905A (zh) | 基于改进ssd算法的输电线路鸟窝检测方法 | |
CN114549647B (zh) | 一种hsk刀柄摆放朝向的检测方法 | |
CN115171045A (zh) | 一种基于yolo的电网作业现场违章识别方法及终端 | |
Kim et al. | Combined visually and geometrically informative link hypothesis for pose-graph visual SLAM using bag-of-words | |
CN114581368A (zh) | 一种基于双目视觉的棒材焊牌方法及装置 | |
CN114266822B (zh) | 基于双目机器人的工件质检方法、装置、机器人及介质 | |
CN116958742A (zh) | 一种基于定位预训练的弱监督小样本目标检测系统和方法 | |
CN108037503B (zh) | 一种面向家居板材上下料的基于激光雷达的平面多板材定位方法 | |
CN110850897B (zh) | 面向深度神经网络的小型无人机位姿数据采集方法 | |
CN113359738A (zh) | 基于深度学习的移动机器人路径规划方法 | |
US8209047B2 (en) | Teaching device for a cutting die around patterns printed on a flat printing medium, cutting machine provided with such a device and method for implementing same | |
CN113642565B (zh) | 对象检测方法、装置、设备及计算机可读存储介质 | |
CN112288804B (zh) | 一种目标定位的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |