CN112017204A - 一种基于边缘标记图神经网络的刀具状态图像分类方法 - Google Patents
一种基于边缘标记图神经网络的刀具状态图像分类方法 Download PDFInfo
- Publication number
- CN112017204A CN112017204A CN202010652566.8A CN202010652566A CN112017204A CN 112017204 A CN112017204 A CN 112017204A CN 202010652566 A CN202010652566 A CN 202010652566A CN 112017204 A CN112017204 A CN 112017204A
- Authority
- CN
- China
- Prior art keywords
- edge
- graph
- image
- node
- tool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边缘标记图神经网络的刀具状态图像分类方法,包括有:S1:通过高清电子测量显微镜拍摄机床加工停机时的刀具磨损图像;S2:对刀具磨损图像进行归一化等处理,将图像输入到边缘标记图神经网络中提取特征,然后根据已有特征建立邻接边并初始化,形成一张全连接图,每一条边都指代它连接的两个节点的关系类型;S3:图初始化完成之后,更新节点特征和边的特征,进而从最后更新的边特征上得到最后的节点类别预测,用加权投票方法,结合训练集里的样本标签和它们与测试样本连接边的预测值,得到测试集样本的所属类别。本发明优点在于能够在小样本图像情形下较好的识别刀具的磨损状态。
Description
技术领域
本发明涉及刀具状态图像分类方法,具体是指一种基于边缘标记图神经网络的刀具状态图像分类方法。
背景技术
随着工业4.0的到来,制造型企业对生产过程的智能化需求越来越高,数控机床的自动化是大多数制造过程智能化的重要组成部分。刀具作为数控机床在机械加工中最容易损伤的部件,对它进行实时有效的故障识别与状态监测非常重要,主要原因在于:(1)据统计,在切削加工中,刀具故障通常约占机床停机时间的20%,而频繁的停机换刀严重影响企业的生产效率;(2)若刀具发生故障而没有及时被发现,会直接影响零件表面质量、尺寸精度等,严重的情况下将直接导致零件报废,从而增加生产成本。因此,数控机床加工过程中的实时刀具状态监测(TCM)是自动化制造中的关键研究课题,如何在加工过程中有效地监测刀具状态,识别刀具的磨损程度,已成为数控机床智能化以及生产过程自动化发展急需解决的问题。
目前,国内外学者对刀具状态监测开展了大量的研究。已经提出了诸多比较有效的刀具状态监测的方法,如快速傅里叶变换(FFT)、小波变换(WT)、人工神经网络(ANN)、隐马尔科夫链(HMM)、支持向量机(SVM)等,这为高精度、高可靠的TCM提供了一定的技术基础。然而,这些方法都需要在一定的前提条件下才能达到理想的效果,如快速傅里叶变换(FFT)要求信号是平稳的,而机床加工过程中刀具信号是非平稳的;小波变换(WT)虽然能够处理非平稳信号,但其需要构造和选择与故障特征波形相匹配且具有优良性质的小波基函数。而对于先验知识甚少的机床刀具损伤过程,选择合适的小波基函数是非常困难的;人工神经网络(ANN)算法需要大量样本数据进行训练,这对于刀具状态监测而言是很困难的。而在有限的样本情况下,人工神经网络(ANN)容易出现过拟合问题,即推广能力差;隐马尔科夫链(HMM)方法假设状态持续时间服从指数分布,而刀具损伤过程很难满足这一条件;支持向量机(SVM)在小样本情形下表现出良好的分类性能,但它只能依照当前时刻的信号特征进行识别,不能充分利用信号前后时刻的状态信息,这对于具有较强时变性的刀具损伤过程具有一定的局限性。
发明内容
本发明的目的是为了克服现有技术存在的缺点和不足,而提供一种基于边缘标记图神经网络的刀具状态图像分类方法,该方法在小样本数据下更适合刀具磨损状态识别。
为实现上述目的,本发明的技术方案是基于边缘标记图神经网络的刀具状态图像分类方法,其特征在于包括有:
S1:通过高清电子测量显微镜拍摄机床加工停机时的刀具磨损图像;
S2:对刀具磨损图像进行归一化等处理,将图像输入到边缘标记图神经网络中提取特征,然后根据已有特征建立邻接边并初始化,形成一张全连接图,每一条边都指代它连接的两个节点的关系类型;
S3:图初始化完成之后,更新节点特征和边的特征,进而从最后更新的边特征上得到最后的节点类别预测,用加权投票方法,结合训练集里的样本标签和它们与测试样本连接边的预测值,得到测试集样本的所属类别。
进一步设置是,所述的步骤S1和S2之间还包括有对刀具磨损图像进行划分和预处理,其中划分为对拍摄得到的所有刀具磨损图像按照磨损状态分为三类:初始磨损,正常磨损,急剧磨损;其中预处理为对刀具磨损图像按照统一规格进行图像压缩和裁剪预处理。
进一步设置是,所述的步骤S2包括以下子步骤:
S2-1:对制作好的刀具磨损图像数据集归一化,并且进行图像随机翻转;
S2-2:搭建刀具磨损图像数据集的特征提取网络;
S2-3:搭建全连接图的节点特征变换网络、边缘特征变换网络、边缘标记图网络;
S2-4:将图像输入到联合训练的卷积神经网络中提取特征,得到数据样本的特征表示,根据特征建立邻接边并初始化,形成全连接图,每一条边都指代着它连接的两个节点的关系类型,图的构造用数学形式表示为G=(V,E;T),对于每一个任务T,一个图对应着一个节点集合V和一个边集合E,对于训练集的边标签我们采用节点的标签进行表示如下
其中yij表示边标签,yj表示输入数据的标签,i,j=1,...,|T|;
S2-5:边的特征eij用一个数值范围在[0,1]区间内的二维向量来分别表示该条边连接的两个节点类内相似度与类间差异度,图网络同样也是多层网络,每层均可以按照类似的规则进行初始化;
其中,eij 0表示由边标签初始化后的边的特征。N表示分类的类别数量,K表示每个类对应的样本数量。
进一步设置是,所述步骤S3包括以下子步骤:
S3-1:图初始化完成之后,更新节点特征:
S3-2:根据变换后的节点信息来更新边的特征:
S3-3:从最后更新的边特征上得到最终的节点类别预测,用训练集里的样本标签和它们与测试样本连接边的预测值,以加权投票方式得到测试集样本的所属类别:
其中,δ表示克罗内克函数,Xj表示输入数据,C表示测试集所有类的数据集合。
本发明的创新机理和优点是:
(1)目前,现有的大多数深度学习故障诊断方法都依赖于大量的训练样本数据,而在样本数量较少的情况下,这些方法的训练效果很差,对刀具故障状态的识别效果也很不理想。本发明的提出可以有效对克服上述缺点,本发明能够在小样本图像情形下较好的识别刀具的磨损状态。
(2)现在的刀具磨损状态监测方法都需要在一定的前提条件下才能达到理想的效果,如FFT要求信号是平稳的;ANN算法在有限的样本情况下,容易出现过学习问题,即推广能力差;小波分析需要选择与刀具故障特征波形相匹配且具有优良性质的小波基函数。而对于先验知识甚少的机床刀具损伤过程,选择合适的小波基函数是非常困难的;HMM方法假设状态持续时间服从指数分布,而刀具损伤过程很难满足这一条件。本发明提供了一种适用于少样本图像下、更适合刀具磨损的监测与诊断方法,克服了现实中无法获得深度学习所需的大量图像之弊端。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,根据这些附图获得其他的附图仍属于本发明的范畴。
图1本发明的实施例的流程图;
图2本发明实施例所拍的刀具磨损图像参考图;
图3本发明实施例中节点和边特征迭代更新;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
如图1所示,为本发明实施例中,包括以下步骤:
(1)摆设和调整好照明系统,设好镜头放大比,调整被测刀具位置,然后通过高清电子测量显微镜拍摄机床加工停机时的刀具磨损图像。刀具磨损示意图如下所示:
(2)将实验中拍摄得到的所有刀具磨损图像按照磨损面积大小分为初始磨损,正常磨损,急剧磨损。
(3)原始图像的像素较大且有较多无用背景,进行图像裁剪等预处理。然后训练前对刀具磨损图像进行数据归一化和图像随机翻转
(4)搭建刀具磨损图像数据集的特征提取网络、全连接图的节点特征变换网络、边缘特征变换网络和边缘标记图网络。
(1)(5)将图像输入到联合训练的卷积神经网络中提取特征,得到数据样本的特征表示,之后就可以根据特征建立邻接边并初始化,形成全连接图,每一条边都指代着它连接的两个节点的关系类型。图的构造用数学形式表示为G=(V,E;T),对于每一个任务T,一个图对应着一个节点集合V和一个边集合E。对于训练集的边标签我们采用节点的标签进行表示如下:
其中yij表示边标签,yj表示输入数据的标签,i,j=1,...,|T|。
(6)对图进行初始化,边的特征eij我们用一个数值范围在[0,1]区间内的二维向量来分别表示该条边连接的两个节点类内相似度与类间差异度,每层网络均可以按照类似的规则进行初始化;
(7)根据变换后的节点信息来更新边的特征以此循环,中间用度量网络来计算参数集的相似度。示意图如图3所示。图初始化完成之后,更新节点特征:
(7)根据变换后的节点信息来更新边的特征:
(8)在数次的节点和连接边特征迭代更新之后,从最后更新的边特征上得到最终的节点类别预测,用训练集里的样本标签和它们与测试样本连接边的预测值,以加权投票方式得到测试集样本的所属类别。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (4)
1.一种基于边缘标记图神经网络的刀具状态图像分类方法,其特征在于包括有:
S1:通过高清电子测量显微镜拍摄机床加工停机时的刀具磨损图像;
S2:对刀具磨损图像进行归一化等处理,将图像输入到边缘标记图神经网络中提取特征,然后根据已有特征建立邻接边并初始化,形成一张全连接图,每一条边都指代它连接的两个节点的关系类型;
S3:图初始化完成之后,更新节点特征和边的特征,进而从最后更新的边特征上得到最后的节点类别预测,用加权投票方法,结合训练集里的样本标签和它们与测试样本连接边的预测值,得到测试集样本的所属类别。
2.根据权利要求1所述的基于边缘标记图神经网络的刀具状态图像分类方法,其特征在于:所述的步骤S1和S2之间还包括有对刀具磨损图像进行划分和预处理,其中划分为对拍摄得到的所有刀具磨损图像按照磨损状态分为三类:初始磨损,正常磨损,急剧磨损;其中预处理为对刀具磨损图像按照统一规格进行图像压缩和裁剪预处理。
3.根据权利要求1所述的基于边缘标记图神经网络的刀具状态图像分类方法,其特征在于:所述的步骤S2包括以下子步骤:
S2-1:对制作好的刀具磨损图像数据集归一化,并且进行图像随机翻转;
S2-2:搭建刀具磨损图像数据集的特征提取网络;
S2-3:搭建全连接图的节点特征变换网络、边缘特征变换网络、边缘标记图网络;
S2-4:将图像输入到联合训练的卷积神经网络中提取特征,得到数据样本的特征表示,根据特征建立邻接边并初始化,形成全连接图,每一条边都指代着它连接的两个节点的关系类型,图的构造用数学形式表示为G=(V,E;T),对于每一个任务T,一个图对应着一个节点集合V和一个边集合E,对于训练集的边标签我们采用节点的标签进行表示如下
S2-5:边的特征eij用一个数值范围在[0,1]区间内的二维向量来分别表示该条边连接的两个节点类内相似度与类间差异度,图网络同样也是多层网络,每层均可以按照类似的规则进行初始化;
其中,eij 0表示由边标签初始化后的边的特征,N表示分类的类别数量,K表示每个类对应的样本数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010652566.8A CN112017204A (zh) | 2020-07-08 | 2020-07-08 | 一种基于边缘标记图神经网络的刀具状态图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010652566.8A CN112017204A (zh) | 2020-07-08 | 2020-07-08 | 一种基于边缘标记图神经网络的刀具状态图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112017204A true CN112017204A (zh) | 2020-12-01 |
Family
ID=73498603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010652566.8A Pending CN112017204A (zh) | 2020-07-08 | 2020-07-08 | 一种基于边缘标记图神经网络的刀具状态图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112017204A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598661A (zh) * | 2020-12-29 | 2021-04-02 | 河北工业大学 | 一种基于机器学习的踝骨折及韧带损伤诊断方法 |
CN113378934A (zh) * | 2021-06-11 | 2021-09-10 | 西安电子科技大学 | 一种基于语义感知图神经网络的小样本图像分类方法及系统 |
CN113369993A (zh) * | 2021-07-30 | 2021-09-10 | 温州大学 | 一种小样本下刀具磨损状态监测方法 |
CN113392896A (zh) * | 2021-06-10 | 2021-09-14 | 中国人民解放军空军通信士官学校 | 基于边特征关系映射图神经网络模型的小样本图像分类方法 |
CN114397998A (zh) * | 2022-03-25 | 2022-04-26 | 腾讯科技(深圳)有限公司 | 图形识别方法、图形识别模型的训练方法、装置及设备 |
CN115035120A (zh) * | 2022-08-12 | 2022-09-09 | 山东迪格重工机械有限公司 | 基于物联网的机床控制方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242202A (zh) * | 2020-01-07 | 2020-06-05 | 燕山大学 | 基于度量学习的车削加工刀具磨损状态监测方法 |
CN111300144A (zh) * | 2019-11-25 | 2020-06-19 | 上海大学 | 基于图像处理的刀具磨损状态自动检测方法 |
-
2020
- 2020-07-08 CN CN202010652566.8A patent/CN112017204A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111300144A (zh) * | 2019-11-25 | 2020-06-19 | 上海大学 | 基于图像处理的刀具磨损状态自动检测方法 |
CN111242202A (zh) * | 2020-01-07 | 2020-06-05 | 燕山大学 | 基于度量学习的车削加工刀具磨损状态监测方法 |
Non-Patent Citations (2)
Title |
---|
JONGMIN KIM ET AL.: "Edge-Labeling Graph Neural Network for Few-Shot Learning", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), pages 1 - 3 * |
杨丰;李云;: "基于Fitnet的刀具磨损量预测方法研究", 机床与液压, no. 14 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598661A (zh) * | 2020-12-29 | 2021-04-02 | 河北工业大学 | 一种基于机器学习的踝骨折及韧带损伤诊断方法 |
CN112598661B (zh) * | 2020-12-29 | 2022-07-22 | 河北工业大学 | 一种基于机器学习的踝骨折及韧带损伤诊断方法 |
CN113392896A (zh) * | 2021-06-10 | 2021-09-14 | 中国人民解放军空军通信士官学校 | 基于边特征关系映射图神经网络模型的小样本图像分类方法 |
CN113378934A (zh) * | 2021-06-11 | 2021-09-10 | 西安电子科技大学 | 一种基于语义感知图神经网络的小样本图像分类方法及系统 |
CN113369993A (zh) * | 2021-07-30 | 2021-09-10 | 温州大学 | 一种小样本下刀具磨损状态监测方法 |
CN114397998A (zh) * | 2022-03-25 | 2022-04-26 | 腾讯科技(深圳)有限公司 | 图形识别方法、图形识别模型的训练方法、装置及设备 |
CN115035120A (zh) * | 2022-08-12 | 2022-09-09 | 山东迪格重工机械有限公司 | 基于物联网的机床控制方法及系统 |
CN115035120B (zh) * | 2022-08-12 | 2022-11-04 | 山东迪格重工机械有限公司 | 基于物联网的机床控制方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112017204A (zh) | 一种基于边缘标记图神经网络的刀具状态图像分类方法 | |
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
Yang et al. | Dfr: Deep feature reconstruction for unsupervised anomaly segmentation | |
CN110361176A (zh) | 一种基于多任务特征共享神经网络的智能故障诊断方法 | |
CN109272500B (zh) | 基于自适应卷积神经网络的织物分类方法 | |
CN112964469B (zh) | 一种迁移学习的变负载下滚动轴承在线故障诊断方法 | |
CN112381788B (zh) | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 | |
US11686689B2 (en) | Automatic optimization of an examination recipe | |
CN112200121B (zh) | 基于evm和深度学习的高光谱未知目标检测方法 | |
CN101140216A (zh) | 基于数字图像处理技术的气液两相流流型识别方法 | |
CN103544499A (zh) | 一种基于机器视觉的表面瑕疵检测的纹理特征降维方法 | |
CN111709907A (zh) | 基于One-Class深度支持向量描述的布匹疵点检测方法 | |
CN115358259A (zh) | 一种基于自学习的无监督跨工况轴承故障诊断方法 | |
CN116805051A (zh) | 基于注意力机制的双卷积动态域适应设备故障诊断方法 | |
CN115452376A (zh) | 基于改进轻量级深度卷积神经网络的轴承故障诊断方法 | |
Saleh et al. | Tire defect detection model using machine learning | |
KR101782364B1 (ko) | 케이평균군집화를 통한 학습기반의 비전검사 방법 | |
JP2005537578A (ja) | 紙の特徴付け | |
CN111695582A (zh) | 一种颤振纹理的检测方法及其装置 | |
Zhang et al. | Fabric defect detection based on visual saliency map and SVM | |
CN117036266A (zh) | 一种基于知识蒸馏的工业图像异常检测方法及系统 | |
Wang et al. | Textile defect detection and classification based on deep convolution neural network | |
CN110750876A (zh) | 一种轴承数据模型训练及使用方法 | |
CN117274148B (zh) | 基于深度学习的无监督晶圆缺陷检测方法 | |
Zhang et al. | Two-step Convolutional Neural Network for Image Defect Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |