CN114207663A - 工具的磨损程度的确定 - Google Patents

工具的磨损程度的确定 Download PDF

Info

Publication number
CN114207663A
CN114207663A CN202080055443.4A CN202080055443A CN114207663A CN 114207663 A CN114207663 A CN 114207663A CN 202080055443 A CN202080055443 A CN 202080055443A CN 114207663 A CN114207663 A CN 114207663A
Authority
CN
China
Prior art keywords
wear
image
tool
image points
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080055443.4A
Other languages
English (en)
Inventor
B.S.卢茨
D.雷古林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN114207663A publication Critical patent/CN114207663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于更精确地确定工具(16)的磨损程度的计算机实施的方法。提供了描绘与磨损相关的区域(11)的图像数据组(10)。通过计算单元(12),在使用人工神经网络(13)情况下,给多个图像点中的每个图像点(14)分别分配预设的类别集合的一个类别,其中,类别集合包含至少一个磨损类别。通过计算单元(12),基于分配结果确定磨损程度的至少一个特征值。

Description

工具的磨损程度的确定
技术领域
本发明涉及一种用于确定工具的磨损程度的计算机实施的方法,其中,提供了描绘工具的与磨损相关的区域的图像数据组。本发明还涉及一种用于训练人工神经网络以确定工具的磨损程度的计算机实施的方法、一种用于确定工具的磨损程度的分析系统和一种计算机程序。
背景技术
在工业制造中,工具磨损对生产成本有很大影响。工具磨损除了工具的过去的使用时间以外例如还取决于被加工的材料和加工参数,并且连续增加,但通常非线性地增加。如果工具磨损达到预定的允许的最大磨损,那么工具被用坏。如果继续使用磨损的工具,那么构件质量和加工性能会明显下降。
为了避免这一点,鉴于最大磨损,通常在需要之前更换工具。由此,工具成本基于工具的未使用的使用时间而增加。磨损增加与待加工的材料的关系和在相同指定的工具中的批次关系也导致在估计磨损程度方面的困难,并且因此导致过早更换工具的趋势。
在工业生产中,通过计算方法估计工具的磨损程度。为此,对机器信号、例如振动、声发射、切割力、机器电流等进行评估。然而,由于这些方法的间接性质,无法以高的精度估计磨损程度。此外,所使用的方法通常仅限于在特定的工具类型或刀刃几何形状中的应用。
例如,在专利文献US 2016/0091393 A1描述了一种方法,其中,确定机器的运行参数、尤其是位置参数和运动参数、例如主轴速度或进给率。通过聚类分析来提取参数,参数的趋势被考虑用于估计磨损程度。
在其他的方案中,通过激光束测量工具,这允许识别工具的故障情况、例如破裂。然而,因此不可能精确确定磨损程度。
发明内容
基于该背景,本发明所要解决的技术问题在于,说明了一种确定工具的磨损程度的改进的方案,该方案可以灵活地应用于不同的工具类型,并且能够更精确地确定磨损程度。
根据本发明,该技术问题通过独立权利要求的相应的解决方案来解决。有利的设计方案和另外的实施方式是从属权利要求的解决方案。
改进的方案基于以下构思,即通过人工神经网络分析描绘工具的图像数据,其中,借助神经网络,给图像数据组的多个图像点(或称为像素)分别分配一个类别。基于分析结果确定磨损程度的特征值。
根据改进的方案的第一独立方面,提供一种用于确定工具的磨损程度的计算机实施的方法。在此提供描绘工具的与磨损相关的区域的图像数据组。通过计算单元,在使用人工神经网络、尤其是训练的神经网络、例如卷积神经网络的情况下,给图像数据组的多个图像点中的每个图像点分别分配(zuordnen或称为划归、匹配、关联)预设的类别的预设的集合的一个类别。多个图像点尤其包含三个或更多个图像点。类别集合包含至少一个磨损类别。基于将多个图像点中的图像点分别分配至一个类别的结果,通过计算单元确定磨损程度的至少一个特征值。
图像数据组尤其是图像传感器、例如CMOS传感器、例如照相机的数字图像、即尤其是数字照相机图像。图像数据组具有也可以被称为像素的图像点的二维布置,其中,图像点尤其以列和行布置。
多个图像点例如可以包含图像数据组的所有图像点或图像数据组的图像点的预定义的子集。例如,多个可以包含图像数据组的图像点的预设的一部分、例如每个第二图像点、每个第四图像点等。如果多个图像点包含图像数据组的图像点的图像点子集,而不包含图像数据组的所有图像点,那么多个图像点例如可以在间上均匀分布或近似均匀分布。
工具可以是用于机床的加工工具、例如切割工具、例如车刀、镗刀、铣刀或钻头。它尤其可以是可转位刀片。
工具的与磨损相关的区域尤其是工具的受磨损的区域、例如表面,该区域由于工具的常规的使用而改变,并且其改变可以限制工具的功能、可用性、可负载性或性能,或其改变与受限的功能、可用性、性能或可负载性相关联。
尤其地,与磨损相关的区域可以是切割工具、例如可转位刀片、钻头、铣削工具或车刀的刀刃或刀刃的一部分。
图像数据组的提供尤其包含以计算机可读的形式提供图像数据组,尤其使得该图像数据组可以由计算单元读取,用以借助神经网络进行处理。
提供图像数据组尤其包含将图像数据组存储在存储介质或存储单元上,并且提供存储介质或存储单元。
例如,图像点可以对应于图像传感器的单个采样值,在CMOS传感器的情况下例如对应于通过光电探测器或光电二极管测量的值。然而,也可以对图像数据组进行预处理,从而例如将各个采样值组合以形成有效的图像点,并且在在此基本的理解中的图像点也可以对应于有效的图像点。
通过给多个图像点分别分配一个类别,尤其给多个图像点中的若干图像点中的每个单独的图像点单独分配类别中的一个。例如,对于图像点至类别的每次分配,可以通过计算单元确定分配正确的概率的特征值。
神经网络例如可以理解为软件代码或多个软件代码部件的组合,其中,软件代码或软件代码部件以计算机可读的形式存储,例如存储在存储介质或存储单元上。神经网络尤其可以理解为软件模块,或者可以包含一个或多个软件模块。计算单元可以读取或执行神经网络,即执行软件代码或软件代码部件。
神经网络尤其设计为卷积神经网络CNN。这意味着,神经网络至少有一个卷积层或层。尤其地,神经网络还可以具有常规的、尤其是非卷积的层或层、例如完全连接的隐藏的平面、例如一个或多个完全连接的平面。在这些情况下,神经网络接下来仍然被称为卷积神经网络或CNN。
分配的结果尤其包含与分配有关的信息或各个图像点至相应的类别的分配结果(或者说划归结果、匹配结果)。分配的结果例如可以针对多个图像点中的每个图像点包含这样的信息:预设的类别集合中的哪个类别已被分配给该图像点。结果还可以包含分配正确的概率的相应的特征值。
与从现有技术已知的方案不同地,通过改进的方案,没有使用基于其他的机器参数的间接外推来估计磨损程度,而是直接以视觉方式分析工具的与磨损相关的区域。由此,工具的已过去的使用时间与磨损增加之间的复杂的非线性的关系、以及责任关系对于根据改进的方案的分析不起作用。因此,可以明显更精确地分析或确定磨损程度。
由此,尤其可以避免不必要地过早更换工具。这导致成本节约,所述成本节约尤其在工业制造环境中可以是明显的。例如,现代机床的刀头可以具有最多50个刀刃,刀刃在一定的时间间隔中被更换,该时间间隔根据工具材料和原料可以是几分钟至几小时。
改进的方案还允许独立于外部干扰或环境影响地确定磨损程度。此外,利用改进的方案可以识别不同的磨损类型。
通过使用人工神经网络,可以对与磨损相关的区域进行直接的视觉分析,并且这在原则上没有限制特定的工具类型或刀刃几何形状的情况下被提供。这可以使得改进的方案非常灵活地使用。
根据改进的方案,不是将整个图像、即整个图像数据组分配到一个类别。替代地,给多个图像点中的每个图像点彼此独立地分配自身的类别。通过这种逐个像素的分析,尤其是在训练神经网络时减少了计算工作量。此外,以该方式可以实现特别精确的分析,并且因此更精确地确定磨损程度。
根据至少一个实施方式,提供以下图像数据组,其具有在1个图像点/mm和500个图像点/mm之间的范围内的分辨率、例如50个图像点/mm至150个图像点/mm、优选大约100个像素/mm的分辨率。
通过相应高的分辨率能够精确且可靠地确定磨损程度。
至少一个磨损类别例如可以具有恰好一个磨损类别或多于一个的磨损类别,其中,不同的磨损类别可以对应于不同类型的磨损指标、不同的磨损机制或不同的磨损类型。
除了至少一个磨损类别之外,预设的类别集合例如可以包含背景类别和/或未损坏的工具表面的类别。
如果相应的图像点不在工具上,那么背景类别例如被分配给该图像点。
如果相应的图像点位于工具上,并且没有显示出磨损,那么未损坏的工具表面的类别例如被分配给该图像点。
如果图像点位于工具上,并且在工具的该点处存在相应的磨损,那么将至少一个磨损类别的相应的磨损类别分配给该图像点。
根据至少一个实施方式,工具具有用于机床的加工工具,尤其是例如用于车床或铣床的切割工具、例如可转位刀片。
根据至少一个实施方式,神经网络通过计算单元针对多个图像点中的每个图像点应用于相应的图像点的环境区域,以便将相应的图像点分配给预设的类别集合中的类别之一。
环境区域尤其是多个图像点的包含相应的图像点的子集,其根据预设的规则被选择或定义。
因为图像点的定义的环境被用作神经网络的输入,所以图像点的图像信息可以有效地与其周围点进行比较和评估。周围环境中的相对图像信息用于表征或分类图像点。
根据至少一个实施方式,相应的图像点的子集是相关联的子集。这意味着,子集的每个图像点具有多个图像点中的至少一个相邻的图像点,该相邻的图像点同样是子集的一部分。
根据至少一个实施方式,神经网络应用到其环境区域的相应的图像点要么被子集的剩余的图像点包围或围绕,要么相应的图像点是多个图像点的边缘点。
在此例如,图像数据组的对应于行或列中的第一或最后一个图像点的图像点可以理解为边缘点。
根据至少一个实施方式,环境区域包含神经网络应用于到其周围环境的相应的图像点,以及多个图像点中的与相应的图像点相邻的尤其直接相邻的所有图像点。如果多个图像点中的图像点如所描述的那样以行和列布置,那么相应的图像点具有彼此直接相邻的八个图像点,从而使得在这种情况下,子集例如包含九个图像点。
根据至少一个实施方式,除了相应的图像点的相邻的图像点之外,环境区域还包含相邻的图像点的所有相邻的图像点。
换句话说,环境区域包含相应的图像点以及下一个和再下一个的相邻图像点。在图像点以行和列布置的情况下,环境区域例如包含25个图像点。
根据至少一个实施方式,环境区域包含相应的图像点和多个图像点中的剩余的图像点,其与相应的图像点具有一定的间距,该间距小于预设的最大间距。
可以将环境区域视为在整个图像数据组上逐步移动的滑动窗口,其中,针对窗口的每个位置,给相应的图像片段分配一个类别。
根据至少一个实施方式,环境区域包含相应的图像点和多个图像点中的所有剩余的图像点,所述剩余的图像点与相应的图像点的行间距小于预设的最大行间距,并且所述剩余的图像点与相应的图像点的列间距小于预设的最大列间距。
在这样的实施方案中,环境区域具有例如矩形形状。
根据至少一个实施方式,通过计算单元、根据形态学的图像处理操作加工分配的结果,并且通过计算单元、基于被加工的结果确定磨损程度的至少一个特征值。
根据至少一个实施方式,形态学的图像处理操作包含腐蚀操作和/或膨胀操作。
根据至少一个实施方式,形态学的图像处理操作包含打开操作、即尤其是腐蚀操作,随后是膨胀操作。
通过必要时多次应用形态学的图像处理操作,可以修正错误分类,并且可以减小分配结果中的噪声。因此,可以实现更高的分类精度,并且相应实现磨损程度的确定。
根据至少一个实施方式,基于类别至多个图像点中的图像点的分配,即基于分配的结果产生类别图像,其中,类别图像对应于图像数据组的复制,在该复制中,每个图像点根据分配给它的类别被标记或强调,例如以颜色来强调。
为了根据形态学的图像处理操作来加工分配的结果,例如可以通过形态学的图像处理操作来加工类别图像。
根据至少一个实施方式,类别图像和/或根据形态学的图像处理操作加工的类别图像可以例如通过用户界面、尤其是显示器或用户界面的显示单元被输出给用户。用户可以根据输出来了解根据改进的方案的分配或方法实现了什么样的结果,以及必要时据此输出哪些结论或建议。
根据至少一个实施方式,通过计算单元确定多个图像点中的已分配给至少一个磨损类别、即尤其是至少一个磨损类别的一个磨损类别的图像点的份额。基于该份额,通过计算单元确定磨损表面、例如有效的磨损表面作为磨损程度的特征值,即作为至少一个特征值的特征值。
换言之,分配的结果包含已分配给至少一个磨损类别的图像点的份额,并且至少一个特征值包含磨损表面。
在应用形态学的图像处理操作的实施方式中,磨损表面或其确定应理解为,使得根据多个图像点中的已分配给至少一个磨损类别并且在通过形态学的图像处理操作的加工后还总是分配给至少一个磨损类别之一的图像点的份额确定磨损表面。
这同样适用于确定磨损程度的另外的特征值、尤其是磨损痕迹宽度。
例如,该份额可以被计算为已分配给至少一个磨损类别的那些点的数量除以多个图像点中的所有图像点的数量。磨损表面尤其与乘以多个图像点中的所有图像点的数量除以工具图像点的数量的份额成正比。在此,工具图像点的数量对应于分配给至少一个磨损类别或用于未损坏的工具表面的类别的图像点的数量。
在备选的实施方式中,该份额也可以被计算为已分配给至少一个磨损类别的图像点的数量除以工具图像点的数量。面积与份额直接成正比。
对于每个工具,磨损表面直接提供关于工具的剩余的使用时间的讯息和/或可以是用于工具的当前的磨损程度的重要的指标。
根据至少一个实施方式,针对多个图像点中的图像点的列或行,通过计算单元确定已分配给至少一个磨损类别的图像点的另外的份额。基于另外的份额确定列或行的磨损痕迹宽度。通过计算单元,基于行或列的磨损痕迹宽度来确定用于磨损程度的至少一个特征值的另外的特征值。
换言之,分配的结果包含列或行的已分配给至少一个磨损类别之一的图像点的数量,并且至少一个特征值包含该列或行的磨损痕迹宽度。磨损痕迹宽度例如可以以长度单位,即以米或毫米来说明,或以图像点的单位来说明。
磨损痕迹宽度尤其直接与另外的份额成正比。
根据工具,磨损痕迹宽度、尤其是与另外的行或列的相应计算的磨损痕迹宽度一起可以是对于工具的磨损程度有意义的指标。
根据至少一个实施方式,针对多个图像点中的图像点的至少一个另外的列或行,通过计算单元确定已分配给至少一个磨损类别的图像点的相应的另外的份额。通过计算单元,基于相应的另外的份额确定相应的另外的列或行的相应的另外的磨损痕迹宽度。借助计算单元,基于磨损痕迹宽度和另外的磨损痕迹宽度确定另外的特征值。
通过考虑另外的磨损痕迹宽度,提高了另外的特征值的可靠性和有效性。
尤其地,针对多个图像点中的每列图像点或针对多个图像点中的每行图像点确定磨损痕迹宽度,并且基于所有这些磨损痕迹宽度来确定另外的特征值。
是否考虑使用图像点的行或列来计算磨损痕迹宽度取决于工具在图像内的相应的定向,和/或图像数据组的预处理。
根据至少一个实施方式,磨损程度的至少一个特征值、尤其是另外的特征值包含所有特定的磨损痕迹宽度的统计特征参量、例如最大值、平均值或中值。
根据至少一个实施方式,分配的结果包含将多个图像点中的图像点分布到至少一个磨损类别的所有磨损类别或从该分布导出的参量。
根据至少一个实施方式,与磨损相关的区域通过照相机、尤其是显微镜照相机设备成像,以便产生和提供图像数据组。
显微镜照相机设备尤其包含显微镜照相机或显微镜和与显微镜耦合的照相机。
由此实现与磨损相关的区域的精确和详细的图示,并且相应实现确定磨损程度的高的精度。
根据至少一个实施方式,通过计算单元将至少一个特征值与至少一个预设的极限值比较。通过计算单元、根据比较结果确定与工具的剩余的使用时间相关的值。
工具的剩余的使用时间尤其对应于直到预期达到工具的预定义的最大磨损为止的剩余的时间。
与工具的剩余的使用寿命相关的值例如可以对应于二进制值,并且相应说明是否达到最大磨损。
与剩余的使用时间相关的值也可以包含时间(例如以小时、分钟和/或秒为单位),和/或包含尤其是关于工具的总使用时间的时间份额(以百分比为单位)。
通过将至少一个特征值与至少一个极限值比较,尤其将至少一个特征值的每个特征值与至少一个预设的极限值的相关的极限值进行比较。
至少一个极限值的不同的极限值也可以相互依赖或相互定义。
通过确定与剩余的使用时间有关的值,可以决定是否必须更换工具,或者是否还可以继续使用工具,或者何时需要更换工具。
根据至少一个实施方式,通过计算单元、根据至少一个特征值与至少一个预设的极限值的比较的结果,提出工具的更换建议。
尤其地,更换建议可以作为视觉信号在用户界面上输出。
如果特征值中的一个或多个大于或等于相关联的极限值,那么例如可以根据更换建议来建议更换工具。
根据改进的方案的另一个独立方面,说明了一种用于训练人工神经网络以确定工具的磨损程度的计算机实施的方法。在此提供训练图像数据组,它描绘参考工具的与磨损相关的区域。提供训练图像数据组的多个图像点中的每个图像点分别至预设的类别集合的一个类别的参考分配,其中,类别集合包含至少一个磨损类别。通过训练计算单元,针对多个图像点中的每个图像点计算神经网络的输出,并且将输出与参考分配进行比较。通过训练计算单元、根据比较结果调整神经网络,以便训练神经网络。
训练计算单元可以是计算单元或独立的另外的计算单元。
通过例如可以作为文件存储在存储介质或存储单元上的参考分配,将类别集合中的预设的类别分配给多个图像点中的每个图像点。因此,图像点的相应的参考分配可以理解为用于训练神经网络的标签或目标。
针对图像点中的一个输出神经网络对应于一个明显的类别,网络在未训练的或部分训练的状态中将该类别分配给相应的图像点。该输出与参考分配比较,其方式是将相应的图像点的明显的类别与根据参考分配来分配的类别进行比较。
尤其以如下方式调整神经网络,即改变神经网络的各个神经元的权重,以便减小输出与相应的图像点的参考分配的偏差。
为了计算神经网络的输出,将神经网络应用于相应的图像点的环境区域,尤其如上面关于用于确定磨损程度的计算机实施的方法所描述的那样。
根据用于确定工具的磨损程度的方法的至少一个实施方式,使用根据改进的方案的用于训练人工神经网络的方法来训练神经网络。用于训练神经网络的方法的方法步骤也是用于确定磨损程度的方法的方法步骤。
尤其是在将图像数据组的图像点分配给相应的类别之前训练人工神经网络。然而附加地,也可以在稍后的时间点重复训练,以便优化神经网络的模型。
根据用于确定工具的磨损程度的方法的至少一个实施方式,通过根据改进的方案的用于训练人工神经网络的方法来训练神经网络。用于训练神经网络的方法的方法步骤前置于用于确定磨损程度的方法的方法步骤,并且本身不是用于确定磨损程度的方法的一部分。
根据改进的方案的用于训练人工神经网络的方法的另外的实施方式直接来自于根据改进的方案的用于确定工具的磨损程度的方法的不同的实施方式,反之亦然。
根据改进的方案的另一个独立方面,提供了一种用于确定工具的磨损程度的分析系统。分析系统具有计算单元和存储单元。图像数据组存储在存储单元上,图像数据组描绘了工具的与磨损相关的区域。计算单元设计用于,在使用尤其被训练的人工神经网络、尤其是卷积神经网络的情况下,将图像数据组的多个图像点中的每个图像点分别分配(或者说划归、匹配、关联)至预设的类别的预设的集合的一个类别,其中,类别集合包含至少一个磨损类别。计算单元此外设计用于,基于将多个图像点中的图像点至相应的类别的分配的结果来确定磨损程度的至少一个特征值。
尤其地,存储单元可以包含一个或多个存储介质。
神经网络尤其存储在存储单元上。
例如,预设的类别集合的类别同样存储在存储单元上。
根据至少一个实施方式,分析系统包含输出单元、例如图像输出单元,尤其是以便向分析系统的用户输出类别图像或根据形态学的图像处理操作加工的类别图像。
根据至少一个实施方式,分析系统具有显微镜照相机设备,该显微镜照相机设备设计用于,对工具的与磨损相关的区域进行成像,以便产生图像数据组。
显微镜照相机设备或计算单元尤其设计用于,将图像数据组存储在存储单元上。
按照根据改进的方案的分析系统的至少一个实施方式,通过根据改进的方案的用于训练人工神经网络的方法来训练神经网络。
根据改进的方案的分析系统的另外的实施方式直接来自于根据改进的方案的用于确定磨损程度的方法和用于训练人工神经网络的方法的不同的设计方案,反之亦然。尤其地,分析系统设计或编程用于,执行根据改进的方案的方法,或者分析系统执行根据改进的方案的方法。
根据改进的方案的另一个独立方面,说明了具有指令的计算机程序。在计算机程序由计算机系统、尤其是由根据改进的方案的分析系统、例如由分析系统的计算单元执行时,命令促使计算机系统执行根据改进的方案的用于确定工具的磨损程度的方法。
根据改进的方案的另一个独立方面,说明了具有另外的命令的另外的计算机程序。当另外的计算机程序由计算机系统,尤其是根据改进的方案的分析系统、例如分析系统的处理单元执行时,另外的命令促使计算机系统执行根据改进的方案的用于训练人工神经网络的方法。
根据改进的方案的另一个独立方面,说明了一种计算机可读的存储介质,在该存储介质上存储有根据改进的方案的计算机程序和/或另外的计算机程序。
上面在说明书中提到的特征和特征组合以及下面在附图描述中提到的和/或在附图中单独示出的特征和特征组合不仅可以在分别说明的组合中使用,而且还可以在其他的组合中使用,而不会脱离本发明的保护范围。不具有最初撰写的独立权利要求的所有特征和/或超出或偏离在权利要求的引用关系中说明的特征组合的实施方案和特征组合也被视为公开的。
附图说明
本发明随后根据具体的实施例和相关的示意图详细阐述。在附图中,相同的或功能相同的元件可以设有相同的附图标记。必要时,不必针对不同的附图重复对相同或功能相同的元件的描述。
在附图中:
图1示出了根据改进的方案的分析系统的示例性的实施方式的示意图;并且
图2示出了根据改进的方案的用于训练神经网络的方法的示例性的实施方式的流程图以及根据改进的方案的用于确定工具的磨损程度的方法的示例性的实施方式的流程图。
具体实施方式
图1示出了一种根据改进的方案的分析系统20的示意图。
分析系统20具有计算单元12和与计算单元12耦合的存储单元19。
图像数据组10尤其存储在存储单元19上,该图像数据组描绘工具16的与磨损相关的区域11。
此外,具有人工神经网络13的软件模块存储在存储单元19上,其中,神经网络13尤其包含卷积神经网络25。因此,神经网络13本身也被称为卷积神经网络CNN。
可选地,分析系统20可以具有显微镜照相机设备17,工具16、尤其是工具16的与磨损相关的区域11可以通过该显微镜照相机设备被成像,以便产生图像数据组10。
可选地,分析系统20还可以具有图像输出单元34,以便给分析系统20的用户提供视觉输出。
工具16尤其可以是用于机床的切割工具。例如,工具16可以是用于机床、例如车床或铣床的可转位刀片。工具16的与磨损相关的区域11尤其对应于工具16的刀刃或刀刃的一部分。
然而,改进的方案、尤其是根据改进的方案的分析系统或方法不局限于切割工具或甚至不局限于可转位刀片。所描述的步骤和实施方式类似地适用于其他的工具类型。
随后,描述了神经网络13的分别适用于使用在分析系统20或根据改进的方案的方法中的示例性的架构和拓扑结构。然而,必要时也可以使用其他的架构。
图1所示的神经网络13具有三个连续的卷积平面26、27、28。每个卷积平面26、27、28在此包含例如实际意义中的卷积层,随后是激励函数、尤其是整流或整流(英文rectifier)激励函数,其也可以被称为整流线性单元激励函数(简称为RELU激励函数),并且此外随后是池化层。例如,池化层可以设计用于执行2×2最大值池化或2×2平均值池化。
例如,各个卷积平面26、27、28或其实际意义中的卷积层可以分别实现不同数量的过滤器。在此,过滤器的数量可以例如从第一卷积平面26经由第二卷积平面27朝第三卷积平面28增大。尤其地,第二卷积平面27的过滤器的数量可以是第一卷积平面26的过滤器数量的两倍,并且是第三卷积平面28的过滤器的数量的一半。
第三卷积平面28或CNN 25的输出通常是多维的。在CNN之后的扁平层29中,CNN 25的输出被转换为一维特征向量。
例如,传统的神经网络30后置于扁平层29。神经网络30例如包含具有例如两个隐藏平面31、32、尤其是密集层31、32的分类器。密集层31、32尤其可以形成多层感知器。
此外,神经网络30例如具有后置于密集层31、32的输出层33。例如,softmax函数可以用于进行划分。
由此构建的神经网络13可以将来自预设的类别集合的类别分配给输入,该输入例如对应于图像数据组10的一部分。
用于预设的类别集合的每个类别的人工神经元尤其位于输出层33中,在五个类别的情况下相应存在五个神经元。
分析系统20的功能接下来参考图2、借助根据改进的方案的在那里描述的方法更详细地阐述。
图2示出了根据改进的方案的用于训练神经网络13以确定工具16的磨损程度的方法的流程图。尤其示出了方法步骤1至4,它们表示用于训练人工神经网络13的方法。此外,尤其通过方法步骤5至9示出了根据改进的方案的用于确定工具16的磨损程度的方法的流程图。接下来假设,分析系统20既用于训练阶段,即用于执行用于训练神经网络13的方法,而且也用于操作阶段,即用于执行用于确定工具16的磨损程度的方法。但是,这不是必需的,因为训练阶段与操作阶段无关。
在用于训练神经网络13的方法的步骤1中,提供了训练图像数据组18,其描绘了参考工具的与磨损相关的区域。参考工具例如是与应该在操作运行期间确定其磨损程度的工具16相同类型或类似类型的工具。
尤其以高分辨率示出训练图像数据组18。例如,可以为参考工具的边缘提供每毫米至少100个图像点的分辨率。在该方法的步骤2中,提供训练图像数据组18的每个图像点至预设的类别集合的类别的参考分配。换言之,由成对的磨损图像和每个图像点或像素的相关的类别提供数据组。
未经训练的或部分训练的神经网络13通过计算单元12被依次应用于每个图像点(包括相应的图像点的预定义的环境)。计算单元12将神经网络13的相应的输出与对应的参考分配进行比较。
为了学习输入数据(即训练图像数据组18)和输出值(即相关的类别)之间的关系,神经网络13在方法的步骤4中由计算单元12适配,尤其地,神经网络、尤其是CNN 25的相应的权重被适配为,使得减小输入数据和输出值之间的误差。对于大量另外的训练图像数据组18’、18”重复所描述的步骤,直到神经网络13已被充分训练,即分配中的误差处于预设的可接受的容差范围内。
在示例性的实施方式中,预设的类别集合可以包含例如五个类别,其中例如,五个类别中的三个是磨损类别。磨损类别在此尤其表示工具16的典型的磨损类型。在切割工具的情况下,第一磨损类别例如可以是表面磨损类别,即可以表示工具16上的表面磨损。第二磨损类别可以是开槽类别(也被称为“凹槽类别”),其表示穴形的、开槽形的或沟槽形的磨损特征。第三类磨损可以是积屑瘤类别(也被称为“Build-up-edge-Klasse”,切屑瘤类别),其表示由工件材料在工具上的堆积导致的磨损特征、即所谓的积屑瘤。
背景类别可以用作另外的类别,当图像点没有位于工具表面上时,该背景类别例如被分配给该图像点。
在其他的实施方式中,其他的类别类型,在其他的工具类型中尤其还有其他的磨损类别可能是有利的。
由工具图像和相应的类别组成的多样化的数据组有利地可用于训练阶段。例如在不同的磨损程度的情况下和在不同的刀刃情况下,例如分析不同工具的图像、尤其是不同的形状和材料的图像。由此,训练的CNN相对于诸如偏离的刀刃之类的干扰影响是特别稳定的。
在用于确定磨损程度的方法的步骤5中,提供图像数据组10,尤其是将图像数据组存储在存储单元19上,该图像数据组10描绘了工具16的与磨损相关的区域11、即尤其描绘了工具16的刀刃。
在此,图像数据组10尤其可以通过显微镜照相机设备17产生。
然后,在方法的步骤6中,通过将图像数据组10划分成各个图像区域15,逐个像素地、即逐个图像点地分析图像数据组10。在此,每个图像区域15可以包含图像点14(应该通过神经网络13将一个类别分配给该图像点14)以及包围该图像点14的其他的图像点、即与图像点14直接相邻的其他的图像点。在由行和列构成的网格布置的情况下,图像数据组10例如被划分为若干图像区域,其分别具有3×3、即九个图像点。
在该方法的步骤7中,计算单元12将训练的神经网络13应用于每个图像点14,其方式是,将相应的图像区域15用作神经网络13的输入,并且相应给相应的图像区域15和进而被考虑的图像点14分配类别中的一个。
在以该方式评估所有图像点之后,在步骤7中可选地进行再加工,用以减小信号噪声。在此,可以通过计算单元12对分类的图像应用打开操作、即腐蚀操作,随后是膨胀操作。打开操作也可以连续执行多次、例如三次。
在示例性的实施方式中,例如具有12×8图像点大小的矩形的核被用于打开操作。
在步骤8中示意性示出了被清洁的类别图像21。在加工后分配给背景类别的图像点利用22表示。利用23表示在再加工后被分配给用于未损坏的工具表面的类别的图像点。利用24表示已被分配给磨损类别中的一个的图像点。被清洁的类别图像21例如可以在显示单元34上显示给用户,用以更好地了解。
在该方法的步骤9中,在因此被清洁的图像中,可以借助计算单元12确定工具16的磨损程度的至少一个特征值。为此,例如,整个磨损表面可以被确定为已经分配给磨损类别中的一个的那些图像点的数量或份额。
可选地,也可以确定最大和/或平均的磨损痕迹宽度和/或磨损痕迹宽度的中值。为此,被清洁的类别图像例如可以被定向为,使得与磨损相关的区域11的上侧水平地取向。然后,对于每个列来说,可以通过计算单元12将已经分配给磨损类别的图像点的数量确定为磨损痕迹宽度。然后,例如可以计算磨损痕迹宽度的最大值、平均值或中值。
可以根据一次性校准来执行图像点至SI单位的换算。为此,可以记录具有固定定义的间距的痕迹的图像、例如行距为1mm的网格等,并且可以在图像点中确定痕迹的间距,从而可以建立SI单位和图像点大小之间的关系。
磨损程度的因此确定的特征值、即磨损表面、最大或平均的磨损痕迹宽度或磨损痕迹宽度的中值可以与相关的预定义的极限值(其例如对应于最大的磨损)进行比较。如果超过极限值,那么可以更换工具16。为此,例如,计算单元12可以在显示单元34上产生相应的视觉输出。否则,可以输出工具16的当前的状态或剩余的使用时间。
例如,一方面可以将相应的信息反馈给机床的控制器。另一方面,可以将信息发送到本地边缘设备和/或云端,以便在那里能够实现对当前的过程状态的观察,并且因此能够实现例如关于材料批次或机器参数对最终的磨损的影响的持续的分析。
根据改进的方案的方法还提供了在工业环境中增大机器学习和人工智能的方法的接受度的可能性,因为不仅确定了抽象值,而且还建立了分类的图像作为中间步骤。为了了解做出的决定,可以通过照相机图像与识别的磨损表面的叠加,经由输出接口将分类的图像显示给机器操作者、例如外部的平板电脑。
与在间接的测量方法中相比,根据图像数据的直接的磨损测量不易受信号噪声和环境干扰的影响。形式为CNN的深度学习方案的使用的特征在于特别稳定的特性。所使用的方法可以在图像中识别磨损本身,而与刀刃几何形状、工具材料或工具的涂层无关。
改进的方案也可用于评估在不同刀刃情况下记录的图像。
改进的方案的另一优点是其一致性,其不仅在机床本身上被证实,而且能够实现与云端的连接和进而全局的分析。
通过改进的方案获得的关于工具的磨损程度的信息允许更精确地确定工具的剩余的使用时间,并且因此允许优化产品质量,或允许通过更有效地使用工具来降低制造成本。

Claims (15)

1.一种用于确定工具(16)的磨损程度的计算机实施的方法,其中,提供描绘工具(16)的与磨损相关的区域(11)的图像数据组(10),其特征在于,通过计算单元(12),在使用人工神经网络(13)情况下,给图像数据组(10)的多个图像点中的每个图像点(14)分别分配预设的类别集合的一个类别,其中,类别集合包含至少一个磨损类别;并且基于所述分配的结果确定磨损程度的至少一个特征值。
2.根据权利要求1所述的方法,其特征在于,通过所述计算单元(12),针对多个图像点(14)中的每个图像点,将所述神经网络(13)应用于相应的图像点(14)的环境区域(15),以便将相应的图像点(14)分配给类别之一。
3.根据权利要求2所述的方法,其特征在于,所述环境区域(15)包含相应的图像点(14),以及所有与相应的图像点(14)相邻的图像点;或者
所述环境区域(15)包含相应的图像点(14)和所有剩余的图像点,所述剩余的图像点与相应的图像点(14)的间距小于预设的最大间距;或者
所述环境区域(15)包含相应的图像点(14)和所有剩余的图像点,所述剩余的图像点与相应的图像点(14)的行间距小于预设的最大行间距,并且所述剩余的图像点与相应的图像点(14)的列间距小于预设的最大列间距。
4.根据权利要求1至3中任一项所述的方法,其特征在于,通过所述计算单元(12)、根据形态学的图像处理操作加工分配的结果;并且基于被加工的结果确定磨损程度的至少一个特征值。
5.根据权利要求1至4中任一项所述的方法,其特征在于,通过所述计算单元(12),确定已分配给至少一个磨损类别的图像点的份额;并且基于所述份额确定磨损表面作为磨损程度的特征值。
6.根据权利要求1至5中任一项所述的方法,其特征在于,针对多个图像点中的图像点的列或行,通过所述计算单元(12)确定已分配给至少一个磨损类别的图像点的另外的份额;基于所述另外的份额确定所述列或行的磨损痕迹宽度;并且基于磨损痕迹宽度确定另外的特征值。
7.根据权利要求6所述的方法,其特征在于,针对多个图像点中的图像点的至少一个另外的列或行,通过所述计算单元(12)确定已分配给至少一个磨损类别的图像点的相应的另外的份额;基于相应的另外的份额确定相应的另外的列或行的相应的另外的磨损痕迹宽度;并且基于磨损痕迹宽度和另外的磨损痕迹宽度确定另外的特征值。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述与磨损相关的区域(11)通过照相机(17)成像,以便产生和提供图像数据组(10)。
9.根据权利要求1至8中任一项所述的方法,其特征在于,通过所述计算单元(12)将至少一个特征值与至少一个预设的极限值比较;并且根据比较结果确定与工具(16)的剩余的使用时间相关的值。
10.一种用于训练人工神经网络(13)以确定工具(16)的磨损程度的计算机实施的方法,其中,提供训练图像数据组(18),所述训练图像数据组描绘参考工具的与磨损相关的区域(11),其特征在于,提供训练图像数据组(18)的多个图像点中的每个图像点(14)至预设的类别集合的一个类别的参考分配,其中,类别集合包含至少一个磨损类别;并且通过训练计算单元,针对每个图像点计算神经网络(13)的输出,并且将所述输出与参考分配进行比较;并且通过所述训练计算单元、根据比较结果调整所述神经网络(13),以便训练所述神经网络(13)。
11.根据权利要求1至9中任一项所述的方法,其特征在于,所述神经网络(13)通过根据权利要求10所述的方法被训练或已被训练。
12.一种用于确定工具(16)的磨损程度的分析系统,所述分析系统具有计算单元(12)和存储单元(19),图像数据组(10)存储在所述存储单元上,所述图像数据组描绘了工具(16)的与磨损相关的区域(11),其特征在于,所述计算单元(12)设计用于,在使用人工神经网络(13)的情况下,将图像数据组的多个图像点中的每个图像点(14)分配至预设的类别集合的一个类别,其中,类别集合包含至少一个磨损类别;并且基于分配的结果来确定磨损程度的至少一个特征值。
13.根据权利要求12所述的分析系统,其特征在于,所述分析系统(20)具有显微镜照相机设备(17),所述显微镜照相机设备设计用于,对工具(16)的与磨损相关的区域(11)进行成像,以便产生图像数据组(16)。
14.根据权利要求12或13所述的分析系统,其特征在于,所述神经网络(13)通过根据权利要求10所述的方法已被训练。
15.一种计算机程序,具有命令,所述命令在计算机程序由计算机系统执行时促使计算机系统执行根据权利要求1至9或11中任一项所述的方法。
CN202080055443.4A 2019-08-02 2020-07-22 工具的磨损程度的确定 Pending CN114207663A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019211656.6A DE102019211656A1 (de) 2019-08-02 2019-08-02 Bestimmung eines Verschleißgrades eines Werkzeugs
DE102019211656.6 2019-08-02
PCT/EP2020/070666 WO2021023514A1 (de) 2019-08-02 2020-07-22 Bestimmung eines verschleissgrades eines werkzeugs

Publications (1)

Publication Number Publication Date
CN114207663A true CN114207663A (zh) 2022-03-18

Family

ID=72050798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080055443.4A Pending CN114207663A (zh) 2019-08-02 2020-07-22 工具的磨损程度的确定

Country Status (5)

Country Link
US (1) US20230360192A1 (zh)
EP (1) EP3970113B1 (zh)
CN (1) CN114207663A (zh)
DE (1) DE102019211656A1 (zh)
WO (1) WO2021023514A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115008255A (zh) * 2022-08-09 2022-09-06 南通吉帆精密科技有限公司 一种用于机床的刀具磨损识别方法及装置
CN116612119A (zh) * 2023-07-20 2023-08-18 山东行创科技有限公司 基于机器视觉的机床用钻头工作状态图像检测方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096067B (zh) * 2021-03-04 2022-10-11 深圳市道通科技股份有限公司 一种确定工件表面磨损的方法及系统
CN114646563B (zh) * 2022-05-23 2022-08-26 河南银金达新材料股份有限公司 一种具有金属涂层的聚酯膜表面耐磨度检测方法
CN115582733A (zh) * 2022-10-28 2023-01-10 大连工业大学 一种基于残差结构和卷积神经网络的铣刀磨损监测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61291944A (ja) * 1985-06-20 1986-12-22 Agency Of Ind Science & Technol 摺動面用材料
US5361308A (en) * 1992-01-10 1994-11-01 General Motors Corporation 3-D measurement of cutting tool wear
US10139311B2 (en) * 2014-09-26 2018-11-27 Palo Alto Research Center Incorporated Computer-implemented method and system for machine tool damage assessment, prediction, and planning in manufacturing shop floor
JP6557198B2 (ja) * 2016-09-06 2019-08-07 ファナック株式会社 数値制御装置
US10618137B2 (en) * 2017-03-24 2020-04-14 National Cheng Kung University Automated constructing method of cloud manufacturing service and cloud manufacturing system
US11125022B2 (en) * 2017-11-13 2021-09-21 Pioneer Natural Resources Usa, Inc. Method for predicting drill bit wear

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115008255A (zh) * 2022-08-09 2022-09-06 南通吉帆精密科技有限公司 一种用于机床的刀具磨损识别方法及装置
CN116612119A (zh) * 2023-07-20 2023-08-18 山东行创科技有限公司 基于机器视觉的机床用钻头工作状态图像检测方法
CN116612119B (zh) * 2023-07-20 2023-09-19 山东行创科技有限公司 基于机器视觉的机床用钻头工作状态图像检测方法

Also Published As

Publication number Publication date
US20230360192A1 (en) 2023-11-09
WO2021023514A1 (de) 2021-02-11
EP3970113B1 (de) 2023-05-03
EP3970113A1 (de) 2022-03-23
DE102019211656A1 (de) 2021-02-04

Similar Documents

Publication Publication Date Title
CN114207663A (zh) 工具的磨损程度的确定
Mikołajczyk et al. Neural network approach for automatic image analysis of cutting edge wear
US10739230B2 (en) System and method for detecting anomaly of a machine tool
CN109947072B (zh) 用于在生产过程期间自动检测异常工件的数据驱动方法
JP4681426B2 (ja) 製造プロセスにおける操業と品質の関連解析装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
CN115035120B (zh) 基于物联网的机床控制方法及系统
DE102020001169A1 (de) Vorrichtung und System für die Einstellung von Bearbeitungsbedingungen
JP5068637B2 (ja) 製造プロセスにおける操業と品質の関連解析装置、解析方法、プログラム、及びコンピュータ読み取り可能な記録媒体
CN107544432B (zh) 寿命判定装置、寿命判定方法及计算机可读取的记录介质
Lutz et al. Evaluation of deep learning for semantic image segmentation in tool condition monitoring
CN115351601B (zh) 一种基于迁移学习的刀具磨损监测方法
EP3839680A1 (en) Method and device for controlling a machine using principal component analysis
CN113601261B (zh) 一种面向刀具的在线快速优化模型的监测方法
EP3767403A1 (de) Machine-learning gestützte form- und oberflächenmessung zur produktionsüberwachung
CN117921197B (zh) 激光精密切割异形槽板制造方法、系统、设备及介质
CN114202715A (zh) 训练神经网络来识别工具状态的方法和相关方法以及设备
JP4653547B2 (ja) 製造プロセスにおける操業と品質の関連解析装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
CN114186298B (zh) 智能机械零件制造营运方法及系统
CN118037662A (zh) 加工刀具的检测方法、系统、设备及介质
CN113570254A (zh) 一种工业数据质量分析方法
US12079976B2 (en) Methods and systems for reducing dimensionality in a reduction and prediction framework
Yan et al. Precognitive maintenance and probabilistic assessment of tool wear using particle filters
Dhanapalan et al. Prediction of surface roughness of 6061 aluminium alloy end milling: a machine vision approach
CN113724199A (zh) 考虑微钻磨损量特征的印制电路板孔壁粗糙度预测方法
JP7286049B1 (ja) 学習装置、数値制御装置、加工結果予測方法および加工システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination