CN115413251A - 使用机器学习的激光加工过程的质量控制 - Google Patents

使用机器学习的激光加工过程的质量控制 Download PDF

Info

Publication number
CN115413251A
CN115413251A CN202180024139.8A CN202180024139A CN115413251A CN 115413251 A CN115413251 A CN 115413251A CN 202180024139 A CN202180024139 A CN 202180024139A CN 115413251 A CN115413251 A CN 115413251A
Authority
CN
China
Prior art keywords
signal sequence
captured
quality
laser
cutting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180024139.8A
Other languages
English (en)
Inventor
安德烈亚斯·吕迪
罗兰·巴德尔
马蒂亚斯·施兰茨
乔尔·贝尔茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bystronic Laser AG
Original Assignee
Bystronic Laser AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bystronic Laser AG filed Critical Bystronic Laser AG
Priority claimed from PCT/EP2021/055305 external-priority patent/WO2021190889A1/en
Publication of CN115413251A publication Critical patent/CN115413251A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Laser Beam Processing (AREA)

Abstract

在一个方面,本发明涉及用于对激光加工过程进行过程监控以估计加工质量的方法,该方法具有在加工过程期间实时执行的以下步骤:‑提供(S2)来自加工区的具有第一特征的至少一个捕获的第一信号序列;‑提供(S3)来自加工区的具有第二特征的至少一个捕获的第二信号序列;‑利用至少记录的第一信号序列和纪录的第二信号序列访问(S4)训练后的神经网络,以便计算(S5)用于估计加工质量的结果。

Description

使用机器学习的激光加工过程的质量控制
描述
本发明涉及借助于特别是具有深度神经网络架构(深度神经网络-DNN)的机器学习模型的激光加工系统——特别是激光切割系统例如平板切割机——的质量保证。
一方面,激光系统的发展致力于显著地提高机器自主性,使得可以用更少的员工更高效地进行生产。因此,必须不断改进机器(例如,平板切割机)和过程的自主监控。合适的传感器和适当的智能正变得重要。现代切割机越来越需要全面的过程传感器,利用这些传感器可以捕获切割断裂和质量损失(例如,粗糙的切割边缘、毛刺粘附、渣滓形成等)。
另一方面,遵守激光加工的质量标准至关重要。由于这个原因,先前在现有技术中提供了例如实际实现的切割质量必须随后通过手动检查来确定。这样的方法不符合上述使过程进一步自动化的努力。10千瓦及更多的激光功率和快速处理通常也对系统的控制提出了高要求。外部因素诸如工件材料的不同质量、生锈或过热的工件材料、或者对激光保护玻璃或激光光学器件的污染影响切割的质量。可能导致切割边缘粗糙、形成过多毛刺、切割间隙宽度或甚至切割间隙的焊接不均匀。
除了切割速度之外,切割质量也是极其重要的。不幸的是,迄今为止,在切割过程中,切割质量还没有令人满意地实时直接地被识别,原因是无法对被加工材料的切割边缘或切割前沿进行有意义的观察。最多可以观察到一个非常短的切割前沿,先前几乎无法从中提取任何信息。因此,在今天的机器上,如上所述,切割的工件仅在切割后从机器上移开并进行质量检查。
借助于光学传感器(光电二极管),可以在加工期间捕获所谓的热照明或过程照明,并用于随后的质量评估,因为研究表明,这两个参数(过程照明和过程质量)之间存在相关性。
一些切割机已经具有过程监控,尽管其被设计得非常简单。大多数时间,切割头中的光电二极管观察切割期间的过程。如果该过程变得不稳定并发生了等离子切割,则该过程发光更强烈,这被光电二极管识别。因此,机器可以做出反应,例如,它可以停止,采取校正措施(清洁切割头喷嘴/重新校准等),或者以降低的速度继续。然而,仅配备光电二极管的过程监控的好处不大。例如,在针对所有材料、所有工件厚度进行切割期间,不能直接地识别切割不稳定性,特别是在火焰切割期间不能直接地识别切割不稳定性。也不能识别切割或切割质量。
在现有技术中,基本上已知使用合适的光学传感器系统用于过程监控。WO2018069308A1示出了对切割间隙宽度的观察,表明可以借助于切割间隙宽度识别来确定工作激光器的焦点位置。DE102009050784B4表明了摄像装置和照明的使用,其中图像在不同的照明条件下被记录,这些图像被一起评估以评估过程特征。
还已知使用基于模型的分类方法,其要求在训练阶段学习模型。出于这个目的,确定手动地或经验上相关的特征,以解决相应的分类任务。例如,EP2357057A1公开了用于通过经由诸如光电二极管的光学传感器捕获信号来监控激光加工过程的质量的方法。根据信号计算特征值,并且特征值与针对标准切割质量的相应特征值相关。借助聚类方法基于特征值对质量条件进行建模。此外,与质量条件相关联的工艺参数也被保存并用于调整。
EP2365889B1公开了过程监控,其从摄像装置和其他传感器数据中提取特征值,并借助于当前特征值相对于特征值空间中先前提供的一定量点的位置对当前激光加工操作进行分类。
现有技术中已知的方法是基于经典特征提取和特征值确定的应用的。然而,这些方法的能力有限,特别是如果它们用于以高可靠度确定切割期间的切割质量,或者如果用于实现目标(此处:切割质量的评估)的输入数据之间迄今未知的关系应当是可处理的。
迄今为止,唯一已知的将深度学习用于激光切割的工作由G.Santolini等人记录[Santolini,G.等人:Cut Quality Estimation in Industrial Laser CuttingMachines:A Machine Learning Approach,CVPR 2019]。Santolini描述了深度神经网络(DNN)可以被用来基于来自光电二极管的信号来估计激光切割期间的切割质量。这样的具有光电二极管的系统的缺点在于没有来自处理区的空间分辨数据可用。光电二极管信号受许多与切割质量无关的因素例如喷嘴的状况和污染影响。这导致时间上的漂移。此外,仅能对薄板金属估计质量特征。
从上述现有技术开始,本发明的目的是提供一种方法,通过该方法可以在加工过程期间更可靠地估计质量,并且具有增加的特异性和改进的测试覆盖率。此外,该方法应当对干扰影响(材料特性、环境光、过程照明随时间的变化等)更加稳健。特别地,实时估计应当是可行的。
该目的通过所附的独立权利要求的主题实现,特别是通过方法、计算单元和具有这样的计算单元的激光系统以及通过计算机程序产品实现。
在第一方面,本发明涉及一种用于对激光加工过程进行过程监控以估计加工质量的计算机实现的方法,该方法具有在加工过程期间执行的以下步骤:
-提供来自加工区的具有第一特征(例如,有照明)的至少一个捕获的第一信号序列(例如,来自摄像装置的单个图像或视频流);
-提供来自加工区的具有第二特征(例如,无照明)的至少一个捕获的第二信号序列;
-利用至少捕获的第一信号序列和捕获的第二信号序列访问至少一个计算机实现的和机器实现的神经网络(例如,深度神经网络/DNN或卷积神经网络/CNN),以便计算加工质量的估计作为结果,并且特别是将加工质量进行分类(例如,分为两类:良好/拒绝)。
在研究中,已经证明特别有利的是,选择第一信号序列和第二信号序列,使得它们捕获切割间隙的不同观察参数,即,一方面是宽度、对称性等,另一方面是辐射中心、辐射面积等。
上述步骤有利地实时执行。术语“实时”应当被理解为DIN ISO/IEC2382标准的含义,使得其指的是在由激光持续进行的加工期间的时间段。实时不仅指快速控制切割过程所需的几毫秒的窄时间范围,还可以指以秒为单位(例如,在1至5秒的范围内,优选地1至2秒)的时间段。实时意味着,在不超过几秒的时间延迟(与激光加工过程相比)下执行步骤,特别是提供具有质量估计的结果,使得例如可以采取适当措施来影响切割过程,特别是自动切割质量优化。
在本发明的优选实施方式中,第一信号序列和/或第二信号序列可以是或包括光学信号序列。第一信号序列和/或第二信号序列可以用相同光学传感器例如摄像装置和/或至少一个光电二极管被捕获。第一信号序列和/或第二信号序列优选地以交替的形式被捕获。传感器例如照摄像装置在第一时间间隔中记录第一信号序列,并且在第二时间间隔中记录第二信号序列。用于确定信号序列捕获的交替的模式可以在准备阶段中进行限定(例如,总是交替、仅交替或根据不同方案,例如两次第一信号序列和一次第二信号序列)。对于进一步的细节和示例性实施方式,申请人参考了PCT/EP2017/081901。因此,对于随后的质量估计计算,可以对不同的捕获信号进行不同地加权。在本发明的该实施方式中,机器学习模型被设计成用于处理单个图像(基于图像的)。因此,(具有加工质量估计的)分类结果仅在一个图像/帧之后就可以获得。由于交替地记录的单个图像也可以重新组合成(两个)新的流,机器学习模型尤其也可以被称为“基于视频的”或“基于流的”。
除了光学信号捕获之外,替选实施方式提供了其他信号类型的捕获,例如声学信号捕获,作为光学信号的替选或累积。模型相应地利用声学训练数据进行训练。
在本发明的另外的优选实施方式中,用于实现机器学习模型的神经网络被设计为具有相应深度学习算法的深度学习模型或深度神经网络(DNN)。因此,深度学习算法不仅训练分类器,而且训练特征提取器。以这种方式,机器学习模型被训练成从所捕获的第一信号序列和第二信号序列中自动地识别,而无需事先分析如下特性(或特征-特征提取),第一信号序列和第二信号序列的所述特性/特征、特别是所述空间和/或时间特性与估计加工质量相关,并且应当在计算结果予以考虑。这种方法实现了无特征提取器(或无特征)过程。这意味着可以实现所谓的端到端算法。在这种情况下,“端到端”意味着:原始数据即所捕获的信号序列可以在不进行大量预处理的情况下使用,并且特别是在不需要手动确定信号序列中的特征的情况下使用,所述信号序列然后使用机器学习算法(在下文中也被称为ML算法)被处理(例如,分类)成结果。在这种情况下,“无实质性预处理”是指除了边缘预处理例如直方图均衡化、图像深度减少和/或ROI裁剪(ROI–感兴趣区域)之外。特别是,端到端方法不需要对原始数据进行单独的预处理以提取对学习很重要的特征。与具有在先特征提取的经典ML方法相比,在此处给出的解决方案中,不仅分类器由算法训练,而且特征提取器优选地也在同一步骤中训练。这意味着算法计算或学习独立于输入数据或原始数据并由此也独立于“特征”的表示。为了识别这种连接,算法必须独立地找到输入数据的最佳表示,以便对其进行分类。在根据本发明的方法中不必提取特征值(特征)的事实在若干方面是有利的。一方面,开发算法所涉及的工作可以被简化,因为不需要识别、确定和提取重要特征。另一优点是,在“无特征”算法开发中,不存在包含最多信息的最重要特征被忽略的危险。根本上,极其重要的信息通常也是非常复杂、叠加或难以理解的信号、图像或图像序列特性,这使得最佳特征值分析变得困难。因此,此处实现的没有特征值提取的深度学习方法优于基于特征提取器的方法并不令人惊讶。
所使用的学习算法优选地是具有标记数据集的监督学习算法。
在本发明的另外的优选实施方式中,具有估计的加工质量的结果用于调整激光加工过程。这样做的优点是可以避免不合格品,并且可以更快地执行质量改进措施。也可以节省材料。进一步的细节对本领域技术人员来说是已知的。在这种情况下,进一步的细节请参考申请人的EP3159093B1。如果捕获到不良质量或怀疑不良的切割(例如,高粗糙度/毛刺、撕裂等),可以自动产生机器控制信号。这些机器控制信号都可以在激光加工系统上自动执行,并且除此之外,还可以被设计成执行以下措施:
-清洁喷嘴,然后继续加工,特别是切割,
-检查喷嘴(定心、磨损),必要时更换喷嘴,然后继续加工,
-校正切割参数,
-手动校正切割参数,并检查测量后的切割质量是否改进,
-访问训练模型后自动校正切割参数。
在本发明的另外的优选实施方式中,第一信号序列和第二信号序列均以同步的方式记录,使得可以观察到加工过程随时间的发展。时间戳可以优选地用于训练模型,以便能够提供信号向工件上的切割轮廓的局部分派。然而,时间戳不是访问训练后的网络的明确要求,因为深度学习算法基于图像/光电二极管信号之间的时间间隔和图像矩阵总是相同的事实。对于训练后的网络的质量估计,如果两个流同时用于估计,则同步性特别重要。然而,在这一点上应注意,信号向切割轮廓的局部分派对于训练模型很重要,因为切割质量的标签或特征必须局部地分派给切割过程。这可以使用时间戳来解决。
在本发明的另外的优选实施方式中,该方法包括以下步骤:
-提供从至少一个光电二极管所捕获的光电二极管信号;
-利用所捕获的光电二极管信号访问训练后的神经网络和/或另外的训练后的神经网络,以便计算用于估计加工质量的结果。根据本发明的有利实施方式,训练后的机器学习模型和另外的训练后的机械学习模型可以是相同的,使得除了第一捕获的信号序列和第二捕获的信号序列的图像之外,光电二极管信号也在同一模型中被计算。
在本发明的另外的优选实施方式中,所捕获的第一信号序列和第二信号序列可以是光学信号序列。第一光学信号序列在光记录参数方面不同于第二光学信号序列。例如,所捕获的第一信号序列可以是有照明的图像的序列,并且所捕获的第二信号序列可以是无照明的图像的序列。至少一个光源可以用于照明。光源可以被设计为发光二极管或激光器,其用于发射优选窄带照明光。光源可以集成在加工头中或位于加工头外部。
在本发明的另外的优选实施方式中,所捕获的第一信号序列可以是在第一摄像装置设置(例如,第一孔径设置/焦深、图像平面、曝光时间)下的图像的序列,并且所捕获的第二信号序列可以是在第二摄像装置设置(例如,第二孔径设置/景深、图像平面、暴露时间)下的图像的序列。使用来自不同数据集/图像的DNN可以实现更好的质量估计。术语“摄像装置设置”还包括设置在摄像装置外部但对由摄像装置捕获的图像具有技术影响的参数和/或结构特征,因此在此应当被包括为摄像装置相关的设置,例如可变孔径在摄像装置外部(即传感器芯片和镜头外部)的布置。
以上已经使用该方法描述了目标的实现。以这种方式提及的特征、优点或替选实施方式也应当转移到其他要求保护的对象,并且其他要求保护的对象也应当转移到以这种方式提及的特征、优点或替选实施方式。换言之,讨论中的权利要求(其例如指向计算单元或计算机程序产品)也可以利用结合该方法描述和/或要求保护的特征来进一步开发。方法的相应功能特征(例如,捕获)由此由系统或产品的相应模块(例如,用于捕获/读取的数据接口)形成,特别是由硬件模块或微处理器模块形成,以及系统或产品的相应模块(例如,用于捕获/读取的数据接口)、特别是硬件模块或微处理器模块形成方法的相应功能特征(例如,捕获)。
在另一方面,本发明涉及一种用于对激光加工工具的激光加工过程进行过程监控以估计加工质量的计算单元,该计算单元具有:
-到至少一个传感器的数据接口,该数据接口在加工过程期间旨在捕获具有第一特征的第一信号序列和捕获具有第二特征的第二信号序列,在每种情况下都来自加工区;
-到存储器的处理接口(其可以设计在计算单元内部或外部),在该存储器中存储有至少一个(训练后的)神经网络,该至少一个(训练后的)神经网络利用至少所捕获的第一信号序列和第二信号序列被访问,以便计算用于估计加工质量的结果(例如,分类结果)。
具有机器学习模型(也简称为“模型”)的存储器,特别是具有DNN的存储器,优选地集成至计算单元中。这具有以下优点:激光加工系统的操作者可以在现场和调试后立即执行质量改进措施。此处指出,在操作阶段之前的训练阶段在外部计算单元上进行模型的训练。以这种方式,模型的训练和测试阶段在外部且不同的计算单元上计算和执行,而模型的应用阶段(优选地在激光加工系统上本地地)计算和执行。在本发明的优选实施方式中,计算单元形成在激光加工系统上。
在激光加工系统的优选实施方式中,至少一个传感器可以是光学传感器。传感器可以特别地包括摄像装置或被照此设计。传感器可以可选地包括至少一个光电二极管。
至少一个光学传感器的轴线可以优选地与激光加工头的加工轴线同轴地布置。传感器的轴线可以至少在切割喷嘴与工件之间平行于激光加工头的加工轴线或者与激光加工头的加工轴线成角度地延伸。特别是,传感器的轴线可以在5°至20°之间的角度范围内偏离激光加工轴线。这具有以下优点:激光切割可以捕获其他图像特征。特别地,在观察用氧切割钢的过程(激光火焰切割)时,这带来了相当大的优点,如申请人可以从WO2016181359A1中所看到的。因为此处切割前沿在平坦地延伸,切割前沿的下部被切割喷嘴的边缘覆盖,并且任何剩余的渣滓残留都不能被直接捕获在同轴信号序列中。
为了捕获不同的信号序列,激光加工系统被优选地设计有至少一个光源,该光源用于在捕获第一信号序列时对处理区照明。光源优选地与激光加工头的加工轴线(例如,传感器)同轴地形成。然而,在本发明的替选实施方式中,也可以例如在激光头内部或外部不同轴地布置光源。还可以优选地将至少一个光源和至少一个传感器布置在激光加工系统的加工头外部,特别是在空间上靠近光学传感器的网络接口和/或靠近供应接口。光学传感器可以被设计为CCD或CMOS摄像装置或CCD或CMOS芯片,例如其中图像深度至少为8位,并且理想地帧速率超过100Hz。在进一步的更改中,激光加工系统的被内置在加工激光器中的先导激光器可以用于产生照明。在该实施方式中,典型地具有几mW(通常小于2mW)的功率的先导激光器的照明功率也必须增加到几百mW至几千mW。
此外,还可以形成二向色镜或另外的滤波器元件,其布置在工件前面的激光的光束路径中,并且对于照明光约50%透射和约50%反射。
在另一方面,本发明涉及一种具有计算机程序代码的计算机程序产品,该计算机程序代码当计算机程序在计算机上执行时用于执行上述方法的所有方法步骤。该问题的另一解决方案提供了一种具有计算机程序代码的计算机程序,该计算机程序代码当计算机程序在计算机上执行时用于执行上述方法的所有方法步骤。也可以将计算机程序存储在计算机可读介质上。
附图说明
在附图的以下具体描述中,将参照附图讨论非限制性的示例性实施方式以及其特征和其他优点。在附图中:
图1示出了具有突然变化的切割质量的切割边缘的示例性视图;
图2a、图2b示出了有照明的过程观察的示例性表示;
图3a、图3b示出了无照明的过程观察的另外的示例性表示;
图4示出了过程观察的另外的示例性表示,其中在板金属的上边缘用图像平面照明的观察,在上边缘非照明的观察以及在下边缘非照明的观察;
图5示出了用于使用深度神经网络(DNN)的过程监控的方法的示意性概述表示;
图6示出了具有离轴过程照明和同轴摄像装置位置的加工头的示意性侧向表示;
图7示出了具有同轴过程照明和同轴摄像装置布置的加工头的另外的示意性侧向表示;
图8示出了具有同轴过程照明和同轴摄像装置布置的加工头的另外的示意性侧向表示;
图9a、图9b示出了具有可变孔径和摄像装置聚焦透镜的加工头的另外的示意性侧向表示;
图10示出了用于对可变景深的物理功能进行说明的示意性表示;
图11a、图11b示出了具有可变观察平面的加工头的另外的示意性侧向表示;
图12示出了根据本发明的优选实施方式(实线)和另外的优选实施方式(虚线)的用于质量估计的方法的流程图;以及
图13示出了根据本发明的优选实施方式的系统的部件的框图表示。
附图的具体实施方式
本发明用于估计激光加工过程例如切割过程的质量。重要的质量特征基本上是毛刺(也称为倒刺)、粗糙度、倒圆、槽倾斜、焊接、渣滓等。“非切穿”或所谓的撕裂也是切割质量分类,这意味着最差的质量。
本发明使得从可观察的测量信号推断切割质量成为可能。选择合适的传感器进行观察以及选择合适的神经网络和合适的算法是最佳切割质量估计的核心。以下示出了:除通常的光电二极管之外,合适的传感器主要包含有照明和无照明的摄像装置记录。此外,应当注意,基于端到端的方法,特别是基于深度学习方法的机器学习模型表明了所提及的可测量的传感器信号与感兴趣的切割质量之间的最佳相关性。
激光切割头配备有用于测量信号序列的摄像装置。摄像装置优选地与激光束同轴对准并且位于二向色偏转镜后面,该二向色偏转镜对于照明和观察是透明的并且将加工激光引导到工件上。这样的取决于波长的透射或反射的部件被称为二向色。在某些布置中,偏转镜对于照明波长可以是半透明的。在其他布置中,它可以/应当对照明完全透明。相反,用于加工激光的偏转镜总是几乎100%(>99%)反射。在大多数实验中,使用了300Hz的摄像装置帧速率,其中视频被划分为照明流和非照明流。然后每个流的帧速率仍然是150Hz。在示例性标称进给速度为1800mm/min(或30mm/s)的情况下,每流每0.2mm记录一帧。可以在预处理中减少帧的信号序列,例如,使得图像的大小仍然为170×170像素。在本示例中,在分辨率为100px/mm的情况下,图像表明观察区域为1.7mm×1.7mm。显而易见,每个流中的图像通常明显地交叠。
除了同轴摄像装置布置的许多优点(例如,独立于切割方向的简单实现等),同轴过程监控也存在缺点。由于喷嘴开口被看穿,观察通常限于喷嘴直径,并且所捕获的辐射的角谱通常小于5°。熔切(fusion cutting)中可能出现的陡峭切割前沿仅能在很短的时间内观察到,这意味着关于切割前沿的信息可能会丢失。此外,对在侧壁上形成槽的观察也可能受到同轴成像的限制。在火焰切割中可能出现的平坦切割前沿的观察也可能受到同轴观察的限制。平坦的切割前沿可能很难通过喷嘴完全可见。最后/最低部分仍然不可见,尽管如果工艺状态不佳,那里可能出现渣滓残留。
因此,在倾斜视角下,可以更好地看到渣滓的形成,特别是在火焰切割期间。这种倾斜图也被称为偏心或离轴。
为了消除同轴过程监控的所述缺点,因此,同轴传感器系统通常补充有离轴传感器。
图1示出了具有两种示例性切割质量的切割工件的切割边缘,该切割边缘由附图标记1标识。与在位置3处相比,在位置2处切割更精细。在位置3处,甚至出现等离子切割。
如来自图1的示例所示,切割过程可以从良好变成足够或坏的。有许多原因造成这种情况。机器可能磨损或变脏,或者工件的质量可能变化。
切割质量的实时监控更为有用,因为如果使用此处描述的用于过程监控的方法将其识别或分类为不足,则实时监控能够做出反应。
图2a和图2b示出了用同轴布置的摄像装置和照明捕获的示例图像(视频帧),此处是在熔切过程中。在图2b的表示中,切割前沿被拉入,即在此是向下运行。以(窄带)过程照明对处理区照明的方式进行照明记录,其中,与自照明过程相比,在观察到的光谱范围内这通常更亮。因此,可以使工艺环境特别是切割间隙几何结构非常清楚地可见。
图2b中的示意性表示示出了如何通过简单的图像加工从板金属表面和仍然微弱可见的切割前沿16提取切割间隙18,这对应于现有技术。然而,根据本发明,DNN本身在相应的特征层或卷积层中学习是否和/或如何必须提取切割间隙,以支持切割质量的估计。
特别地,在图2a中,可以在上部区域中识别切割边缘的粗糙度。在此,DNN也独立地学习图像中的空间特征,这些空间特征与测试部分上测量的粗糙度相关。
图3a和图3b示出了在无照明的情况下用同轴布置的摄像装置捕获的另外的示例图像。在图3a的表示中,示出了熔切。图3b示出了火焰切割,其中,再次示出了切割前沿。非照明的摄像装置记录也是有价值的,其中没有对处理区的照明。相反,仅观察到自照明过程。如果摄像装置增益或曝光设置合理,尽管有内置窄带滤波器,仍可以容易地观察到过程照明。图3b清楚地示出了在火焰切割期间熔体前沿16运行得非常平坦,并且其观察可能受到喷嘴开口17的限制。
图4示出了熔切过程的另一示例性示例。示出了两种切割;顶行示出了具有较少毛刺的切割,而底行示出了具有大量毛刺的切割。第一列(最左侧)示出了具有可见边缘的切割部分。第二列示出了照明的单个图像,并且第三列和第四列示出了非照明图像。第2列和第3列中的单个图像是在初始摄像装置设置下拍摄的,使得板金属的上边缘被焦点对准地示出。第4列是在第二摄像装置设置下进行的,使得板的下边缘被焦点对准地示出。
如针对图2a所述,切割边缘粗糙度可以从照明图像(第2列)中识别。然而,切割边缘粗糙度也可以从图像清晰度在板的上边缘的非照明图像(第3列)中找到。可以识别由于在上边缘的区域中形成槽而引起的可见过程辐射波动20。在此,DNN也独立地学习图像中的空间特征,这些空间特征与测试部分上测量的粗糙度相关。
任何毛刺在其中图像清晰度在板金属的下边缘的非照明图像(第4列)中特别明显。在该观察配置中,过程辐射中的波动21来自板金属的下边缘并示出了熔体排出。这是流体力学的湍流过程,可以理解为随机过程。因此,图像序列示出了纵向拉伸冷却区的随机即波动出现,这指示毛刺的形成。在此,DNN也独立地学习图像中的空间特征,并且特别是在毛刺的情况下,还学习图像序列中的时间特征,这些时间特征与测试部分上测量的毛刺高度相关。
总的来说,可以看出,有照明和无照明的两个摄像装置记录包含不同但对质量评估同样有价值的信息。
有照明的记录(图2)似乎主要包含诸如切割间隙宽度、切割间隙对称性、切割前角、槽结构、切割边缘粗糙度、工艺周围的工件结构的信息。另一方面,无照明的记录(图3)似乎主要包含诸如辐射焦点、辐射区域(具有周长、圆度、对称性)、辐射强度分布、辐射对比度、熔体膜波、熔体排出区、过程辐射波动的信息。
两个记录同步使用,以获得最大信息。由于出于成本和重量优化的目的,仅一个摄像装置可同轴用于过程观察,因此在观察期间,一帧始终交替地照明,并且下一帧在不照明的情况下被记录。照明还必须与摄像装置记录(包括摄像装置增益和摄像装置曝光时间)同步。这使得可以使用一个摄像装置产生两个不同的视频流(一个照明的和一个非照明的),实时同步地监控切割过程。
图5示出了用于过程监控和质量计算的系统。在加工过程期间,借助于合适的传感器(特别是摄像装置和/或光电二极管)捕获信号序列。信号序列可以在它们的捕获特性上变化(例如,它们可以在有或无照明的情况下被记录)。这些信号序列(也被称为原始数据)被进给至训练模型,特别是DNN,其被设计成基于信号序列在多因素的基础上来估计质量。“多因素”在此指的是质量计算包括若干因素,如上所述,例如毛刺、渣滓形成、槽倾斜。具有质量估计的结果几乎是实时的(由于计算时间产生的延迟,并且不超过几秒),并且在激光加工期间可用。结果可以用于启动措施,例如停止和重新启动切割过程,检查如切割喷嘴等。结果还可以用于修改(adapt)切割参数(自动切割过程优化)。在本发明的有利发展中,切割质量估计的结果也可以在切割过程控制中实现。
图5示出了本发明的总体构思,其大意是,利用所选择的传感器数据(至少两个信号序列或摄像装置流以及可选的光电二极管数据),可以借助于机器学习系统的端到端架构推断切割质量。具有学习模型的机器学习代理(学习机器人)利用训练数据和优化算法进行训练,并且机器学习代理可以在训练和测试之后在激光加工工具上操作或者用于激光加工工具和/或在激光加工工具上使用。与传统的机器学习方法相比,深度学习的重要优点,特别是端到端学习架构的重要优点是,不需要提取特征分析或特征值,并且学习代理或神经网络本身识别在训练期间要注意什么,以便找到最大的相关性。这意味着基于计算机的深度学习系统本身可以从图像和视频中识别出哪些图像和/或视频特征与切割质量捕获相关。如果有足够的数据用于训练(在此就是这种情况),深度学习方法优于传统的(具有特征提取的)机器学习方法。
在完成学习和测试以及必要时的验证阶段之后,DNN可以用于提供针对第一捕获信号和第二捕获信号或者图像序列的分类结果。分类结果(也被称为结果)包括上述质量分类,特别是“存在/不存在毛刺/渣滓形成/槽倾斜等”。
在训练阶段之后,机器学习模型可以根据可观察信号序列或传感器数据实时估计切割质量。
此外,过程控制成为可能,其中如果切割质量被分类为不满意,则自动调节切割参数,以便优化切割质量。如果确定切割质量相对于期望的目标值偏离或漂移,则可以以典型限定的序列修改各种切割参数,以便返回期望的切割质量。重要的切割参数是喷嘴特性,例如定心和磨损、工作光束的焦点位置、气体压力、工作光束的功率和加工进给速度。这些参数都可以在激光加工系统上自动地修改。控制切割质量的以下步骤可以自动地执行:
-检查喷嘴特性,然后继续切割,可以包括以下步骤
·清洁喷嘴,
·检查喷嘴开口与工作激光的定心,并且必要时进行校正
·检查喷嘴类型,并且必要时进行校正,即更换喷嘴
·检查喷嘴是否磨损,并且必要时更换新喷嘴
·然后继续加工、特别是切割,
-对切割期间焦点位置的校正。如果以上措施尚未引起质量的改进,则可以校正焦点位置。经验表明,对切割头光学器件的热加热(thermal heating)将焦点位置向上拉(使用透射式元件),这就是为什么应当向下校正/调整焦点位置。然而,如果切割质量随之恶化,应当立即沿相反方向进行校正。对其进行校正直到切割质量再次对应于期望的目标值。
-对切割期间气体压力的校正。如果以上措施尚未引起任何质量的改进,则可以校正气体压力。特别地,增加气体压力可以使毛刺形成最小化。然而,如果切割质量恶化,应当立即沿相反方向进行校正。对其进行校正直到切割质量再次对应于期望的目标值。
-对切割期间功率的校正。如果以上措施尚未引起任何质量的改进,则可以校正功率。如果例如由于激光器的退化而功率太小,可以增加功率。然而,如果切割质量恶化,则应当立即沿相反方向进行校正。对其进行校正直到切割质量再次对应于期望的目标值。
-对进给速度的校正。如果以上措施尚未引起任何质量的改进,则可以修改进给速度。这可能是必要的,例如,如果材料质量由于材料表面上的锈迹、灰尘、油等而受到了不利影响。此外,也有可能是机器的系统性能例如由于切割头光学器件的污染而恶化,这就是为什么降低进给速度以提高切割质量可能有帮助。然而,
-如果切割质量恶化,应当立即沿相反方向进行校正。对其进行校正直到切割质量再次对应于期望的目标值。
-如果即使校正进给速度也无助于改进切割质量,则加工系统可能例如由于严重污染或损坏的光学器件而严重退化,因此优化切割参数无法改进切割质量。在这种情况下,可以停止机器并通知操作员。
以上说明的控制策略是示例性的,而不是唯一可行的策略。还可以想到,除了确定偏差质量外,神经网络还识别哪些特定切割参数可能是导致偏差的主要原因。根据特定切割参数的未对准,质量误差模式可能看起来不同。相应地,可疑的故障切割参数被主要地校正。
在另外的替选的控制策略中,还使用了理论物理切割模型,该模型可以通过借助于过程观察使记录理论模型中包含的各种变量例如切割间隙宽度、熔体膜厚度等成为可能,来支持对切割参数的校正。因此,切割过程的当前状态对物理模型来说是已知的,这意味着可以得出切割参数不正确的结论。相应地,可疑的故障切割参数被主要地校正。以上说明的所有控制策略都是示例性的,并非结论性的。
在本发明的优选实施方式中,深度神经网络DNN和优选地卷积神经网络CNN可以被用作将信号序列的图像和/或信号序列的光电二极管信号和/或另外的信号作为输入传输至输入层的神经网络。根据CNN的有利架构,网络可以由不同层特别是卷积层(CONV)、接着是激活层(ACT)、接着是池层(POOL)的级联组成。在一个或更多个全连接的层和输出层互相连接之前,该序列(CONV、ACT、POOL)可以级联若干次。输出层旨在以估计的质量分类的形式输出相应输入的分类结果。卷积层可以被设计为计算滤波后的图像(特征图)的线性滤波器,使得仅需要为滤波器而不是每个像素计算权重。池层(最大池或平均池)用于减少维度,这可以通过子采样实现。如上所述,自动计算的特征因此可以在CNN的输出端提供。这些特征可以被分类为具有全连接层或顺序连接的多个全连接层的目标类。输出层可以被设计为具有Softmax激活函数的激活层。
深度学习算法是数据密集型和计算密集型的,因此优选地在图形卡(图形处理单元/GPU)或张量处理单元(TPU)或处理器网络上计算。神经网络的每一层都可以在强大的、可大规模并行的处理器、特别是多核或多核处理器上计算。计算单元优选地被设计为图形卡或上述其他硬件模块,或者包括这样的卡。
计算单元可以优选地包括用户界面(例如,GUI),该用户界旨在显示在加工过程期间的过程监控的结果。
深度学习算法可以用Python或其他高级语言例如C++或CUDA实现。例如,简单的CNN、残差网或宽残差网有时可以用作DNN架构。
为了抵制所谓的过度拟合,可以优选地在训练期间使用早期停止方法,在该方法中,一旦在验证集中的误差再次增加,就停止训练。
测试表明,如果所记录的信号序列实际上代表随时间的发展,并由此代表了时间相关的特征,则对于质量分类是特别有利的。
为了在这种情况下映射DNN中的信号序列,并由此能够学习时间相关的特征,所谓的门控递归单元(GRU)或长短期记忆网络(LSTM)可以与CNN结合使用。
图6至图8概述了如何使用所需的传感器构建切割头。优选的变体对应于图7。
图6显示了第一可行的变体。加工光束6从激光器经由传输光纤7进入加工头,其中激光光束由于二向色镜3被引导至工件1上以便在那里加工工件。用窄带照明光9照明处理区的光源2附接至加工头。例如,使用发光二极管(LED)或激光器。
摄像装置5观察处理区,其中窄带滤波器8附接在摄像装置前面,其仅允许照明的光谱通过而抑制所有其他波长。因此,对过程的和加工激光光束的自发光性的捕获被强烈抑制,并且能够改进对工件上的照明激光反射的观察。这在切割间隙附近特别重要,并且通常是清楚可见的。二向色镜3以其可使观察光4透过的方式被设计。光源可以附接在切割头内,如图6所示。
从图7中的一个可以看到另外的可想到的实施方式。在此,照明2同轴耦接至摄像装置块5附近的观察光束路径中。
图8示出了另一可行的实施方式。在此,照明光9在工作激光器中产生并且经由传输光纤传输至切割头。该实施方式要求二向色镜3被理想地设计为对照明光50%透射和50%反射。该实施方式的优点在于,照明在远离头部的位置产生并简单地离开头部。
可以进一步采用使用同轴摄像装置拍摄若干个不同记录并以不同信号序列(流)捕获它们的方法。除了有照明和无照明的(交替)记录之外,还可以想象和实现其他可调节设置,这可以增加过程观察的信息内容。
也可以改变观察深度,即过程观察的景深。景深(通常与焦深同义)是观察到的对象空间中清晰(sharp)区域范围的度量。在成像光学系统中,可以通过引入可变孔径来实现可变焦深。图9示出了来自图8的带有可变孔径10的切割头的示例。在图9a和图9b中,孔径被调节为大或小。同样,孔径也可以安装在其他切割头中(图6、图7)。
图10说明了出于改变焦深13的目的而具有可变光通道开口的孔径10的效果。在几何光学中,仅恰好在图像平面14上的像素才被焦点对准地示出。随着与图像平面的距离增加,每个聚焦像素变为越来越大的非聚焦切片。该切片被称为模糊圈12。从点到切片的过渡是流动的,并且在两者之间的某个地方,在仍然被视为聚焦的与已经被视为模糊的之间存在边界。该区域的大小(即,焦深)取决于光锥的角度,并由此取决于孔径开口。如果孔径开口较大,则结果是较小的焦深,如果孔径开口较小,则结果是较大的焦深。
根据加工过程和感兴趣的过程特征,大的或小的焦深对于过程监控是有利的。示例作为示例附于此处,并非穷尽性的。因此,可以用小的焦深在工件厚度的一定高度上更精确地确定工件边缘粗糙度。另一方面,可以用大的焦深确定大的工件厚度上的平均粗糙度。为了观察熔融金属的熔体流动波动,小的和(例如交替的)大的焦深都是有利的。
在过程观察期间,可以记录具有不同焦深的交替图像,以便尽可能全面地描述加工过程,并获得关于加工过程的最大信息。
成像系统中的另外的可变设置是观察或图像平面14沿观察方向的放置。根据摄像装置聚焦透镜11的设置,参见图11,该图像平面位于不同位置。图11示出了观察或图像平面向下移动,其中聚焦透镜11(标有附图标记11的透镜与摄像装置的透镜相关,并且附图标记22表示激光器的聚焦透镜)与摄像装置传感器15(摄像装置芯片、CMOS或CCD芯片)之间的距离更短。在图11a和图11b中,聚焦透镜11与摄像装置芯片15之间的距离被调节为大或小。不同的设置使图像平面例如从工件的上边缘(图11a)移动到工件的下边缘(图11b)。当选择小景深时,图像平面的移动特别有趣。这是因为切割间隙中的平面例如接头的上边缘或下边缘可以被特别观察到。应当注意,代替移动摄像装置透镜,光学系统的焦距也可以以一些其他方式改变。代替固定(例如,玻璃)透镜,越来越多地使用流体透镜。这样的流体透镜通常可以非常快速地改变焦距(高达若干kHz)。一些通过向导电液体施加电压来工作,导电液体随着施加的电压而改变它们的表面形状。其他的功能类似于人眼,即充满液体的弹性透镜被机械变形以改变焦点。
根据加工过程和感兴趣的过程特征,不同的观察平面对过程观察可以是有利的。示例作为示例附于此处,并非穷尽性的。如果要观察熔化波刺激,则在上边缘的观察平面可以是特别合适的。以这种方式还可以特别好地观察到上边缘上的槽。另一方面,如果要观察毛刺的形成或者熔炼和渣滓的粘附,则将观察平面放置在下边缘是有利的。应该提到的是,图4示出了根据所选择的图像平面的不同观察的可能性。
成像系统中的另外的可变设置是摄像装置的曝光时间。摄像装置的曝光时间通常也可以很快地改变——与摄像装置的采样率相当。用具有不同曝光时间的图像记录对象是有趣的,因为这些不同的图像可以使用高动态范围方法(HDR方法)彼此偏移,以便提供具有增加的对比度的图像。
在过程监控期间,可以记录具有不同曝光时间的交替图像,从而可以使用HDR方法偏移相邻图像,并且可以增加对比度,并由此增加信息内容。替选地,根据端到端方法,可以将不同曝光时间的记录直接进给到深度学习算法。特别是当第一图像与第二图像之间的记录位置由于激光器的高进给速度而显著地间隔开时,这是必要的。以这种方式,可以尽可能全面地描述加工过程,并且可以获得关于加工过程的最大信息。
因此,可以以多种方式改变单个图像(第一信号序列或第二信号序列)的记录。特别地,可以改变以下摄像装置设置,并且以这种方式捕获的信号序列可以作为输入进给到DNN:
1)照明,
2)焦深/孔径设置,
3)图像平面,和/或
4)曝光时间。
第一信号序列因此可以是有照明的图像序列,并且第二信号序列可以是无照明的图像序列。第一信号序列也可以是具有第一孔径设置的图像序列,并且第二信号序列可以是具有第二孔径设置的图像序列。第一信号序列也可以是具有第一图像平面的图像序列,并且第二信号序列可以是具有第二图像平面的信号序列。第一信号序列也可以是具有第一曝光时间的图像序列,并且第二信号序列可以是具有第二曝光时间的图像序列。
如果交替地记录不同的视频流,则在相应的信号序列(流)中可以改变仅一个参数(例如,照明),或者若干个参数一起改变。以下流可以是感兴趣的组合
-流1:其中图像平面位于工件的上边缘的照明图像
-流2:其中图像平面位于工件的下边缘的非照明图像。
理想情况下,来自流1和流2的单个图像被交替地记录,并且可以在进一步的加工期间被视为同步的。
上述可变参数的其他组合也是可以想到的。还可以想到,例如,记录多于2个的不同信号序列/流。除了上面提到的两个流之外,以下流也是感兴趣的
-流1:其中图像平面位于工件的上边缘的照明图像
-流2:其中图像平面位于工件的上边缘的非照明图像
-流3:其中图像平面位于工件的下边缘的非照明图像。
理想情况下,来自流1、流2和流3的各个图像被连续地记录,并且在进一步加工期间可以被视为几乎同步。
可以想到可行的设置组合的大量其他示例。如果假设四个设置参数用两个设置而改变,则可以产生2^4=16个不同的单独图像。有多少流以及哪些设置参数的组合是最合适的是开放的。
如上所述,除了上面讨论的摄像装置观察之外,为了附加的过程观察的目的,还有可能使用光电二极管。这些大多传统上可用于切割系统中,易于控制,节省安装空间以及价格低廉。它们还具有它们的采样率显著高于摄像装置的采样率的优点。这使得它们能够提供附加的信息。特别地,同轴布置的光电二极管和切割头喷嘴区域中的以一定角度观察过程的光电二极管是可行的。
如果视频记录以及可选地光电二极管信号可用,则可以借助于神经网络(特别是DNN,特别是CNN)和相关的机器学习算法得出关于切割质量的结论。为此目的,优选地使用端到端算法作为用于训练神经网络的算法,优选深度学习算法。
端到端算法使得能够训练由表示完整目标系统的单个模型表示的复杂学习系统。因此,特定于问题的知识不必流入模型架构,这就实现了全面的数据驱动学习。前提是足够的数据可用于训练。此外,数据必须被至少部分地标记,即标签必须可用于原始数据(监督学习)。
使用至少一种深度学习算法训练的深度神经网络(DNN)优选地用作端到端方法中的模型。深度学习描述了一类人工神经网络的优化方法,其在输入层与输出层之间具有许多中间层(深度网络),因此具有广泛的内部结构,以解决复杂任务。在对具有很少或没有中间层的网络结构(所谓的平面网络、浅层网)的学习算法的扩展中,与单层感知器一样,深度学习方法即使在多个中间层的情况下也能实现稳定的学习成功。许多中间层使得高维输入数据能够被逐步抽象化,这特别适合于图像和图像序列,而不需要预定义的特征值(图像特征)的提取。存在多种网络结构,其中卷积神经网络(CNN)和残差神经网络(RNN)优选地用于摄像装置图像的手头任务。对于图像序列或时间信号,可以学习时间关系或时间特征。门控递归单元(GRU)和长短期记忆(LSTM)网络适用于此。有利的是使用在不同层中组合以上网络结构的组合网络。
为了可以在切割期间实时估计切割质量,必须最初使用大量数据对模型进行训练。为此,制作许多不同切割质量的切割轮廓或部分,并保存所有传感器数据。典型地,材料类型(例如,金属合金)和板厚度的数据集包括至少50个或显著更多的测试部分,在广泛的切割参数(例如,激光功率、焦点位置、气体压力、进给速度)的设置和各种外部影响因素(例如,材料质量、表面质量、材料温度、激光防护玻璃的污染)下进行切割。然后确定切割轮廓的切割质量特征。优选地,使用例如表面测量装置在整个切割轮廓上局部分离地测量特征。替选地,也可以由专家评估切割质量,并且可以相应地标记数据记录。以上已经提到了切割质量标准,主要是毛刺高度、渣滓残留和切割边缘粗糙度。也可以使用测得的切割表面的3D点云进行训练,而不是所确定的质量特征。
如上所述,深度学习算法优选地用于训练(例如,在简单情况下的随机梯度下降算法),以便基于所标记的训练数据确定相应层中的网络参数。相应学习算法的任务是使模型的目标输出与计算输出之间的误差最小化;这代表了统计优化问题。优化器被用于此。如果相应的误差被最小化,则权重是最优的,并且网络被描述为最优训练的。成功训练后,算法将根据训练标准自动地识别切割质量。
应当注意,除了优选的深度学习算法之外,还可以替选地或附加地使用其他算法例如多项式回归模型。
作为本发明的另外的有利实施方式,可以集成在线学习方法。为此,根据以上方法训练的模型随后是用于自适应地设置某些模型参数的算法。这可以例如借助于强化学习算法或借助于稀疏编码算法实现(参见Blakely,C.:"Adaptive Real-Time Learning andPrediction,A Sparse Hierarchical Machine Learning Algorithm",SDS 2019;可在互联网上访问:https://sds2019.ch/_Resources/Persistent/11a5f51326cf4b9fbbc490a1081af9d2d7bc6971/C.%20Blakely%2C%20signifAiFX%2C%20Adaptive%20Real-Time%20Learning%20and%20Prediction.pdf)。因此,切割质量的估计可以在切割期间实时地或借助于来自机器操作者的反馈间歇地调节。在这种情况下,强化学习被理解为机器学习的方法,它试图通过系统内的独立动作来使奖励最大化。没有必要对所有数据进行标记。
图12示出了估计方法的流程图。在该方法开始之后,在步骤S1中至少记录第一信号序列和第二信号序列。在步骤S2、S3中,提供所捕获的第一信号序列和第二信号序列。在步骤S4中,访问训练后的神经网络模型,特别是DNN,例如CNN,其中可选层用于所捕获的第一信号序列和第二信号序列的传感器融合,以便在步骤S5中针对测得的信号序列提供具有加工质量的估计的结果。
如果除了摄像装置图像之外,还考虑其他传感器信号,例如用于对估计的加工质量进行分类的光电二极管信号,则可以设计神经网络的层用于传感器融合。在本发明的该实施方式中,在同一机器学习模型(或深度网络)中计算不同的输入数据。
在本发明的替选实施方式中,还可以提供单独的、另外的神经网络,用于实现另外的机器学习模型,该机器学习模型用于对光电二极管信号进行分类,并且已经针对该信号变体进行了专门训练。然后,如图12中的虚线所示——因为是可选的——在步骤S6中,光电二极管的信号可以被提供至另外的训练后的神经网络的输入层,然后在步骤S7中访问该神经网络,用于分类的目的或者在步骤S8中预测处理结果质量。这种实现方式的优点是,即使摄像装置出现故障,也可以可靠地获得可用的分类结果。
不同的算法和过程可以用于传感器融合。原则上,对于每个信号序列,一个网络架构总是组合为整体网络。根据信号序列,它们可以是相同或不同的网络架构。一方面,可以通过简单的传感器融合层实现融合。在这种情况下,一切都是一起训练的。在本发明的替选的有利实施方式中,单独训练各个网络,以便找到最佳可能特征。然后从两个网络中切掉分类层。然后,剩余的特征提取器层被合并,并且新的分类层与它们一起被训练。
在该实施方式中,组合的神经网络由若干个单独的网络构建。因此,训练将在若干个步骤中进行。
两种变体都对应于端到端训练。在最后一个变体中,训练在若干个步骤中进行。在此训练阶段,没有纳入专业知识,因此仍然是自动的端到端训练。
传感器融合通常用于若干种类型的信号,例如二极管和摄像装置。各个信号的类型与传感器融合无关。也可以在类似和/或相同的信号类型之间进行简单的传感器融合,例如在捕获的第一信号序列和记录的第二信号序列如有照明记录和非照明记录的信号序列之间进行传感器融合,而这尽管在两个信号序列中使用了基本相同的传感器类型(光学)。信号序列的其他组合也是可行的。
图13示出了用于激光加工系统L的质量估计的系统的模块和单元的示意图。为此,该系统设计有计算单元R或者经由网络接口连接至计算单元R。激光加工系统L具有摄像装置5和其中存储有至少一个训练后的神经网络(DNN、CNN)的存储器S。计算单元R可以经由数据接口DS接收由摄像装置5和/或可选地由光电二极管19捕获的信号序列,并使用它们来访问存储器S,使得CNN可以计算出具有加工质量的估计的结果。
应当注意的是,在本发明的优选实施方式中,算法被进一步开发,使得机器继续学习用于在客户场所进行过程监控的实施方法。如上所述,这可以例如通过强化学习方法或稀疏编码算法来实现。根据客户的情况,可以对切割质量进行不同的评估。一个客户看来还可以接受的切割质量对另一客户来说可能被判定为不满意。在此描述的作为解决方案的算法的一个优点是,在过程监控期间,客户的敏感度被学习并且被单独地和系统地考虑到。
最后,应当注意,本发明的描述和示例性实施方式不应理解为限制本发明的特定物理实现。结合本发明的各个实施方式说明和示出的所有特征可以在根据本发明的主题中以不同的组合提供,以同时实现其有利效果。
本发明的保护范围由权利要求给出,并且不受说明书中所示或附图中所示的特征的限制。
附图标记列表
1 工件
2 (一个或多个)光源,特别是发光二极管
3 二向色镜
4 观察到的光
5 摄像装置块
6 激光器的加工光束
7 传输光纤
8 滤波器
9 照明灯
10 孔径
11 摄像装置的调焦透镜
12 模糊圈
13 焦深
14 图像平面
15 摄像装置传感器
16 切割前沿
17 喷嘴开口
18 切割切口
19 (一个或多个)光电二极管
20 过程灯,上
21 过程灯,下
22 激光加工工具的激光器的聚焦透镜
S1 捕获第一信号序列和第二信号序列,特别是交替捕获
S2 提供所捕获的第一信号序列
S3 提供所捕获的第二信号序列
S4 访问训练后的机器学习模型,特别是CNN
S5 计算具有估计的加工质量的结果
S6 提供光电二极管信号序列
S7 访问训练后的机器学习模型
S8 计算结果
R 计算单元
L 激光系统
S 用于存储训练后的模型的存储器
DS 数据接口
VS 处理接口
权利要求书(按照条约第19条的修改)
1.一种用于对激光加工过程进行过程监控以估计加工质量的方法,具有在所述加工过程期间实时执行的以下步骤:
-提供(S2)来自所述加工区的具有第一特征的至少一个捕获的第一信号序列;
-提供(S3)来自所述加工区的具有第二特征的至少一个捕获的第二信号序列;
-利用至少记录的第一信号序列和记录的第二信号序列访问(S4)至少一个训练后的神经网络,以便计算(S5)用于估计所述加工质量的结果,其中,所述捕获的第一信号序列和/或所述捕获的第二信号序列是光学信号序列,并且利用相同光学传感器(5)以交替形式被捕获,并且
其中,所述捕获的第一信号序列是具有照明的图像的序列,其中,至少一个光源(2)用于照明,并且其中,所述捕获的第二信号序列是无照明的图像的序列。
2.根据前述权利要求之一所述的方法,其中,使用深度神经网络(DNN)作为所述神经网络,并且其中,在所述深度神经网络(DNN)的训练期间,限定所述捕获的第一信号序列和所述捕获的第二信号序列的那些特征,特别是那些空间和/或时间特性,其与估计所述加工质量相关并且在计算所述结果时要予以考虑。
3.根据前述权利要求之一所述的方法,其中,使用具有所估计的加工质量的结果来调整所述激光加工过程。
4.根据前述权利要求之一所述的方法,其中,所述第一信号序列和所述第二信号序列的捕获在每种情况下是同步的,使得能够观察到所述加工过程随时间的发展,其中,时间戳能够用于训练所述机器学习模型,以便能够提供信号向所述工件(1)上的所述切割轮廓的局部分配。
5.根据前述权利要求之一所述的方法,其中,所述方法包括:
-提供(S6)从一定数量的光电二极管所捕获的光电二极管信号;
-使用所述捕获的光电二极管信号访问(S7)训练后的机器学习模型和/或另外的训练后的机器学模型,以便计算(S8)用于估计所述加工质量的所述结果。
6.根据前述权利要求之一所述的方法,其中,所述捕获的第一信号序列是在第一摄像装置设置下的图像的序列,并且其中,所述捕获的第二信号序列是在第二摄像装置设置下的图像的序列。
7.一种用于对激光加工工具(L)的激光加工过程进行过程监控以估计加工质量的计算单元(R),具有:
-到至少一个传感器(5)的数据接口(DS),所述至少一个传感器在所述加工过程期间旨在捕获具有第一特征的第一信号序列并且旨在捕获具有第二特征的第二信号序列,所述具有第一特征的第一信号序列和所述具有第二特征的第二信号序列在每种情况下都来自所述加工区;
-到存储器(S)的处理接口(VS),在所述存储器中存储有至少一个训练后的神经网络(DNN),所述至少一个训练后的神经网络利用至少所捕获的第一信号序列和所捕获的第二信号序列被访问,以便计算用于估计所述加工质量的结果,
-其中,所述捕获的第一信号序列和/或所述捕获的第二信号序列是光学信号序列,并且利用相同光学传感器(5)以交替形式被捕获,并且
-其中,所述捕获的第一信号序列是有照明的图像的序列,其中,至少一个光源(2)用于照明,并且
-其中,所述捕获的第二信号序列是无照明的图像的序列。
8.根据紧接的前述权利要求所述的计算单元(R),其中,所述存储器(S)集成在所述计算单元(R)中。
9.一种具有根据前一权利要求所述的计算单元(R)的激光加工系统(L),所述激光加工系统指向所述计算单元。
10.根据前一权利要求所述的激光加工系统(L),所述激光加工系统聚焦于所述激光加工系统,其中,所述至少一个传感器是光学传感器,并且特别地包括摄像装置(5),并且能够可选地包括至少一个光电二极管(19)。
11.根据权利要求11或12所述的激光加工系统(L),其中,所述至少一个光学传感器的轴线相对于激光加工头的加工轴线同轴地和/或倾斜地、特别地在5°至20°之间的角度范围内布置。
12.根据权利要求11至13之一所述的激光加工系统(L),其中,布置有一定数量的光源(2),所述一定数量的光源被用来在捕获所述第一信号序列时对所述处理区照明。
13.根据权利要求14所述的激光加工系统(L),其中,所述一定数量的光源和所述至少一个光学传感器与激光器的所述加工轴线同轴地布置。
14.根据权利要求11所述的激光加工系统(L),其中,所述一定数量的光源(2)和所述至少一个光学传感器布置在所述激光加工系统(L)的加工头外部,并且特别地紧邻所述光学传感器的网络接口。
15.根据权利要求11至16之一所述的激光加工系统(L),其中,所述激光加工系统(L)的激光器被用来产生所述照明,并且其中,二向色镜或另外的滤波器元件布置在工件前面的激光的光束路径中,并且对于所述照明光约50%透射和约50%反射。
16.一种具有计算机程序代码的计算机程序产品,用于当所述计算机程序在计算机上执行时执行根据方法权利要求之一所述的方法的所有方法步骤。

Claims (18)

1.一种用于对激光加工过程进行过程监控以估计加工质量的方法,具有在所述加工过程期间实时执行的以下步骤:
-提供(S2)来自所述加工区的具有第一特征的至少一个捕获的第一信号序列;
-提供(S3)来自所述加工区的具有第二特征的至少一个捕获的第二信号序列;
-利用至少记录的第一信号序列和记录的第二信号序列访问(S4)至少一个训练后的神经网络,以便计算(S5)用于估计所述加工质量的结果。
2.根据权利要求1所述的方法,其中,所述第一信号序列和/或所述第二信号序列是光学信号序列,并且利用相同光学传感器(5)且优选地以交替形式被捕获。
3.根据前述权利要求之一所述的方法,其中,使用深度神经网络(DNN)作为所述神经网络,并且其中,在所述深度神经网络(DNN)的训练期间,限定所述捕获的第一信号序列和所述捕获的第二信号序列的那些特征,特别是那些空间和/或时间特性,其与估计所述加工质量相关并且在计算所述结果时要予以考虑。
4.根据前述权利要求之一所述的方法,其中,使用具有所估计的加工质量的结果来调整所述激光加工过程。
5.根据前述权利要求之一所述的方法,其中,所述第一信号序列和所述第二信号序列的捕获在每种情况下是同步的,使得能够观察到所述加工过程随时间的发展,其中,时间戳能够用于训练所述机器学习模型,以便能够提供信号向所述工件(1)上的所述切割轮廓的局部分配。
6.根据前述权利要求之一所述的方法,其中,所述方法包括:
-提供(S6)从一定数量的光电二极管所捕获的光电二极管信号;
-使用所述捕获的光电二极管信号访问(S7)训练后的机器学习模型和/或另外的训练后的机器学模型,以便计算(S8)用于估计所述加工质量的所述结果。
7.根据前述权利要求之一所述的方法,其中,所述捕获的第一信号序列和所述捕获的第二信号序列是光学信号序列,并且其中,所述捕获的第一信号序列是具有照明的图像的序列,并且其中所述捕获的第二信号序列是无照明的图像的序列,其中,至少一个光源(2)用于照明。
8.根据前述权利要求之一所述的方法,其中,所述捕获的第一信号序列是在第一摄像装置设置下的图像的序列,并且其中,所述捕获的第二信号序列是在第二摄像装置设置下的图像的序列。
9.一种用于对激光加工工具(L)的激光加工过程进行过程监控以估计加工质量的计算单元(R),具有:
-到至少一个传感器(5)的数据接口(DS),所述至少一个传感器在所述加工过程期间旨在捕获具有第一特征的第一信号序列并且旨在捕获具有第二特征的第二信号序列,所述具有第一特征的第一信号序列和所述具有第二特征的第二信号序列在每种情况下都来自所述加工区;
-到存储器(S)的处理接口(VS),在所述存储器中存储有至少一个训练后的神经网络(DNN),所述至少一个训练后的神经网络利用至少所捕获的第一信号序列和所捕获的第二信号序列被访问,以便计算用于估计所述加工质量的结果。
10.根据紧接的前述权利要求所述的计算单元(R),其中,所述存储器(S)集成在所述计算单元(R)中。
11.一种具有根据前一权利要求所述的计算单元(R)的激光加工系统(L),所述激光加工系统指向所述计算单元。
12.根据前一权利要求所述的激光加工系统(L),所述激光加工系统聚焦于所述激光加工系统,其中,所述至少一个传感器是光学传感器,并且特别地包括摄像装置(5),并且能够可选地包括至少一个光电二极管(19)。
13.根据权利要求11或12所述的激光加工系统(L),其中,所述至少一个光学传感器的轴线相对于激光加工头的加工轴线同轴地和/或倾斜地、特别地在5°至20°之间的角度范围内布置。
14.根据权利要求11至13之一所述的激光加工系统(L),其中,布置有一定数量的光源(2),所述一定数量的光源被用来在捕获所述第一信号序列时对所述处理区照明。
15.根据权利要求14所述的激光加工系统(L),其中,所述一定数量的光源和所述至少一个光学传感器与激光器的所述加工轴线同轴地布置。
16.根据权利要求11所述的激光加工系统(L),其中,所述一定数量的光源(2)和所述至少一个光学传感器布置在所述激光加工系统(L)的加工头外部,并且特别地紧邻所述光学传感器的网络接口。
17.根据权利要求11至16之一所述的激光加工系统(L),其中,所述激光加工系统(L)的激光器被用来产生所述照明,并且其中,二向色镜或另外的滤波器元件布置在工件前面的激光的光束路径中,并且对于所述照明光约50%透射和约50%反射。
18.一种具有计算机程序代码的计算机程序产品,用于当所述计算机程序在计算机上执行时执行根据方法权利要求之一所述的方法的所有方法步骤。
CN202180024139.8A 2020-03-25 2021-03-03 使用机器学习的激光加工过程的质量控制 Pending CN115413251A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP201655891 2020-03-25
EP16055891 2020-03-25
PCT/EP2021/055305 WO2021190889A1 (en) 2020-03-25 2021-03-03 Quality control of a laser machining process using machine learning

Publications (1)

Publication Number Publication Date
CN115413251A true CN115413251A (zh) 2022-11-29

Family

ID=84155452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180024139.8A Pending CN115413251A (zh) 2020-03-25 2021-03-03 使用机器学习的激光加工过程的质量控制

Country Status (1)

Country Link
CN (1) CN115413251A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1384772A (zh) * 1999-11-27 2002-12-11 蒂森克鲁伯钢铁股份公司 用于对用激光对接焊的板或带上的焊缝进行质量检验的方法和装置
US20030010760A1 (en) * 2001-07-13 2003-01-16 Luca Bolognese System for the control of the quality of a laser cut or perforation, in particular for sheets of metal
DE102009050784A1 (de) * 2009-10-27 2011-05-26 Lessmüller Lasertechnik GmbH Verfahren zur bildgestützten Kontrolle von Bearbeitungsprozessen
EP2886239A1 (de) * 2013-12-23 2015-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Überwachung und Regelung der Bearbeitungsbahn bei einem Laser-Fügeprozess
EP3159093A1 (de) * 2015-10-23 2017-04-26 Bystronic Laser AG Verfahren zur kontrolle von laserschneidvorgängen im hochleistungsbereich mit schneidvorgangunterbrechung; entsprechende vorrichtung und computerprogrammprodukt
US20180147658A1 (en) * 2016-11-25 2018-05-31 Glowforge Inc. Engraving in a computer numerically controlled machine

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1384772A (zh) * 1999-11-27 2002-12-11 蒂森克鲁伯钢铁股份公司 用于对用激光对接焊的板或带上的焊缝进行质量检验的方法和装置
US20030010760A1 (en) * 2001-07-13 2003-01-16 Luca Bolognese System for the control of the quality of a laser cut or perforation, in particular for sheets of metal
DE102009050784A1 (de) * 2009-10-27 2011-05-26 Lessmüller Lasertechnik GmbH Verfahren zur bildgestützten Kontrolle von Bearbeitungsprozessen
EP2886239A1 (de) * 2013-12-23 2015-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Überwachung und Regelung der Bearbeitungsbahn bei einem Laser-Fügeprozess
EP3159093A1 (de) * 2015-10-23 2017-04-26 Bystronic Laser AG Verfahren zur kontrolle von laserschneidvorgängen im hochleistungsbereich mit schneidvorgangunterbrechung; entsprechende vorrichtung und computerprogrammprodukt
US20180147658A1 (en) * 2016-11-25 2018-05-31 Glowforge Inc. Engraving in a computer numerically controlled machine

Similar Documents

Publication Publication Date Title
CN113329836A (zh) 借助深度卷积神经网络监测激光加工过程
RU2529136C2 (ru) Способ и устройство для контроля проводимого на обрабатываемой детали процесса лазерной обработки, а также лазерная обрабатывающая головка с подобным устройством
US11651484B2 (en) Quality control of a laser machining process using machine learning
CN113226612B (zh) 借助深度卷积神经网络识别激光加工系统的加工缺陷
CN109420859B (zh) 机器学习装置、机器学习系统以及机器学习方法
CN107803585B (zh) 激光加工机及激光加工方法
US20230201956A1 (en) Method for analyzing a laser machining process, system for analyzing a laser machining process, and laser machining system comprising such a system
JP6794685B2 (ja) 画像処理方法及び画像処理装置
JP7105377B2 (ja) 金属加工装置におけるノズルの状態又はタイプの特定
CN114502313A (zh) 用于借助激光束在工件上执行加工工序的激光加工系统和用于监控工件上的借助激光束的加工工序的方法
CN116419815A (zh) 用于对激光加工头进行状态监控的方法和用于执行所述方法的激光加工系统
CN115413251A (zh) 使用机器学习的激光加工过程的质量控制
US20210197282A1 (en) Method and apparatus for estimating height of 3d printing object formed during 3d printing process, and 3d printing system having the same
CN117916767A (zh) 在激光加工过程中通过人工智能检测飞溅物
US20210213567A1 (en) Laser treatment method
US20230036295A1 (en) Monitoring of a laser machining process using a neuromorphic image sensor
EP4283559A1 (en) Method, software program and system for detecting image irregularities in video endoscopic instrument produced images
EP4347175A1 (en) Calibration of a quality estimator for a laser cutting method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination