CN105993033A - 用于辨识在加工头上构造的开口的边缘轮廓的方法以及加工机器 - Google Patents

用于辨识在加工头上构造的开口的边缘轮廓的方法以及加工机器 Download PDF

Info

Publication number
CN105993033A
CN105993033A CN201580007657.3A CN201580007657A CN105993033A CN 105993033 A CN105993033 A CN 105993033A CN 201580007657 A CN201580007657 A CN 201580007657A CN 105993033 A CN105993033 A CN 105993033A
Authority
CN
China
Prior art keywords
image
opening
processing
edge contour
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580007657.3A
Other languages
English (en)
Other versions
CN105993033B (zh
Inventor
B·雷加阿尔德
S·诺伊德克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trumpf Werkzeugmaschinen SE and Co KG
Original Assignee
Trumpf Werkzeugmaschinen SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trumpf Werkzeugmaschinen SE and Co KG filed Critical Trumpf Werkzeugmaschinen SE and Co KG
Publication of CN105993033A publication Critical patent/CN105993033A/zh
Application granted granted Critical
Publication of CN105993033B publication Critical patent/CN105993033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/14Working by laser beam, e.g. welding, cutting or boring using a fluid stream, e.g. a jet of gas, in conjunction with the laser beam; Nozzles therefor
    • B23K26/1462Nozzles; Features related to nozzles
    • B23K26/1494Maintenance of nozzles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03Observing, e.g. monitoring, the workpiece
    • B23K26/032Observing, e.g. monitoring, the workpiece using optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Laser Beam Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于辨识在加工头(3)上构造的开口(7)的边缘轮廓(9)、尤其加工喷嘴(6)的开口(7)的边缘轮廓(9)的方法,所述方法包括:在时间上彼此相继地拍摄多个图像,所述多个图像分别包含穿过所述开口(7)观察的、与所述加工头(3)间隔开的、优选被照射的参考面(8)的部分区域(21)以及在所述加工头(3)上的围绕所述开口(7)的区域,其中,在所述图像的拍摄时刻之间改变所述参考面(8)的亮度特性,以及通过所拍摄的图像的比较式分析处理来辨识所述边缘轮廓(9)。本发明也涉及用于实施所述方法的加工机器(1)。

Description

用于辨识在加工头上构造的开口的边缘轮廓的方法以及加工机器
技术领域
本发明涉及一种用于辨识在加工头上构造的开口的边缘轮廓、尤其加工喷嘴的开口的边缘轮廓的方法。本发明也涉及一种加工机器。
背景技术
在激光加工工艺中、尤其在激光切割工艺中使用加工喷嘴、尤其切割喷嘴以便实现均匀有规律的且高品质的切割结果。所述加工喷嘴的开口几何结构、尤其所述加工喷嘴的开口的边缘轮廓——激光射束和工艺气体射束穿过所述加工喷嘴的开口——直接作用于气体流动并且因此以直接的方式影响加工结果。在加工工艺中,发生所述加工喷嘴的磨损,所述磨损例如可能在加工材料的熔化物(Schmelze)的粘附性残渣和粘附性污迹中或者在燃尽物(Ausbrennungen)中通过掠式(streifend)的或反射回来的激光射束以及通过所述加工喷嘴与工件或与其他构件的碰撞产生。通过所述磨损,所述加工喷嘴的边缘轮廓可能发生改变并且例如与(圆)无角的几何结构不同,这可能导致方向相关地变化的切割结果。
为了应付对切割结果的负面作用,已知的是:在碰撞之后通过操作人员手动地检查所述加工喷嘴或所述加工喷嘴的开口。然而这决定所述激光加工机的时间密集的且成本密集的耐用时间。
由DE 43 36 136 A1已知用于检测激光射束加工设备的加工状态的方法和设备。自发的材料去除过程的出现能够通过测量从工件出发的、穿过切割头的所谓的尖嘴形孔(Rüsselloch)的辐射来探测。也能够检测切割头尖嘴从所述激光射束的射束轴线的偏移并且如果需要则补偿所述偏移。
由EP 1 600 247 A2已知:借助光学检查装置检查切割喷嘴口。所述切割头的检查通过从外面或从下面照射切割喷嘴进行。借助摄像机拍摄切割喷嘴的图像并且确定喷嘴开口的直径或喷嘴开口的直径的平均值。如果所述切割喷嘴的开口的不圆度(Unrundheit)处于公差范围之外,则可以触发告警。
发明内容
发明任务
本发明的任务在于,说明一种方法和一种加工机器,借助所述方法和加工机器能够克服现有技术的这些缺点。尤其应改善所述边缘轮廓的辨识相对于干扰的稳健性。
发明主题
该任务通过一种用于辨识在加工头上构造的开口、尤其加工喷嘴的开口的边缘轮廓的方法来解决,所述方法包括:在时间上彼此相继地拍摄多个图像,所述多个图像分别包含穿过所述开口观察的、与所述加工头间隔开的、优选被照射的参考面的部分区域以及在所述加工头上的围绕所述开口的区域,其中,在所述图像的拍摄时刻之间改变所述参考面的亮度特性,以及通过所拍摄的图像的比较式分析处理来辨识所述边缘轮廓。
与根据本发明的方法相关的优点在于,能够实现所述方法的主时间并行的(hauptzeitparallel)、也就是说与加工过程同时发生的实施。通过这种方式能够立即识别可能出现的缺陷(例如加工头的开口的、通过所述加工头与工件的碰撞引起的变形)并且能够实现对所述缺陷的提前干预或反应,以便避免在进一步的工件加工时废品的形成。通过所述比较式分析处理还能够实现在辨识所述边缘轮廓时提高的精确度以及所述辨识相对于干扰、例如在所述开口的内部出现的反射的高的稳健性。
对于在所述加工头上的开口的边缘轮廓的辨识需要的是:在配属给所述开口的图像区域与配属给所述加工头的图像区域之间产生亮度对比。通常通过从内部或从外部或者通过外部的均匀的照射装置照射所述加工喷嘴的开口来产生该亮度对比,所述照射装置由所述加工喷嘴的开口限界。外部照射例如能够通过LED照射实现,所述LED照射借助散射板产生所述加工喷嘴的开口的尽可能均匀有规律的照亮。如果希望如上所述主时间并行的检测,则必须照射待加工工件的表面。这例如可以通过LED、激光二极管或其他照射源的与所述激光射束或观察同轴地耦合输入的照射射束实现。粗糙的(金属的)工件表面或喷嘴表面的这种照射一般不完全均匀地进行,因为反射比率与所述表面的局部面法线的方向或角度强烈地相关(在此例如与DE 102005010381对比)。由此得到在所述开口的边缘处的区域,所述区域在自动的图像处理中不能够被明确地配属给所述加工喷嘴或所述开口。
如果如这里提出的那样以恒定的光比例照射所述加工头或加工喷嘴,而通过所述开口观察的参考面在所述图像的拍摄之间在其亮度特性方面被改变,则通过考虑两个或更多个用于分析处理或图像处理的图像能够改善所述边缘轮廓的辨识。通过这种方式能够在比较式分析处理时辨识以下区域:所述区域在所有所拍摄的图像中具有相同的或相似的亮度并且被配属给所述加工喷嘴或所述加工头。还能够辨识以下区域:所述区域在拍摄之间发生变化并且被配属给在所述加工头上或所述加工喷嘴上的开口。通过在分析处理时考虑大量图像能够逐渐提高在识别所述边缘轮廓时的精确度。
在一种优选的变型方案中,为了改变所述亮度特性,使所述参考面和所述加工头尤其在横向于所述开口的方向上,也即横向地,互相相对运动。所述参考面如每个表面那样具有粗糙度或不平度(Unebenheit)。通过所述相对运动,在互相前后拍摄的图像中穿过所述开口地观察所述参考面的分别不同的部分区域,从而通过所述参考面的粗糙度决定的、位置相关的亮度区别通过多个互相前后拍摄的图像运动。所述参考面的照射优选均匀地从垂直于或近似垂直于所述参考面走向的方向进行,例如穿过所述加工喷嘴的开口地或以环形照射形式,所述环形照射围绕所述加工喷嘴。
在另一种优选的变型方案中,所述参考面构成待加工工件的表面。该变型方案是特别有利的,因为能够在加工工件期间进行所述边缘轮廓的根据本发明的辨识。如上所述,一般金属的工件的表面具有足够的粗糙度,从而在所拍摄的图像中能够测量所述粗糙的工件表面的通过在工件与加工头之间的相对运动决定的亮度区别的相对运动。
以下变型方案也是优选的:在所述变型方案中,为了改变所述参考面的亮度特性,在时间上改变所述参考面的照射。为了在时间上改变所述亮度特性,可以越过不同的拍摄时刻改变照射装置的照射强度和/或设置具有越过所述拍摄时刻局部发生变化的照射强度的照射图案。替代地,也能够在其亮度特性方面改变由所述参考面自身出发的或被所述参考面反射的照射辐射,其方式是,例如越过拍摄时刻在时间上和/或局部地改变所述照射辐射的照射强度。在这些情况中的每一个情况下,必要时可以放弃所述参考面相对于所述加工头的相对运动。
在另一种变型方案中,优选沿着与穿过所述开口的加工射束、尤其与激光射束同轴的观察方向拍摄图像。因为所述观察方向在这种情况下典型地垂直于所述开口的边缘轮廓走向,所以能够实现所述边缘轮廓的精确辨识。也能由与所述加工射束同轴走向的观察方向特别简单地识别所述边缘轮廓的可能存在的缺陷或偏差。
在一种优选的变型方案中,所述参考面的照射沿着与穿过所述开口的加工射束、尤其与激光射束同轴的或近似同轴的照射方向进行。通过这种方式,实现所述参考面的穿过所述开口的照射、也就是说从内部向外部。在这种情况下不需要(附加的)外部的照射装置。所述照射辐射和加工射束或激光射束在这种情况下典型地至少部分地叠加。
一种变型方案是优选的,在所述变型方案中,在比较式分析处理中由所拍摄的图像中的两个构造至少一个差值图像(Differenzbild)。在差值图像的产生中静态干扰(例如在所述加工喷嘴上的内反射)被减去,使得仅仅在所观察的参考面上的亮度变化保持,所述亮度变化例如应归因于所述参考面的运动。所述一个差值图像或者所述多个差值图像一般分别通过图像的绝对的、尤其逐个像素的减法来产生。对于每个拍摄时刻n可以通过与在一个较早时刻n-m拍摄的图像B(n-m)相减产生恰好一个差值图像D(n)(m=1,2,...)。但也能够实现:对于一个拍摄时刻n产生多个差值图像Dm(n),所述多个差值图像分别由在该拍摄时刻n拍摄的图像B(n)以及在一个较早时刻n-m拍摄的图像B(n-m)通过逐个像素的减法得到,也就是说:Dm(n)=B(n)-B(n-m)适用,其中,m=1,2,...。
在一种扩展方案中,在构造至少一个差值图像之前借助图像加工算法加工所述图像。这种在逐个像素的减法之前的预加工可以是有利的,以便均衡小的图像位置变化或亮度变化(起伏),所述位置变化或亮度变化出现在两个拍摄时刻之间并且影响整个所拍摄的图像,也就是说,也影响配属给所述加工头或配属给在所述开口外面的区域的图像区域。例如可能出现图像检测装置的探测面的位置的微小变化,这导致所拍摄的图像相对于所述探测面移位。这种移位可以通过在所拍摄的图像之间的互相关来识别并且通过合适的图像移位来纠正。在所拍摄的图像之间的、例如通过背景噪声引起的亮度起伏能够通过合适的滤波、例如在使用中值滤波或均值滤波的情况下均衡。
一种变型方案是特别优选的,在所述变型方案中,由至少两个差值图像产生一个结果图像E(n),在该结果图像上进行所述边缘轮廓的辨识。这种结果图像例如可以通过多个差值图像的必要时加权的加法来产生。这种结果图像的产生使得可能的是,在辨识所述边缘轮廓时也考虑由不再在环形存储器中可供使用的图像所计算的差值图像。
在一种扩展方案中,由预给定数量m个在彼此相继的拍摄时刻n,n-1,...,n-m+1拍摄的图像B(n)根据公式E(n):E(n)=B(n)-B(n-1)+B(n)-B(n-2)+...+B(n)-B(n-m+1)构造所述结果图像,也就是说E(n)=D1(n)+D2(n)+...+Dm-1(n)。由此,实现所拍摄的图像的关于计算时间有效的分析。用于构造结果图像的所述预给定数量m个图像例如可以被提供在环形存储器中。
在另一种扩展方案中,作为预给定数量m个在不同的拍摄时刻n,n-1,…拍摄的差值图像的滑动平均值产生所述结果图像E(n)。所述结果图像E(n)的作为滑动平均值的确定典型地根据公式E(n)=1/m*(D(n)+D(n-1)+....+D(n-m+1))进行,其中,标准化因子(1/m)必要时可以去掉。
在另一种扩展方案中,根据公式E(n)=α*E(n-1)+(1-α)*D(n)产生所述结果图像E(n),其中,α是常数,其用作衰减因数,其中,0<α<1适用并且D(n)表示差值图像。对于α<0.5的情况,在产生所述结果图像E(n)时,较早的差值图像相比更新的差值图像以更小的权重加权。可以根据经验确定用于所述衰减因数α的合适的值。对于α=0的情况,所述结果图像E(n)相应于在当前拍摄时刻n的差值图像D(n)。
一种变型方案还是优选的,在所述变型方案中,为了辨识所述边缘轮廓,将所述结果图像——或必要时所述差值图像D(n)(α=0,如上所述)——转换为二进制图像。例如可以通过阈值运算、也就是说通过与一个阈值相比较由所述结果图像产生所述二进制图像。在所述二进制图像中,围绕所述开口的区域通常呈现黑色并且所述开口自身呈现白色,因为所述开口具有更高的亮度。
在一种优选的变型方案中,为了辨识所述边缘轮廓,在所述结果图像中或在所述二进制图像中使用用于几何结构识别的算法、尤其霍夫算法、最小误差平方算法或RANSAC(“随机抽样一致性”)算法。这类算法可以根据所述结果图像或所述二进制图像通过合适的误差最小化算法识别或辨识所述边缘轮廓。
最后,以下方法变型方案是优选的,在所述方法变型方案中,为了辨识所述边缘轮廓拍摄10至50,优选拍摄10至40个图像。对于为了辨识所述边缘轮廓而使用的图像的数量应理解为这样的图像数量m:在(环形)存储器中存在这些数量m个图像对于分析处理可供使用并且由这些数量m个图像构成差值图像。如在更上面已描述的那样,可以通过提高所拍摄的图像的数量来逐渐地提高边缘轮廓辨识的精确度。所述工件表面的照射比例的尽可能大的变化、尤其在上面提到的优选的实施方式中所述工件在两个彼此相继的拍摄时刻之间的大的相对移位还可以在少的差值图像的情况下也改善识别精确度。
本发明也涉及一种计算机程序产品,所述计算机程序产品具有代码单元,所述代码单元适合用于当所述计算机程序在数据处理设备上运行时实施根据本发明的方法的所有步骤。数据处理设备例如可以涉及控制和调节装置和/或涉及分析处理装置,其安置在具有所述加工头的加工机器中,但是也涉及外部装置,所述外部装置通常是加工机器的一部分。
所述任务也通过加工机器来解决,所述加工机器包括:加工头;在所述加工头上的开口上、尤其在安装在所述加工头上的加工喷嘴的开口上构造的边缘轮廓;用于在时间上彼此相继地拍摄多个图像的图像检测装置,所述多个图像分别包含穿过所述开口观察的、与所述加工头间隔开的参考面的部分区域以及在所述加工头上的围绕所述开口的区域;以及分析处理装置,其构造或者编程用于通过比较式分析处理所拍摄的图像来辨识所述边缘轮廓,其中,所述加工机器、尤其所述加工机器的分析处理装置和/或控制和/或调节装置构造或者编程用于在所述图像的所述拍摄时刻之间改变所述参考面的亮度特性。在所述加工机器中,关于在辨识所述边缘轮廓时的提高的精度以及关于相对于干扰的高稳健性基本上得到如在根据本发明的方法中那样的相同优点。
在一种优选的实施方式中,所述图像检测装置具有用于从与穿过所述开口的加工射束、尤其与激光射束优选同轴的观察方向拍摄至少两个图像的成像光学系统。通过这类集成在所述加工头中的成像光学系统,所述加工头相对紧凑地构造。通过这样的集成成像光学系统在与加工射束同轴走向的观察方向的情况下也能够实现所述边缘轮廓的非常精确的辨识。
在另一种优选的实施方式中,所述加工机器具有用于沿着优选与穿过所述开口的加工射束、尤其与激光射束同轴的照射方向照射所述参考面的照射装置。能够以更紧凑的结构型式实现所述参考面的、穿过所述开口的同轴照射。
在另一种优选的实施方式中,所述加工机器附加地具有用于支承与所述加工头间隔开的工件的工件支承部。所述工件的工件表面在这种情况下可以构成所述参考面,从而能够不进行单独的参考面的设置。然而替代地,必要时也可以在所述加工机器中设置有用于辨识所述边缘轮廓的单独的参考面;但是在这种情况下然而通常不能够实现在工件加工期间辨识所述边缘轮廓。
在一种优选的实施方式中,所述加工机器附加地包括用于产生所述工件与所述加工头之间的相对运动的运动装置。所述运动装置例如可以构造用于使所述加工头在一个或多个空间方向上运动。替代地或附加地,在所述工件支承部上的所述工件和/或所述工件支承部自身也可以在至少一个空间方向上可运动,以便产生所述相对运动。
本发明的其他优点由说明书和附图得到。同样,先前所述和以下还进一步列举的特征可以单独地或者以多个任意组合地应用。所示出和所描述的实施方式不应理解为穷举,而是具有对于本发明的描述示例性的特征。
附图说明
附图示出:
图1示出根据本发明的具有加工头的加工机器;
图2示出两个借助图像检测装置拍摄的图像的以及由所述图像构成的差值图像的示图;以及
图3示出五个借助图像检测装置拍摄的图像的、由所述图像产生的差值图像的以及由所述差值图像产生的结果图像的示图。
具体实施方式
在附图的以下描述中对于相同的或功能相同的构件使用同样的附图标记。
图1示出加工机器1的示例性构造,所述加工机器1包括用于将激光射束2聚焦到与加工头3间隔开的工件4上的加工头3。激光射束2在示例中由二氧化碳激光器产生。替代地,激光射束2例如通过固体激光器产生。为了实施在工件4上的工件加工,例如以激光焊接工艺或激光切割工艺形式,借助聚焦透镜5形式的聚焦元件将激光射束2聚焦到工件4上。加工头3还包括加工喷嘴6,其中,聚焦透镜5在示例中将激光射束2通过加工喷嘴6、更确切地说通过在加工喷嘴6的内侧上的开口7聚焦到工件4上,更确切地说,在示例中聚焦到在工件4的上侧构造的工件表面8上。在加工喷嘴6的开口7的在工件侧的端部上构造有环形环绕的边缘轮廓9。工件4的工件表面8构成用于后续描述的用于辨识边缘轮廓9的方法的参考面。必要时也可以在特意为此目的在加工机器1中设置的参考面上实施所述方法,所述参考面不构造在工件4上。
在图1中同样可以看出半透地构造的偏转镜10,其使入射激光射束2透射并且将对于工艺监视重要相关的观察射束(例如在可视光波长范围中)通过另一聚焦透镜11反射到另一半透的偏转镜12上。所述另一半透的偏转镜12将所述观察辐射反射至加工头3的构造为摄像机的图像检测装置13,所述图像检测装置用于在时间上彼此相继地拍摄工件表面8的多个图像,也就是说,将工件表面8或者将加工喷嘴6的在工件侧的开口7成像到图像检测装置13的探测面20上。
加工头3还包括照射装置14,所述照射装置用于照射与加工头间隔开的工件表面8或者参考面。照射装置14构造用于沿着与穿过开口7的激光射束2连同照射辐射16同轴的照射方向15照射工件表面8。照射辐射16例如由所述另外的半透的偏转镜12透射并且穿过加工喷嘴6的开口7被转向到工件4上。对于半透的偏转镜10、12替代地,也可以使用偏振选择性的分光器、刮镜(Scraperspiegel)或孔镜——其反射仅仅来自边缘区域的入射辐射,以便给图像检测装置13输送观察辐射17或给工件4输送照射辐射16。也可以使用一个或多个在侧向引入到激光射束2的光路中的镜或多级镜(Stufenspiegel),以便能够实现观察。
例如可以将二极管激光器或LED设置为照射装置14,可以将它们如在图1中示出的那样与激光射束轴线18同轴地,但也可以偏轴(off-axis)地布置。照射装置14例如也可以布置在加工头3外面(尤其旁边)并且指向工件4。必要时也可以在没有照射装置14的情况下运行加工头3。
图像检测装置13尤其构造为在观察光路17中在所述另外的半透的偏转镜12后方布置的、几何上高分辨率的摄像机,其可以是高速摄像机。在所示出的示例中,通过图像检测装置13以反射光法(Auflichtverfahren)在可见波长范围中实现图像拍摄。也能够实现在紫外或近红外范围中的图像拍摄,以便拍摄反射光照明(Auflichtleuchtung)。当应排除借助图像检测装置13检测到的其他辐射分量或波长分量时,在图1中示出的示例中可以将滤波器布置在图像检测装置13前方。所述滤波器例如可以构造为窄带的带通滤波器。
图像检测装置13具有成像光学系统19,所述成像光学系统包括两个所述半透的偏转镜10、12以及另外的聚焦透镜11,以便在图像检测装置13的探测面20上产生图像B(n),B(n-1),...(与图2对比),所述图像既包含穿过开口7观察并照射的工件表面8的基本上圆形的部分区域21也包含加工喷嘴6的围绕开口7的区域22。成像光学系统19用于从观察方向23拍摄图像B(n),B(n-1),...,所述观察方向与穿过开口7的激光射束2同轴地走向。
加工机器1还包括运动装置24,所述运动装置用于产生在支承在以工件台25形式的工件支承部上的工件4与加工头3之间的相对运动。在示出的示例中,工件4位置固定地支承在工件台25上。可以借助运动装置24的一个或多个促动器26使可运动地支承的加工头3在三个空间方向XYZ上行进。在此使加工头3横向于开口7(在图1中在X和/或Y方向上)运动。可理解的是:对于加工头3的运动替代地或附加地,也可以使工件4与工件台25一起运动和/或相对于工件台25运动。加工机器1还包括例如以PC形式等等的分析处理装置27和控制或调节装置28,它们相互处于信号技术连接中。
接下来根据图1和图2描述:如何能够在加工机器1的分析处理装置27中通过已在不同的拍摄时刻n拍摄的图像B(n),B(n-1),...的比较式分析处理来辨识边缘轮廓9。图像率、也就是说在两个彼此相继的拍摄时刻之间的时间间隔通常处于毫秒数量级,而单个图像B(n)的拍摄(曝光时间)明显更快并且通常处于微秒范围,以便避免所拍摄的图像B(n)的运动模糊。在图像B(n),B(n-1),...的各两个拍摄时刻n,n-1之间改变工件表面8的亮度特性,其方式是:例如使工件表面8和加工头3横向于开口7地互相相对运动。在此充分利用:被照射的工件表面8如每个表面那样具有粗糙度,从而工件表面8的所观察的部分区域21的图像B(n)得出具有位置相关地不同的亮度的图案,所述图案在图2中简化地示为在所观察的部分区域21内的黑白图案。通过横向于观察方向23进行的在开口7与工件表面8之间的相对运动,工件表面8的亮度特性、更确切地说工件表面8的所观察的部分区域21的亮度特性在所述彼此相继的拍摄时刻n,n-1之间发生变化,如在图2中根据所述图像B(n),B(n-1)的部分区域21的发生变化的黑白图案看出的那样。
替代地或附加地,为了改变工件表面8的亮度特性,可以通过照射装置14在时间上改变工件表面8的照射。对此,可以借助照射装置14在时间上和必要时位置相关地在彼此相继的拍摄时刻n,n-1,...之间改变照射辐射16的照射强度。
如在图2中示例性地对于两个图像B(n),B(n-1)示出的那样,为了辨识边缘轮廓9首先通过绝对的、逐个像素的减法产生差值图像D(n)。由此,静态干扰、例如在加工喷嘴6上的内反射29被减去并且仅仅在运动的工件表面8的运动的部分区域21中的图像变化保持在所述差值图像D(n)中。在构造所述差值图像D(n)前必要时可以进行图像B(n),B(n-1)的预处理,以便补偿在所述拍摄时刻之间出现的亮度起伏的影响或整个图像B(n)、B(n-1)的图像移位的影响。也可以从两个在时间上直接彼此相继的拍摄时刻n,n-m拍摄(也就是说m=2,3,...)的图像B(n),B(n-m)中产生差值图像D(n)。
必要时可以直接根据差值图像D(n)辨识边缘轮廓9。然而以有利的方式根据结果图像E(n)辨识边缘轮廓9,由在同一拍摄时刻n的至少两个差值图像D(n)或由在不同拍摄时刻n,n-1拍摄的至少两个差值图像D(n),D(n-1),...产生所述结果图像。
在第一种情况下,在一个拍摄时刻n产生多个差值图像Dm(n),所述多个差值图像分别由在所述拍摄时刻n拍摄的图像B(n)和在较早的时刻n-m拍摄的图像B(n-m)通过逐个像素的减法获得,也就是说,Dm(n)=B(n)-B(n-m)适用,其中m=1,2...
在图3中示出由数量m为5的互相前后拍摄的图像B(n),B(n-1),B(n-2),B(n-3),B(n-4)构造结果图像E(n),这根据公式(这里:m=5)
E(n)=B(n)-B(n-1)+B(n)-B(n-2)+...+B(n)-B(n-m+1)或
E(n)=D1(n)+D2(n)+D3(n)+D4(n),
也就是说,由配属给多个相同拍摄时刻n的差值图像Dm(n)实现。
为了辨识边缘轮廓9或为了产生结果图像E(n)而分析处理的图像B(n),B(n-1),…的数量通常大于在图3中示出的数量且处于大约10至50个图像之间,优选处于大约20至40个图像之间。
替代地例如可以根据公式:
E(n)=α*E(n-1)+(1-α)*D(n)
产生结果图像,其中,α表示(一般恒定的)衰减因数0<α<1,其考虑较早的差值图像的相关性。在这种情况下给每个拍摄时刻n配属恰好一个如上所述构造的差值图像D(n)。例如可以根据经验求取用于衰减因数α的最佳值。为此目的可以测量具有已知几何结构的边缘轮廓9,其中,多次以用于衰减因数α的不同值实施所述边缘轮廓的辨识。用于衰减因数α的最佳值是这样的值:在所述值的情况下,与边缘轮廓9的已知几何结构的一致性是最大的。
对于使用衰减因数替代地,可以由一定数量的配属给不同拍摄时刻n、n-1的差值图像D(n),D(n-1),...产生作为滑动平均值的结果图像E(n),所述数量相应于图像B(n),B(n-1),...的预给定数量m,也就是说,根据公式:
E(n)=1/m*(D(n)+D(n-1)+....+D(n-m+1))。
在以上述方式产生的结果图像E(n)中能够区分第一图像区域与第二图像区域,所述第一图像区域的像点具有相同的亮度值,所述第二图像区域的像点具有与所述第一图像区域不同的亮度值,区分的方式是:结果图像E(n)的二进制化借助合适的亮度阈值进行。在经二进制化的结果图像Bl(n)(与图3对比)中或必要时在结果图像E(n)自身中可以借助用于轮廓识别的算法,例如借助霍夫算法、最小误差平方算法或RANSAC算法辨识(接近圆形的)边缘轮廓9。
可以主时间并行地、也就是说在借助加工机器1执行的激光加工过程期间实施上述方法,使得能够及时识别例如加工喷嘴6的开口7的几何结构的、通过加工喷嘴6与工件4的碰撞引起的改变并且能够及早中断加工过程并且因此能够减少废品。通过所述比较式分析处理能够提高在辨识所述边缘轮廓时的精确度以及所述边缘轮廓相对于(例如以内反射形式的)成像干扰的稳健性。也可以借助具有不同表面性质的工件或工件材料通过过程可靠的方式(prozesssicher)实施所述方法。替代地或附加地,能够借助上述方法从其他静态地在加工头3上构造的、与开口相邻地布置的几何结构或部件中辨识边缘轮廓。

Claims (21)

1.一种用于辨识在加工头(3)上构造的开口(7)的边缘轮廓(9)、尤其加工喷嘴(6)的开口(7)的边缘轮廓(9)的方法,所述方法包括:
在时间上彼此相继地拍摄多个图像(B(n),B(n-1),…),所述多个图像分别包含穿过所述开口(7)观察的、与所述加工头(3)间隔开的、优选被照射的参考面(8)的部分区域(21)以及在所述加工头(3)上的围绕所述开口(7)的区域(22),其中,在所述图像(B(n),B(n-1),…)的拍摄时刻(n,n-1,…)之间改变所述参考面(8)的亮度特性,以及通过所拍摄的图像(B(n),B(n-1),…)的比较式分析处理来辨识所述边缘轮廓(9)。
2.根据权利要求1所述的方法,其特征在于,为了改变所述亮度特性,使所述参考面(8)和所述加工头(3)尤其在横向于所述开口(7)的方向(X,Y)上互相相对运动。
3.根据权利要求1或2所述的方法,其特征在于,所述参考面(8)是待加工工件(4)的表面。
4.根据以上权利要求中任一项所述的方法,其特征在于,为了改变所述参考面(8)的亮度特性,在时间上改变所述参考面(8)的照射。
5.根据以上权利要求中任一项所述的方法,其特征在于,沿着与穿过所述开口(7)的加工射束、尤其与激光射束(2)同轴的观察方向(23)拍摄所述图像(B(n),B(n-1),…)。
6.根据以上权利要求中任一项所述的方法,其特征在于,所述参考面(8)的照射沿着与穿过所述开口(7)的加工射束、尤其与激光射束(2)同轴的照射方向(15)进行。
7.根据以上权利要求中任一项所述的方法,其特征在于,在所述比较式分析处理中由所拍摄的图像(B(n),B(n-1);B(n),B(n-2);B(n),B(n-3),…)中的各两个构造至少一个差值图像(D(n))。
8.根据权利要求7所述的方法,其特征在于,在构造所述至少一个差值图像(D(n))之前借助图像处理算法加工所述图像(B(n),B(n-1);B(n),B(n-2);B(n),B(n-3),…)。
9.根据权利要求7或8所述的方法,其特征在于,由所述差值图像(D(n),D(n-1),…)中的至少两个产生一个结果图像(E(n)),在所述结果图像上进行所述边缘轮廓(9)的辨识。
10.根据权利要求9所述的方法,其特征在于,由预给定数量m个在彼此相继的拍摄时刻n,n-1,…,n-m+1拍摄的图像B(n)根据公式:E(n)=B(n)-B(n-1)+B(n)-B(n-2)+...+B(n-m+1)构造所述结果图像E(n)。
11.根据权利要求9所述的方法,其特征在于,作为预给定数量(m)个在不同拍摄时刻(n,n-1,…)拍摄的差值图像(D(n),D(n-1),…)的滑动平均值产生所述结果图像(E(n))。
12.根据权利要求9所述的方法,其特征在于,根据公式:E(n)=α*E(n-1)+(1-α)*D(n)产生所述结果图像(E(n)),其中,α是常数并且D(n)表示差值图像。
13.根据权利要求9至12中任一项所述的方法,其特征在于,为了辨识所述边缘轮廓(9),将所述结果图像E(n)转换为二进制图像BI(n)。
14.根据权利要求9至13中任一项所述的方法,其特征在于,为了辨识所述边缘轮廓(9),在所述结果图像E(n)中或在所述二进制图像BI(n)中使用用于几何结构识别的算法。
15.根据以上权利要求中任一项所述的方法,其特征在于,为了辨识所述边缘轮廓(9)拍摄10至50个图像(B(n),B(n-1),…),优选拍摄10至40个图像(B(n),B(n-1),…)。
16.一种计算机程序产品,其具有代码单元,所述代码单元适合用于当所述计算机程序在数据处理设备上运行时实施根据以上权利要求中任一项所述的方法的所有步骤。
17.一种加工机器(1),其包括:
加工头(3);
在所述加工头(3)上的开口(7)上、尤其在安装在所述加工头(3)上的加工喷嘴(6)的开口(7)上构造的边缘轮廓(9);
用于在时间上彼此相继地拍摄多个图像(B(n),B(n-1),…)的图像检测装置(13),所述多个图像分别包含穿过所述开口(7)观察的、与所述加工头(3)间隔开的参考面(8)的部分区域(21)以及在所述加工头(3)上的围绕所述开口(7)的区域(22);以及
分析处理装置(27),其用于通过比较式分析处理所拍摄的图像(B(n),B(n-1),…)来辨识所述边缘轮廓(9),其中,所述加工机器(1)构造用于在所述图像(B(n),B(n-1),…)的所述拍摄时刻(n,n-1,…)之间改变所述参考面(8)的亮度特性。
18.根据权利要求17所述的加工机器,其中,所述图像检测装置(13)具有用于从与穿过所述开口(7)的加工射束、尤其与激光射束(2)优选同轴的观察方向(23)拍摄至少两个图像(B(n),B(n-1),…)的成像光学系统(19)。
19.根据权利要求17或18所述的加工机器,其还包括:用于沿着与穿过所述开口(7)的加工射束、尤其与激光射束(2)优选同轴的照射方向(15)照射所述参考面(8)的照射装置(14)。
20.根据权利要求17至19中任一项所述的加工机器,其还包括:用于支承与所述加工头(3)间隔开的工件(4)的工件支承部(25)。
21.根据权利要求17至20中任一项所述的加工机器,其还包括:用于产生所述工件(4)与所述加工头(3)之间的相对运动的运动装置(24)。
CN201580007657.3A 2014-02-06 2015-02-04 辨识在加工头上构造的开口的边缘轮廓的方法及加工机器 Active CN105993033B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014202176.6 2014-02-06
DE102014202176.6A DE102014202176B4 (de) 2014-02-06 2014-02-06 Verfahren zum Identifizieren einer Randkontur einer an einem Bearbeitungskopf gebildeten Öffnung und Bearbeitungsmaschine
PCT/EP2015/052238 WO2015117979A1 (de) 2014-02-06 2015-02-04 Verfahren zum identifizieren einer randkontur einer an einem bearbeitungskopf gebildeten öffnung und bearbeitungsmaschine

Publications (2)

Publication Number Publication Date
CN105993033A true CN105993033A (zh) 2016-10-05
CN105993033B CN105993033B (zh) 2020-05-26

Family

ID=52573650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580007657.3A Active CN105993033B (zh) 2014-02-06 2015-02-04 辨识在加工头上构造的开口的边缘轮廓的方法及加工机器

Country Status (5)

Country Link
EP (1) EP3102361B1 (zh)
JP (1) JP6347841B2 (zh)
CN (1) CN105993033B (zh)
DE (1) DE102014202176B4 (zh)
WO (1) WO2015117979A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110191779A (zh) * 2016-10-13 2019-08-30 通快机床两合公司 用于监控热切割过程的设备和方法
CN112119359A (zh) * 2018-05-14 2020-12-22 通快激光与系统工程有限公司 用于求取运动组件的轮廓逼真度的方法
CN113139943A (zh) * 2021-04-22 2021-07-20 苏州华兴源创科技股份有限公司 开口圆环工件外观缺陷检测方法、系统及计算机存储介质
US20210387280A1 (en) * 2018-10-22 2021-12-16 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Method and device for monitoring a cutting process

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016211935B4 (de) * 2016-06-30 2019-06-06 Sauer Gmbh Vorrichtung und Verfahren zur Prozessüberwachung bei einem Auftragschweiß-Verfahren
CN106885526A (zh) * 2017-02-09 2017-06-23 浙江大学台州研究院 轴内孔直径测量方法
DE102017102762B4 (de) 2017-02-13 2023-06-15 Precitec Gmbh & Co. Kg Verfahren zum Erkennen von Fügepositionen von Werkstücken und Laserbearbeitungskopf mit einer Vorrichtung zur Durchführung dieses Verfahrens
WO2019110114A1 (en) * 2017-12-07 2019-06-13 Bystronic Laser Ag Device for monitoring beam treatment of a workpiece and use thereof, device for beam treatment of a workpiece and use thereof, method for monitoring beam treatment of a workpiece, method for beam treatment of a workpiece
CN110906875B (zh) * 2019-11-26 2021-07-06 湖北工业大学 一种孔径测量的视觉处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4336136A1 (de) * 1992-12-28 1994-07-07 Mitsubishi Electric Corp Laserbearbeitungsvorrichtung und -verfahren
CN101642848A (zh) * 2008-08-04 2010-02-10 通用电气公司 激光加工系统及方法
CN102292187A (zh) * 2008-11-21 2011-12-21 普雷茨特两合公司 用于监控要在工件上实施的激光加工过程的方法和装置以及具有这种装置的激光加工头
JP2012225716A (ja) * 2011-04-18 2012-11-15 Nagoya Electric Works Co Ltd 基板の外観検査装置および外観検査方法
CN103347642A (zh) * 2011-02-07 2013-10-09 通快机床两合公司 用于监测并且特别是用于调整激光切割过程的装置和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3058791B2 (ja) * 1994-01-31 2000-07-04 東芝テック株式会社 画像認識装置の図形の切出し方法
DE10054756C1 (de) * 2000-11-04 2002-07-25 Messer Cutting & Welding Gmbh Verschleißkontroll-Einrichtung für Schneiddüsen von Laserschneidmaschinen
JP2005334922A (ja) * 2004-05-26 2005-12-08 Yamazaki Mazak Corp レーザ加工機におけるノズルチェック装置
DE102005010381B4 (de) * 2005-03-07 2007-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Vermessung von Phasengrenzen eines Werkstoffes bei der Bearbeitung mit einem Bearbeitungsstrahl sowie zugehörige Vorrichtung
FR2911081A1 (fr) * 2007-01-10 2008-07-11 Safmatic Sa Installation et procede de detection optique des deteriorations d'une buse laser
KR101078975B1 (ko) * 2011-03-22 2011-11-01 (주) 골프존 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4336136A1 (de) * 1992-12-28 1994-07-07 Mitsubishi Electric Corp Laserbearbeitungsvorrichtung und -verfahren
CN101642848A (zh) * 2008-08-04 2010-02-10 通用电气公司 激光加工系统及方法
CN102292187A (zh) * 2008-11-21 2011-12-21 普雷茨特两合公司 用于监控要在工件上实施的激光加工过程的方法和装置以及具有这种装置的激光加工头
CN103347642A (zh) * 2011-02-07 2013-10-09 通快机床两合公司 用于监测并且特别是用于调整激光切割过程的装置和方法
JP2012225716A (ja) * 2011-04-18 2012-11-15 Nagoya Electric Works Co Ltd 基板の外観検査装置および外観検査方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110191779A (zh) * 2016-10-13 2019-08-30 通快机床两合公司 用于监控热切割过程的设备和方法
US11471977B2 (en) 2016-10-13 2022-10-18 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Monitoring a thermal cutting process
CN112119359A (zh) * 2018-05-14 2020-12-22 通快激光与系统工程有限公司 用于求取运动组件的轮廓逼真度的方法
CN112119359B (zh) * 2018-05-14 2024-03-12 通快激光与系统工程有限公司 用于求取运动组件的轮廓逼真度的方法
US20210387280A1 (en) * 2018-10-22 2021-12-16 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Method and device for monitoring a cutting process
CN113139943A (zh) * 2021-04-22 2021-07-20 苏州华兴源创科技股份有限公司 开口圆环工件外观缺陷检测方法、系统及计算机存储介质
CN113139943B (zh) * 2021-04-22 2022-08-12 苏州华兴源创科技股份有限公司 开口圆环工件外观缺陷检测方法、系统及计算机存储介质

Also Published As

Publication number Publication date
CN105993033B (zh) 2020-05-26
DE102014202176A1 (de) 2015-08-06
JP6347841B2 (ja) 2018-06-27
EP3102361B1 (de) 2022-03-30
DE102014202176B4 (de) 2015-10-22
WO2015117979A1 (de) 2015-08-13
EP3102361A1 (de) 2016-12-14
JP2017507030A (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
CN105993033A (zh) 用于辨识在加工头上构造的开口的边缘轮廓的方法以及加工机器
US20190232434A1 (en) Determining and regulating a focal position of a processing beam
EP3164695B1 (de) Verfahren und vorrichtung zum bestimmen einer werkstoffart und/oder einer oberflächenbeschaffenheit eines werkstücks
DE102005022095B4 (de) Verfahren und Vorrichtung zur Bestimmung einer lateralen Relativbewegung zwischen einem Bearbeitungskopf und einem Werkstück
CN107803585B (zh) 激光加工机及激光加工方法
DE102012210037A1 (de) Messvorrichtung und Verfahren zur optischen Prüfung einer Stirnfläche eines queraxial geförderten stabförmigen Produkts der Tabak verarbeitenden Industrie
WO2009078617A4 (en) Surface shape measuring system and surface shape measuring method using the same
CN106030238B (zh) 用于光学确定间距的方法和设备
EP3581881A1 (de) Oberflächenvermessung mittels angeregter fluoreszenz
WO2017145518A1 (ja) レーザ加工機における加工ノズル検査装置及び方法
CN104289818A (zh) 用于求取切割喷嘴的磨损状态的方法以及用于执行这种方法的激光加工机
DE102012007995A1 (de) Vorrichtung zur Erfassung des Blecheinzugs bei einem Tiefziehprozess, Tiefziehwerkzeug und Verfahren zur Regelung eines Tiefziehwerkzeugs
EP2147729B1 (de) Umformeinrichtung
US8396245B2 (en) Device and method for visualizing positions on a surface
EP2957858A1 (de) Verfahren und messvorrichtung zum überprüfen einer zylinderbohrung
US20230241710A1 (en) Method for Analyzing a Workpiece Surface for a Laser Machining Process and Analysis Device for Analyzing a Workpiece Surface
CN1197511A (zh) 检测金属产品表面上开口缺陷的方法和装置
DE102015108643B4 (de) Verfahren und Messvorrichtung zum Überprüfen einer Zylinderbohrung
WO2015135676A1 (de) Bildaufnahmevorrichtung, insbesondere zur fahrzeugvermessung
Hong et al. Optical method for inspecting surface defects inside a small bore
JP2006292513A (ja) 屈折率分布型レンズの屈折率分布測定方法
DE102021130944A1 (de) Vorrichtung und Verfahren zum Bestimmen eines Strahlverlaufs eines Strahls und Laseranlage
US20180117710A1 (en) Laser system and laser flare machining method
WO2019180142A1 (de) Verfahren und vorrichtung zur bearbeitung eines verbundmaterials mittels laser sowie verbundmaterial
CN110382159A (zh) 用于识别工件接合位置的方法和具有用于实施该方法的设备的激光加工头

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant