CN113902700A - 焊接过程中激光线质量的确定方法、确定装置与焊接装置 - Google Patents

焊接过程中激光线质量的确定方法、确定装置与焊接装置 Download PDF

Info

Publication number
CN113902700A
CN113902700A CN202111166808.3A CN202111166808A CN113902700A CN 113902700 A CN113902700 A CN 113902700A CN 202111166808 A CN202111166808 A CN 202111166808A CN 113902700 A CN113902700 A CN 113902700A
Authority
CN
China
Prior art keywords
laser line
width
determining
interest
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111166808.3A
Other languages
English (en)
Inventor
冯消冰
王博文
赵宇宙
孙柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bo Tsing Technology Co Ltd
Original Assignee
Beijing Bo Tsing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bo Tsing Technology Co Ltd filed Critical Beijing Bo Tsing Technology Co Ltd
Priority to CN202111166808.3A priority Critical patent/CN113902700A/zh
Publication of CN113902700A publication Critical patent/CN113902700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Laser Beam Processing (AREA)

Abstract

本申请提供了一种焊接过程中激光线质量的确定方法、确定装置与焊接装置。该方法包括：实时获取激光线的图像；依据图像，确定激光线的长度、激光线的宽度以及激光线的整体灰度值误差；根据激光线的长度激光线的宽度以及激光线的整体灰度值误差，确定激光线的质量系数，激光线的质量系数与激光线的长度以及激光线的宽度成正相关，激光线的质量系数与激光线的整体灰度值误差成负相关。该方法中，可以根据激光线的图像计算激光线的长度、宽度以及灰度值误差，确定激光线的质量系数，因此解决了现有技术中缺乏确定激光线质量的方案的问题。

Description

焊接过程中激光线质量的确定方法、确定装置与焊接装置
技术领域
本申请涉及焊接领域，具体而言，涉及一种焊接过程中激光线质量的确定方法、确定装置、计算机可读存储介质、处理器与焊接装置。
背景技术
相关技术中，通过纯激光定位的爬行机器人，由于定位源单一，为保障爬行机器人按照预定轨迹行走，需要实时获取到清晰的、高质量的激光线信息。
然而，由于传感器自身温度升高、环境温度变化以及光照强度等因素影响，导致激光线出现变暗和/或发散等情况。由于缺乏对激光线质量的判断，当激光线质量变低时，对位置的识别误差变大，从而导致机器人跑偏，没法进行提前预警，造成机器人偏离任务，甚至导致一些不能预见的风险。
因此，亟需一种可以判断激光线质量的方法。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种焊接过程中激光线质量的确定方法、确定装置、计算机可读存储介质、处理器与焊接装置，以解决现有技术中没有可以判断激光线质量的方法的问题。
根据本发明实施例的一个方面，提供了一种焊接过程中激光线质量的确定方法，包括：实时获取激光线的图像；依据所述图像，确定所述激光线的长度、所述激光线的宽度以及所述激光线的整体灰度值误差；根据所述激光线的长度所述激光线的宽度以及所述激光线的整体灰度值误差，确定所述激光线的质量系数，所述激光线的质量系数与所述激光线的长度以及所述激光线的宽度成正相关，所述激光线的质量系数与所述激光线的整体灰度值误差成负相关。
可选地，依据所述图像，确定所述激光线的长度、所述激光线的宽度以及所述激光线的整体灰度值误差，包括：对所述图像进行灰度化，得到灰度图像；获取所述灰度图像上每个像素点的坐标信息和像素值；根据所述像素点的坐标信息和所述像素值，确定所述激光线的长度、所述激光线的宽度以及所述激光线的整体灰度值误差。
可选地，根据所述像素点的坐标信息和所述像素值，确定所述激光线的长度和所述激光线的宽度，包括：确定有效像素点，所述有效像素点为像素值大于预定阈值的所述像素点；根据所述有效像素点坐标信息和所述像素值确定所述激光线的长度和所述激光线的宽度。
可选地，根据所述有效像素点坐标信息和所述像素值确定所述激光线的长度，包括：计算最大有效像素点在第一预定轴上的坐标值和最小有效像素点在第一预定轴上的坐标值的差值，得到预备长度，其中，所述最大有效像素点为像素值最大的所述有效像素点，所述最小有效像素点为像素值最小的所述有效像素点，所述第一预定轴为与所述激光线的延伸方向，所述第一预定轴为X轴或者Y轴；在所述预备长度大于或等于长度阈值的情况下，确定所述预备长度为所述激光线的长度，在所述预备长度小于所述长度阈值的情况下，确定所述激光线的长度为0。
可选地，根据所述有效像素点坐标信息和所述像素值确定所述激光线的宽度，包括：确定多个目标像素点对，所述目标像素点对由两个在第一预定轴上的坐标值相同且分别位于所述激光线的坡口中心两侧的所述有效像素点构成；计算每个所述目标像素点对的两个所述有效像素点在第二预定轴上的坐标的差值，得到多个差值，所述第二预定轴与所述第一预定轴垂直；确定最大的所述差值为预备宽度；在所述预备宽度小于或等于宽度阈值的情况下，确定所述预备宽度为所述激光线的宽度，在所述预备宽度大于所述宽度阈值的情况下，确定所述激光线的宽度为0。
可选地，根据所述像素点的坐标信息和所述像素值，确定所述激光线的整体灰度值误差，包括：确定所述激光线的第一感兴趣区域、第二感兴趣区域和第三感兴趣区域，所述第一感兴趣区域、所述第二感兴趣区域和所述第三感兴趣区域沿着第一预定轴的方向分布，其中，所述第一感兴趣区域包括两个第一感兴趣子区域，每个所述第一感兴趣子区域为以所述激光线的一个拐点为中心的且宽度为第一宽度的所述激光线的区域，所述第二感兴趣区域包括两个第二感兴趣子区域，每个所述第二感兴趣子区域为一个所述第一感兴趣子区域远离另一个所述第一感兴趣子区域一侧的且宽度为第二宽度的所述激光线的区域，所述第三感兴趣区域为除所述第一感兴趣区域和所述第二感兴趣区域之外的所述激光线的区域，所述第一预定轴为与所述激光线的延伸方向，所述第一预定轴为X轴或者Y轴；根据每个所述感兴趣区域的多个所述像素点，确定对应所述感兴趣区域的像素值的标准差；根据三个所述感兴趣区域的所述像素值的标准差以及各所述像素值的标准差的权重值，确定所述整体灰度值误差，其中，所述第一感兴趣区域的所述像素值的标准差的权重、所述第二感兴趣区域的所述像素值的标准差的权重和所述第三感兴趣区域的所述像素值的标准差的权重依次减小。
可选地，用于计算一个所述像素值的标准差的多个所述像素点中，一个感兴趣子区域中任意两个所述像素点在所述第一预定轴上的间隔为预定间隔，或者，一个所述感兴趣区域中任意两个所述像素点在所述第一预定轴上的间隔为预定间隔。
可选地，根据所述激光线的长度所述激光线的宽度以及所述激光线的整体灰度值误差，确定所述激光线的质量系数，包括：采用公式
Figure BDA0003291644160000022
计算所述激光线的质量系数，其中，q表征所述激光线的质量系数，l为所述激光线的长度，w为所述激光线的宽度，
Figure BDA0003291644160000021
为所述激光线的整体灰度值误差，c为常量。
根据本发明实施例的另一方面，还提供了一种焊接过程中激光线质量的确定装置，包括：获取单元，用于实时获取激光线的图像；第一确定单元，用于依据所述图像，确定所述激光线的长度、所述激光线的宽度以及所述激光线的整体灰度值误差；第二确定单元，用于根据所述激光线的长度所述激光线的宽度以及所述激光线的整体灰度值误差，确定所述激光线的质量系数，所述激光线的质量系数与所述激光线的长度以及所述激光线的宽度成正相关，所述激光线的质量系数与所述激光线的整体灰度值误差成负相关。
根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行任意一种所述的方法。
根据本发明实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的方法。
根据本发明实施例的另一方面，还提供了一种焊接装置包括：焊接机器人、一个或多个处理器，存储器以及一个或多个程序，其中，所述焊接机器人上设置有激光传感器，所述激光传感器用于拍摄激光线的图像，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于任意一种所述的方法。
在本发明实施例中，首先实时获取激光线的图像，然后根据激光线的图像，确定激光线的长度、宽度以及灰度值误差，最后根据激光线的长度、宽度以及灰度值误差，确定激光线的质量系数，激光线的质量系数与激光线的长度、宽度成正相关，与激光线的灰度值误差成负相关。该方法中，可以根据激光线的图像计算激光线的长度、宽度以及灰度值误差，确定激光线的质量系数，因此解决了现有技术中缺乏确定激光线质量的方案的问题；并且，该方法中，激光线的质量系数和激光线的长度以及宽度成正相关，与灰度值误差成负相关，即激光线的长度越长、宽度越大且灰度值误差越小的情况下，激光线的质量系数越大，激光线的质量越好，反之则越差，因此，该方法可以更为准确地确定激光线的质量系数。另外，当激光线质量较差时，可以发出报警，从而可以避免焊接机器人发生离航，从而减小了危险的发生。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请的实施例的一种焊接过程中激光线质量的确定方法的流程示意图；
图2示出了根据本申请的实施例的一种焊接过程中激光线质量的确定装置的流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
正如背景技术中所说的，现有技术中没有可以判断激光线质量的方法，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种焊接过程中激光线质量的确定方法、确定装置、计算机可读存储介质、处理器与焊接装置。
根据本申请的实施例，提供了一种焊接过程中激光线质量的确定方法。
图1是根据本申请实施例的焊接过程中激光线质量的确定方法的流程图。如图1所示，该方法包括：
步骤S101，实时获取激光线的图像；
步骤S102，依据上述图像，确定上述激光线的长度、上述激光线的宽度以及上述激光线的整体灰度值误差，激光线的整体灰度值实际可以为激光线的灰度值的像素值的标准差；
步骤S103，根据上述激光线的长度上述激光线的宽度以及上述激光线的整体灰度值误差，确定上述激光线的质量系数，上述激光线的质量系数与上述激光线的长度以及上述激光线的宽度成正相关，上述激光线的质量系数与上述激光线的整体灰度值误差成负相关，激光线的质量系数用来表征激光线的质量，质量系数越大，质量越好，反之，则越差。
上述的方法中，首先实时获取激光线的图像，然后根据激光线的图像，确定激光线的长度、宽度以及灰度值误差，最后根据激光线的长度、宽度以及灰度值误差，确定激光线的质量系数，激光线的质量系数与激光线的长度、宽度成正相关，与激光线的灰度值误差成负相关。该方法中，可以根据激光线的图像计算激光线的长度、宽度以及灰度值误差，确定激光线的质量系数，因此解决了现有技术中缺乏确定激光线质量的方案的问题；并且，该方法中，激光线的质量系数和激光线的长度以及宽度成正相关，与灰度值误差成负相关，即激光线的长度越长、宽度越大且灰度值误差越小的情况下，激光线的质量越好，反之则越差，因此，该方法可以更为准确地确定激光线的质量系数。另外当激光线质量较差时，可以发出报警，从而可以避免焊接机器人发生离航，从而减小了危险的发生。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的一种实施例中，依据上述图像，确定上述激光线的长度、上述激光线的宽度以及上述激光线的整体灰度值误差，包括：对上述图像进行灰度化，得到灰度图像；获取上述灰度图像上每个像素点的坐标信息和像素值；根据上述像素点的坐标信息和上述像素值，确定上述激光线的长度、上述激光线的宽度以及上述激光线的整体灰度值误差。本实施例中，对激光线的图像进行灰度化处理，处理后的图像颜色单一，从而使得计算激光线的长度、宽度以及整体灰度值误差过程更加简单，进而提升了该方法的效率。
当然，实际的应用中，确定激光线的长度、宽度以及整体灰度值误差的方式并不限于此种方式，还可以采用别的计算方法，例如直接对获取的图像进行计算，但是该图像的颜色值较多，计算的过程比较复杂。
本申请的又一种实施例中，根据上述像素点的坐标信息和上述像素值，确定上述激光线的长度和上述激光线的宽度，包括：确定有效像素点，上述有效像素点为像素值大于预定阈值的上述像素点；根据上述有效像素点坐标信息和上述像素值确定上述激光线的长度和上述激光线的宽度。本实施例中，将不满足条件的部分像素点剔除，从而减小了评价的误差，进而使得激光线的质量评价更加准确。
一种具体的实施例中，上述预定阈值为128，当像素值大于128时，则认为该像素点为有效像素点。实际的应用中，上述预定阈值还可以为其他数值，本领域技术人员可以根据实际情况来选择。
本申请的另一种实施例中，根据上述有效像素点坐标信息和上述像素值确定上述激光线的长度，包括：计算最大有效像素点在第一预定轴上的坐标值和最小有效像素点在第一预定轴上的坐标值的差值，得到预备长度，其中，上述最大有效像素点为像素值最大的上述有效像素点，上述最小有效像素点为像素值最小的上述有效像素点，上述第一预定轴为与上述激光线的延伸方向，上述第一预定轴为X轴或者Y轴；在上述预备长度大于或等于长度阈值的情况下，确定上述预备长度为上述激光线的长度，在上述预备长度小于上述长度阈值的情况下，确定上述激光线的长度为0。本实施例中，根据最大有效像素点和最小有效像素点的坐标值计算激光线的长度，当激光线的长度小于长度阈值时，则认为该激光线不是正常的激光线，直接将该激光线的长度设为0，此时该激光线的质量较差，该方案进一步保证了评价结果更加准确。
本申请的再一种实施例中，根据上述有效像素点坐标信息和上述像素值确定上述激光线的宽度，包括：确定多个目标像素点对，上述目标像素点对由两个在第一预定轴上的坐标值相同且分别位于上述激光线的坡口中心两侧的上述有效像素点构成；计算每个上述目标像素点对的两个上述有效像素点在第二预定轴上的坐标的差值，得到多个差值，上述第二预定轴与上述第一预定轴垂直；确定最大的上述差值为预备宽度；在上述预备宽度小于或等于宽度阈值的情况下，确定上述预备宽度为上述激光线的宽度，在上述预备宽度大于上述宽度阈值的情况下，确定上述激光线的宽度为0。本实施例中，计算激光线的宽度，当激光线的宽度小于宽度阈值时，则认为该激光线不是正常使用的激光线，直接将该激光线的长度设为0，此时该激光线的质量较差，进一步使得评价结果更加准确。
上述长度阈值和上述宽度阈值分别为激光线最小的可用长度和激光线最小的可用宽度，长度阈值可以为坡口宽度+60mm，宽度阈值可以为3mm。当然，实际的应用中，上述长度阈值和上述宽度阈值还可以为其他数值，本领域技术人员可以根据实际情况来选择。
本申请的又一种实施例中，根据上述像素点的坐标信息和上述像素值，确定上述激光线的整体灰度值误差，包括：确定上述激光线的第一感兴趣区域、第二感兴趣区域和第三感兴趣区域，上述第一感兴趣区域、上述第二感兴趣区域和上述第三感兴趣区域沿着第一预定轴的方向分布，其中，上述第一感兴趣区域包括两个第一感兴趣子区域，每个上述第一感兴趣子区域为以上述激光线的一个拐点为中心的且宽度为第一宽度的上述激光线的区域，上述第二感兴趣区域包括两个第二感兴趣子区域，每个上述第二感兴趣子区域为一个上述第一感兴趣子区域远离另一个上述第一感兴趣子区域一侧的且宽度为第二宽度的上述激光线的区域，上述第三感兴趣区域为除上述第一感兴趣区域和上述第二感兴趣区域之外的上述激光线的区域，上述第一预定轴为与上述激光线的延伸方向，上述第一预定轴为X轴或者Y轴；根据每个上述感兴趣区域的多个上述像素点，确定对应上述感兴趣区域的像素值的标准差；根据三个上述感兴趣区域的上述像素值的标准差以及各上述像素值的标准差的权重值，确定上述整体灰度值误差，其中，上述第一感兴趣区域的上述像素值的标准差的权重、上述第二感兴趣区域的上述像素值的标准差的权重和上述第三感兴趣区域的上述像素值的标准差的权重依次减小。本实施例中，对激光线划分不同的感兴趣区域，不同的区域对应不同的权重，使得激光线的整体灰度值误差更能反映真实的激光线质量，从而提升了评价的准确性。
上述第一宽度和第二宽度可以为相同的数值，也可以为不同的数值。本申请的一种具体的实施例中，以X轴区分兴趣区域，上述第一宽度为0.005mm，上述第二宽度为0.05mm。同样地，实际的应用中，上述第一宽度和第二宽度还可以为其他数值，本领域技术人员可以根据实际情况来选择。
本申请的一种具体的实施例中，采用公式
Figure BDA0003291644160000061
计算上述激光线的整体灰度值误差，其中，
Figure BDA0003291644160000062
表征上述激光线的整体灰度值误差，δ1为上述第一感兴趣区域的上述像素值的标准差，δ2为上述第二感兴趣区域的上述像素值的标准差，δ3为上述第三感兴趣区域的上述像素值的标准差，P1为上述第一感兴趣区域的上述像素值的标准差的权重，P2为上述第二感兴趣区域的上述像素值的标准差的权重，P3为上述第三感兴趣区域的上述像素值的标准差的权重。上述P1、P2和P3分别为0.6、0.3和0.1，当然上述P1、P2和P3还可以为其他数值，用户可以根据实际需求进行设置。
本申请的另一种实施例中，用于计算一个上述像素值的标准差的多个上述像素点中，一个感兴趣子区域中任意两个上述像素点在上述第一预定轴上的间隔为预定间隔，或者，一个上述感兴趣区域中任意两个上述像素点在上述第一预定轴上的间隔为预定间隔。即以间隔的采样方式采集像素点的像素值。该实施例中，对于第一感兴趣区域和第二感兴趣区域来说，二者都有两个子区域，所以在各子区域中以预定间隔采样，并且，这两个感兴趣区域的像素值的标准差为两个子区域的感兴趣区域的像素值的标准差的平均值。对于第三感兴趣区域来说，在该感兴趣区域中以预定间隔采样。
一种实施例中，上述第一预定轴为Y轴，上述预定间隔为0.01mm，然后计算一个感兴趣区域的标准差。实际的应用中，上述第一预定轴还可以为X轴，上述预定间隔还可以为其他数值，本领域技术人员可以根据实际情况来选择。
本申请的再一种实施例中，根据上述激光线的长度上述激光线的宽度以及上述激光线的整体灰度值误差，确定上述激光线的质量系数，包括：采用公式
Figure BDA0003291644160000071
计算上述激光线的质量系数，其中，q表征上述激光线的质量系数，l为上述激光线的长度，w为上述激光线的宽度，▽为上述激光线的整体灰度值误差，c为常量。本实施例中，采用上述公式可以准确的计算出激光线的质量系数，可以和将该数值和最低的质量阈值进行比较，如果小于该值，可以发出警报，提醒用户当前激光线的质量较差，容易导致焊接机器人发生偏航，从而减小了风险的发生。
本申请的另一种实施例中，在激光线的质量系数小于质量阈值的情况下，发出提示信息或者报警信号，以提醒用户当前激光线的质量较差，容易导致焊接机器人发生偏航，从而减小了风险的发生。
本申请实施例还提供了一种焊接过程中激光线质量的确定装置，需要说明的是，本申请实施例的焊接过程中激光线质量的确定装置可以用于执行本申请实施例所提供的用于焊接过程中激光线质量的确定方法。以下对本申请实施例提供的焊接过程中激光线质量的确定装置进行介绍。
图2是根据本申请实施例的焊接过程中激光线质量的确定装置的示意图。如图2所示，该装置包括：
获取单元10，用于实时获取激光线的图像；
第一确定单元20，用于依据上述图像，确定上述激光线的长度、上述激光线的宽度以及上述激光线的整体灰度值误差，激光线的整体灰度值实际可以为激光线的灰度值的像素值的标准差；
第二确定单元30，用于根据上述激光线的长度上述激光线的宽度以及上述激光线的整体灰度值误差，确定上述激光线的质量系数，上述激光线的质量系数与上述激光线的长度以及上述激光线的宽度成正相关，上述激光线的质量系数与上述激光线的整体灰度值误差成负相关。
上述的确定装置包括获取单元、第一确定单元和第二确定单元，其中，获取单元用于实时获取激光线的图像；第一确定单元用于依据上述图像，确定上述激光线的长度、上述激光线的宽度以及上述激光线的整体灰度值误差；第二确定单元用于根据上述激光线的长度上述激光线的宽度以及上述激光线的整体灰度值误差，确定上述激光线的质量，上述激光线的质量与上述激光线的长度以及上述激光线的宽度成正相关，上述激光线的质量与上述激光线的整体灰度值误差成负相关。该装置中，可以根据激光线的图像计算激光线的长度、宽度以及灰度值误差，确定激光线的质量系数，因此解决了现有技术中缺乏确定激光线质量的装置；并且，该装置中，激光线的质量系数和激光线的长度以及宽度成正相关，与灰度值误差成负相关，即激光线的长度越长、宽度越大且灰度值误差越小的情况下，激光线的质量越好，反之则越差，因此，该装置可以更为准确地确定激光线的质量系数。另外当激光线质量较差时，可以发出报警，从而可以避免焊接机器人发生离航，从而减小了危险的发生。
本申请的一种实施例中，第一确定单元包括：处理模块，用于对上述图像进行灰度化，得到灰度图像；获取模块，用于获取上述灰度图像上每个像素点的坐标信息和像素值；确定模块，用于根据上述像素点的坐标信息和上述像素值，确定上述激光线的长度、上述激光线的宽度以及上述激光线的整体灰度值误差。本实施例中，对激光线的图像进行灰度化处理，处理后的图像颜色单一，从而使得计算激光线的长度、宽度以及整体灰度值误差过程更加简单，进而提升了该方法的效率。
当然，实际的应用中，确定激光线的长度、宽度以及整体灰度值误差的方式并不限于此种方式，还可以采用别的计算方法，例如直接对获取的图像进行计算，但是该图像的颜色值较多，计算的过程比较复杂。
本申请的又一种实施例中，确定模块还用于：确定有效像素点，上述有效像素点为像素值大于预定阈值的上述像素点；根据上述有效像素点坐标信息和上述像素值确定上述激光线的长度和上述激光线的宽度。本实施例中，将不满足条件的部分像素点剔除，从而减小了评价的误差，进而使得激光线的质量评价更加准确。
一种具体的实施例中，上述预定阈值为128，当像素值大于128时，则认为该像素点为有效像素点。实际的应用中，上述预定阈值还可以为其他数值，本领域技术人员可以根据实际情况来选择。
本申请的另一种实施例中，确定模块还用于：计算最大有效像素点在第一预定轴上的坐标值和最小有效像素点在第一预定轴上的坐标值的差值，得到预备长度，其中，上述最大有效像素点为像素值最大的上述有效像素点，上述最小有效像素点为像素值最小的上述有效像素点，上述第一预定轴为与上述激光线的延伸方向，上述第一预定轴为X轴或者Y轴；在上述预备长度大于或等于长度阈值的情况下，确定上述预备长度为上述激光线的长度，在上述预备长度小于上述长度阈值的情况下，确定上述激光线的长度为0。本实施例中，根据最大有效像素点和最小有效像素点的坐标值计算激光线的长度，当激光线的长度小于长度阈值时，则认为该激光线不是正常的激光线，直接将该激光线的长度设为0，此时该激光线的质量较差，该方案进一步保证了评价结果更加准确。
本申请的再一种实施例中，确定模块还用于：确定多个目标像素点对，上述目标像素点对由两个在第一预定轴上的坐标值相同且分别位于上述激光线的坡口中心两侧的上述有效像素点构成；计算每个上述目标像素点对的两个上述有效像素点在第二预定轴上的坐标的差值，得到多个差值，上述第二预定轴与上述第一预定轴垂直；确定最大的上述差值为预备宽度；在上述预备宽度小于或等于宽度阈值的情况下，确定上述预备宽度为上述激光线的宽度，在上述预备宽度大于上述宽度阈值的情况下，确定上述激光线的宽度为0。本实施例中，计算激光线的宽度，当激光线的宽度小于宽度阈值时，则认为该激光线不是正常使用的激光线，直接将该激光线的长度设为0，此时该激光线的质量较差，进一步使得评价结果更加准确。
上述长度阈值和上述宽度阈值分别为激光线最小的可用长度和激光线最小的可用宽度，长度阈值可以为坡口宽度+60mm，宽度阈值可以为3mm。当然，实际的应用中，上述长度阈值和上述宽度阈值还可以为其他数值，本领域技术人员可以根据实际情况来选择。
本申请的又一种实施例中，确定模块还用于：确定上述激光线的第一感兴趣区域、第二感兴趣区域和第三感兴趣区域，上述第一感兴趣区域、上述第二感兴趣区域和上述第三感兴趣区域沿着第一预定轴的方向分布，其中，上述第一感兴趣区域包括两个第一感兴趣子区域，每个上述第一感兴趣子区域为以上述激光线的一个拐点为中心的且宽度为第一宽度的上述激光线的区域，上述第二感兴趣区域包括两个第二感兴趣子区域，每个上述第二感兴趣子区域为一个上述第一感兴趣子区域远离另一个上述第一感兴趣子区域一侧的且宽度为第二宽度的上述激光线的区域，上述第三感兴趣区域为除上述第一感兴趣区域和上述第二感兴趣区域之外的上述激光线的区域，上述第一预定轴为与上述激光线的延伸方向，上述第一预定轴为X轴或者Y轴；根据每个上述感兴趣区域的多个上述像素点，确定对应上述感兴趣区域的像素值的标准差；根据三个上述感兴趣区域的上述像素值的标准差以及各上述像素值的标准差的权重值，确定上述整体灰度值误差，其中，上述第一感兴趣区域的上述像素值的标准差的权重、上述第二感兴趣区域的上述像素值的标准差的权重和上述第三感兴趣区域的上述像素值的标准差的权重依次减小。本实施例中，对激光线划分不同的感兴趣区域，不同的区域对应不同的权重，使得激光线的整体灰度值误差更能反映真实的激光线质量，从而提升了评价的准确性。
上述第一宽度和第二宽度可以为相同的数值，也可以为不同的数值。本申请的一种具体的实施例中，以X轴区分兴趣区域，上述第一宽度为0.005mm，上述第二宽度为0.05mm。同样地，实际的应用中，上述第一宽度和第二宽度还可以为其他数值，本领域技术人员可以根据实际情况来选择。
本申请的一种具体的实施例中，采用公式
Figure BDA0003291644160000091
计算上述激光线的整体灰度值误差，其中，
Figure BDA0003291644160000092
表征上述激光线的整体灰度值误差，δ1为上述第一感兴趣区域的上述像素值的标准差，δ2为上述第二感兴趣区域的上述像素值的标准差，δ3为上述第三感兴趣区域的上述像素值的标准差，P1为上述第一感兴趣区域的上述像素值的标准差的权重，P2为上述第二感兴趣区域的上述像素值的标准差的权重，P3为上述第三感兴趣区域的上述像素值的标准差的权重。上述P1、P2和P3分别为0.6、0.3和0.1，当然上述P1、P2和P3还可以为其他数值，用户可以根据实际需求进行设置。
本申请的另一种实施例中，用于计算一个上述像素值的标准差的多个上述像素点中，一个感兴趣子区域中任意两个上述像素点在上述第一预定轴上的间隔为预定间隔，或者，一个上述感兴趣区域中任意两个上述像素点在上述第一预定轴上的间隔为预定间隔。即以间隔的采样方式采集像素点的像素值。该实施例中，对于第一感兴趣区域和第二感兴趣区域来说，二者都有两个子区域，所以在各子区域中以预定间隔采样，并且，这两个感兴趣区域的像素值的标准差为两个子区域的感兴趣区域的像素值的标准差的平均值。对于第三感兴趣区域来说，在该感兴趣区域中以预定间隔采样。
一种实施例中，上述第一预定轴为Y轴，上述预定间隔为0.01mm，然后计算一个感兴趣区域的标准差。实际的应用中，上述第一预定轴还可以为X轴，上述预定间隔还可以为其他数值，本领域技术人员可以根据实际情况来选择。
本申请的再一种实施例中，第二确定单元用于：采用公式
Figure BDA0003291644160000102
计算上述激光线的质量系数，其中，q表征上述激光线的质量系数，l为上述激光线的长度，w为上述激光线的宽度，
Figure BDA0003291644160000101
为上述激光线的整体灰度值误差，c为常量。本实施例中，采用上述公式可以准确的计算出激光线的质量系数，可以和将该数值和最低的质量阈值进行比较，如果小于该值，可以发出警报，提醒用户当前激光线的质量较差，容易导致焊接机器人发生偏航，从而减小了风险的发生。
上述焊接过程中激光线质量的确定装置包括处理器和存储器，上述获取单元、第一确定单元以及第二确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来判断激光线的质量。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述焊接过程中激光线质量的确定方法。
本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述焊接过程中激光线质量的确定方法。
本发明实施例还提供了一种焊接装置，包括焊接机器人、一个或多个处理器，存储器以及一个或多个程序，其中，上述焊接机器人上设置有激光传感器，上述激光传感器用于拍摄激光线的图像，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于任意一种上述的方法。
从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：
1)、本申请的方法中，首先实时获取激光线的图像，然后根据激光线的图像，确定激光线的长度、宽度以及灰度值误差，最后根据激光线的长度、宽度以及灰度值误差，确定激光线的质量系数，激光线的质量系数与激光线的长度、宽度成正相关，与激光线的灰度值误差成负相关。该方法中，可以根据激光线的图像计算激光线的长度、宽度以及灰度值误差，确定激光线的质量系数，因此解决了现有技术中缺乏确定激光线质量的方案的问题；并且，该方法中，激光线的质量系数和激光线的长度以及宽度成正相关，与灰度值误差成负相关，即激光线的长度越长、宽度越大且灰度值误差越小的情况下，激光线的质量系数越大，激光线的质量越好，反之则越差，因此，该方法可以更为准确地确定激光线的质量系数。另外，当激光线质量较差时，可以发出报警，从而可以避免焊接机器人发生离航，从而减小了危险的发生。
2)、本申请的确定装置包括获取单元、第一确定单元和第二确定单元，其中，获取单元用于实时获取激光线的图像；第一确定单元用于依据上述图像，确定上述激光线的长度、上述激光线的宽度以及上述激光线的整体灰度值误差；第二确定单元用于根据上述激光线的长度上述激光线的宽度以及上述激光线的整体灰度值误差，确定上述激光线的质量，上述激光线的质量与上述激光线的长度以及上述激光线的宽度成正相关，上述激光线的质量与上述激光线的整体灰度值误差成负相关。该装置中，可以根据激光线的图像计算激光线的长度、宽度以及灰度值误差，确定激光线的质量系数，因此解决了现有技术中缺乏确定激光线质量的装置；并且，该装置中，激光线的质量系数和激光线的长度以及宽度成正相关，与灰度值误差成负相关，即激光线的长度越长、宽度越大且灰度值误差越小的情况下，激光线的质量越好，反之则越差，因此，该装置可以更为准确地确定激光线的质量系数。另外当激光线质量较差时，可以发出报警，从而可以避免焊接机器人发生离航，从而减小了危险的发生。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种焊接过程中激光线质量的确定方法，其特征在于，包括：
实时获取激光线的图像；
依据所述图像，确定所述激光线的长度、所述激光线的宽度以及所述激光线的整体灰度值误差；
根据所述激光线的长度所述激光线的宽度以及所述激光线的整体灰度值误差，确定所述激光线的质量系数，所述激光线的质量系数与所述激光线的长度以及所述激光线的宽度成正相关，所述激光线的质量系数与所述激光线的整体灰度值误差成负相关。
2.根据权利要求1所述的方法，其特征在于，依据所述图像，确定所述激光线的长度、所述激光线的宽度以及所述激光线的整体灰度值误差，包括：
对所述图像进行灰度化，得到灰度图像；
获取所述灰度图像上每个像素点的坐标信息和像素值；
根据所述像素点的坐标信息和所述像素值，确定所述激光线的长度、所述激光线的宽度以及所述激光线的整体灰度值误差。
3.根据权利要求2所述的方法，其特征在于，根据所述像素点的坐标信息和所述像素值，确定所述激光线的长度和所述激光线的宽度，包括：
确定有效像素点，所述有效像素点为像素值大于预定阈值的所述像素点；
根据所述有效像素点坐标信息和所述像素值确定所述激光线的长度和所述激光线的宽度。
4.根据权利要求3所述的方法，其特征在于，根据所述有效像素点坐标信息和所述像素值确定所述激光线的长度，包括：
计算最大有效像素点在第一预定轴上的坐标值和最小有效像素点在第一预定轴上的坐标值的差值，得到预备长度，其中，所述最大有效像素点为像素值最大的所述有效像素点，所述最小有效像素点为像素值最小的所述有效像素点，所述第一预定轴为与所述激光线的延伸方向，所述第一预定轴为X轴或者Y轴；
在所述预备长度大于或等于长度阈值的情况下，确定所述预备长度为所述激光线的长度，在所述预备长度小于所述长度阈值的情况下，确定所述激光线的长度为0。
5.根据权利要求3所述的方法，其特征在于，根据所述有效像素点坐标信息和所述像素值确定所述激光线的宽度，包括：
确定多个目标像素点对，所述目标像素点对由两个在第一预定轴上的坐标值相同且分别位于所述激光线的坡口中心两侧的所述有效像素点构成；
计算每个所述目标像素点对的两个所述有效像素点在第二预定轴上的坐标的差值，得到多个差值，所述第二预定轴与所述第一预定轴垂直；
确定最大的所述差值为预备宽度；
在所述预备宽度小于或等于宽度阈值的情况下，确定所述预备宽度为所述激光线的宽度，在所述预备宽度大于所述宽度阈值的情况下，确定所述激光线的宽度为0。
6.根据权利要求2至5中任一项所述的方法，其特征在于，根据所述像素点的坐标信息和所述像素值，确定所述激光线的整体灰度值误差，包括：
确定所述激光线的第一感兴趣区域、第二感兴趣区域和第三感兴趣区域，所述第一感兴趣区域、所述第二感兴趣区域和所述第三感兴趣区域沿着第一预定轴的方向分布，其中，所述第一感兴趣区域包括两个第一感兴趣子区域，每个所述第一感兴趣子区域为以所述激光线的一个拐点为中心的且宽度为第一宽度的所述激光线的区域，所述第二感兴趣区域包括两个第二感兴趣子区域，每个所述第二感兴趣子区域为一个所述第一感兴趣子区域远离另一个所述第一感兴趣子区域一侧的且宽度为第二宽度的所述激光线的区域，所述第三感兴趣区域为除所述第一感兴趣区域和所述第二感兴趣区域之外的所述激光线的区域，所述第一预定轴为与所述激光线的延伸方向，所述第一预定轴为X轴或者Y轴；
根据每个所述感兴趣区域的多个所述像素点，确定对应所述感兴趣区域的像素值的标准差；
根据三个所述感兴趣区域的所述像素值的标准差以及各所述像素值的标准差的权重值，确定所述整体灰度值误差，其中，所述第一感兴趣区域的所述像素值的标准差的权重、所述第二感兴趣区域的所述像素值的标准差的权重和所述第三感兴趣区域的所述像素值的标准差的权重依次减小。
7.根据权利要求6所述的方法，其特征在于，用于计算一个所述像素值的标准差的多个所述像素点中，一个感兴趣子区域中任意两个所述像素点在所述第一预定轴上的间隔为预定间隔，或者，一个所述感兴趣区域中任意两个所述像素点在所述第一预定轴上的间隔为预定间隔。
8.根据权利要求6所述的方法，其特征在于，根据所述激光线的长度所述激光线的宽度以及所述激光线的整体灰度值误差，确定所述激光线的质量系数，包括：
采用公式
Figure FDA0003291644150000021
计算所述激光线的质量系数，其中，q表征所述激光线的质量系数，l为所述激光线的长度，w为所述激光线的宽度，▽为所述激光线的整体灰度值误差，c为常量。
9.一种焊接过程中激光线质量的确定装置，其特征在于，包括：
获取单元，用于实时获取激光线的图像；
第一确定单元，用于依据所述图像，确定所述激光线的长度、所述激光线的宽度以及所述激光线的整体灰度值误差；
第二确定单元，用于根据所述激光线的长度所述激光线的宽度以及所述激光线的整体灰度值误差，确定所述激光线的质量系数，所述激光线的质量系数与所述激光线的长度以及所述激光线的宽度成正相关，所述激光线的质量系数与所述激光线的整体灰度值误差成负相关。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至8中任意一项所述的方法。
11.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的方法。
12.一种焊接装置，其特征在于，包括：焊接机器人、一个或多个处理器，存储器以及一个或多个程序，其中，所述焊接机器人上设置有激光传感器，所述激光传感器用于拍摄激光线的图像，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至8中任意一项所述的方法。
CN202111166808.3A 2021-09-30 2021-09-30 焊接过程中激光线质量的确定方法、确定装置与焊接装置 Pending CN113902700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111166808.3A CN113902700A (zh) 2021-09-30 2021-09-30 焊接过程中激光线质量的确定方法、确定装置与焊接装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111166808.3A CN113902700A (zh) 2021-09-30 2021-09-30 焊接过程中激光线质量的确定方法、确定装置与焊接装置

Publications (1)

Publication Number Publication Date
CN113902700A true CN113902700A (zh) 2022-01-07

Family

ID=79190140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111166808.3A Pending CN113902700A (zh) 2021-09-30 2021-09-30 焊接过程中激光线质量的确定方法、确定装置与焊接装置

Country Status (1)

Country Link
CN (1) CN113902700A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347473A1 (en) * 2013-05-22 2014-11-27 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
CN108280829A (zh) * 2018-02-12 2018-07-13 广东省海洋工程装备技术研究所 焊缝图像识别方法、计算机装置及计算机可读存储介质
CN110706229A (zh) * 2019-10-17 2020-01-17 广东博智林机器人有限公司 激光条纹中心的确定方法、装置、电子设备及存储介质
US20200324367A1 (en) * 2017-10-31 2020-10-15 Saint-Gobain Glass France Method for aligning a plurality of laser lines
CN112797915A (zh) * 2020-12-29 2021-05-14 杭州海康机器人技术有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统
CN112907656A (zh) * 2020-09-28 2021-06-04 广东博智林机器人有限公司 机器人的位置检测方法、检测装置、处理器和电子设备
CN113034684A (zh) * 2021-05-24 2021-06-25 浙江华睿科技有限公司 三维重建方法、电子设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347473A1 (en) * 2013-05-22 2014-11-27 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
US20200324367A1 (en) * 2017-10-31 2020-10-15 Saint-Gobain Glass France Method for aligning a plurality of laser lines
CN108280829A (zh) * 2018-02-12 2018-07-13 广东省海洋工程装备技术研究所 焊缝图像识别方法、计算机装置及计算机可读存储介质
CN110706229A (zh) * 2019-10-17 2020-01-17 广东博智林机器人有限公司 激光条纹中心的确定方法、装置、电子设备及存储介质
CN112907656A (zh) * 2020-09-28 2021-06-04 广东博智林机器人有限公司 机器人的位置检测方法、检测装置、处理器和电子设备
CN112797915A (zh) * 2020-12-29 2021-05-14 杭州海康机器人技术有限公司 一种线结构光测量系统的标定方法、标定装置、以及系统
CN113034684A (zh) * 2021-05-24 2021-06-25 浙江华睿科技有限公司 三维重建方法、电子设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张瑞雪;李鸣;毛志伟;赵滨;: "多线激光V型焊缝图像特征提取与轨迹识别", 测控技术, no. 08, 18 August 2020 (2020-08-18) *

Similar Documents

Publication Publication Date Title
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
US20090041303A1 (en) Vehicle, image processing system image processing method, image processing program, method for configuring image processing system, and server
CN112254635B (zh) 体积测量方法、装置及系统
CN109074408B (zh) 一种地图加载的方法、装置、电子设备和可读存储介质
CN111160086B (zh) 车道线识别方法、装置、设备和存储介质
CN103493095A (zh) 轮胎表面的数字图像的分析和非测量点的处理
CN112466147B (zh) 一种基于多传感器的库位检测方法及相关装置
CN113945937A (zh) 精度检测方法、装置及存储介质
CN111381585B (zh) 一种构建占据栅格地图的方法及其装置、相关设备
CN111561906A (zh) 机器人单目测距方法、系统、电子设备和计算机存储介质
CN111241224A (zh) 目标距离估计的方法、系统、计算机设备和存储介质
CN110210774B (zh) 滑坡风险评价方法及系统
CN113902700A (zh) 焊接过程中激光线质量的确定方法、确定装置与焊接装置
CN110751040A (zh) 一种三维物体的检测方法和装置、电子设备、存储介质
US20230127338A1 (en) Road deterioration determination device, road deterioration determination method, and storage medium
CN114046748A (zh) 一种锂电池隔膜的颗粒检测方法、装置及系统
CN110880003B (zh) 一种图像匹配方法、装置、存储介质及汽车
CN115113630A (zh) 无人船过桥方法、装置、计算机设备及存储介质
CN115239789A (zh) 用于确定液体体积的方法及装置、存储介质、终端
CN112949609B (zh) 一种车道识别方法、装置、介质和电子设备
CN114694107A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN111414804B (zh) 识别框确定方法、装置、计算机设备、车辆和存储介质
CN110660087B (zh) 光感校正方法、装置、电子设备和存储介质
CN112146834A (zh) 结构振动位移测量方法及装置
CN111626193A (zh) 一种面部识别方法、面部识别装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination