CN113610814B - 焊缝质量检测方法、装置、电子设备及存储介质 - Google Patents
焊缝质量检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113610814B CN113610814B CN202110913937.8A CN202110913937A CN113610814B CN 113610814 B CN113610814 B CN 113610814B CN 202110913937 A CN202110913937 A CN 202110913937A CN 113610814 B CN113610814 B CN 113610814B
- Authority
- CN
- China
- Prior art keywords
- weld
- point
- welding seam
- welding
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种焊缝质量检测方法、装置、电子设备及存储介质,涉及工业检测技术领域。所述方法包括:基于焊缝的旋转点云数据获得焊缝区域图像,所述旋转点云数据为通过相机在围绕焊缝圆心旋转时采集的点云数据;基于所述焊缝区域图像建立焊缝数学模型,根据所述焊缝数学模型获得所述焊缝的关键特征值;采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷。该方法基于旋转点云数据建立数学模型,能够得到焊缝完整数据,并采用焊缝质量检测模型对焊缝数学模型的学习和分析,充分利用了焊缝数据进行图像处理,从而大幅度地提高了焊缝判断准确度。
Description
技术领域
本申请涉及工业检测技术领域,具体而言,涉及一种焊缝质量检测方法、装置、电子设备及存储介质。
背景技术
目前,在进行焊接件的焊缝检测时,部分工厂采用基于3D机器视觉焊缝质量检测方法,采用线激光轮廓传感器采集焊缝表面轮廓点云数据,针对点云数据通过特征提取的方法判断焊缝是否存在缺陷。
但现有技术通过线激光轮廓传感器采集焊缝表面轮廓点云数据,通过相机与产品发生直线往复相对运动方式成像,由于激光光源和成像传感器存在一定的角度,因此,3D(3-Dimension,三维)相机在往复运动中存在盲点,存在检测准确度较低的问题。
发明内容
有鉴于此,本申请实施例的目的在于提供一种焊缝质量检测方法、装置、电子设备及存储介质,以改善现有技术中存在的检测准确度较低的问题。
本申请实施例提供了一种焊缝质量检测方法,所述方法包括:基于焊缝的旋转点云数据获得焊缝区域图像,所述旋转点云数据为通过相机在围绕焊缝圆心旋转时采集的点云数据;基于所述焊缝区域图像建立焊缝数学模型,根据所述焊缝数学模型获得所述焊缝的关键特征值;采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷。
在上述实现方式中,基于旋转成像3D机器视觉进行焊缝图像获取,基于焊缝图像建立更加完整、准确的焊缝数学模型,配合焊缝质量检测模型实现焊缝质量检测,提高了焊缝质量的检测准确度。
可选地,所述基于焊缝的旋转点云数据获得焊缝区域图像,包括:将所述旋转点云数据转换为高度图;对所述高度图进行高度抽取,以获得所述焊缝区域图像。
在上述实现方式中,将点云数据转换成高度图,从而得到焊接物的高度图像,充分利用了焊缝的高度信息进行图像处理,从而能够大幅度地提高焊缝判断准确度。
可选地,所述对所述灰度图进行高度抽取,包括:对所述高度图进行拉伸还原,以获得拉伸图;根据焊缝区域在焊接物上表面选择至少两个感兴趣区域;对所述至少两个感兴趣区域分别进行高度抽取;基于高度抽取的结果屏蔽部分干扰信号,以获得所述焊缝区域图像。
在上述实现方式中,引入感兴趣区域进行高度抽取以确定焊缝区域图像,提高了焊缝区域图像划分的效率和准确性。
可选地,所述对所述至少两个感兴趣区域分别进行高度抽取,包括:根据所述焊缝的长度将所述至少两个感兴趣区域中每个感兴趣区域划分为至少两个处理区域;分别对所述至少两个处理区域中的每个处理区域进行高度抽取。
在上述实现方式中,将每个感兴趣区域划分为至少两个处理区域进行高度抽取处理,进一步提高了高度抽取效率。
可选地,所述基于所述焊缝区域图像建立焊缝数学模型,包括:在所述至少两个感兴趣区域中的直线离散成点,并将离散获得的最高点的高度值写入数组;基于所述数组中出点高度差的点之间的距离与焊接物槽宽,在所述焊缝区域图像中定位焊缝边缘点;基于所述数组确定焊缝最高点、焊缝最低点和基准高度值;基于所述焊缝最高点和所述基准高度值确定焊缝最外点和焊缝最内点,所述焊缝最外点为所述焊缝与所述焊接物连接一侧的点,所述焊缝最内点为所述焊缝与所述焊接物被焊接盖顶母材侧连接的点;基于所述焊缝最高点、所述焊缝最内点、所述焊缝最外点、所述焊缝边缘点和所述相机的分辨率确定所述焊缝的所述关键特征值,所述关键特征值包括焊缝高度差、焊缝宽度、焊缝最小值和最高点边距。
在上述实现方式中,基于高度数据确定焊缝最高点、焊缝最低点和基准高度值,进而完成焊缝数学模型的精确、完整的数学模型,保证了焊缝数学模型的准确性,从而提高了焊缝质量判断的整体准确度。
可选地,所述采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷,包括:通过所述焊缝质量检测模型基于所述关键特征值进行特征提取,以获得所述焊缝的缺陷特征值,所述缺陷特征值包括凸起长度、凹坑长度和/或漏焊长度;将所述缺陷特征值输入所述焊缝质量检测模型,以使所述焊缝质量检测模型输出表示所述焊缝是否存在质量缺陷的检测结果。
在上述实现方式中,焊缝质量检测模型通过配合焊缝数学模型中关键特征值的分析,充分利用了焊缝的准确数据进行焊缝质量判断,提高了判断准确性。
可选地,在所述采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷之前,所述方法还包括:获取至少两个测试样品的关键特征值作为训练集;采用所述训练集对支持向量机进行训练,以获得所述焊缝质量检测模型。
在上述实现方式中,焊缝质量检测模型通过配合焊缝数学模型的分析和学习,提高了焊缝质量检测模型的焊缝质量检测准确性。
本申请实施例还提供了一种焊缝质量检测装置,所述装置包括:焊缝区域图像获取模块,用于基于焊缝的旋转点云数据获得焊缝区域图像,所述旋转点云数据为通过相机在围绕焊缝圆心旋转时采集的点云数据;模型建立模块,用于基于所述焊缝区域图像建立焊缝数学模型,根据所述焊缝数学模型获得所述焊缝的关键特征值;模型判断模块,用于采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷。
在上述实现方式中,基于旋转成像3D机器视觉进行焊缝图像获取,基于焊缝图像建立更加完整、准确的焊缝数学模型,配合焊缝质量检测模型实现焊缝质量检测,提高了焊缝质量的检测准确度。
可选地,所述焊缝区域图像获取模块具体用于:将所述旋转点云数据转换为高度图;对所述高度图进行高度抽取,以获得所述焊缝区域图像。
在上述实现方式中,将点云数据转换成高度图,从而得到焊接物的高度图像,充分利用了焊缝的高度信息进行图像处理,从而能够大幅度地提高焊缝判断准确度。
可选地,所述焊缝区域图像获取模块具体用于:对所述高度图进行拉伸还原,以获得拉伸图;根据焊缝区域在焊接物上表面选择至少两个感兴趣区域;对所述至少两个感兴趣区域分别进行高度抽取;基于高度抽取的结果屏蔽部分干扰信号,以获得所述焊缝区域图像。
在上述实现方式中,引入感兴趣区域进行高度抽取以确定焊缝区域图像,提高了焊缝区域图像划分的效率和准确性。
可选地,所述焊缝区域图像获取模块具体用于:根据所述焊缝的长度将所述至少两个感兴趣区域中每个感兴趣区域划分为至少两个处理区域;分别对所述至少两个处理区域中的每个处理区域进行高度抽取。
在上述实现方式中,将每个感兴趣区域划分为至少两个处理区域进行高度抽取处理,进一步提高了高度抽取效率。
可选地,所述模型建立模块具体用于:在所述至少两个感兴趣区域中的直线离散成点,并将离散获得的最高点的高度值写入数组;基于所述数组中出点高度差的点之间的距离与焊接物槽宽,在所述焊缝区域图像中定位焊缝边缘点;基于所述数组确定焊缝最高点、焊缝最低点和基准高度值;基于所述焊缝最高点和所述基准高度值确定焊缝最外点和焊缝最内点,所述焊缝最外点为所述焊缝与所述焊接物连接一侧的点,所述焊缝最内点为所述焊缝与所述焊接物被焊接盖顶母材侧连接的点;基于所述焊缝最高点、所述焊缝最内点、所述焊缝最外点、所述焊缝边缘点和所述相机的分辨率确定所述焊缝的所述关键特征值,所述关键特征值包括焊缝高度差、焊缝宽度、焊缝最小值和最高点边距。
在上述实现方式中,基于高度数据确定焊缝最高点、焊缝最低点和基准高度值,进而完成焊缝数学模型的精确、完整的数学模型,保证了焊缝数学模型的准确性,从而提高了焊缝质量判断的整体准确度。
可选地,所述模型判断模块具体用于:通过所述焊缝质量检测模型基于所述关键特征值进行特征提取,以获得所述焊缝的缺陷特征值,所述缺陷特征值包括凸起长度、凹坑长度和/或漏焊长度;将所述缺陷特征值输入所述焊缝质量检测模型,以使所述焊缝质量检测模型输出表示所述焊缝是否存在质量缺陷的检测结果。
在上述实现方式中,焊缝质量检测模型通过配合焊缝数学模型中关键特征值的分析,充分利用了焊缝的准确数据进行焊缝质量判断,提高了判断准确性。
可选地,所述模型判断模块还用于:获取至少两个测试样品的关键特征值作为训练集;采用所述训练集对支持向量机进行训练,以获得所述焊缝质量检测模型。
在上述实现方式中,焊缝质量检测模型通过配合焊缝数学模型的分析和学习,提高了焊缝质量检测模型的焊缝质量检测准确性。
本申请实施例还提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器读取并运行所述程序指令时,执行上述任一实现方式中的步骤。
本申请实施例还提供了一种可读取存储介质,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行上述任一实现方式中的步骤。
本申请实施例的有益效果为:通过旋转成像3D机器视觉进行焊缝图像获取,对焊缝图像进行高度抽取,充分利用了焊缝的高度信息进行图像处理建立更加完整、准确的焊缝数学模型,配合焊缝质量检测模型实现焊缝质量检测,提高了焊缝质量判断的准确率和精度,同时还基于感兴趣区域和处理区域的设置,提高了焊缝质量检测的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种焊缝质量检测方法的流程示意图。
图2为本申请实施例提供的一种高度抽取步骤的流程示意图。
图3为本申请实施例提供的一种焊缝数学模型建立步骤的流程示意图。
图4为本申请实施例提供的一种焊缝质量检测装置的模块示意图。
图标:20-焊缝质量检测装置;21-焊缝区域图像获取模块;22-模型建立模块;23-模型判断模块。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行描述。
经本申请人研究发现,目前大多数工厂采用工人在放大镜下用人眼观察焊缝是否存在缺陷的方法为主,工人把电芯外壳放在放大镜下,移动产品观察焊缝质量,这种方法受检测人员的熟练程度、疲劳程度、情绪高低等因素的影响,而无法保证检测结果的准确度。也有部分工厂采用2D机器视觉方法检测,大多数通过模板匹配方法识别焊缝缺陷;也有用Sobel算子进行边缘检测,然后进行阈值处理,形态学处理,进行轮廓检测,通过特征(面积、长度等)提取来判断焊缝是否缺陷。这种2D检测方法受光源稳定性和焊缝背景等影响,很容易出现误判。此外,部分工厂采用基于3D机器视觉焊缝质量检测方法,这种图像处理方式受到两个要素影响检测精度和过杀率,首先,其图像采集方式是通过相机与产品发生直线往复相对运动方式成像,由于激光光源和成像传感器存在一定的角度,因此3D相机在往复运动中存在盲点;其次图像处理方法实质上还是采用2D成像的方式,只是光源变成了激光,没有充分利用焊缝缺陷的高度信息,造成误判率高,焊缝质量判断的准确度较低。
为了解决现有技术的上述问题,本申请实施例提供了一种焊缝质量检测方法,请参考图1,图1为本申请实施例提供的一种焊缝质量检测方法的流程示意图,该焊缝质量检测方法的步骤可以如下:
步骤S12:基于焊缝的旋转点云数据获得焊缝区域图像,旋转点云数据为通过相机在围绕焊缝圆心旋转时采集的点云数据。
可选地,本实施例中可以采用线激光测量控制器、激光传感头和旋转机构配合实现焊缝的点云数据获取。具体地,焊接物焊接完成后,由通过机械手等旋转机构将焊接物传送至激光传感头的正下方,旋转机构的旋转电机接收到产品到位信号后,带动相机以焊接物圆心,例如焊接物为密封钉时,相机以密封钉圆心为运动圆心进行圆周运动。在圆周运动过程中,相机根据旋转电机编码器输出的信号数量采集密焊接物的点云数据。产品扫描完成后平台往前移动,另一夹具移动到了相机下方,继续采集另一个焊接物图像。
可选地,本实施例中将点云数据转换为焊缝区域图像的步骤可以如下:
步骤S121:将旋转点云数据转换为高度图。
对采集到的点云数据根据图像的定义,将其高度数据转换为预设位的高度图,例如16位的高度图。
步骤S122:对高度图进行高度抽取,以获得焊缝区域图像。
请参考图2,图2为本申请实施例提供的一种高度抽取步骤的流程示意图,步骤S122可以包括如下子步骤:
步骤S1221:对高度图进行拉伸还原,以获得拉伸图。
具体地,通过计算待检测的焊接物的高度图的高度分布情况,得到最佳的高度抽取参数,基于该高度抽取参数能够在拉伸后的图像中得到清晰的焊缝,从而有利于更加准确地设置高度抽取值。
步骤S1222:根据焊缝区域在焊接物上表面选择至少两个感兴趣区域。
其中,机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域(Region of Interest,ROI)。
可选地,在焊接物上表面设置的感兴趣区域的数量可以根据具体需求进行调节,例如本实施例中可以设置为4个,以密封钉为例,在密封钉的上表面焊缝内侧相应选择4个ROI;或者以纽扣电池焊缝为例,焊缝由2条直线和2条圆弧段组成,由于成像是通过产品旋转的方式实现,固成像后的图像中,原来是直线的焊缝变成了圆弧,原来是圆弧的焊缝变成了直线,两直线段焊缝设置ROI1、ROI2,两圆弧焊缝设置ROI3、ROI4,分别对这四段焊缝进行处理。
步骤S1223:对至少两个感兴趣区域分别进行高度抽取。
可选地,本实施例中可以分别计算每个感兴趣区域的高度均值,其公式具体为,,其中,表示具体ROI区域,N为感兴趣区域个数,src为图像f(x,y)在第I个ROI内的数组值,mask表示图像的ROI范围。从而得到每个ROI范围的高度均值,可以选择最大的高度差作为判断焊缝是否存在翘钉缺陷。
可选地,为了提高高度抽取的效率,本实施例可以根据焊缝的长度将每个感兴趣区域划分为至少两个处理区域,分别对每个处理区域进行高度抽取。例如5个处理区域分别为zone1、zone2、zone3、zone4和zone5,分5个线程处理,优化高度抽取效率,提高软件处理速度。
图像的高度抽取的具体原理可以是保留高度在最小高度值和最大高度值之间的点,去掉其他点,用公式表示如下:
f(x,y)>h_low && f(x,y)<h_up 则 f(x,y)=f(x,y), 否则f(x,y)=0;
其中,f(x,y)表示点(x,y)处的高度值,h_low表示最小高度值,h_up表示最大高度值。
步骤S1224:基于高度抽取的结果屏蔽部分干扰信号,以获得焊缝区域图像。
通过上述步骤把一部分干扰信号屏蔽掉,更容易把焊缝从原来图像提取出来,方便焊缝定位。
步骤S14:基于焊缝区域图像建立焊缝数学模型,根据焊缝数学模型获得焊缝的关键特征值。
请参考图3,图3为本申请实施例提供的一种焊缝数学模型建立步骤的流程示意图,该焊缝数学模型建立步骤具体可以如下:
步骤S141: 在至少两个感兴趣区域中的直线离散成点,并将离散获得的最高点的高度值写入数组。
具体地,在ROI范围内,设置搜索直线,把搜索直线离散成一系列点,令h1=f(x1,y),h2=f(x2,y),h3=f(x3,y),…,hn=f(xn,y),其中h1-hn表示不同离散点,然后把各点的高度值写入数组,令数组h_arr={h1,h2,h3,…hn}。
步骤S142:基于数组中出点高度差的点之间的距离与焊接物槽宽,在焊缝区域图像中定位焊缝边缘点。
以密封钉为例,在harr中,当h_arr[i]==0且h_arr[k]>0时,k-i约等于密封钉槽宽,具体地,在搜索时可以从i逐渐递增至k,则(xk,y)为焊缝边缘点。
步骤S143:基于数组确定焊缝最高点、焊缝最低点和基准高度值。
搜索焊缝最高点具体可以是计算数组h_arr中最大值,假设hmax为数组的最大值,hamx对应的x值为xmax,则(xmax,y)为焊缝最高点,如果存在至少两个相同的最大值,取索引最小的为焊缝最高点。
搜索焊缝最低点具体可以是设焊缝的范围为(xs,xt),令h11=f(xp,y),h21=f(xp+1,y),h31=f(xp+2,y),…,ht=f(xt,y),设数组h_arr1={h11,h21,h31,…ht},取h_arr1的最小值为搜索直线上焊缝的最小值。
基准高度值为焊缝搜索基准高度值,其具体可以是在搜索直线离散化连续点序列中,取(xk,xl)为基准范围,则sum=f(xk,y)+f(xk+1,y)+…+f(xl,y),则基准高度h_standard=sum/(l-k+1)。
步骤S144:基于焊缝最高点和基准高度值确定焊缝最外点和焊缝最内点。
首先,定义焊缝最外点为焊缝与焊接物连接一侧的点,焊缝最内点为焊缝与焊接物被焊接盖顶母材侧连接的点。
搜索焊缝最外点时,从焊缝最高点往焊缝边缘进行搜索,当满足f(x,y)-f(s1)<0时,则x为焊缝最外点,其中f(x,y)为焊缝点(x,y)的高度值,f(s1)为焊缝外边缘点,f(s1)=h_standard+sensity_out*(f(xmax,y)-f(xmin,y)),h_standard为基准高度值,f(xmax,y),f(xmin,y)分别是基准范围内的最大f(x,y)和最小f(x,y),sensity_out为外焊缝点灵敏度。
搜索焊缝最内点时,从焊缝最高点往搜索直线终点搜索,当f(x,y)-f(s2)<0时,则x为焊缝最内点。其中,f(x,y)为焊缝点(x,y)值;f(s2)为焊缝内边缘点, f(s2)=h_standard+sensity_in*(f(xmax,y)-f(xmin,y)),h_standard为基准高度值,f(xmax,y),f(xmin,y)分别是基准范围内的最大f(x,y)和最小f(x,y),sensity_in为内焊缝点灵敏度。
步骤S145:基于焊缝最高点、焊缝最内点、焊缝最外点、焊缝边缘点和相机的分辨率确定焊缝的关键特征值。
关键特征值包括焊缝高度差h、焊缝宽度w、焊缝最小值weld_min和最高点边距dist。
h=(f(x_max,y)-f(s))*z_resolution;
w=(x_in-x_out)*x_resolution;
dist=(x_max-x_edge)*x_resolution;
其中,x_max为焊缝最高点x坐标,x_in为焊缝最内点,x_out为焊缝最外点,x_edge为焊缝边缘点,z_resolution为相机Z方向分辨率,x_resolution为相机x方向分辨率。
步骤S16:采用焊缝质量检测模型,基于关键特征值判断焊缝是否存在质量缺陷。
具体地,通过焊缝质量检测模型基于关键特征值进行特征提取,以获得焊缝的缺陷特征值,缺陷特征值包括凸起长度、凹坑长度和/或漏焊长度。
将缺陷特征值输入焊缝质量检测模型,以使焊缝质量检测模型输出表示焊缝是否存在质量缺陷的检测结果。
可选地,在步骤S16之前,还需要建立焊缝质量检测模型,其具体步骤可以如下:获取至少两个测试样品的关键特征值作为训练集;采用训练集对支持向量机进行训练,以获得焊缝质量检测模型。
例如选取至少两个测试样品,提取其关键特征值计算至少两个测试样品的凸起长度、凹坑长度和/或漏焊长度等缺陷特征值,采用焊缝质量检测预训练模型学习样品缺陷特征值,对标记过合格和不合格的测试样品进行检测训练,从而获得焊缝质量检测模型。
可选地,本实施例中还可以将用标准三维测量仪器对焊缝的关键特征值进行手动测量,与基于焊缝数学模型检测的缺陷的长、宽、高数据进行对比,以标准仪器的数据作为标准,判断是否属于缺陷,从而得到缺陷的真实数据,对关键特征值的图像识别计算准确性进行调整。
可选地,本实施例中的焊缝质量检测模型可以是机器学习模型、深度学习模型等,例如支持向量机(Support Vector Machines,SVM)、线性分类器(Linear Classifier,LR)等。
为了配合上述焊缝质量检测方法,本申请实施例还提供了一种焊缝质量检测装置20。
请参考图4,图4为本申请实施例提供的一种焊缝质量检测装置的模块示意图。
焊缝质量检测装置20包括:
焊缝区域图像获取模块21,用于基于焊缝的旋转点云数据获得焊缝区域图像,旋转点云数据为通过相机在围绕焊缝圆心旋转时采集的点云数据;
模型建立模块22,用于基于焊缝区域图像建立焊缝数学模型,根据焊缝数学模型获得焊缝的关键特征值;
模型判断模块23,用于采用焊缝质量检测模型,基于关键特征值判断焊缝是否存在质量缺陷。
可选地,焊缝区域图像获取模块21具体用于:将旋转点云数据转换为高度图;对高度图进行高度抽取,以获得焊缝区域图像。
可选地,焊缝区域图像获取模块21具体用于:对高度图进行拉伸还原,以获得拉伸图;根据焊缝区域在焊接物上表面选择至少两个感兴趣区域;对至少两个感兴趣区域分别进行高度抽取;基于高度抽取的结果屏蔽部分干扰信号,对焊缝进行定位,以获得焊缝区域图像。
可选地,焊缝区域图像获取模块21具体用于:根据焊缝的长度将至少两个感兴趣区域中每个感兴趣区域划分为至少两个处理区域;分别对至少两个处理区域中的每个处理区域进行高度抽取。
可选地,模型建立模块22具体用于:在至少两个感兴趣区域中的直线离散成点,并将离散获得的最高点的高度值写入数组;基于数组中出点高度差的点之间的距离与焊接物槽宽,在焊缝区域图像中定位焊缝边缘点;基于数组确定焊缝最高点、焊缝最低点和基准高度值;基于焊缝最高点和基准高度值确定焊缝最外点和焊缝最内点,焊缝最外点为焊缝与焊接物连接一侧的点,焊缝最内点为焊缝与焊接物被焊接盖顶母材侧连接的点;基于焊缝最高点、焊缝最内点、焊缝最外点、焊缝边缘点和相机的分辨率确定焊缝的关键特征值,关键特征值包括焊缝高度差、焊缝宽度、焊缝最小值和最高点边距。
可选地,模型判断模块23具体用于:通过焊缝质量检测模型基于关键特征值进行特征提取,以获得焊缝的缺陷特征值,缺陷特征值包括凸起长度、凹坑长度和/或漏焊长度;将缺陷特征值输入焊缝质量检测模型,以使焊缝质量检测模型输出表示焊缝是否存在质量缺陷的检测结果。
可选地,模型判断模块23还用于:获取至少两个测试样品的关键特征值作为训练集;采用训练集对支持向量机进行训练,以获得焊缝质量检测模型。
本申请实施例还提供了一种电子设备,该电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器读取并运行所述程序指令时,执行本实施例提供的焊缝质量检测方法中任一项所述方法中的步骤。
应当理解是,该电子设备可以是个人电脑(Personal Computer,PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)等具有逻辑计算功能的电子设备。
本申请实施例还提供了一种可读取存储介质,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行焊缝质量检测方法中的步骤。
综上所述,本申请实施例提供了一种焊缝质量检测方法、装置、电子设备及存储介质,所述方法包括:基于焊缝的旋转点云数据获得焊缝区域图像,所述旋转点云数据为通过相机在围绕焊缝圆心旋转时采集的点云数据;基于所述焊缝区域图像建立焊缝数学模型,根据所述焊缝数学模型获得所述焊缝的关键特征值;采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷。
在上述实现方式中,基于旋转成像3D机器视觉进行焊缝图像获取,基于焊缝图像建立更加完整、准确的焊缝数学模型,配合焊缝质量检测模型实现焊缝质量检测,提高了焊缝质量的检测准确度。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的框图显示了根据本申请的至少两个实施例的设备的可能实现的体系架构、功能和操作。在这点上,框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或至少两个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图中的每个方框、以及框图的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在本文中,诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (7)
1.一种焊缝质量检测方法,其特征在于,所述方法包括:
基于焊缝的旋转点云数据获得焊缝区域图像,所述旋转点云数据为通过相机在围绕焊缝圆心旋转时采集的点云数据;
基于所述焊缝区域图像建立焊缝数学模型,根据所述焊缝数学模型获得所述焊缝的关键特征值;
采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷;
所述基于焊缝的旋转点云数据获得焊缝区域图像,包括:
将所述旋转点云数据转换为高度图;
对所述高度图进行高度抽取,以获得所述焊缝区域图像;
所述对所述高度图进行高度抽取,包括:
对所述高度图进行拉伸还原,以获得拉伸图;
根据焊缝区域在焊接物上表面选择至少两个感兴趣区域;
对所述至少两个感兴趣区域分别进行高度抽取;
基于高度抽取的结果屏蔽部分干扰信号,以获得所述焊缝区域图像;
所述基于所述焊缝区域图像建立焊缝数学模型,包括:
在所述至少两个感兴趣区域中的直线离散成点,并将离散获得的最高点的高度值写入数组;
基于所述数组中出点高度差的点之间的距离与焊接物槽宽,在所述焊缝区域图像中定位焊缝边缘点;
基于所述数组确定焊缝最高点、焊缝最低点和基准高度值;
基于所述焊缝最高点和所述基准高度值确定焊缝最外点和焊缝最内点,所述焊缝最外点为所述焊缝与所述焊接物连接一侧的点,所述焊缝最内点为所述焊缝与所述焊接物被焊接盖顶母材侧连接的点;
基于所述焊缝最高点、所述焊缝最内点、所述焊缝最外点、所述焊缝边缘点和所述相机的分辨率确定所述焊缝的所述关键特征值,所述关键特征值包括焊缝高度差、焊缝宽度、焊缝最小值和最高点边距;
在所述至少两个感兴趣区域中的直线离散成点,并将离散获得的最高点的高度值写入数组,包括:
在所述感兴趣区域范围内设置搜索直线,并将所述搜索直线离散成一系列点;
令h1=f(x1,y),h2=f(x2,y),h3=f(x3,y),…,hn=f(xn,y),其中,h1-hn为不同离散点,将所述离散点的高度值写入数组,以令所述数组h_arr={h1,h2,h3,…hn};
所述基于所述数组中出点高度差的点之间的距离与焊接物槽宽,在所述焊缝区域图像中定位焊缝边缘点,包括:
当所述数组中h_arr[i]==0且h_arr[k]>0时,从i逐渐递增至k,确定(xk,y)为焊缝边缘点,其中k-i约等于所述焊接物槽宽;
基于所述数组确定焊缝最低点,包括:设定焊缝的范围为(xs,xt),令h11=f(xp,y),h21=f(xp+1,y),h31=f(xp+2,y),…,ht=f(xt,y),设数组h_arr1={h11,h21,h31,…ht},确定所述h_arr1的最小值为搜索直线上的所述焊缝最低点;
所述基准高度值为焊缝搜索基准高度值,基于所述数组确定基准高度值,包括:在所述搜索直线的离散化连续点序列中,取(xk,xl)为基准范围;
确定所述基准高度值为h_standard=sum/(l-k+1),其中sum=f(xk,y)+f(xk+1,y)+…+f(xl,y);
所述基于所述焊缝最高点和所述基准高度值确定焊缝最外点和焊缝最内点,包括:从所述焊缝最高点至所述焊缝边缘点搜索,当f(x,y)-f(s1)<0时,确定所述x为焊缝最外点,其中f(x,y)为焊缝点(x,y)的高度值,f(s1)为焊缝外边缘点,f(s1)=h_standard+sensity_out*(f(xmax,y)-f(xmin,y)),其中,h_standard为基准高度值,f(xmax,y),f(xmin,y)分别是基准范围内的最大f(x,y)和最小f(x,y),sensity_out为外焊缝点灵敏度;
从所述焊缝最高点至所述搜索直线的终点搜索,当f(x,y)-f(s2)<0时,则确定所述x为焊缝最内点;其中,f(x,y)为焊缝点(x,y)的高度值,f(s2)为焊缝内边缘点,f(s2)=h_standard+sensity_in*(f(xmax,y)-f(xmin,y)),其中,h_standard为基准高度值,f(xmax,y),f(xmin,y)分别是基准范围内的最大f(x,y)和最小f(x,y),sensity_in为内焊缝点灵敏度。
2.根据权利要求1所述的方法,其特征在于,所述对所述至少两个感兴趣区域分别进行高度抽取,包括:
根据所述焊缝的长度将所述至少两个感兴趣区域中每个感兴趣区域划分为至少两个处理区域;
分别对所述至少两个处理区域中的每个处理区域进行高度抽取。
3.根据权利要求1所述的方法,其特征在于,所述采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷,包括:
通过所述焊缝质量检测模型基于所述关键特征值进行特征提取,以获得所述焊缝的缺陷特征值,所述缺陷特征值包括凸起长度、凹坑长度和/或漏焊长度;
将所述缺陷特征值输入所述焊缝质量检测模型,以使所述焊缝质量检测模型输出表示所述焊缝是否存在质量缺陷的检测结果。
4.根据权利要求3所述的方法,其特征在于,在所述采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷之前,所述方法还包括:
获取至少两个测试样品的关键特征值作为训练集;
采用所述训练集对支持向量机进行训练,以获得所述焊缝质量检测模型。
5.一种焊缝质量检测装置,其特征在于,所述装置包括:
焊缝区域图像获取模块,用于基于焊缝的旋转点云数据获得焊缝区域图像,所述旋转点云数据为通过相机在围绕焊缝圆心旋转时采集的点云数据;
模型建立模块,用于基于所述焊缝区域图像建立焊缝数学模型,根据所述焊缝数学模型获得所述焊缝的关键特征值;
模型判断模块,用于采用焊缝质量检测模型,基于所述关键特征值判断所述焊缝是否存在质量缺陷;
所述焊缝区域图像获取模块,还用于将所述旋转点云数据转换为高度图;
对所述高度图进行高度抽取,以获得所述焊缝区域图像;
所述焊缝区域图像获取模块,具体用于对所述高度图进行拉伸还原,以获得拉伸图;
根据焊缝区域在焊接物上表面选择至少两个感兴趣区域;
对所述至少两个感兴趣区域分别进行高度抽取;
基于高度抽取的结果屏蔽部分干扰信号,以获得所述焊缝区域图像;
所述模型建立模块,还用于在所述至少两个感兴趣区域中的直线离散成点,并将离散获得的最高点的高度值写入数组;
基于所述数组中出点高度差的点之间的距离与焊接物槽宽,在所述焊缝区域图像中定位焊缝边缘点;
基于所述数组确定焊缝最高点、焊缝最低点和基准高度值;
基于所述焊缝最高点和所述基准高度值确定焊缝最外点和焊缝最内点,所述焊缝最外点为所述焊缝与所述焊接物连接一侧的点,所述焊缝最内点为所述焊缝与所述焊接物被焊接盖顶母材侧连接的点;
基于所述焊缝最高点、所述焊缝最内点、所述焊缝最外点、所述焊缝边缘点和所述相机的分辨率确定所述焊缝的所述关键特征值,所述关键特征值包括焊缝高度差、焊缝宽度、焊缝最小值和最高点边距;
在所述至少两个感兴趣区域中的直线离散成点,并将离散获得的最高点的高度值写入数组,包括:
在所述感兴趣区域范围内设置搜索直线,并将所述搜索直线离散成一系列点;
令h1=f(x1,y),h2=f(x2,y),h3=f(x3,y),…,hn=f(xn,y),其中,h1-hn为不同离散点,将所述离散点的高度值写入数组,以令所述数组h_arr={h1,h2,h3,…hn};
所述基于所述数组中出点高度差的点之间的距离与焊接物槽宽,在所述焊缝区域图像中定位焊缝边缘点,包括:
当所述数组中h_arr[i]==0且h_arr[k]>0时,从i逐渐递增至k,确定(xk,y)为焊缝边缘点,其中k-i约等于所述焊接物槽宽;
基于所述数组确定焊缝最低点,包括:设定焊缝的范围为(xs,xt),令h11=f(xp,y),h21=f(xp+1,y),h31=f(xp+2,y),…,ht=f(xt,y),确定所述h_arr的最小值为搜索直线上的所述焊缝最低点;
所述基准高度值为焊缝搜索基准高度值,基于所述数组确定基准高度值,包括:在所述搜索直线的离散化连续点序列中,取(xk,xl)为基准范围;
确定所述基准高度值为h_standard=sum/(l-k+1),其中sum=f(xk,y)+f(xk+1,y)+…+f(xl,y);
所述基于所述焊缝最高点和所述基准高度值确定焊缝最外点和焊缝最内点,包括:从所述焊缝最高点至所述焊缝边缘点搜索,当f(x,y)-f(s1)<0时,确定所述x为焊缝最外点,其中f(x,y)为焊缝点(x,y)的高度值,f(s1)为焊缝外边缘点,f(s1)=h_standard+sensity_out*(f(xmax,y)-f(xmin,y)),其中,h_standard为基准高度值,f(xmax,y),f(xmin,y)分别是基准范围内的最大f(x,y)和最小f(x,y),sensity_out为外焊缝点灵敏度;
从所述焊缝最高点至所述搜索直线的终点搜索,当f(x,y)-f(s2)<0时,则确定所述x为焊缝最内点;其中,f(x,y)为焊缝点(x,y)值,f(s2)为焊缝内边缘点,f(s2)=h_standard+sensity_in*(f(xmax,y)-f(xmin,y)),其中,h_standard为基准高度值,f(xmax,y),f(xmin,y)分别是基准范围内的最大f(x,y)和最小f(x,y),sensity_in为内焊缝点灵敏度。
6.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器运行所述程序指令时,执行权利要求1-4中任一项所述方法中的步骤。
7.一种存储介质,其特征在于,所述存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器运行时,执行权利要求1-4任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110913937.8A CN113610814B (zh) | 2021-08-10 | 2021-08-10 | 焊缝质量检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110913937.8A CN113610814B (zh) | 2021-08-10 | 2021-08-10 | 焊缝质量检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113610814A CN113610814A (zh) | 2021-11-05 |
CN113610814B true CN113610814B (zh) | 2022-11-18 |
Family
ID=78307986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110913937.8A Active CN113610814B (zh) | 2021-08-10 | 2021-08-10 | 焊缝质量检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113610814B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115070251B (zh) * | 2022-06-21 | 2024-01-05 | 苏州大学 | 搅拌摩擦焊表面焊接质量检测方法 |
US11878364B2 (en) | 2022-06-27 | 2024-01-23 | Soochow University | Method for detecting surface welding quality of friction stir welding |
CN115229374B (zh) * | 2022-07-07 | 2024-04-26 | 武汉理工大学 | 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 |
CN115338556A (zh) * | 2022-08-03 | 2022-11-15 | 湖南科技大学 | 用于厚壁焊接工件的焊缝质量检测方法及计算机设备 |
CN116168032B (zh) * | 2023-04-25 | 2023-07-18 | 浙江工业大学 | 一种基于点云的端接焊缝缺陷检测方法及系统 |
CN116699428B (zh) * | 2023-08-08 | 2023-10-10 | 深圳市杰成镍钴新能源科技有限公司 | 退役电池的缺陷检测方法及装置 |
CN117252883B (zh) * | 2023-11-20 | 2024-04-02 | 宁德时代新能源科技股份有限公司 | 焊接缺陷检测方法、装置和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103134809B (zh) * | 2013-03-14 | 2015-04-29 | 苏州华源包装股份有限公司 | 焊缝缺陷检测方法 |
US20170182586A1 (en) * | 2015-12-29 | 2017-06-29 | G.E. Schmidt, Inc. | Weld monitoring systems and methods |
JP7308461B2 (ja) * | 2018-12-19 | 2023-07-14 | パナソニックIpマネジメント株式会社 | 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法 |
US11267065B2 (en) * | 2019-02-18 | 2022-03-08 | Lincoln Global, Inc. | Systems and methods providing pattern recognition and data analysis in welding and cutting |
CN110530877B (zh) * | 2019-09-16 | 2023-09-19 | 西安中科光电精密工程有限公司 | 一种焊接外形质量检测机器人及其检测方法 |
CN111103291A (zh) * | 2019-12-20 | 2020-05-05 | 广西柳州联耕科技有限公司 | 基于产品焊缝特征的图像识别与质量智能评价系统 |
CN111292303B (zh) * | 2020-01-21 | 2023-09-19 | 湖北文理学院 | 焊缝缺陷类别检测方法、装置、电子设备及存储介质 |
CN111462110B (zh) * | 2020-04-20 | 2021-04-13 | 广东利元亨智能装备股份有限公司 | 焊缝质量检测方法、装置、系统及电子设备 |
CN111551565A (zh) * | 2020-06-19 | 2020-08-18 | 湖南恒岳重钢钢结构工程有限公司 | 一种基于机器视觉的风电塔筒焊缝缺陷检测装置及方法 |
-
2021
- 2021-08-10 CN CN202110913937.8A patent/CN113610814B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113610814A (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113610814B (zh) | 焊缝质量检测方法、装置、电子设备及存储介质 | |
CN111462110B (zh) | 焊缝质量检测方法、装置、系统及电子设备 | |
EP4280153A1 (en) | Defect detection method, apparatus and system | |
WO2020038389A1 (zh) | 一种焊缝底片缺陷识别方法 | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
Peng et al. | Study of tool wear monitoring using machine vision | |
JP2009169934A (ja) | 可変形オブジェクト認識のためのシステムおよび方法 | |
CN114240845B (zh) | 一种应用于切削工件的光切法表面粗糙度测量方法 | |
CN113936004B (zh) | 一种锂电池焊接质量检测方法、装置及系统 | |
CN107388991A (zh) | 一种端面多圆角轴类零件圆角半径测量方法 | |
CN104463240A (zh) | 一种控制列表界面的方法及装置 | |
Zheng et al. | Image processing and edge detection techniques to quantify shock wave dynamics experiments | |
EP4088222A1 (en) | Methods and devices for determining a location associated with a gemstone | |
CN115619738A (zh) | 一种模组侧缝焊焊后检测方法 | |
CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
CN113947583A (zh) | 基于深度学习二维时间序列图像的焊缝无损检测方法 | |
CN115229374B (zh) | 一种基于深度学习的汽车白车身焊缝质量检测方法、装置 | |
CN116678891A (zh) | 一种适用于密封钉焊接处的检测方法、装置、系统及平台 | |
Li et al. | Deep learning-based interference fringes detection using convolutional neural network | |
US6801649B1 (en) | Method and apparatus for determining a reference point of a bottle bottom in an image | |
Steiner et al. | Measurement techniques for the inspection of porosity flaws on machined surfaces | |
Chen et al. | A hierarchical visual model for robot automatic arc welding guidance | |
Hao et al. | Circle area detection based on convolutional neural networks | |
US20190080469A1 (en) | Positioning and measuring system based on flexible feature image scale | |
CN114037705B (zh) | 一种基于贝纹线的金属断裂疲劳源检测方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |