CN114972343A - 一种激光焊接产品生产异常检测方法 - Google Patents

一种激光焊接产品生产异常检测方法 Download PDF

Info

Publication number
CN114972343A
CN114972343A CN202210901966.7A CN202210901966A CN114972343A CN 114972343 A CN114972343 A CN 114972343A CN 202210901966 A CN202210901966 A CN 202210901966A CN 114972343 A CN114972343 A CN 114972343A
Authority
CN
China
Prior art keywords
gray
welding
welding seam
quasi
gray scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210901966.7A
Other languages
English (en)
Other versions
CN114972343B (zh
Inventor
周爱民
许书锋
宋玉杰
于华栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ruixin Laser Technology Co ltd
Original Assignee
Shandong Ruixin Laser Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ruixin Laser Technology Co ltd filed Critical Shandong Ruixin Laser Technology Co ltd
Priority to CN202210901966.7A priority Critical patent/CN114972343B/zh
Publication of CN114972343A publication Critical patent/CN114972343A/zh
Application granted granted Critical
Publication of CN114972343B publication Critical patent/CN114972343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种激光焊接产品生产异常检测方法，属于图像处理技术领域；包括以下步骤：获取激光焊缝灰度图；获取每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值；获取准焊缝区域；获取灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点；获取待检测图像；通过对待检测图像边缘检测获取焊缝的纹理及边缘，并标记每道焊纹的两端端点，利用霍夫直线检测对焊缝两侧的端点进行检测对焊缝的异常进行判断。本发明在激光焊接产品的异常检测过程中首先对采集的图像进行自适应增强处理，大幅提高图像质量，为提高激光焊接异常实时检测系统的精度提供帮助。

Description

一种激光焊接产品生产异常检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种激光焊接产品生产异常检测方法。
背景技术
激光焊接技术与传统焊接技术相比，具有能量密度集中、残余应力和形变小、非接触式焊接、焊接效率高、焊接表面成形好等优点，广泛应用于电子零件、汽车制造、航空航天等装备制造业领域，当前新型电动车轻量化和电池的大量使用，也让激光焊接技术逐步涉及越来越多的铝合金焊接工艺中。
由于受到焊接工艺、环境等因素的影响，会使焊缝部位产生形变、不均匀、焊偏等缺陷。而焊接过程中异常自动检测系统的拍摄环境比较复杂，环境光不够稳定，且CCD相机实时采集过程中图像传感器也容易过热，而采集图像上的焊缝纹理不够清晰，借助异常自动检测系统对不够清晰的焊缝图像进行处理时，由于图像质量问题会对焊缝异常的实时检测结果造成较大影响。而现有技术中对焊缝图像的处理，仅仅是对焊缝图像整体的亮度进行自适应调整，并未对焊缝区域图像进行自适应调整，这样对于焊接异常自动检测系统也很难对图像中的焊缝区域进行识别，难以对焊缝的异常情况做出精准的判断，为此，为了能够获取清晰的焊缝纹理图像，并对焊缝的异常做出精准的评估，本发明提供了一种激光焊接产品生产异常检测方法。
发明内容
为了解决现有技术中的不足，本发明提供一种激光焊接产品生产异常检测方法，该方法在激光焊接产品的异常检测过程中首先对采集的图像进行自适应增强处理，大幅提高图像质量，为提高激光焊接异常实时检测系统的精度提供帮助。
本发明的目的是提供一种激光焊接产品生产异常检测方法，包括以下步骤：
获取激光焊缝灰度图；根据灰度图中每个像素点与其邻域像素点的灰度梯度，获取每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值；
根据每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值获取所有疑似焊缝像素点；将所有疑似焊缝像素点经K-means聚类算法获取多个聚簇；根据每个聚簇中像素点的数量及聚簇密度获取准焊缝区域；
获取准焊缝区域像素点的灰度区间；根据灰度区间内每个灰度级中像素点的数量，及准焊缝区域内像素点的总数，获取灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点；
根据灰度中值点及灰度区间的下限值和上限值，获取调节准焊缝区域增加或降低的灰度级级数；根据调节准焊缝区域增加或降低的灰度级级数对准焊缝区域进行自适应增强，同时对准焊缝区域以外的其他区域进行平滑处理，获取待检测图像；
通过对待检测图像边缘检测获取焊缝的纹理及边缘，并标记每道焊纹的两端端点，利用霍夫直线检测对焊缝两侧的端点进行检测对焊缝的异常进行判断。
在一实施例中，所述灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点，是将灰度区间内的像素点按灰度级由小到大的顺序对每个灰度级中像素点数量的累加和，等于准焊缝区域内像素点总数的一半时而获取的。
在一实施例中，所述调节准焊缝区域增加的灰度级级数是按照以下步骤获取：
当灰度区间的下限值小于第一预设阈值时，其所述调节准焊缝区域增加的灰度级级数计算公式如下：
Figure 863202DEST_PATH_IMAGE002
式中，
Figure DEST_PATH_IMAGE003
表示调节准焊缝区域增加的灰度级级数；
Figure 896886DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
分别表示灰度区间的下限值和上限值；
Figure 169736DEST_PATH_IMAGE006
表示灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点。
在一实施例中，所述对准焊缝区域进行自适应增强按照以下步骤进行：
当灰度区间的下限值小于第一预设阈值时，对准焊缝区域进行自适应增强的函数如下：
Figure 633078DEST_PATH_IMAGE008
式中，
Figure DEST_PATH_IMAGE009
表示输入准焊缝区域图像；
Figure 898843DEST_PATH_IMAGE010
表示输出准焊缝区域自适应增强图像；
Figure 68924DEST_PATH_IMAGE004
，
Figure 284312DEST_PATH_IMAGE005
分别表示灰度区间的下限值和上限值；
Figure 969371DEST_PATH_IMAGE003
表示调节准焊缝区域增加的灰度级级数。
在一实施例中，所述调节准焊缝区域降低的灰度级级数是按照以下步骤获取：
当灰度区间的上限值大于第二预设阈值时，其所述调节准焊缝区域降低的灰度级级数计算公式如下：
Figure 586298DEST_PATH_IMAGE012
式中，
Figure DEST_PATH_IMAGE013
表示调节准焊缝区域降低的灰度级级数；
Figure 125732DEST_PATH_IMAGE004
，
Figure 740384DEST_PATH_IMAGE005
分别表示灰度区间的下限值和上限值；
Figure 647160DEST_PATH_IMAGE006
表示灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点。
在一实施例中，所述对准焊缝区域进行自适应增强按照以下步骤进行：
当灰度区间的上限值大于第二预设阈值时，对准焊缝区域进行自适应增强的函数如下：
Figure DEST_PATH_IMAGE015
式中，
Figure 520307DEST_PATH_IMAGE009
表示输入准焊缝区域图像；
Figure 461718DEST_PATH_IMAGE010
表示输出准焊缝区域自适应增强图像；
Figure 778430DEST_PATH_IMAGE004
，
Figure 421770DEST_PATH_IMAGE005
分别表示灰度区间的下限值和上限值；
Figure 318182DEST_PATH_IMAGE013
表示调节准焊缝区域降低的灰度级级数。
在一实施例中，所述所有疑似焊缝像素点是按照以下步骤获取：
将每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值，记为
Figure 910837DEST_PATH_IMAGE016
；
根据每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值将所述灰度图中的像素点划分为第一类像素点和第二类像素点；当
Figure DEST_PATH_IMAGE017
时，将该像素点记为第一类像素点；当
Figure 322752DEST_PATH_IMAGE018
时，将该像素点记为第二类像素点；将第一类像素点记为疑似焊缝像素点。
在一实施例中，所述对焊缝的异常是按照以下步骤进行判断：
利用霍夫直线检测对焊缝两侧的端点进行检测分别获取焊缝区域两侧的边缘平直度：
当焊缝区域两侧边缘平直度均大于预设平直阈值时，则判断焊缝正常；
当焊缝区域任一侧边缘平直度小于预设平直阈值时，则判断焊缝异常。
本发明的有益效果是：
本发明提供的一种激光焊接产品生产异常检测方法，该方法基于焊缝和背景的纹理，通过对图像中每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值将疑似焊缝区域的像素点进行归类，再通过聚类算法获取准焊缝区域，随后根据准焊缝区域像素点的灰度区间进行分析对准焊缝区域进行自适应增强，同时对准焊缝区域以外的其他区域进行均值滤波平滑，让其高频的边缘信息得到削弱，让焊缝区域相对于背景区域，亮度更适宜，对比度也更明显，从而使得焊缝区域与背景区域之间需要足够大的对比度，焊缝区域内部需要呈现较好的对比度，大幅提高图像质量，为提高激光焊接异常实时检测系统的精度提供帮助。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种激光焊接产品生产异常检测方法的实施例总体步骤的流程示意图。
图2为采集的激光焊缝灰度图像。
图3为待检测灰度图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所针对的情景为：由于受到焊接工艺、环境等因素的影响，会使焊缝部位产生形变、不均匀、焊偏等缺陷。而焊接过程中异常自动检测系统的拍摄环境比较复杂，环境光不够稳定，且CCD相机实时采集过程中图像传感器也容易过热，因此图像质量问题会对焊缝异常的实时检测结果造成较大影响。基于此本发明提供一种激光焊接产品生产异常检测方法，在激光焊接产品的异常检测过程中首先对采集的图像进行自适应增强处理，大幅提高图像质量，为提高激光焊接异常实时检测系统的检测精度提供帮助。需要说明的是，本发明主要是针对合金铝板的焊缝进行异常检测。
本发明提供的一种激光焊接产品生产异常检测方法，参见图1所示，包括以下步骤：
S1、获取激光焊缝灰度图；
在本实施例中，在激光焊接过程中为了实时监测焊缝的焊接质量，一般采用具有光纤激光高功率以及同轴CCD显示和照明功能的透射聚焦焊接头，获取连续激光焊接焊缝表面成型的激光焊缝图像，便于对图像的处理，将激光焊缝图像进行灰度化处理获取激光焊缝灰度图。
需要说明的是，CCD相机的照明及补光系统在焊接过程中总会存在照明过高、过低的情况，导致所采集的焊缝图像边缘的对比度不够稳定，时而清晰，时而模糊。因此，要对采集的焊缝灰度图进行自适应增强，才能准确地识别出图像中焊缝的纹理。
为了对焊缝灰度图的自适应增强，则需要利用合金焊缝图像上焊缝区域和背景区域的不同纹理特征，来定位焊缝区域，并针对焊缝区域进行自适应增强，对背景区域进行平滑处理。
具体对图像的特征分析如下：
参见图2所示，焊缝周围的图像呈现出密集的竖纹，这是由于合金铝板的成型依靠削切、塑形而成，这些密集的竖纹，作为噪声干扰着焊缝边缘的分割和提取。而连续激光焊接焊缝表面的形状则是横向弧状纹理，根据横纹的变化，即可对焊缝边缘及表面的异常进行评价，但在不同环境光下拍摄的焊缝图像，其纹理特征不够明显。
在激光焊接过程中产生的弧光会间断性频闪，造成CCD相机拍摄的环境光忽明忽暗，相机补光不及时就会造成拍摄图像过暗。若是过暗的图像中，所有焊缝的边缘高频信息都会被严重削弱。补光过多又会造成图像过亮，无论过亮还是过暗，本质上来讲都是将原本的灰度梯度差距变小了，让高频信息难以表达，因此需要对采集到的图像进行亮度处理。
调整亮度的方法即将图像整体灰度级增高或减少，但灰度图像上最大仅有255个灰度级，如果对过暗图像的灰度级整体增高，可能会导致图像局部亮白，丢失图像信息。对过亮图像减少灰度值也一样存在局部过暗的问题。因此采用多段线形增强处理，以灰度区间来限制图像发生局部高亮，过暗的问题。
而调整亮度的过程中，对比度必然随之发生改变，如果仅仅根据灰度区间来分段进行亮度增强，在没有目标信息具体位置的情况下，又会导致无差别削弱部分原图像中的灰度梯度。那么就需要同时兼顾图像的亮度和对比度，罗列对图像的理想处理效果：（1）焊缝区域与背景区域之间需要足够大的对比度；（2）焊缝区域内部需要呈现较好的对比度；（3）背景区域呈现较低的对比度，越平滑越好。
通过上述分析，对其焊缝灰度图进行定位焊缝区域，并自适应增强，具体如下：
S2、根据灰度图中每个像素点与其邻域像素点的灰度梯度，获取每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值；根据每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值获取所有疑似焊缝像素点；
需要说明的是，对于焊缝区域，焊纹呈现密集的横向弧形边缘，背景区域呈现密集的竖状纹理。因此前者的灰度梯度几乎发生在竖直方向，后者的灰度梯度几乎发生在水平方向，尽管在未处理的图像上还不能获得准确的焊缝边缘梯度，但可以根据上述的梯度方向，来区分背景及焊缝区域。
在本实施例中，对灰度图上每个像素点计算其上下左右4邻域的灰度梯度，计算对比该像素点横向上的灰度梯度与纵向上的灰度梯度，孰高孰低。
则每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值计算公式如下：
Figure 656650DEST_PATH_IMAGE020
式中，
Figure 153490DEST_PATH_IMAGE016
表示第
Figure 272756DEST_PATH_IMAGE022
个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值；x，y分别代表第
Figure 446117DEST_PATH_IMAGE022
个像素点横、纵坐标；
Figure DEST_PATH_IMAGE023
表示指数函数；
Figure 486886DEST_PATH_IMAGE024
表示第
Figure 239947DEST_PATH_IMAGE022
个像素点的灰度值；
Figure DEST_PATH_IMAGE025
表示第
Figure 200337DEST_PATH_IMAGE022
个像素点的右邻域像素点的灰度值；
Figure 764174DEST_PATH_IMAGE026
表示第
Figure 620134DEST_PATH_IMAGE022
个像素点的左邻域像素点的灰度值；
Figure DEST_PATH_IMAGE027
表示第
Figure 911307DEST_PATH_IMAGE022
个像素点的上邻域像素点的灰度值；
Figure 739586DEST_PATH_IMAGE028
表示第
Figure 254750DEST_PATH_IMAGE022
个像素点的下邻域像素点的灰度值；
Figure DEST_PATH_IMAGE029
表示第
Figure 801269DEST_PATH_IMAGE022
个像素点与其右邻域像素点的灰度梯度；
Figure 709182DEST_PATH_IMAGE030
表示第
Figure 641235DEST_PATH_IMAGE022
个像素点与其左邻域像素点的灰度梯度；同理，
Figure DEST_PATH_IMAGE031
，
Figure 546874DEST_PATH_IMAGE032
分别表示第
Figure 629624DEST_PATH_IMAGE022
个像素点与其上邻域、下邻域像素点的灰度梯度。
Figure DEST_PATH_IMAGE033
表示第
Figure 13332DEST_PATH_IMAGE034
个像素点的横向综合灰度梯度；
Figure DEST_PATH_IMAGE035
表示第个像素点的纵向综合灰度梯度；
由于灰度梯度可能为0，也就是说分母可能为0，因此为了维护公式的严谨性，用指数函数对灰度梯度的取值进行矫正，
Figure DEST_PATH_IMAGE037
在0-1之间取值。
Figure DEST_PATH_IMAGE039
则表示第
Figure 393366DEST_PATH_IMAGE022
个像素点的横向综合灰度梯度与纵向综合灰度梯度求比值，因为第
Figure 1065DEST_PATH_IMAGE022
个像素点的横向、纵向相邻的像素点分别有两个，将各自方向上的两个灰度梯度平方后相加，再开根号，相当于进行了归一化处理。
横向相邻灰度梯度越大，分子
Figure 302602DEST_PATH_IMAGE040
越小，
Figure DEST_PATH_IMAGE041
同样也越小，因此
Figure 693264DEST_PATH_IMAGE016
为恢复公式正比例逻辑关系的计算。
在本实施例中，
Figure 676874DEST_PATH_IMAGE016
的值，或大于0小于1，或等于1，或大于1；因此，所述所有疑似焊缝像素点是按照以下步骤获取：
将每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值，记为
Figure 455474DEST_PATH_IMAGE016
；
根据每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值将所述灰度图中的像素点划分为第一类像素点和第二类像素点；当
Figure 198302DEST_PATH_IMAGE042
1时，将该像素点记为第一类像素点；当
Figure DEST_PATH_IMAGE043
1时，将该像素点记为第二类像素点；将第一类像素点记为疑似焊缝像素点。
需要说明的是，若
Figure 438659DEST_PATH_IMAGE044
，则表示第
Figure 12860DEST_PATH_IMAGE022
个像素点的横向灰度梯度小于纵向灰度梯度，其更多存在于焊缝区域。若
Figure 962362DEST_PATH_IMAGE018
，则表示第
Figure 972912DEST_PATH_IMAGE022
个像素点的横向灰度梯度大于纵向灰度梯度，其存在于背景竖纹区域的概率更高。若
Figure DEST_PATH_IMAGE045
，代表上下左右灰度梯度相同，像素周围为均匀区域，要么不存在灰度梯度，要么为孤立点。
综上所述，将
Figure 970955DEST_PATH_IMAGE016
值求得的结果，按大于1或小于1，分为不同的两类，
Figure 383351DEST_PATH_IMAGE044
时，该像素点为疑似焊缝像素点；当
Figure 769333DEST_PATH_IMAGE043
1时，将该像素点为第二类像素点，记为疑似背景像素点。
那么在图像上每个像素点都被分为了第一类像素点，第二类像素点，还有
Figure 283490DEST_PATH_IMAGE016
=1的像素点要么为孤立点，要么为无灰度梯度点，因此不做统计。
S3、将所有疑似焊缝像素点经K-means聚类算法获取多个聚簇；根据每个聚簇中像素点的数量及聚簇密度获取准焊缝区域；
需要说明的是，本实施例中采用的K-means聚类算法基于现有技术，在此不再赘述。
在本实施例中，由于所有的焊缝区域焊纹上的像素点几乎都是疑似焊缝像素点，焊缝区域处的疑似焊缝像素点极为集中，而背景区域中也会存在疑似焊缝像素点的聚簇，但是分布少，且离散。与焊缝区域的疑似焊缝像素点聚簇差异极大。因此，基于argmax函数从多个聚簇中获取最大的聚簇，进而获取准焊缝区域，具体如下：
Figure DEST_PATH_IMAGE047
式中，
Figure 868580DEST_PATH_IMAGE048
表示准焊缝区域，
Figure DEST_PATH_IMAGE049
表示第
Figure 355056DEST_PATH_IMAGE050
个聚簇中像素点的数量，
Figure DEST_PATH_IMAGE051
表示第
Figure 833311DEST_PATH_IMAGE050
个聚簇中聚簇密度；
Figure 569186DEST_PATH_IMAGE052
表示聚簇像素点数量和聚簇密度的乘积，用argmax函数选择
Figure 236928DEST_PATH_IMAGE052
取值最大的聚簇，认为该聚簇为准焊缝区域。该聚簇的边缘即得到的准焊缝区域的边界限，聚簇内的亮度、对比度增强程度，与聚簇外其他像素点不同。
S4、获取准焊缝区域像素点的灰度区间；根据灰度区间内每个灰度级中像素点的数量，及准焊缝区域内像素点的总数，获取灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点；
在本实施例中，通过统计准焊缝区域内所有像素点的灰度值，准焊缝区域内，除了疑似焊缝像素点存在灰度梯度的边缘像素点，还有不存在梯度的焊缝内部像素点，获得组成准焊缝区域的像素点的灰度区间，记为
Figure DEST_PATH_IMAGE053
，在本实施例中，只需对
Figure 92757DEST_PATH_IMAGE053
灰度区间整体的亮度和对比度进行自适应调整即可，剩余的灰度级降低对比度，使图像模糊即可。
所述灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点，是将灰度区间内的像素点按灰度级由小到大的顺序对每个灰度级中像素点数量的累加和，等于准焊缝区域内像素点总数的一半时而获取的；其计算公式如下：
Figure DEST_PATH_IMAGE055
式中，
Figure 289383DEST_PATH_IMAGE056
表示准焊缝区域内含有疑似焊缝像素点的所有灰度级中的任意灰度级；
Figure DEST_PATH_IMAGE057
表示第
Figure 965084DEST_PATH_IMAGE056
个灰度级的像素点的数量，
Figure 639779DEST_PATH_IMAGE058
表示准焊缝区域内像素点总数；
Figure DEST_PATH_IMAGE059
表示当累加值到达
Figure 353044DEST_PATH_IMAGE060
时，
Figure DEST_PATH_IMAGE061
，
Figure 454993DEST_PATH_IMAGE006
表示灰度中值点；
需要说明的是，
Figure 414727DEST_PATH_IMAGE053
区间内既包含边缘疑似焊缝像素点，又包含其他非边缘像素点，疑似焊缝像素点在区间内的分布不同，若大部分疑似焊缝像素点在区间内偏高，整体增加灰度值后，会使很多疑似焊缝像素点亮度过高；若大部分疑似焊缝像素点在区间内偏低，整体降低灰度值后，又会使很多疑似焊缝像素点灰度值过低；
类似灰度偏低、偏高的弱边缘疑似焊缝像素点调节过度的情况，需要先判断疑似焊缝像素点在
Figure 424272DEST_PATH_IMAGE053
区间内的位置，因此
Figure DEST_PATH_IMAGE063
在
Figure 739846DEST_PATH_IMAGE053
区间内的位置决定了
Figure 58701DEST_PATH_IMAGE053
整体的亮度值调节程度，即以
Figure 990885DEST_PATH_IMAGE006
点为中心整体调高或者调低
Figure 804120DEST_PATH_IMAGE053
区间的灰度值。这样可以保证疑似焊缝像素点调节程度适中，不会出现过调。
在本实施例中，具体调节实现为：
若图像整体过暗，则需要调高
Figure 36519DEST_PATH_IMAGE053
区间的灰度级，若
Figure 260695DEST_PATH_IMAGE006
的位置在
Figure 945755DEST_PATH_IMAGE053
中偏向左侧，则代表疑似焊缝像素点的灰度级整体偏低，需要多调高一点。若
Figure 297101DEST_PATH_IMAGE006
的位置在
Figure 118427DEST_PATH_IMAGE053
中偏向右侧，则少调高一点。
同理若图像整体偏亮，则调低
Figure 719697DEST_PATH_IMAGE053
区间的灰度级，
Figure 626473DEST_PATH_IMAGE006
的位置在
Figure 781511DEST_PATH_IMAGE053
中偏右，则多调低一点，偏左，则少调低一点。
为了实现对图像中焊缝区域的自适应增强调节，具体如下：
S5、根据灰度中值点及灰度区间的下限值和上限值，获取调节准焊缝区域增加或降低的灰度级级数；根据调节准焊缝区域增加或降低的灰度级级数对准焊缝区域进行自适应增强，同时对准焊缝区域以外的其他区域进行平滑处理，获取待检测图像；
在本实施例中，所述调节准焊缝区域增加的灰度级级数是按照以下步骤获取：
当灰度区间的下限值小于第一预设阈值时，其所述调节准焊缝区域增加的灰度级级数计算公式如下：
Figure DEST_PATH_IMAGE065
式中，
Figure 175452DEST_PATH_IMAGE003
表示调节准焊缝区域增加的灰度级级数；
Figure 23322DEST_PATH_IMAGE004
，
Figure 417395DEST_PATH_IMAGE005
分别表示灰度区间的下限值和上限值；
Figure 563074DEST_PATH_IMAGE006
表示灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点。
需要说明的是，当灰度区间的下限值小于第一预设阈值时，表示图像的亮度较低，也就是
Figure 358992DEST_PATH_IMAGE003
代表图像亮度较低，需要调高灰度级，则
Figure 377763DEST_PATH_IMAGE066
为
Figure 242820DEST_PATH_IMAGE053
区间可调高灰度级的最大级数，
Figure DEST_PATH_IMAGE067
则是判断
Figure 411764DEST_PATH_IMAGE063
的位置，越大，则
Figure 302667DEST_PATH_IMAGE067
的比值越大，代表
Figure 226761DEST_PATH_IMAGE063
位置偏左，需要多调高一些灰度级，
Figure 595425DEST_PATH_IMAGE068
，则是本次调节增加的灰度级级数。
所述对准焊缝区域进行自适应增强按照以下步骤进行：
当灰度区间的下限值小于第一预设阈值时，则准焊缝区域自适应增强的函数如下：
Figure 630377DEST_PATH_IMAGE070
式中，
Figure 384576DEST_PATH_IMAGE009
表示输入准焊缝区域图像；
Figure 745150DEST_PATH_IMAGE010
表示输出准焊缝区域自适应增强图像；
Figure 335531DEST_PATH_IMAGE004
，
Figure 174174DEST_PATH_IMAGE005
分别表示灰度区间的下限值和上限值；
Figure 48458DEST_PATH_IMAGE003
表示调节准焊缝区域增加的灰度级级数。需要说明的是，准焊缝区域自适应增强的函数是线性增强函数。
在本实施例中，所述调节准焊缝区域降低的灰度级级数是按照以下步骤获取：
当灰度区间的上限值大于第二预设阈值时，其所述调节准焊缝区域降低的灰度级级数计算公式如下：
Figure 517617DEST_PATH_IMAGE072
式中，
Figure 595294DEST_PATH_IMAGE013
表示调节准焊缝区域降低的灰度级级数；
Figure 221316DEST_PATH_IMAGE004
，
Figure 966418DEST_PATH_IMAGE005
分别表示灰度区间的下限值和上限值；
Figure 403216DEST_PATH_IMAGE006
表示灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点。
需要说明的是，当灰度区间的上限值大于第二预设阈值时，图像的亮度较高，也就是
Figure DEST_PATH_IMAGE073
，
Figure 892491DEST_PATH_IMAGE013
代表图像亮度较高，需要调低灰度级，则
Figure 869674DEST_PATH_IMAGE074
为
Figure 672545DEST_PATH_IMAGE053
区间可调低灰度级的最大级数，
Figure DEST_PATH_IMAGE075
则是判断
Figure 998353DEST_PATH_IMAGE063
的位置，越大，则
Figure 785043DEST_PATH_IMAGE075
的比值越大，代表
Figure 769180DEST_PATH_IMAGE063
位置偏右，需要多调低一些灰度级，
Figure 472562DEST_PATH_IMAGE076
，则是本次调节降低的灰度级级数。
所述对准焊缝区域进行自适应增强按照以下步骤进行：
当灰度区间的上限值大于第二预设阈值时，则准焊缝区域的自适应增强函数如下：
Figure 251163DEST_PATH_IMAGE078
式中，
Figure 790728DEST_PATH_IMAGE009
表示输入准焊缝区域图像；
Figure 312977DEST_PATH_IMAGE010
表示输出准焊缝区域自适应增强图像；
Figure 870866DEST_PATH_IMAGE004
，
Figure 820367DEST_PATH_IMAGE005
分别表示灰度区间的下限值和上限值；
Figure 847229DEST_PATH_IMAGE013
表示调节准焊缝区域降低的灰度级级数。
其中，
Figure 907589DEST_PATH_IMAGE010
表示的是获得焊缝区域像素点的线性增强函数，经过线性灰度变化，图像准焊缝区域亮度分量的线性范围从
Figure 791756DEST_PATH_IMAGE053
变化到了
Figure DEST_PATH_IMAGE079
，或者
Figure 381000DEST_PATH_IMAGE080
；
至此，完成了对准焊缝区域的自适应增强。需要说明的是，第一预设阈值和第二预设阈值时根据采集的图像的亮度根据实际情况进行设定。
另外，对于准焊缝区域以外的其他区域，则认为其是背景区域，不进行任何增强处理，但是图像上的干扰信息过多，所有干扰焊缝区域检测的因素均为噪声，包括这些背景上的竖纹，那么对这些区域进行均值滤波平滑，让其高频的边缘信息得到削弱，这样一来，焊缝区域相对于背景区域，亮度更适宜，对比度也更明显。从而得到处理后的待检测图像，参见图3所示，其中，待检测图像是灰度图，即为待检测灰度图像。
S6、通过对待检测图像边缘检测获取焊缝的纹理及边缘，并标记每道焊纹的两端端点，利用霍夫直线检测对焊缝两侧的端点进行检测对焊缝的异常进行判断。
所述对焊缝的异常是按照以下步骤进行判断：
利用霍夫直线检测对焊缝两侧的端点进行检测分别获取焊缝区域两侧的边缘平直度：
当焊缝区域两侧边缘平直度均大于预设平直阈值时，则判断焊缝正常；
当焊缝区域任一侧边缘平直度小于预设平直阈值时，则判断焊缝异常。其中，预设平直阈值根据焊缝的实际情况进行设定。另外，焊缝边缘异常包括平直度不够，边缘弯曲、凹陷、咬边，或者宽窄度不一，这些都可以简单通过焊缝边缘点进行特征提取，进行判断。
综上，本发明提供的一种激光焊接产品生产异常检测方法，该方法基于焊缝和背景的纹理，通过对图像中每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值将疑似焊缝区域的像素点进行归类，再通过聚类算法获取准焊缝区域，随后根据准焊缝区域像素点的灰度区间进行分析对准焊缝区域进行自适应增强，同时对准焊缝区域以外的其他区域进行均值滤波平滑，让其高频的边缘信息得到削弱，让焊缝区域相对于背景区域，亮度更适宜，对比度也更明显，从而使得焊缝区域与背景区域之间需要足够大的对比度，焊缝区域内部需要呈现较好的对比度，大幅提高图像质量，为提高激光焊接异常实时检测系统的精度提供帮助。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种激光焊接产品生产异常检测方法，其特征在于，包括以下步骤：
获取激光焊缝灰度图；根据灰度图中每个像素点与其邻域像素点的灰度梯度，获取每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值；
根据每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值获取所有疑似焊缝像素点；将所有疑似焊缝像素点经K-means聚类算法获取多个聚簇；根据每个聚簇中像素点的数量及聚簇密度获取准焊缝区域；
获取准焊缝区域像素点的灰度区间；根据灰度区间内每个灰度级中像素点的数量，及准焊缝区域内像素点的总数，获取灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点；
根据灰度中值点及灰度区间的下限值和上限值，获取调节准焊缝区域增加或降低的灰度级级数；根据调节准焊缝区域增加或降低的灰度级级数对准焊缝区域进行自适应增强，同时对准焊缝区域以外的其他区域进行平滑处理，获取待检测图像；
通过对待检测图像边缘检测获取焊缝的纹理及边缘，并标记每道焊纹的两端端点，利用霍夫直线检测对焊缝两侧的端点进行检测对焊缝的异常进行判断。
2.根据权利要求1所述的一种激光焊接产品生产异常检测方法，其特征在于，所述灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点，是将灰度区间内的像素点按灰度级由小到大的顺序对每个灰度级中像素点数量的累加和，等于准焊缝区域内像素点总数的一半时而获取的。
3.根据权利要求2所述的一种激光焊接产品生产异常检测方法，其特征在于，所述调节准焊缝区域增加的灰度级级数是按照以下步骤获取：
当灰度区间的下限值小于第一预设阈值时，其所述调节准焊缝区域增加的灰度级级数计算公式如下：
Figure 261430DEST_PATH_IMAGE001
式中，
Figure 843590DEST_PATH_IMAGE002
表示调节准焊缝区域增加的灰度级级数；
Figure 595645DEST_PATH_IMAGE003
，
Figure 342409DEST_PATH_IMAGE004
分别表示灰度区间的下限值和上限值；
Figure 547125DEST_PATH_IMAGE005
表示灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点。
4.根据权利要求3所述的一种激光焊接产品生产异常检测方法，其特征在于，所述对准焊缝区域进行自适应增强按照以下步骤进行：
当灰度区间的下限值小于第一预设阈值时，对准焊缝区域进行自适应增强的函数如下：
Figure 480446DEST_PATH_IMAGE006
式中，
Figure 867434DEST_PATH_IMAGE007
表示输入准焊缝区域图像；
Figure 329640DEST_PATH_IMAGE008
表示输出准焊缝区域自适应增强图像；
Figure 552810DEST_PATH_IMAGE003
，
Figure 24243DEST_PATH_IMAGE004
分别表示灰度区间的下限值和上限值；
Figure 265737DEST_PATH_IMAGE009
表示调节准焊缝区域增加的灰度级级数。
5.根据权利要求2所述的一种激光焊接产品生产异常检测方法，其特征在于，所述调节准焊缝区域降低的灰度级级数是按照以下步骤获取：
当灰度区间的上限值大于第二预设阈值时，其所述调节准焊缝区域降低的灰度级级数计算公式如下：
Figure 898844DEST_PATH_IMAGE010
式中，
Figure 812573DEST_PATH_IMAGE011
表示调节准焊缝区域降低的灰度级级数；
Figure 71385DEST_PATH_IMAGE003
，
Figure 918119DEST_PATH_IMAGE004
分别表示灰度区间的下限值和上限值；
Figure 987706DEST_PATH_IMAGE005
表示灰度区间中含有疑似焊缝像素点的所有灰度级的灰度中值点。
6.根据权利要求5所述的一种激光焊接产品生产异常检测方法，其特征在于，所述对准焊缝区域进行自适应增强按照以下步骤进行：
当灰度区间的上限值大于第二预设阈值时，对准焊缝区域进行自适应增强的函数如下：
Figure 919890DEST_PATH_IMAGE012
式中，
Figure 997041DEST_PATH_IMAGE013
表示输入准焊缝区域图像；
Figure 698281DEST_PATH_IMAGE014
表示输出准焊缝区域自适应增强图像；
Figure 204348DEST_PATH_IMAGE003
，
Figure 623828DEST_PATH_IMAGE004
分别表示灰度区间的下限值和上限值；
Figure 224443DEST_PATH_IMAGE011
表示调节准焊缝区域降低的灰度级级数。
7.根据权利要求1所述的一种激光焊接产品生产异常检测方法，其特征在于，所述所有疑似焊缝像素点是按照以下步骤获取：
将每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值，记为
Figure 249031DEST_PATH_IMAGE015
；
根据每个像素点的横向综合灰度梯度与纵向综合灰度梯度的比值将所述灰度图中的像素点划分为第一类像素点和第二类像素点；当
Figure 660421DEST_PATH_IMAGE016
时，将该像素点记为第一类像素点；当时，将该像素点记为第二类像素点；将第一类像素点记为疑似焊缝像素点。
8.根据权利要求1所述的一种激光焊接产品生产异常检测方法，其特征在于，所述对焊缝的异常是按照以下步骤进行判断：
利用霍夫直线检测对焊缝两侧的端点进行检测分别获取焊缝区域两侧的边缘平直度：
当焊缝区域两侧边缘平直度均大于预设平直阈值时，则判断焊缝正常；
当焊缝区域任一侧边缘平直度小于预设平直阈值时，则判断焊缝异常。
CN202210901966.7A 2022-07-29 2022-07-29 一种激光焊接产品生产异常检测方法 Active CN114972343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210901966.7A CN114972343B (zh) 2022-07-29 2022-07-29 一种激光焊接产品生产异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210901966.7A CN114972343B (zh) 2022-07-29 2022-07-29 一种激光焊接产品生产异常检测方法

Publications (2)

Publication Number Publication Date
CN114972343A true CN114972343A (zh) 2022-08-30
CN114972343B CN114972343B (zh) 2022-10-25

Family

ID=82969196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210901966.7A Active CN114972343B (zh) 2022-07-29 2022-07-29 一种激光焊接产品生产异常检测方法

Country Status (1)

Country Link
CN (1) CN114972343B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205165A (zh) * 2022-09-16 2022-10-18 山东联博新材料科技有限公司 用于工业机械外壳的防腐材料喷涂方法
CN115229355A (zh) * 2022-09-22 2022-10-25 江苏双赢锻压机床有限公司 高精密冲压锻件用激光切割方法
CN115311291A (zh) * 2022-10-12 2022-11-08 南通虎神金属制品有限公司 用于孔洞加工的孔洞堵塞的清洗方法
CN115375588A (zh) * 2022-10-25 2022-11-22 山东旗胜电气股份有限公司 基于红外成像的电网变压器故障识别方法
CN115511833A (zh) * 2022-09-28 2022-12-23 广东百能家居有限公司 一种玻璃表面划痕检测系统
CN116091499A (zh) * 2023-04-07 2023-05-09 山东中胜涂料有限公司 一种涂料生产异常识别系统
CN116805317A (zh) * 2023-08-28 2023-09-26 苏州科尔珀恩机械科技有限公司 基于人工智能的回转炉内壁缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014238789A (ja) * 2013-06-10 2014-12-18 独立行政法人国立高等専門学校機構 画像処理プログラム、画像処理方法及び画像処理装置
CN104616264A (zh) * 2015-02-12 2015-05-13 厦门大学 基因芯片图像的自动对比度增强方法
CN105741245A (zh) * 2016-01-30 2016-07-06 哈尔滨工业大学 基于灰度变换的自适应对比度增强算法
CN111429372A (zh) * 2020-03-24 2020-07-17 杭州趣维科技有限公司 一种增强低对比度图像边缘检测效果的方法
CN112819802A (zh) * 2021-02-09 2021-05-18 东北大学 基于风口信息深度学习的监督及预测高炉炉况异常的方法
CN114723701A (zh) * 2022-03-31 2022-07-08 南通博莹机械铸造有限公司 基于计算机视觉的齿轮缺陷检测方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014238789A (ja) * 2013-06-10 2014-12-18 独立行政法人国立高等専門学校機構 画像処理プログラム、画像処理方法及び画像処理装置
CN104616264A (zh) * 2015-02-12 2015-05-13 厦门大学 基因芯片图像的自动对比度增强方法
CN105741245A (zh) * 2016-01-30 2016-07-06 哈尔滨工业大学 基于灰度变换的自适应对比度增强算法
CN111429372A (zh) * 2020-03-24 2020-07-17 杭州趣维科技有限公司 一种增强低对比度图像边缘检测效果的方法
CN112819802A (zh) * 2021-02-09 2021-05-18 东北大学 基于风口信息深度学习的监督及预测高炉炉况异常的方法
CN114723701A (zh) * 2022-03-31 2022-07-08 南通博莹机械铸造有限公司 基于计算机视觉的齿轮缺陷检测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J.C. JAYASUDHA等: ""Weld defect segmentation and feature extraction from the acquired phased array scan images"", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
邵家鑫等: ""基于X射线数字化图像处理的双面焊焊缝缺陷检测"", 《焊接学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205165A (zh) * 2022-09-16 2022-10-18 山东联博新材料科技有限公司 用于工业机械外壳的防腐材料喷涂方法
CN115229355A (zh) * 2022-09-22 2022-10-25 江苏双赢锻压机床有限公司 高精密冲压锻件用激光切割方法
CN115229355B (zh) * 2022-09-22 2022-12-13 江苏双赢锻压机床有限公司 高精密冲压锻件用激光焊接方法
CN115511833A (zh) * 2022-09-28 2022-12-23 广东百能家居有限公司 一种玻璃表面划痕检测系统
CN115511833B (zh) * 2022-09-28 2023-06-27 广东百能家居有限公司 一种玻璃表面划痕检测系统
CN115311291A (zh) * 2022-10-12 2022-11-08 南通虎神金属制品有限公司 用于孔洞加工的孔洞堵塞的清洗方法
CN115375588A (zh) * 2022-10-25 2022-11-22 山东旗胜电气股份有限公司 基于红外成像的电网变压器故障识别方法
CN115375588B (zh) * 2022-10-25 2023-02-07 山东旗胜电气股份有限公司 基于红外成像的电网变压器故障识别方法
CN116091499A (zh) * 2023-04-07 2023-05-09 山东中胜涂料有限公司 一种涂料生产异常识别系统
CN116805317A (zh) * 2023-08-28 2023-09-26 苏州科尔珀恩机械科技有限公司 基于人工智能的回转炉内壁缺陷检测方法
CN116805317B (zh) * 2023-08-28 2023-11-14 苏州科尔珀恩机械科技有限公司 基于人工智能的回转炉内壁缺陷检测方法

Also Published As

Publication number Publication date
CN114972343B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN114972343B (zh) 一种激光焊接产品生产异常检测方法
CN116721106B (zh) 一种基于图像处理的型材瑕疵视觉检测方法
CN113409313B (zh) 基于计算机视觉的车轮焊缝表面缺陷检测方法
CN115272316B (zh) 基于计算机视觉的电池盖焊接质量智能检测方法
CN115115644B (zh) 一种基于人工智能的车辆焊接缺陷检测方法
CN114723701A (zh) 基于计算机视觉的齿轮缺陷检测方法和系统
CN109682839B (zh) 一种金属弧形工件表面缺陷在线检测方法
CN115511889B (zh) 一种太阳能电池板支架表面焊接缺陷检测方法
CN115601362B (zh) 一种基于图像处理的焊接质量评估方法
CN114820773B (zh) 基于计算机视觉的筒仓运输车辆车厢位置检测方法
CN106780486A (zh) 一种钢板表面缺陷图像提取方法
CN115797354B (zh) 用于检测激光焊接焊缝外观缺陷的方法
CN115330645B (zh) 一种焊接图像增强方法
CN117095004B (zh) 基于计算机视觉的挖掘机行走架主体焊接变形检测方法
CN116990323B (zh) 一种高精密印刷版视觉检测系统
CN114881915A (zh) 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法
CN115131359B (zh) 一种金属加工件表面麻点缺陷检测方法
CN108898132A (zh) 一种基于形状上下文描述的太赫兹图像危险品识别方法
CN115861320A (zh) 一种汽车零件加工信息智能检测方法
CN116630813A (zh) 一种公路路面施工质量智能检测系统
CN115239728A (zh) 一种消防器材识别方法
CN115797361B (zh) 一种铝模板表面缺陷检测方法
CN115213563B (zh) 激光智能焊接方法及系统
CN114821512B (zh) 一种基于计算机视觉的工作路面异常检测及路径优化方法
CN111192280A (zh) 一种基于局部特征的视盘边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant