CN117078688B - 一种用于强磁钕铁硼磁体的表面缺陷识别方法 - Google Patents

一种用于强磁钕铁硼磁体的表面缺陷识别方法 Download PDF

Info

Publication number
CN117078688B
CN117078688B CN202311341113.3A CN202311341113A CN117078688B CN 117078688 B CN117078688 B CN 117078688B CN 202311341113 A CN202311341113 A CN 202311341113A CN 117078688 B CN117078688 B CN 117078688B
Authority
CN
China
Prior art keywords
pixel point
pixel
determined
gray
gray level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311341113.3A
Other languages
English (en)
Other versions
CN117078688A (zh
Inventor
丁同梅
李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Pulong Magnetoelectric Co ltd
Original Assignee
Jiangsu Pulong Magnetoelectric Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Pulong Magnetoelectric Co ltd filed Critical Jiangsu Pulong Magnetoelectric Co ltd
Priority to CN202311341113.3A priority Critical patent/CN117078688B/zh
Publication of CN117078688A publication Critical patent/CN117078688A/zh
Application granted granted Critical
Publication of CN117078688B publication Critical patent/CN117078688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据处理技术领域,具体涉及一种用于强磁钕铁硼磁体的表面缺陷识别方法,该方法通过采用可见光电子设备对待检测磁体的表面图像进行识别,获取表面灰度图像,并对该表面灰度图像进行相应的数据处理,从而确定待检测磁体的表面缺陷区域。本发明所提供的方法通过图像识别的方式,进行相应的数据识别和处理,从而确定待检测磁体的表面缺陷区域,有效解决了现有由于高灰度差异的噪声像素点的影响,导致磁体表面缺陷检测不够准确的问题。

Description

一种用于强磁钕铁硼磁体的表面缺陷识别方法
技术领域
本发明涉及数据处理技术领域,具体涉及一种用于强磁钕铁硼磁体的表面缺陷识别方法。
背景技术
钕铁硼磁体在经过电镀过程之后,如果在其表面存在缺陷,就会使得钕铁硼磁体的磁性下降,如果缺陷严重则会使得钕铁硼磁体的使用寿命严重下降。所以在钕铁硼磁体的生产过程中需要对钕铁硼磁体的表面进行缺陷检测。
传统的钕铁硼磁体表面缺陷检测为人工目测,但是随着自动化生产线速度的快速提升,人眼检测渐渐无法跟得上生产线速度,经常出现漏检错检现象。随着计算机视觉的发展,基于图像数据处理的表面缺陷检测技术被逐渐应用到钕铁硼磁体表面缺陷检测中。通过CCD相机获取生产过程中传送带上的钕铁硼磁体的表面图像,并对该表面图像进行数据处理,提取其中的异常区域,然后再进行具体的缺陷种类识别。但是由于通过CCD相机获取的钕铁硼磁体表面图像中会存在很多的噪声点,不仅会存在灰度差异小的噪声像素点,而且因为磁体表面电镀之后不光滑的原因,磁体表面图像中还会存在高灰度差异的噪声像素点,而在采用现有的方法对表面图像进行数据处理时,通常难以规避掉这些高灰度差异的噪声像素点的影响,从而导致无法准确提取出钕铁硼磁体表面的异常区域,最终致使钕铁硼磁体表面缺陷检测不够准确。
发明内容
本发明的目的在于提供一种用于强磁钕铁硼磁体的表面缺陷识别方法,用于解决现有无法准确提取出钕铁硼磁体表面的异常区域,导致钕铁硼磁体表面缺陷检测不够准确的问题。
为解决上述技术问题,本发明提供了一种用于强磁钕铁硼磁体的表面缺陷识别方法,包括以下步骤:
通过图像电子设备识别得到待检测磁体的表面灰度图像,对表面灰度图像进行数据处理,从而得到各个像素块;
对各个像素块进行数据处理,根据每个像素块中每个像素点及其各个邻域像素点分别与待确定的各个聚类中心的灰度值的差值绝对值,每个像素点及其各个邻域像素点分别相对待确定的各个聚类中心的隶属度,确定每个像素块中每个像素点的邻域灰度差异,并根据各个像素块中各个像素点的邻域灰度差异,确定各个像素块的灰度抑制因子;
对表面灰度图像进行数据处理,根据表面灰度图像中每个像素点所在的像素块的灰度抑制因子、每个像素点的各个邻域像素点相对待确定的各个聚类中心的隶属度,每个像素点与其各个邻域像素点的欧式距离、每个像素点的各个邻域像素点与待确定的各个聚类中心的灰度值的差值绝对值,计算表面灰度图像中每个像素点相对待确定的各个聚类中心的隶属度影响因子;
根据表面灰度图像中每个像素点相对待确定的各个聚类中心的隶属度影响因子、每个像素点相对待确定的各个聚类中心的隶属度、每个像素点所在像素块的灰度抑制因子、每个像素点的灰度值以及待确定的各个聚类中心的灰度值,确定目标聚类函数;
对目标聚类函数进行求解,从而确定各个聚类中心以及表面灰度图像中每个像素点相对各个聚类中心的隶属度,进而确定表面灰度图像中的各个聚类类别区域;
从表面灰度图像中的各个聚类类别区域中筛选出目标类别区域,根据目标类别区域确定缺陷区域。
进一步的,确定每个像素块中每个像素点的邻域灰度差异,包括:
根据每个像素块中每个像素点及其各个邻域像素点分别与待确定的各个聚类中心的灰度值的差值绝对值,每个像素点及其各个邻域像素点分别相对待确定的各个聚类中心的隶属度,确定每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值;
根据每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值,确定每个像素块中每个像素点的邻域灰度差异。
进一步的,确定每个像素块中每个像素点与其每个邻域像素点相对每待确定的每个聚类中心的灰度差值,包括:
计算每个像素块中每个像素点及其各个邻域像素点分别与待确定的每个聚类中心的灰度值的差值绝对值的平方;
计算每个像素块中每个像素点相对待确定的每个聚类中心的隶属度与该像素点与待确定的该聚类中心的灰度值的差值绝对值的平方的乘积,并计算每个像素块中每个像素点的每个邻域像素点相对待确定的每个聚类中心的隶属度与该邻域像素点与待确定的该聚类中心的灰度值的差值绝对值的平方的乘积;
将每个像素块中每个像素点相对待确定的每个聚类中心对应的乘积与该像素点的每个邻域像素点相对待确定的该聚类中心对应的乘积的差值,确定为每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值。
进一步的,确定每个像素块中每个像素点的邻域灰度差异,包括:
计算每个像素块中每个像素点与各个邻域像素点相对待确定的每个聚类中心的灰度差值的均值的绝对值,从而得到每个像素块中每个像素点相对待确定的每个聚类中心的灰度差值均值绝对值;
计算每个像素块中每个像素点相对待确定的各个聚类中心的灰度差值均值绝对值的均值,从而得到每个像素块中每个像素点的邻域灰度差异。
进一步的,确定表面灰度图像中每个像素块的灰度抑制因子,包括:
对每个像素块中各个像素点的邻域灰度差异进行统计,确定每个像素块中同一邻域灰度差异在该像素块中出现的频率值,并根据不同邻域灰度差异所对应的频率值,计算每个像素块的整体差异混乱程度;
对每个像素块的整体差异混乱程度进行归一化处理,并将归一化处理后的整体差异混乱程度作为对应像素块的灰度抑制因子。
进一步的,计算表面灰度图像中每个像素点相对待确定的各个聚类中心的隶属度影响因子对应的计算公式为:其中,为表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度影响因子,/>为表面灰度图像中第j个像素点所在的第i个像素块的灰度抑制因子,/>为表面灰度图像中第j个像素点的第/>个邻域像素点相对待确定的第k个聚类中心的隶属度,/>为表面灰度图像中第j个像素点与第/>个邻域像素点的欧式距离,/>为表面灰度图像中第j个像素点的第/>个邻域像素点的灰度值,/>为待确定的第k个聚类中心的灰度值,Q为表面灰度图像中第j个像素点的邻域像素点的数目,m为模糊加权指数,/>为取绝对值。
进一步的,目标聚类函数对应的计算公式为:其中,/>为目标聚类函数,/>为表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度,/>为表面灰度图像中第j个像素点所在的第i个像素块的灰度抑制因子,/>为表面灰度图像中第j个像素点的灰度值,/>为待确定的第k个聚类中心的灰度值,/>为表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度影响因子,c为待确定的聚类中心的数目,N为表面灰度图像中像素点的数目,m为模糊加权指数。
进一步的,对目标聚类函数进行求解,从而确定各个聚类中心以及表面灰度图像中每个像素点相对各个聚类中心的隶属度,包括:
根据目标聚类函数,确定待确定的每个聚类中心的更新表达式和表面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度的更新表达式;
初始化待确定的每个聚类中心或者面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度;
利用待确定的每个聚类中心的更新表达式和表面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度的更新表达式,不断更新待确定的每个聚类中心和表面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度,直至满足迭代停止条件,从而得到最终的各个聚类中心以及表面灰度图像中每个像素点相对各个聚类中心的隶属度。
进一步的,从表面灰度图像中的各个聚类类别区域中筛选出目标类别区域,包括:
从表面灰度图像中的各个聚类类别区域中筛选出包含有轮廓区域像素点的聚类类别区域,并将包含有轮廓区域像素点的聚类类别区域确定为目标类别区域。
进一步的,根据目标类别区域确定缺陷区域,包括:
将目标类别区域中的轮廓区域像素点去除,去除轮廓区域像素点后的目标类别区域即为缺陷区域。
本发明具有如下有益效果:本发明采用可见光电子设备对待检测磁体的表面图像进行识别,获取表面灰度图像,并对该表面灰度图像进行相应的数据处理,从而确定待检测磁体的表面缺陷区域。具体的,在对表面灰度图像进行相应的数据处理时,首先获取各个像素块,由于单个像素块中的像素点的灰度比较接近,这样就便于后续根据像素块内的像素点灰度分布信息确定是否需要在聚类过程中对其中的像素点进行灰度值信息的抑制。然后对像素块内像素点与其各个邻域像素点的邻域灰度差异进行评估,根据邻域灰度差异的分布情况得到灰度抑制因子,并利用该灰度抑制因子对现有的隶属度影响因子进行调整。在聚类过程中,利用该灰度抑制因子对邻域灰度差异较大的像素块中像素点的灰度信息进行抑制,这样可以使得灰度差异较大的磁体表面非异常区域通过空间信息被划分为一类,从而消除了非异常区域内灰度差异大的噪声像素点的影响,将磁体表面的灰度差异大的非异常区域被正确分割,有效提高了磁体表面缺陷检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例的用于强磁钕铁硼磁体的表面缺陷识别方法的流程图;
图2为本发明实施例的带有砂眼表面缺陷的钕铁硼磁体的表面灰度图像的示意图;
图3为本发明实施例的与八邻域像素点与中心像素点的灰度值分布示意图;
图4为本发明实施例的与八邻域像素点与中心像素点的灰度差异对比示意图;
图5为本发明实施例的表面灰度图像分割成500个超像素块的分割效果示意图。
实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
针对现有由于高灰度差异的噪声像素点的影响,导致无法准确提取出强磁钕铁硼磁体表面的异常区域,最终致使强磁钕铁硼磁体表面缺陷检测不够准确的问题,本实施例提供了一种用于强磁钕铁硼磁体的表面缺陷识别方法。该方法通过超像素分割进行区域划分以判断像素点与其邻域像素点的灰度差异的分布信息,然后通过每个超像素块中像素点与其邻域像素点的灰度差异的分布信息确定每个超像素块的灰度抑制因子,并在聚类迭代过程中对于磁体表面的灰度差异较大的非异常区域通过灰度抑制因子抑制其隶属度中的灰度值影响,使得这些像素点可以正确地被分割为磁体表面的异常区域与非异常区域,有效提高了钕铁硼磁体表面异常区域的提取准确性。
具体的,该用于强磁钕铁硼磁体的表面缺陷识别方法对应的流程图如图1所示,包括以下步骤:
步骤S1:通过图像电子设备识别得到待检测磁体的表面灰度图像,对表面灰度图像进行数据处理,从而得到各个像素块。
在强磁钕铁硼磁体的生产过程中,当强磁钕铁硼磁体的表面经过电镀之后,通过在传送带的上方架设CCD相机,采用该CCD相机对钕铁硼磁体的表面图像进行采集,并将采集后的表面图像进行灰度化处理,从而得到钕铁硼磁体的表面灰度图像。图2示出了一个带有砂眼表面缺陷的钕铁硼磁体的表面灰度图像。
考虑到模糊局部信息c均值聚类算法(Fuzzy Local Information C-MeansClustering Algorithm , FLICM)可以进行固定簇类数量的聚类分割,能够通过局部空间信息与局部灰度信息规避图像中噪声的影响,因此可以采用FLICM聚类方法对强磁钕铁硼磁体的表面灰度图像进行区域分割。但是,在传统的FLICM聚类方法的聚类过程中,通过隶属度影响因子保留像素点在规定区域内的局部灰度信息与局部空间(像素点之间的距离)信息。隶属度影响因子中包含的是像素点在规定区域内的紧邻像素点灰度值信息与该紧邻像素点与中心像素点的距离信息,放在强磁钕铁硼磁体表面图像中,也就是会考虑到如图3所示的每个像素点的八邻域信息。但是在强磁钕铁硼磁体表面图像中还存在如图4所示的两个方框的灰度差异情况,这两个方框区域都属于非异常区域,但是因为灰度值差异大,此时直接使用FLICM聚类方法将会将这两个方框区域划分为不同簇类。考虑到FLICM聚类方法中的隶属度影响因子中包含了像素点的灰度信息,当图像中某个区域中像素点的灰度信息的混乱程度越高,则说明这个区域中的像素点在不是异常的情况下应该被划分为同一簇类,那么在这个时候就需要灰度抑制因子对聚类过程中隶属度影响因子的灰度信息影响进行抑制,以保证这些高灰度值差异的像素点会被划分为同一簇类。
基于上述分析,为了获取灰度抑制因子,并以此优化FLICM聚类方法的聚类过程,本实施例利用简单线性迭代聚类算法(Simple Linear Iterative Clustering, SLIC)对表面灰度图像进行超像素分割处理,从而获得各个超像素块,这些超像素块即为衡量像素点的灰度分布信息的区域。由于利用SLIC算法对图像进行超像素块分割的具体过程属于现有技术,此处不再赘述。
通过将图像分块来衡量一个区域中像素点的灰度信息的分布信息,在超像素分割中,因为SLIC算法的分割过程会将梯度高的像素点包含在一个超像素块中,并且一个超像素块中的像素点会有灰度值相近的特点,这样就使得每个超像素块中的像素点灰度值的分布可以体现出对于单个超像素块是否需要在聚类过程中对其中的像素点进行灰度值信息的抑制。SLIC算法符合对于衡量像素点分布信息的区域分割要求,并且SLIC算法计算速度快,不会影响整体的区域分割速度。在利用SLIC算法在进行超像素块分割时,需要设定像素块的数量这一个参数。由于在量产的强磁钕铁硼磁体的生产线中,同一批次生产的磁铁形状是相同的,所以根据强磁钕铁硼磁体在生产过程中图像很相似这一特点,使用同一个像素块数量即可,本实施例设置像素块的数量为500,图5给出了一个将强磁钕铁硼磁体的表面灰度图像分割成500个超像素块的分割效果。
步骤S2:对各个像素块进行数据处理,根据每个像素块中每个像素点及其各个邻域像素点分别与待确定的各个聚类中心的灰度值的差值绝对值,每个像素点及其各个邻域像素点分别相对待确定的各个聚类中心的隶属度,计算每个像素块中每个像素点的邻域灰度差异,并根据各个像素块中各个像素点的邻域灰度差异,确定各个像素块的灰度抑制因子。
在划分出的超像素块中,如果直接根据像素点的灰度值进行混乱程度的确定,因为表面灰度图像中的异常区域或是磁体轮廓区域中都会存在微弱的灰度值差异,那么每个超像素块中灰度值的混乱程度都会比较大,这样就难以区分超像素块中灰度值混乱程度的差异。
在现有FLICM聚类方法的隶属度影响因子中,包括了每个像素点的八邻域像素点的隶属度信息以及八邻域像素点到其中心点的欧式距离,在隶属度信息与距离信息的共同作用下,对邻域像素点到簇类中心点的灰度距离进行加权。由于每个像素点的隶属度影响因子都是由其八邻域像素点共同作用获得,那么通过像素点和聚类中心的实际距离与邻域像素点和聚类中心的建议距离的差异的混乱程度,就可以更高置信程度地表征超像素块中像素点灰度信息造成的分类混乱趋势。
基于上述分析,根据每个像素块中每个像素点及其各个邻域像素点分别与待确定的各个聚类中心的灰度值的差值绝对值,每个像素点及其各个邻域像素点分别相对待确定的各个聚类中心的隶属度,确定每个像素块中每个像素点的邻域灰度差异,以衡量像素点和聚类中心的实际距离与像素点的邻域像素点和聚类中心的建议距离的差异情况,实现过程包括:
根据每个像素块中每个像素点及其各个邻域像素点分别与待确定的各个聚类中心的灰度值的差值绝对值,每个像素点及其各个邻域像素点分别相对待确定的各个聚类中心的隶属度,确定每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值;
根据每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值,确定每个像素块中每个像素点的邻域灰度差异。
其中,确定每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值,实现过程包括:
计算每个像素块中每个像素点及其各个邻域像素点分别与待确定的每个聚类中心的灰度值的差值绝对值的平方;
计算每个像素块中每个像素点相对待确定的每个聚类中心的隶属度与该像素点与待确定的该聚类中心的灰度值的差值绝对值的平方的乘积,并计算每个像素块中每个像素点的每个邻域像素点相对待确定的每个聚类中心的隶属度与该邻域像素点与待确定的该聚类中心的灰度值的差值绝对值的平方的乘积;
将每个像素块中每个像素点相对待确定的每个聚类中心对应的乘积与该像素点的每个邻域像素点相对待确定的该聚类中心对应的乘积的差值,确定为每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值。
其中,确定每个像素块中每个像素点的邻域灰度差异,实现过程包括:
计算每个像素块中每个像素点与各个邻域像素点相对待确定的每个聚类中心的灰度差值的均值的绝对值,从而得到每个像素块中每个像素点相对待确定的每个聚类中心的灰度差值均值绝对值;
计算每个像素块中每个像素点相对待确定的各个聚类中心的灰度差值均值绝对值的均值,从而得到每个像素块中每个像素点的邻域灰度差异。
具体的,根据每个超像素块中每个像素点及其各个邻域像素点分别与待确定的各个聚类中心的灰度值的差值绝对值,每个像素点及其各个邻域像素点分别相对待确定的各个聚类中心的隶属度,确定每个像素块中每个像素点的邻域灰度差异,对应的计算公式为:其中,为第i个像素块中第j个像素点的邻域灰度差异,/>为第i个像素块中第j个像素点的第/>个邻域像素点相对待确定的第k个聚类中心的隶属度,/>为第i个像素块中第j个像素点的第/>个邻域像素点的灰度值,/>为待确定的第k个聚类中心的灰度值,为第i个像素块中第j个像素点相对待确定的第k个聚类中心的隶属度,/>为第i个像素块中第j个像素点的灰度值,c为待确定的聚类中心的数目,本实施例取c=3,Q为第i个像素块中第j个像素点的邻域像素点的数目,本实施例取Q=8,m为模糊加权指数,/>为取绝对值。
在上述的邻域灰度差异的计算公式中,通过每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值来衡量像素块中每个像素点与邻域像素点的灰度值差异,然后针对八个邻域像素点计算灰度差值的均值的绝对值,又因为像素点及其八邻域像素点对于每个聚类中心都有一个隶属度,因此再对各个聚类中心的对应的灰度差值的均值的绝对值进行平均计算,从而获得最终的灰度差异。后续利用该最终的灰度差异,进行超像素块内灰度信息的负面影响程度的衡量,并通过负面影响的严重程度对灰度值进行抑制,从而使得表面灰度图像的聚类分割更加准确。
在通过上述步骤获得的超像素块内的每个像素点与其各个邻域像素点的灰度差异,也就是邻域灰度差异之后,进行超像素块内整体邻域灰度差异的混乱程度计算,从而确定每个超像素块的灰度抑制因子,实现过程包括:
对每个像素块中各个像素点的邻域灰度差异进行统计,确定每个像素块中同一邻域灰度差异在该像素块中出现的频率值,并根据不同邻域灰度差异所对应的频率值,计算每个像素块的整体差异混乱程度;
对每个像素块的整体差异混乱程度进行归一化处理,并将归一化处理后的整体差异混乱程度作为对应像素块的灰度抑制因子。
具体的,对于每一个超像素块,根据该超像素块中的每个像素点的邻域灰度差异,构建邻域灰度差异直方图,然后根据该邻域灰度差异直方图中每个邻域灰度差异级别及其对应的频率值,计算该像素块的整体差异混乱程度,对应的计算公式为:其中,/>为第i个超像素块的整体差异混乱程度,/>为该第i个超像素块中的同一邻域灰度差异在该第i个超像素块中出现的频率值,/>表示以2为底数且以频率值/>为自变量取值的对数函数值。
在上述的第i个超像素块的整体差异混乱程度的计算公式中,通过计算信息熵以对第i个超像素块内的邻域灰度差异的混乱程度进行衡量,当信息熵越大,也就是整体差异混乱程度越大时,则说明邻域灰度差异分布越混乱,则该超像素块中就越可能存在高灰度差异噪声点,那么这个超像素块中的像素点在聚类过程中就需要进行更高程度的灰度值抑制。
在通过对像素点与其各个邻域像素点的灰度差异进行衡量,得到每一个超像素块的整体差异混乱程度之后,利用该整体差异混乱程度获取在聚类过程中用来消除灰度差异负面影响的灰度值抑制因子,对应的计算公式为:其中,/>为第i个超像素块的灰度抑制因子,/>为第i个超像素块的整体差异混乱程度,/>为归一化函数,用于将整体差异混乱程度/>归一化到0-1范围内,且整体差异混乱程度/>取值越大,则对应的灰度抑制因子/>的取值就越大。
步骤S3:对表面灰度图像进行数据处理,根据表面灰度图像中每个像素点所在的像素块的灰度抑制因子、每个像素点的各个邻域像素点相对待确定的各个聚类中心的隶属度,每个像素点与其各个邻域像素点的欧式距离、每个像素点的各个邻域像素点与待确定的各个聚类中心的灰度值的差值绝对值,计算表面灰度图像中每个像素点相对待确定的各个聚类中心的隶属度影响因子。
在通过上述步骤S2得到每个超像素块的灰度抑制因子之后,在FLICM聚类方法中计算隶属度影响因子的过程中,对于距离和灰度的衡量通过该灰度抑制因子进行调整,从而得到基于灰度抑制因子的隶属度影响因子,对应的计算公式为:其中,为表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度影响因子,/>为表面灰度图像中第j个像素点所在的第i个像素块的灰度抑制因子,/>为表面灰度图像中第j个像素点的第/>个邻域像素点相对待确定的第k个聚类中心的隶属度,/>为表面灰度图像中第j个像素点与第/>个邻域像素点的欧式距离,/>为表面灰度图像中第j个像素点的第/>个邻域像素点的灰度值,/>为待确定的第k个聚类中心的灰度值,Q为表面灰度图像中第j个像素点的邻域像素点的数目,m为模糊加权指数,/>为取绝对值。
在上述的表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度影响因子的计算公式中,通过第j个像素点所在的第i个像素块的灰度抑制因子/>对该第j个像素点的邻域像素点的隶属度影响因子进行调整,如果灰度抑制因子的数值高,那么就使得距离的影响更大,也就是/>的影响更大,与此同时,通过/>减少灰度值信息的影响,也就是减小隶属度/>这部分灰度值信息的影响,这样在计算隶属度影响因子的过程中就考虑到了灰度值的抑制。
本实施例通过在隶属度影响因子中加入灰度抑制因子并重新构造,对于聚类的衡量标准灰度距离来说,其有两方面的度量,一方面是像素点欧式距离的影响,一方面是通过灰度信息所得隶属度的影响,当需要进行灰度抑制时,灰度信息隶属度的影响这一部分就需要根据灰度抑制因子进行降低,而另一方面欧式距离的影响则上升,以达到灰度抑制因子高,那么像素点的聚类就会倾向于离他近的像素点的簇类,也就充分考虑到了实际场景中灰度值混乱的情况。
本实施例通过灰度抑制因子对隶属度影响因子进行重构后,相较于现有FLICM聚类方法中的原有隶属度影响因子仅考虑像素点局部区域的灰度信息与距离信息,更新后的隶属度影响因子需要根据邻域灰度差异信息量的大小进行不同程度的灰度信息抑制,也就是该更新后的隶属度影响因子考虑到了像素点的距离影响与灰度影响哪方面更重要,当出现高灰度差异噪声点时,灰度抑制因子就比较大,此时距离影响更重要,当没有高灰度差异噪声点时,灰度抑制因子就比较小,此时灰度影响更重要。根据每个像素点所在超像素块的灰度抑制因子对隶属度影响因子进行校正,有效消除了高灰度差异噪声点影响所导致的误分割情况,保证了表面灰度图像的区域分割准确性。
步骤S4:根据表面灰度图像中每个像素点相对待确定的各个聚类中心的隶属度影响因子、每个像素点相对待确定的各个聚类中心的隶属度、每个像素点所在像素块的灰度抑制因子、每个像素点的灰度值以及待确定的各个聚类中心的灰度值,确定目标聚类函数。
在通过上述步骤S3得到基于灰度抑制因子的隶属度影响因子之后,因为整体上的灰度信息还是要影响于聚类的目标聚类函数,通过抑制因子影响后的目标聚类函数的计算公式为: 其中,/>为目标聚类函数,/>为表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度,/>为表面灰度图像中第j个像素点所在的第i个像素块的灰度抑制因子,/>为表面灰度图像中第j个像素点的灰度值,/>为待确定的第k个聚类中心的灰度值,/>为表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度影响因子,c为待确定的聚类中心的数目,N为表面灰度图像中像素点的数目,m为模糊加权指数。
在上述的目标聚类函数的计算公式中,通过灰度抑制因子调整后的隶属度影响因子中已经包含了更多的距离信息,而目标聚类函数中的主要部分只有灰度信息,所以通过灰度抑制因子对目标函数中的灰度信息进行限制,以保证聚类的准确性。
步骤S5:对目标聚类函数进行求解,从而确定各个聚类中心以及表面灰度图像中每个像素点相对各个聚类中心的隶属度,进而确定表面灰度图像中的各个聚类类别区域。
在通过上述步骤S4得到基于灰度抑制因子调整后的目标聚类函数之后,根据该目标聚类函数,最终确定各个聚类中心以及表面灰度图像中每个像素点相对各个聚类中心的隶属度,实现过程包括:
根据目标聚类函数,确定待确定的每个聚类中心的更新表达式和表面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度更新表达式;
初始化待确定的每个聚类中心或者面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度;
利用待确定的每个聚类中心的更新表达式和表面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度的更新表达式,不断更新每个聚类中心和表面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度,直至满足迭代停止条件,从而得到最终的各个聚类中心以及表面灰度图像中每个像素点相对各个聚类中心的隶属度。
具体的,根据基于灰度抑制因子调整后的目标聚类函数,对聚类中心和隶属度求偏导,从而可以得到每个聚类中心的更新表达式和每个像素点相对每个聚类中心的隶属度的更新公式,由于确定每个聚类中心的更新表达式和每个像素点相对每个聚类中心的隶属度的更新公式的具体实现过程属于现有技术,此处不再做赘述。在本实施例中,所确定的每个聚类中心的更新表达式和每个像素点相对每个聚类中心的隶属度的更新公式如下: 其中,/>为第k个聚类中心的灰度值,/>为表面灰度图像中的第j个像素点的灰度值,/>为表面灰度图像中第j个像素点相对第k个聚类中心的隶属度,N为表面灰度图像中像素点的数目,/>为表面灰度图像中第j个像素点所在的第i个像素块的灰度抑制因子,m为模糊加权指数,/>为第t个聚类中心的灰度值,/>为表面灰度图像中第j个像素点相对第k个聚类中心的隶属度影响因子,/>为表面灰度图像中第j个像素点相对第t个聚类中心的隶属度影响因子,c为聚类中心的数目。
在确定每个聚类中心的更新表达式和每个像素点相对每个聚类中心的隶属度的更新公式之后,对聚类算法参数进行初始化,具体包括:
对于聚类的簇类数量,本实施例设置簇类的数量为。根据图2中强磁钕铁硼磁体的表面灰度图像的特点,通过设置3个聚类,将黑色背景划分为一类,将强磁钕铁硼磁体轮廓与异常区域划分为一类,将磁体表面的非异常区域划分为一类。因为轮廓区域一定存在,所以可以将簇类数量c固定为3,以此达到标准化的生产过程中对磁体表面进行缺陷识别的目的。对于聚类过程的迭代停止条件,由于/>为FLICM聚类方法中常规使用的收敛阈值,因此本实施例将目标聚类函数的收敛阈值/>设置为/>。同时,由于2为FLICM聚类方法中常规使用的模糊加权指数,因此本实施例将模糊加权指数m设置为2。初始化隶属度或者聚类中心,本实施例是利用随机生成的方式获取初始的隶属度。
在对聚类算法参数进行初始化完成之后,进行如下算法步骤:
利用每个聚类中心的更新表达式和每个像素点相对每个聚类中心的隶属度的更新公式,不断更新表面灰度图像中各个像素点相对每个聚类中心的隶属度和各个聚类中心,并在每一次更新完隶属度和聚类中心之后,计算当前的目标聚类函数与前一次目标聚类函数的差值绝对值是否小于收敛阈值,若小于收敛阈值,则判定满足迭代停止条件,并输出表面灰度图像中各个像素点相对每个聚类中心的隶属度和各个聚类中心。
根据表面灰度图像中各个像素点相对每个聚类中心的隶属度和各个聚类中心,将表面灰度图像中的各个像素点聚类到其对应的最大隶属度所对应的聚类中心,从而实现表面灰度图像中区域分割,得到各个聚类类别区域。
步骤S6:从表面灰度图像中的各个聚类类别区域中筛选出目标类别区域,根据目标类别区域确定缺陷区域。
在通过上述步骤S5得到表面灰度图像中的各个聚类类别区域之后,从表面灰度图像中的各个聚类类别区域中筛选出包含有轮廓区域像素点的聚类类别区域,并将包含有轮廓区域像素点的聚类类别区域确定为目标类别区域。
如图2所示,因为CCD相机成像原因,表面灰度图像中磁体外轮廓的灰度值与表面存在的缺陷区域的灰度值相近。在确定表面灰度图像中的各个聚类类别区域之后,确定磁体外轮廓区域,将该磁体外轮廓区域记为,并将包含有外轮廓区域/>像素点最多的聚类类别区域作为目标类别区域,也就是异常类别区域,将该目标类别区域中的磁体外轮廓区域/>的像素点去除,从而可以得到表面灰度图像中的缺陷区域。当缺陷区域中像素点的数量越多时,则说明缺陷程度越严重。对表面灰度图像中缺陷的严重程度进行标注,从而完成钕铁硼磁体表面缺陷识别。
本发明通过获取待检测磁体的表面灰度图像,并对该表面灰度图像进行超像素分割,从而得到各个超像素块,对超像素块内像素点与其各个邻域像素点的灰度信息差异进行评估,并根据灰度信息差异的混乱程度得到灰度抑制因子,并利用该灰度抑制因子对现有的隶属度影响因子进行调整。在聚类过程中利用该灰度抑制因子进行灰度信息抑制,使得灰度差异较大的磁体表面非异常区域可以通过空间信息被划分为一类,从而消除了非异常区域内灰度差异大的噪声像素点的影响,可以将钕铁硼磁体表面的灰度差异大的非异常区域被正确分割,有效提高了钕铁硼磁体表面缺陷检测的准确性。
需要说明的是:以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (9)

1.一种用于强磁钕铁硼磁体的表面缺陷识别方法,其特征在于,包括以下步骤:
通过图像电子设备识别得到待检测磁体的表面灰度图像,对表面灰度图像进行数据处理,从而得到各个像素块;
对各个像素块进行数据处理,根据每个像素块中每个像素点及其各个邻域像素点分别与待确定的各个聚类中心的灰度值的差值绝对值,每个像素点及其各个邻域像素点分别相对待确定的各个聚类中心的隶属度,确定每个像素块中每个像素点的邻域灰度差异,并根据各个像素块中各个像素点的邻域灰度差异,确定各个像素块的灰度抑制因子;
对表面灰度图像进行数据处理,根据表面灰度图像中每个像素点所在的像素块的灰度抑制因子、每个像素点的各个邻域像素点相对待确定的各个聚类中心的隶属度,每个像素点与其各个邻域像素点的欧式距离、每个像素点的各个邻域像素点与待确定的各个聚类中心的灰度值的差值绝对值,计算表面灰度图像中每个像素点相对待确定的各个聚类中心的隶属度影响因子;
根据表面灰度图像中每个像素点相对待确定的各个聚类中心的隶属度影响因子、每个像素点相对待确定的各个聚类中心的隶属度、每个像素点所在像素块的灰度抑制因子、每个像素点的灰度值以及待确定的各个聚类中心的灰度值,确定目标聚类函数;
对目标聚类函数进行求解,从而确定各个聚类中心以及表面灰度图像中每个像素点相对各个聚类中心的隶属度,进而确定表面灰度图像中的各个聚类类别区域;
从表面灰度图像中的各个聚类类别区域中筛选出目标类别区域,根据目标类别区域确定缺陷区域;
确定表面灰度图像中每个像素块的灰度抑制因子,包括:
对每个像素块中各个像素点的邻域灰度差异进行统计,确定每个像素块中同一邻域灰度差异在该像素块中出现的频率值,并根据不同邻域灰度差异所对应的频率值,计算每个像素块的整体差异混乱程度;
对每个像素块的整体差异混乱程度进行归一化处理,并将归一化处理后的整体差异混乱程度作为对应像素块的灰度抑制因子。
2.根据权利要求1所述的用于强磁钕铁硼磁体的表面缺陷识别方法,其特征在于,确定每个像素块中每个像素点的邻域灰度差异,包括:
根据每个像素块中每个像素点及其各个邻域像素点分别与待确定的各个聚类中心的灰度值的差值绝对值,每个像素点及其各个邻域像素点分别相对待确定的各个聚类中心的隶属度,确定每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值;
根据每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值,确定每个像素块中每个像素点的邻域灰度差异。
3.根据权利要求2所述的用于强磁钕铁硼磁体的表面缺陷识别方法,其特征在于,确定每个像素块中每个像素点与其每个邻域像素点相对每待确定的每个聚类中心的灰度差值,包括:
计算每个像素块中每个像素点及其各个邻域像素点分别与待确定的每个聚类中心的灰度值的差值绝对值的平方;
计算每个像素块中每个像素点相对待确定的每个聚类中心的隶属度与该像素点与待确定的该聚类中心的灰度值的差值绝对值的平方的乘积,并计算每个像素块中每个像素点的每个邻域像素点相对待确定的每个聚类中心的隶属度与该邻域像素点与待确定的该聚类中心的灰度值的差值绝对值的平方的乘积;
将每个像素块中每个像素点相对待确定的每个聚类中心对应的乘积与该像素点的每个邻域像素点相对待确定的该聚类中心对应的乘积的差值,确定为每个像素块中每个像素点与其每个邻域像素点相对待确定的每个聚类中心的灰度差值。
4.根据权利要求2所述的用于强磁钕铁硼磁体的表面缺陷识别方法,其特征在于,确定每个像素块中每个像素点的邻域灰度差异,包括:
计算每个像素块中每个像素点与各个邻域像素点相对待确定的每个聚类中心的灰度差值的均值的绝对值,从而得到每个像素块中每个像素点相对待确定的每个聚类中心的灰度差值均值绝对值;
计算每个像素块中每个像素点相对待确定的各个聚类中心的灰度差值均值绝对值的均值,从而得到每个像素块中每个像素点的邻域灰度差异。
5.根据权利要求1所述的用于强磁钕铁硼磁体的表面缺陷识别方法,其特征在于,计算表面灰度图像中每个像素点相对待确定的各个聚类中心的隶属度影响因子对应的计算公式为:其中,/>为表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度影响因子,为表面灰度图像中第j个像素点所在的第i个像素块的灰度抑制因子,/>为表面灰度图像中第j个像素点的第/>个邻域像素点相对待确定的第k个聚类中心的隶属度,为表面灰度图像中第j个像素点与第/>个邻域像素点的欧式距离,/>为表面灰度图像中第j个像素点的第/>个邻域像素点的灰度值,/>为待确定的第k个聚类中心的灰度值,Q为表面灰度图像中第j个像素点的邻域像素点的数目,m为模糊加权指数,|| ||为取绝对值。
6.根据权利要求1所述的用于强磁钕铁硼磁体的表面缺陷识别方法,其特征在于,目标聚类函数对应的计算公式为: 其中,/>为目标聚类函数,/>为表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度,为表面灰度图像中第j个像素点所在的第i个像素块的灰度抑制因子,/>为表面灰度图像中第j个像素点的灰度值,/>为待确定的第k个聚类中心的灰度值,/>为表面灰度图像中第j个像素点相对待确定的第k个聚类中心的隶属度影响因子,c为待确定的聚类中心的数目,N为表面灰度图像中像素点的数目,m为模糊加权指数,|| ||为取绝对值。
7.根据权利要求1所述的用于强磁钕铁硼磁体的表面缺陷识别方法,其特征在于,对目标聚类函数进行求解,从而确定各个聚类中心以及表面灰度图像中每个像素点相对各个聚类中心的隶属度,包括:
根据目标聚类函数,确定待确定的每个聚类中心的更新表达式和表面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度的更新表达式;
初始化待确定的每个聚类中心或者面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度;
利用待确定的每个聚类中心的更新表达式和表面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度的更新表达式,不断更新待确定的每个聚类中心和表面灰度图像中每个像素点相对待确定的每个聚类中心的隶属度,直至满足迭代停止条件,从而得到最终的各个聚类中心以及表面灰度图像中每个像素点相对各个聚类中心的隶属度。
8.根据权利要求1所述的用于强磁钕铁硼磁体的表面缺陷识别方法,其特征在于,从表面灰度图像中的各个聚类类别区域中筛选出目标类别区域,包括:
从表面灰度图像中的各个聚类类别区域中筛选出包含有轮廓区域像素点的聚类类别区域,并将包含有轮廓区域像素点的聚类类别区域确定为目标类别区域。
9.根据权利要求8所述的用于强磁钕铁硼磁体的表面缺陷识别方法,其特征在于,根据目标类别区域确定缺陷区域,包括:
将目标类别区域中的轮廓区域像素点去除,去除轮廓区域像素点后的目标类别区域即为缺陷区域。
CN202311341113.3A 2023-10-17 2023-10-17 一种用于强磁钕铁硼磁体的表面缺陷识别方法 Active CN117078688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311341113.3A CN117078688B (zh) 2023-10-17 2023-10-17 一种用于强磁钕铁硼磁体的表面缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311341113.3A CN117078688B (zh) 2023-10-17 2023-10-17 一种用于强磁钕铁硼磁体的表面缺陷识别方法

Publications (2)

Publication Number Publication Date
CN117078688A CN117078688A (zh) 2023-11-17
CN117078688B true CN117078688B (zh) 2024-01-02

Family

ID=88706548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311341113.3A Active CN117078688B (zh) 2023-10-17 2023-10-17 一种用于强磁钕铁硼磁体的表面缺陷识别方法

Country Status (1)

Country Link
CN (1) CN117078688B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274408B (zh) * 2023-11-22 2024-02-20 江苏普隆磁电有限公司 一种钕铁硼磁体表面处理数据管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210081827A1 (en) * 2019-07-15 2021-03-18 Guangdong University Of Technology Fast clustering algorithm based on kernel fuzzy c-means integrated with spatial constraints
CN115601364A (zh) * 2022-12-14 2023-01-13 惠州威尔高电子有限公司(Cn) 基于图像分析的金手指电路板检测方法
CN115830022A (zh) * 2023-02-15 2023-03-21 山东梁山酿酒总厂有限公司 基于机器视觉的过滤机滤网缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210081827A1 (en) * 2019-07-15 2021-03-18 Guangdong University Of Technology Fast clustering algorithm based on kernel fuzzy c-means integrated with spatial constraints
CN115601364A (zh) * 2022-12-14 2023-01-13 惠州威尔高电子有限公司(Cn) 基于图像分析的金手指电路板检测方法
CN115830022A (zh) * 2023-02-15 2023-03-21 山东梁山酿酒总厂有限公司 基于机器视觉的过滤机滤网缺陷检测方法

Also Published As

Publication number Publication date
CN117078688A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN117173184B (zh) 基于人工智能的道路施工质量检测方法及系统
CN115147414B (zh) 一种双极型功率晶体管表面击穿缺陷检测方法
CN116309537B (zh) 一种极耳模具表面油污的缺陷检测方法
CN115249246B (zh) 一种光学玻璃表面缺陷检测方法
CN117078688B (zh) 一种用于强磁钕铁硼磁体的表面缺陷识别方法
CN116091504B (zh) 基于图像处理的连接管连接头质量检测方法
CN106228161B (zh) 一种指针式表盘自动读数方法
CN113362306B (zh) 一种基于深度学习的封装芯片缺陷检测方法
CN115345885A (zh) 一种金属健身器材外观质量检测方法
CN115829883A (zh) 一种异性金属结构件表面图像去噪方法
CN115619793B (zh) 基于计算机视觉的电源适配器外观质量检测方法
CN115018844B (zh) 一种基于人工智能的塑料薄膜质量评估方法
CN106404793A (zh) 基于视觉的轴承密封件缺陷检测方法
CN115330645B (zh) 一种焊接图像增强方法
CN112258569B (zh) 瞳孔中心定位方法、装置、设备及计算机存储介质
CN115147409A (zh) 基于机器视觉的手机壳生产品质检测方法
CN116883408B (zh) 基于人工智能的积算仪壳体缺陷检测方法
CN116468728B (zh) 一种五金冲压件模具生产质量检测方法
CN116645364B (zh) 一种基于图像数据的合金钢铸件气孔缺陷检测方法
CN115029704B (zh) 一种用于不锈钢酸洗工艺的智能控制方法及装置
CN117764864B (zh) 基于图像去噪的核磁共振肿瘤视觉检测方法
CN116152242B (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN115272336A (zh) 基于梯度向量的金属零件缺陷精准检测方法
CN114792316A (zh) 一种盘刹车轴底板点焊缺陷检测方法
CN115908362A (zh) 一种滑板轮的耐磨性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant