CN115393657A - 基于图像处理的金属管材生产异常识别方法 - Google Patents

基于图像处理的金属管材生产异常识别方法 Download PDF

Info

Publication number
CN115393657A
CN115393657A CN202211314442.4A CN202211314442A CN115393657A CN 115393657 A CN115393657 A CN 115393657A CN 202211314442 A CN202211314442 A CN 202211314442A CN 115393657 A CN115393657 A CN 115393657A
Authority
CN
China
Prior art keywords
sub
region
value
regions
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211314442.4A
Other languages
English (en)
Other versions
CN115393657B (zh
Inventor
姬国华
姬蕾
郭鹏
王淑俭
路秋媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jincheng Technology Co ltd
Original Assignee
Jincheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jincheng Technology Co ltd filed Critical Jincheng Technology Co ltd
Priority to CN202211314442.4A priority Critical patent/CN115393657B/zh
Publication of CN115393657A publication Critical patent/CN115393657A/zh
Application granted granted Critical
Publication of CN115393657B publication Critical patent/CN115393657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种基于图像处理的金属管材生产异常识别方法。该方法通过金属管材表面图像构建高斯混合模型，根据高斯混合模型中的子高斯模型峰值选择对应的像素点作为金属管材表面图像划分的初始节点，通过初始节点进行区域生长得到初步划分的子区域，对初步划分的子区域进行进一步的合并获得合并子区域，通过各个合并子区域灰度共生矩阵的纹理特征量和区域分布实现对异常区域的提取识别。本发明通过根据图像中的像素值分布，自适应对区域中的特征进行提取，使得异常识别的方法在保证准确率的同时适应性高且成本低。

Description

基于图像处理的金属管材生产异常识别方法
技术领域
本发明涉及图像数据处理技术领域，具体涉及一种基于图像处理的金属管材生产识别方法。
背景技术
金属管材出现生产异常时会影响金属管材外观，甚至会影响金属管材的使用寿命，因此对于金属管材生产异常的识别是必要的。但是人工对金属管材表面进行目测识别的方式费时费力，而现有的自动检测识别技术可以有效节省人力成本。
在现有技术对于金属管材的生产异常识别方法主要是：对金属管材表面图像进行语义分割来实现金属管材表面异常的识别。但是语义分割网络训练成本高，对不同金属管材需要针对性的训练，适用性较差且成本较高，无法准确的划分和识别异常区域。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图像处理的金属管材生产异常识别方法，所采用的技术方案具体如下：
本发明提出了一种基于图像处理的金属管材生产异常识别方法，所述方法包括：
获取金属管材的表面图像，根据所述表面图像中的灰度值分布获得对应的高斯混合模型；将所述高斯混合模型中各个子高斯模型的峰值点对应的像素点作为初始节点，通过所述初始节点进行区域生长获得至少两个子区域；
将邻接且像素值分布特征一致的所述子区域合并，获得合并子区域；
统计每个所述合并子区域中像素点对应的高斯混合模型值的种类，根据每种所述高斯混合模型值在所述合并子区域中出现的概率获得模型种类分布指标；获取每个所述合并子区域的灰度共生矩阵的纹理特征量；通过所述模型种类分布指标和所述纹理特征量获得每个所述合并子区域的正常特征指标；根据所述正常特征指标数值识别出异常区域。
进一步地，所述根据所述表面图像中灰度值分布获得对应的高斯混合模型包括：
获得所述表面图像的灰度直方图，获得所述灰度直方图的灰度直方图曲线，以所述灰度直方图曲线中的峰值点个数作为所述高斯混合模型中的子高斯模型数量；基于所述子高斯模型数量通过EM算法求解出所述表面图像对应的所述高斯混合模型。
进一步地，所述将所述高斯混合模型中各个子高斯模型的峰值点对应的像素点作为初始节点包括：
将去噪后的表面图像中的像素点代入各个子高斯模型得到对应的高斯序列，选取每个所述高斯序列的最大值对应的像素点作为对应的初始节点，若所述高斯序列存在不止一个最大值，选取任意一个最大值对应的像素点作为初始节点。
进一步地，所述通过初始节点进行区域生长获得至少两个子区域包括：
计算目标初始节点与其预设邻域范围内其他像素点之间的像素值相似度，将所述像素值相似度大于等于第一预设阈值的所述其他像素点与所述目标初始节点进行合并，选择与所述目标初始节点合并的像素点中与所述目标初始节点像素值相似度最高的点作为新的初始节点继续进行生长，直至所获得的最新初始节点和其预设邻域范围内其他像素点像素值相似度均小于所述第一预设阈值得到至少两个子区域。
进一步地，所述计算目标初始节点与其预设邻域范围内其他像素点的像素值相似度包括：
所述目标初始节点与其预设邻域范围内其他像素点的像素值相似度计算模型包括：
Figure 165758DEST_PATH_IMAGE001
其中，
Figure 938542DEST_PATH_IMAGE002
为所述目标初始节点的像素值，
Figure 213666DEST_PATH_IMAGE003
为所述目标初始节点预设邻域范围内第
Figure 401677DEST_PATH_IMAGE004
个其他像素点的像素值，
Figure 330319DEST_PATH_IMAGE005
为所述目标初始节点与其预设邻域范围内第
Figure 793661DEST_PATH_IMAGE004
个其他像素点的像素值相似度，
Figure 216684DEST_PATH_IMAGE006
为自然常数。
进一步地，所述将邻接且像素值分布特征一致的所述子区域合并包括：
获取所有所述子区域的灰度直方图，任意两个子区域构成子区域组；获得所述子区域组中两个所述子区域灰度直方图之间的差异距离，一减去所述差异距离，获得两个所述子区域之间的第一分析指标；将所述子区域组中两个所述子区域的公共边缘长度与两个所述子区域中最长区域边缘长度的比值作为第二分析指标；计算所述第一分析指标与所述第二分析指标的均值，并对所述均值进行归一化处理得到所述子区域组的相关性指标；若所述相关性指标大于等于预设第二阈值，则所述相关性指标对应的两个所述子区域邻接且像素值分布特征一致，将两个所述子区域进行聚合，获得新的子区域；对所有子区域进行聚合分析，直至所有子区域之间的相关性指标均低于第二预设阈值。
进一步地，所述根据每种所述高斯混合模型值在所述合并子区域中出现的概率获得模型种类分布包含：
在所有像素点高斯混合模型值中，相同的像素点高斯混合模型值为一种高斯混合模型值；通过模型种类分布指标计算模型获得模型种类分布指标，所述模型种类分布指标计算模型包括：
Figure 183503DEST_PATH_IMAGE007
其中，
Figure 486308DEST_PATH_IMAGE008
为合并子区域中的高斯混合模型值种类的总数，
Figure 46733DEST_PATH_IMAGE009
为第
Figure 398080DEST_PATH_IMAGE010
种高斯混合模型值在合并子区域中出现的次数，
Figure 609619DEST_PATH_IMAGE011
为合并子区域像素点的总数，
Figure 21009DEST_PATH_IMAGE012
为合并子区域所对应的模型种类分布指标。
进一步地，所述获取每个所述合并子区域灰度共生矩阵的纹理特征量包括：
所述纹理特征量包括能量值和熵值。
进一步地，所述通过每个合并子区域的模型种类分布指标和所述纹理特征量获得正常特征指标包括：
建立区域特征模型来通过模型种类分布指标和所述合并子区域灰度共生矩阵的纹理特征量获得正常特征指标，区域特征模型包括：
Figure 803151DEST_PATH_IMAGE013
其中，
Figure 20506DEST_PATH_IMAGE014
为第一预设参数，
Figure 961917DEST_PATH_IMAGE015
为第二预设参数，
Figure 151065DEST_PATH_IMAGE016
为合并子区域灰度共生矩阵的能量值，
Figure 545137DEST_PATH_IMAGE017
为合并子区域灰度共生矩阵的熵值，
Figure 628500DEST_PATH_IMAGE012
为合并子区域所对应的模型种类分布指标，
Figure 424418DEST_PATH_IMAGE018
为正常特征指标。
本发明具有如下有益效果：
1.本发明实施例通过基于合并子区域像素点高斯混合模型值的类别进行分析，获得模型种类分布指标用于表征区域内像素复杂程度，避免了光照影响导致直接分析像素值造成的误差，使得后续异常区域识别结果更加准确。进一步通过合并子区域的灰度共生矩阵纹理特征量与像素点模型密度分布指标获得合并子区域的区域特征。区域特征包含了高斯模型值的分布和纹理信息，参考性强，使得根据区域特征能够准确识别出异常区域。本发明实施例通过图像本身像素值分布信息进行特征提取，进而对金属管材表面图像进行区域划分来识别出异常区域，在保证了算法准确性的同时适应性高且成本低。
2.在本发明中将混合高斯模型中各个子高斯模型的峰值点对应的像素点作为初始节点，通过初始节点进行区域生长获得多个初步划分的子区域来实现初步的区域划分。相对于现有的连通域分析算法而言，本发明实施例通过图像中像素值的分布进行自适应的选择节点位置，不但能够提高金属管材表面图像的初步划分精度，而且避免了人为选取初始节点的主观性导致初步划分精度较低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图像处理的金属管材生产识别方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的金属管材生产识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图像处理的金属管材生产识别方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的金属管材生产识别方法流程图，该方法包括：
步骤S1：获取金属管材的表面图像，根据所述表面图像中的灰度值分布获得对应的高斯混合模型；将高斯混合模型中各个子高斯模型的峰值点对应的像素点作为初始节点，通过所述初始节点进行区域生长获得至少两个初步划分的子区域。
本发明实例使用图像采集设备对金属管材表面图像进行采集，图像采集设备包括相机、光源、固定装置。相机用于对金属管材表面图像进行采集，需要说明的是，要对金属管材表面图像进行全面采集以保证对金属管材异常状况的全面识别，因此需要设置不同视角的多个相机来完成金属管材表面图像的全面采集。因为不同视角相机所采集到的图像数据处理方法相同，在本发明实施例中仅以一个视角下的相机采集到的一张图像进行表述说明。
本发明实例中，为了避免噪声数据对金属管材表面异常识别的精度造成影响，对采集到的金属管材表面图像进行去噪预处理，后续过程中的金属管材表面图像均为去噪预处理后图像。图像去噪预处理操作为本领域技术人员熟知的技术手段，在此不做限定。
将金属管材表面图像进行灰度值划分，灰度值划分区间为0-255，且金属管材表面图像中每个像素点对应唯一一个灰度值，需要说明的是，在后续过程中的像素值与灰度值等价。根据每个像素点的灰度值建立金属管材表面图像灰度直方图，将灰度直方图拟合获取灰度直方图曲线，通过灰度直方图曲线中峰值点的个数确定高斯混合模型中子高斯模型的个数，本发明实例中将高斯混合模型中子高斯模型的个数记为N。根据金属管材表面图像像素点的灰度值分布状况通过EM算法求出对应的高斯混合模型。需要说明的是，通过EM算法根据图像灰度值分布状况求出对应的高斯混合模型的操作属于本领域技术人员熟知的技术手段，在此不做限定。
通过区域生长的方法对图像进行区域划分的前提是在图像中选择初始节点，人为选取初始节点的主观性会导致图像划分精度较低，而选用图像对应的高斯混合模型中子高斯模型的峰值点对应的像素点作为初始节点的方法，能够在图像不同灰度值分布的区域中自适应的选取初始节点，而且能够完整的将图像划分为两个以上的子区域。具体选取初始节点的方法包括：
将金属管材表面预处理图像的所有像素点带入N个子高斯模型，设图像尺寸为
Figure 52976DEST_PATH_IMAGE019
，即每个子高斯模型能够获取
Figure 934345DEST_PATH_IMAGE019
个高斯值。将每个子高斯模型对应的
Figure 290240DEST_PATH_IMAGE019
个高斯值建立一个高斯序列，基于N个子高斯模型，获得N个高斯值序列。对于N个高斯值序列中每一个高斯值序列，都能够找到至少一个最大高斯值，将每个高斯序列的最大高斯值对应的像素点作为初始节点，即可自适应获取N个初始节点，提高金属管材表面图像的初步划分精度，避免节点选取的随机性以及初始节点选取过多或过少的情况。需要说明的是，当存在高斯值序列中最大高斯值不止一个时，选取任意一个最大高斯值对应的像素点作为初始节点。
获取初始节点之后，对初始节点局部范围内的像素点进行分析，本发明实例中，选用初始节点的八邻域范围像素点进行分析，并将八邻域像素点标记为
Figure 940664DEST_PATH_IMAGE004
，其中
Figure 943386DEST_PATH_IMAGE004
的取值范围为
Figure 436684DEST_PATH_IMAGE020
，且
Figure 471636DEST_PATH_IMAGE004
为整数。需要说明的是，
Figure 851933DEST_PATH_IMAGE004
的取值范围和所选用的初始节点局部范围有关，
Figure 946928DEST_PATH_IMAGE004
取值的最小值为1，最大值为所选择的初始节点局部范围内的像素点数量，且
Figure 927522DEST_PATH_IMAGE004
为正整数。计算初始节点与初始节点八邻域像素点的像素值相似度，将像素值相似度高于预设阈值的初始节点的八邻域像素点与初始节点进行合并，该像素值相似度计算模型包括：
Figure 500586DEST_PATH_IMAGE001
其中，
Figure 9758DEST_PATH_IMAGE002
为所述目标初始节点的像素值，
Figure 275654DEST_PATH_IMAGE021
为所述目标初始节点预设邻域范围内第
Figure 477965DEST_PATH_IMAGE004
个其他像素点的像素值，
Figure 120299DEST_PATH_IMAGE005
为所述目标初始节点与其预设邻域范围内第
Figure 475188DEST_PATH_IMAGE004
个其他像素点的像素值相似度，
Figure 911986DEST_PATH_IMAGE006
为自然常数。
在像素值相似度公式中，像素值差值绝对值表示两个像素点之间的像素值差异，初始节点与其八邻域像素点的像素值差异越小，说明初始节点与其八邻域像素点越相似，对应的初始节点与其八邻域像素点的像素值相似度越高。在本发明实例中，设置像素值相似度阈值为0.5，对像素值相似度大于等于像素值相似度阈值的初始节点的八邻域像素点与初始节点合并，对像素值相似度小于像素值相似度阈值的初始节点的八邻域像素点不进行处理。
将与初始节点合并的像素点记为合并点，然后从合并点中选取像素值相似度最高的点作为新的初始节点继续向外生长，直至所获得的最新初始节点和其八邻域像素点像素值相似度均小于像素值相似度阈值。即可实现对金属管材表面图像的初步划分，将金属管材表面图像通过N个初始节点初步划分为N个子区域。需要说明的是，对金属管材表面图像进行初步划分的目的在于对金属管材表面图像的像素点进行逐点分析，降低后续过程中的检测量，提高后续过程的检测精度。
需要说明的是，因为所采用的金属管材表面图像为去噪之后的图像，所以选择的初始节点不可能为噪声点，即对应的初始节点的八邻域像素点的像素值差异不会过大，但是为了能够进行像素点的合并，所设阈值不可超过0.5，否则可能会导致初始节点与其八邻域范围内像素点无法合并，使初始节点不能继续进行区域生长，造成金属管材表面图像初步划分不够完全，影响后续的区域合并。
步骤S2：将邻接且像素值分布特征一致的所述子区域合并，获得合并子区域。
因为初步划分过程是逐像素点进行分析后划分的，所以容易出现边缘划分误差和各初步划分区域的边缘出现过分割的问题。为了解决这些误差和问题，需要将对初步划分的各个子区域进行更进一步的判定，以提高金属管材异常检测精度和准确的识别出金属管材表面异常区域。
获取每个子区域的灰度直方图，建立子区域第一分析指标；在本发明实例中，以子区域u，v的子区域组为例进行说明，子区域第一分析指标包括：
Figure 601593DEST_PATH_IMAGE022
其中，
Figure 516460DEST_PATH_IMAGE023
为子区域
Figure 991435DEST_PATH_IMAGE024
，
Figure 599133DEST_PATH_IMAGE025
对应的第一分析指标，
Figure 41616DEST_PATH_IMAGE026
为子区域
Figure 760173DEST_PATH_IMAGE024
，
Figure 89655DEST_PATH_IMAGE025
对应灰度直方图之间的差异距离。需要说明的是，两个灰度直方图之间的差异距离可以选用欧式距离或巴氏距离进行计算。在本发明实例中，选用巴氏距离作为两个灰度直方图之间的差异距离，而两个灰度直方图之间巴氏距离的计算属于本领域技术人员熟知的技术手段，在此不做限定。
两个子区域
Figure 868255DEST_PATH_IMAGE027
，
Figure 532454DEST_PATH_IMAGE025
之间灰度直方图的差异距离越小，对应的第一分析指标越大，子区域
Figure 54703DEST_PATH_IMAGE024
，
Figure 439023DEST_PATH_IMAGE025
之间像素点的灰度值分布越相似。
通过各子区域之间的连通状况对子区域的区域关联性进行分析构建子区域第二分析指标，具体包括：将所述子区域组中两个所述子区域的公共边缘长度与两个所述子区域中最长区域边缘长度的比值作为第二分析指标。在本发明实例中，以子区域
Figure 513158DEST_PATH_IMAGE028
，
Figure 274441DEST_PATH_IMAGE025
的子区域组为例进行说明，第二分析指标的表达式为：
Figure 475746DEST_PATH_IMAGE029
其中，
Figure 638874DEST_PATH_IMAGE030
为子区域
Figure 883911DEST_PATH_IMAGE024
，
Figure 663648DEST_PATH_IMAGE025
对应的第二分析指标，
Figure 403065DEST_PATH_IMAGE031
为子区域
Figure 420700DEST_PATH_IMAGE024
的边缘长度，
Figure 102217DEST_PATH_IMAGE032
为子区域
Figure 916720DEST_PATH_IMAGE025
的边缘长度，
Figure 318882DEST_PATH_IMAGE033
为子区域
Figure 581237DEST_PATH_IMAGE034
，
Figure 309021DEST_PATH_IMAGE025
的公共边缘的边缘长度，
Figure 404629DEST_PATH_IMAGE035
表示子区域
Figure 876061DEST_PATH_IMAGE024
和子区域
Figure 992922DEST_PATH_IMAGE025
中最长区域边缘长度。
对于两个子区域
Figure 626028DEST_PATH_IMAGE024
，
Figure 211862DEST_PATH_IMAGE025
，其中子区域
Figure 221406DEST_PATH_IMAGE024
和子区域
Figure 192773DEST_PATH_IMAGE025
中边缘长度最长的子区域对应的边缘长度是固定的，当两个子区域
Figure 340989DEST_PATH_IMAGE024
，
Figure 273173DEST_PATH_IMAGE025
之间的公共边缘长度越长，对应的第二分析指标越大，子区域
Figure 211042DEST_PATH_IMAGE024
，
Figure 177861DEST_PATH_IMAGE025
之间的连通性越高，关联度越大，即两个子区域越邻接，两个子区域越有可能属于同一个类别的区域。
计算所述第一分析指标与所述第二分析指标的均值并对所述的均值进行归一化处理得到所述子区域组的相关性指标。在本发明实例中，通过子区域
Figure 28136DEST_PATH_IMAGE024
，
Figure 978775DEST_PATH_IMAGE025
的第一分析指标和第二分析指标对子区域
Figure 454755DEST_PATH_IMAGE024
，
Figure 276081DEST_PATH_IMAGE025
进行相关性分析，具体的相关性分析包括：
Figure 294328DEST_PATH_IMAGE036
其中，
Figure 201104DEST_PATH_IMAGE037
为子区域
Figure 684038DEST_PATH_IMAGE024
，
Figure 235236DEST_PATH_IMAGE025
的相关性指标，
Figure 83106DEST_PATH_IMAGE038
为子区域
Figure 601812DEST_PATH_IMAGE024
，
Figure 373590DEST_PATH_IMAGE025
对应的第一分析指标，
Figure 169508DEST_PATH_IMAGE030
为子区域
Figure 312914DEST_PATH_IMAGE024
，
Figure 928703DEST_PATH_IMAGE025
对应的第二分析指标。
子区域
Figure 300909DEST_PATH_IMAGE027
，
Figure 279230DEST_PATH_IMAGE025
的第一分析指标和第二分析指标越大，对应的子区域
Figure 203323DEST_PATH_IMAGE024
，
Figure 456143DEST_PATH_IMAGE025
的相关性指标越大，说明子区域
Figure 756674DEST_PATH_IMAGE024
，
Figure 386239DEST_PATH_IMAGE025
越可能属于同一个区域。
对相关性指标进行归一化处理，使得归一化后的相关性指标在0到1之间；在本发明实例中，设定相关性阈值为0.75，对归一化后的相关性指标高于相关性阈值所对应的两个子区域
Figure 481234DEST_PATH_IMAGE024
，
Figure 946981DEST_PATH_IMAGE025
进行聚合得到新的子区域。需要说明的是，归一化处理是本领域技术人员熟知的技术手段，在此不做限定。
对相关性指标高于第二预设阈值的子区域组中两个子区域进行聚合，得到聚合后的子区域；对所有子区域进行分析聚合，直至所有子区域之间的相关性指标均低于第二预设阈值，得到多个合并子区域，实现对金属管材表面子区域的准确划分，提高对后续异常区域的识别精度。
步骤S3：统计每个所述合并子区域中像素点对应的高斯混合模型值的种类，根据每种所述高斯混合模型值在所述合并子区域中出现的概率获得模型种类分布指标；获取每个所述合并子区域的灰度共生矩阵的纹理特征量；通过所述模型种类分布指标和所述纹理特征量获得每个所述合并子区域的正常特征指标；根据所述正常特征指标数值识别出异常区域。
获得多个合并子区域之后，对各个合并子区域进行特征提取以识别出异常子区域。由于金属管材在生产过程中，正常情况下其表面较为平滑、均匀且纹理规则有序，所以通过金属管材表面像素点分布对每个合并子区域进行特征提取以识别出异常子区域。
将所有合并子区域的每个像素点带入高斯混合模型中，获取每个像素点的高斯混合模型值，在本发明实例中，将所得到的高斯混合模型值记为
Figure 785624DEST_PATH_IMAGE039
，代表第
Figure 738537DEST_PATH_IMAGE040
个像素点的高斯混合模型值。在所有像素点的高斯混合模型值中，相同的像素点的高斯混合模型值为一种高斯混合模型值。需要说明的是，高斯混合模型为金属管材表面图像的高斯混合模型。
根据合并子区域中每个像素点的高斯混合模型值通过模型种类分布指标计算模型获得模型种类分布指标，模型种类分布指标计算模型具体包括：
Figure 879799DEST_PATH_IMAGE007
其中，
Figure 957477DEST_PATH_IMAGE041
为合并子区域中的高斯混合模型值种类的总数，
Figure 458865DEST_PATH_IMAGE009
为第
Figure 203967DEST_PATH_IMAGE010
种高斯混合模型值在合并子区域中出现的次数，
Figure 516131DEST_PATH_IMAGE042
为合并子区域像素点的总数，
Figure 81105DEST_PATH_IMAGE012
为合并子区域所对应的模型种类分布指标。
区域分布指标计算模型是基于熵的思想建立的，即合并子区域中出现的高斯混合模型值种类总数与其对应的区域分布指标呈正相关，且不同种类的高斯混合模型值的差值与对应的区域分布指标呈正相关。即合并子区域高斯混合模型值的种类分布越混乱，区域分布指标越大。需要说明的是，若直接对区域内的灰度值大小进行分析，会因为光照影响，导致区域内灰度值的分布混乱程度增加，进而影响后续的异常识别结果，因此采用高斯混合模型值种类分布来对像素点区域分布进行分析的方法能有效避免光照或者其他因素的影响。
优选的，合并子区域灰度共生矩阵的纹理特征量包括能量值和熵值。需要说明的是，灰度共生矩阵的能量值和熵值的获取是本领域技术人员熟知的技术手段，在此不做赘述。
对于灰度共生矩阵的能量值，具体的：灰度共生矩阵的能量值是灰度共生矩阵元素值的平方和，对应的灰度共生矩阵中矩阵元素差值越小，则能量值越小，所以实质上灰度共生矩阵的能量值反映的是图像灰度分布的均匀程度。
对于灰度共生矩阵的熵值，具体的：灰度共生矩阵的熵值越大，对应的共生矩阵元素分布越分散，所以实质上灰度共生矩阵的熵值反映图像的复杂程度。
通过每个合并子区域的模型种类分布指标和纹理特征量获得正常特征指标；具体的，根据合并子区域的模型种类分布指标和合并子区域灰度共生矩阵的纹理特征量构建区域特征，该构建区域特征过程包括：
Figure 589446DEST_PATH_IMAGE043
其中，
Figure 61491DEST_PATH_IMAGE014
为第一预设参数，
Figure 669190DEST_PATH_IMAGE015
为第二预设参数，
Figure 580514DEST_PATH_IMAGE016
为合并子区域灰度共生矩阵的能量值，
Figure 564651DEST_PATH_IMAGE017
为合并子区域灰度共生矩阵的熵值，
Figure 894132DEST_PATH_IMAGE012
为合并子区域所对应的模型种类分布指标，
Figure 672732DEST_PATH_IMAGE018
为正常特征指标。
Figure 71353DEST_PATH_IMAGE014
、
Figure 593601DEST_PATH_IMAGE015
为模型参数且均大于0，在本发明实例中，设置
Figure 777589DEST_PATH_IMAGE014
为0.5，
Figure 992669DEST_PATH_IMAGE015
为0.01。
合并子区域灰度共生矩阵的能量值越大，熵值越小，且对应的合并子区域的模型种类分布指标越小，则正常特征指标越大，对应的说明该合并子区域像素点分布状况越鲜明，纹理特征越简要，均匀性越高，该合并子区域越正常。相反的，对应的合并子区域灰度共生矩阵的能量值越小，熵值越大，且对应的合并子区域的模型种类分布指标越大，则合并子区域的正常特征指标越小，对应说明该合并子区域像素点分布状况越杂乱，纹理特征越复杂，均匀性越低，该合并子区域越异常。
根据正常特征指标的数值可识别出异常区域，在本发明实例中，对得到的正常特征指标进行归一化处理，将正常特征指标的值限定在0到1之间。设定区域特征阈值为0.6，当子区域的正常特征指标低于区域特征阈值时，认为该合并子区域为异常子区域。至此，实现对金属管材表面异常区域的识别。
综上所述，本发明通过金属管材表面图像构建高斯混合模型，根据高斯混合模型中的子高斯模型峰值选择对应的像素点作为金属管材表面图像划分的初始节点，通过初始节点进行区域生长得到初步划分的子区域，对初步划分的子区域进行进一步的合并获得合并子区域，通过各个合并子区域灰度共生矩阵的纹理特征量和区域分布实现对异常区域的提取识别。本发明通过根据图像中的像素值分布，自适应对区域中的特征进行提取，使得异常识别的方法在保证准确率的同时适应性高且成本低。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于图像处理的金属管材生产异常识别方法，其特征在于，所述方法包括：
获取金属管材的表面图像，根据所述表面图像中的灰度值分布获得对应的高斯混合模型；将所述高斯混合模型中各个子高斯模型的峰值点对应的像素点作为初始节点，通过所述初始节点进行区域生长获得至少两个子区域；
将邻接且像素值分布特征一致的所述子区域合并，获得合并子区域；
统计每个所述合并子区域中像素点对应的高斯混合模型值的种类，根据每种所述高斯混合模型值在所述合并子区域中出现的概率获得模型种类分布指标；获取每个所述合并子区域的灰度共生矩阵的纹理特征量；通过所述模型种类分布指标和所述纹理特征量获得每个所述合并子区域的正常特征指标；根据所述正常特征指标数值识别出异常区域。
2.根据权利要求1所述的一种基于图像处理的金属管材生产异常识别方法，其特征在于，所述根据所述表面图像中灰度值分布获得对应的高斯混合模型包括：
获得所述表面图像的灰度直方图，获得所述灰度直方图的灰度直方图曲线，以所述灰度直方图曲线中的峰值点个数作为所述高斯混合模型中的子高斯模型数量；基于所述子高斯模型数量通过EM算法求解出所述表面图像对应的所述高斯混合模型。
3.根据权利要求1所述的一种基于图像处理的金属管材生产异常识别方法，其特征在于，所述将所述高斯混合模型中各个子高斯模型的峰值点对应的像素点作为初始节点包括：
将去噪后的表面图像中的像素点代入各个子高斯模型得到对应的高斯序列，选取每个所述高斯序列的最大值对应的像素点作为对应的初始节点，若所述高斯序列存在不止一个最大值，选取任意一个最大值对应的像素点作为初始节点。
4.根据权利要求1所述的一种基于图像处理的金属管材生产异常识别方法，其特征在于，所述通过初始节点进行区域生长获得至少两个子区域包括：
计算目标初始节点与其预设邻域范围内其他像素点之间的像素值相似度，将所述像素值相似度大于等于第一预设阈值的所述其他像素点与所述目标初始节点进行合并，选择与所述目标初始节点合并的像素点中与所述目标初始节点像素值相似度最高的点作为新的初始节点继续进行生长，直至所获得的最新初始节点和其预设邻域范围内其他像素点像素值相似度均小于所述第一预设阈值得到至少两个子区域。
5.根据权利要求4所述的一种基于图像处理的金属管材生产异常识别方法，其特征在于，所述计算目标初始节点与其预设邻域范围内其他像素点的像素值相似度包括：
所述目标初始节点与其预设邻域范围内其他像素点的像素值相似度计算模型包括：
Figure 222067DEST_PATH_IMAGE001
其中，
Figure 303156DEST_PATH_IMAGE002
为所述目标初始节点的像素值，
Figure 246841DEST_PATH_IMAGE003
为所述目标初始节点预设邻域范围内第
Figure 71577DEST_PATH_IMAGE004
个其他像素点的像素值，
Figure 285783DEST_PATH_IMAGE005
为所述目标初始节点与其预设邻域范围内第
Figure 6615DEST_PATH_IMAGE004
个其他像素点的像素值相似度，
Figure 703175DEST_PATH_IMAGE006
为自然常数。
6.根据权利要求1所述的一种基于图像处理的金属管材生产异常识别方法，其特征在于，所述将邻接且像素值分布特征一致的所述子区域合并包括：
获取所有所述子区域的灰度直方图，任意两个子区域构成子区域组；获得所述子区域组中两个所述子区域灰度直方图之间的差异距离，一减去所述差异距离，获得两个所述子区域之间的第一分析指标；将所述子区域组中两个所述子区域的公共边缘长度与两个所述子区域中最长区域边缘长度的比值作为第二分析指标；计算所述第一分析指标与所述第二分析指标的均值，并对所述均值进行归一化处理得到所述子区域组的相关性指标；若所述相关性指标大于等于预设第二阈值，则所述相关性指标对应的两个所述子区域邻接且像素值分布特征一致，将两个所述子区域进行聚合，获得新的子区域；对所有子区域进行聚合分析，直至所有子区域之间的相关性指标均低于第二预设阈值。
7.根据权利要求1所述的一种基于图像处理的金属管材生产异常识别方法，其特征在于，所述根据每种所述高斯混合模型值在所述合并子区域中出现的概率获得模型种类分布包含：
在所有像素点高斯混合模型值中，相同的像素点高斯混合模型值为一种高斯混合模型值；通过模型种类分布指标计算模型获得模型种类分布指标，所述模型种类分布指标计算模型包括：
Figure 800444DEST_PATH_IMAGE007
其中，
Figure 898850DEST_PATH_IMAGE008
为合并子区域中的高斯混合模型值种类的总数，
Figure 790583DEST_PATH_IMAGE009
为第
Figure 472975DEST_PATH_IMAGE010
种高斯混合模型值在合并子区域中出现的次数，
Figure 373935DEST_PATH_IMAGE011
为合并子区域像素点的总数，
Figure 61268DEST_PATH_IMAGE012
为合并子区域所对应的模型种类分布指标。
8.根据权利要求1所述的一种基于图像处理的金属管材生产异常识别方法，其特征在于，所述获取每个所述合并子区域灰度共生矩阵的纹理特征量包括：
所述纹理特征量包括能量值和熵值。
9.根据权利要求1所述的一种基于图像处理的金属管材生产异常识别方法，其特征在于，所述通过每个合并子区域的模型种类分布指标和所述纹理特征量获得正常特征指标包括：
建立区域特征模型来通过模型种类分布指标和所述合并子区域灰度共生矩阵的纹理特征量获得正常特征指标，区域特征模型包括：
Figure 389481DEST_PATH_IMAGE013
其中，
Figure 529475DEST_PATH_IMAGE014
为第一预设参数，
Figure 499705DEST_PATH_IMAGE015
为第二预设参数，
Figure 41545DEST_PATH_IMAGE016
为合并子区域灰度共生矩阵的能量值，
Figure 307704DEST_PATH_IMAGE017
为合并子区域灰度共生矩阵的熵值，
Figure 934994DEST_PATH_IMAGE012
为合并子区域所对应的模型种类分布指标，
Figure 443336DEST_PATH_IMAGE018
为正常特征指标。
CN202211314442.4A 2022-10-26 2022-10-26 基于图像处理的金属管材生产异常识别方法 Active CN115393657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211314442.4A CN115393657B (zh) 2022-10-26 2022-10-26 基于图像处理的金属管材生产异常识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211314442.4A CN115393657B (zh) 2022-10-26 2022-10-26 基于图像处理的金属管材生产异常识别方法

Publications (2)

Publication Number Publication Date
CN115393657A true CN115393657A (zh) 2022-11-25
CN115393657B CN115393657B (zh) 2023-01-31

Family

ID=84127962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211314442.4A Active CN115393657B (zh) 2022-10-26 2022-10-26 基于图像处理的金属管材生产异常识别方法

Country Status (1)

Country Link
CN (1) CN115393657B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797225A (zh) * 2023-01-06 2023-03-14 山东环宇地理信息工程有限公司 一种水下地形测量用无人船采集图像增强方法
CN116228768A (zh) * 2023-05-09 2023-06-06 济宁众达利电气设备有限公司 一种电子元器件表面划痕检测方法
CN117058134A (zh) * 2023-10-11 2023-11-14 苏州绿华科技有限公司 一种数字孪生智能工厂的图像处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070206865A1 (en) * 2006-03-02 2007-09-06 Honeywell International Inc. Block-based Gaussian Mixture Model video motion detection
US20170154238A1 (en) * 2015-11-26 2017-06-01 Le Holdings (Beijing) Co., Ltd. Method and electronic device for skin color detection
CN112199829A (zh) * 2020-09-27 2021-01-08 浙江大学 基于密度峰值聚类和即时学习的多工况多阶段批次过程监测方法
CN113837247A (zh) * 2021-09-07 2021-12-24 广东三姆森科技股份有限公司 一种产品质量数据聚类方法
CN113838054A (zh) * 2021-11-29 2021-12-24 山东精良海纬机械有限公司 基于人工智能的机械零件表面损伤检测方法
CN113935666A (zh) * 2021-12-17 2022-01-14 武汉精装房装饰材料有限公司 基于图像处理的建筑装饰墙面砖异常评估方法
CN114627125A (zh) * 2022-05-17 2022-06-14 南通剑烽机械有限公司 一种基于光学手段的不锈钢压片机表面质量评估方法
CN114882116A (zh) * 2022-07-12 2022-08-09 南通市恒瑞精密机械制造有限公司 一种丝杠弯曲定位及校直方法及系统
CN115063409A (zh) * 2022-07-28 2022-09-16 南通恒强轧辊有限公司 一种机械刀具表面材质检测方法及系统
CN115187548A (zh) * 2022-07-11 2022-10-14 常颖 一种基于人工智能的机械零件缺陷检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070206865A1 (en) * 2006-03-02 2007-09-06 Honeywell International Inc. Block-based Gaussian Mixture Model video motion detection
US20170154238A1 (en) * 2015-11-26 2017-06-01 Le Holdings (Beijing) Co., Ltd. Method and electronic device for skin color detection
CN112199829A (zh) * 2020-09-27 2021-01-08 浙江大学 基于密度峰值聚类和即时学习的多工况多阶段批次过程监测方法
CN113837247A (zh) * 2021-09-07 2021-12-24 广东三姆森科技股份有限公司 一种产品质量数据聚类方法
CN113838054A (zh) * 2021-11-29 2021-12-24 山东精良海纬机械有限公司 基于人工智能的机械零件表面损伤检测方法
CN113935666A (zh) * 2021-12-17 2022-01-14 武汉精装房装饰材料有限公司 基于图像处理的建筑装饰墙面砖异常评估方法
CN114627125A (zh) * 2022-05-17 2022-06-14 南通剑烽机械有限公司 一种基于光学手段的不锈钢压片机表面质量评估方法
CN115187548A (zh) * 2022-07-11 2022-10-14 常颖 一种基于人工智能的机械零件缺陷检测方法
CN114882116A (zh) * 2022-07-12 2022-08-09 南通市恒瑞精密机械制造有限公司 一种丝杠弯曲定位及校直方法及系统
CN115063409A (zh) * 2022-07-28 2022-09-16 南通恒强轧辊有限公司 一种机械刀具表面材质检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUZHU BAI; RONG CHEN; YONG ZHAO; YI WANG: ""Gaussian mixture model based adaptive control for uncertain nonlinear systems with complex state constraints"", 《CHINESE JOURNAL OF AERONAUTICS》 *
包广斌等: "基于改进的高斯混合模型牙齿图像分割研究", 《兰州理工大学学报》 *
宁顺刚等: "基于灰度共生矩阵的图像分割方法研究", 《电子科技》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797225A (zh) * 2023-01-06 2023-03-14 山东环宇地理信息工程有限公司 一种水下地形测量用无人船采集图像增强方法
CN116228768A (zh) * 2023-05-09 2023-06-06 济宁众达利电气设备有限公司 一种电子元器件表面划痕检测方法
CN117058134A (zh) * 2023-10-11 2023-11-14 苏州绿华科技有限公司 一种数字孪生智能工厂的图像处理方法
CN117058134B (zh) * 2023-10-11 2024-01-26 苏州绿华科技有限公司 一种数字孪生智能工厂的图像处理方法

Also Published As

Publication number Publication date
CN115393657B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN115393657B (zh) 基于图像处理的金属管材生产异常识别方法
CN114419025A (zh) 一种基于图像处理的纤维板质量评估方法
CN110930357B (zh) 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统
CN113989279A (zh) 基于人工智能及图像处理的塑料薄膜质量检测方法
CN114972326A (zh) 热收缩管扩管工艺的次品识别方法
CN111476804B (zh) 托辊图像高效分割方法、装置、设备及存储介质
CN108460344A (zh) 屏幕中的动态区域智能识别系统及智能识别方法
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
CN109871900A (zh) 一种基于图像处理的复杂背景下苹果的识别定位方法
CN114782330B (zh) 基于人工智能的炉排异常检测方法及系统
CN112330663A (zh) 一种基于变径圆的计算机视觉烟丝宽度检测方法
CN116152242A (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN113947570B (zh) 一种基于机器学习算法和计算机视觉的裂纹辨识方法
CN105389820A (zh) 一种基于倒谱的红外图像清晰度评价方法
CN113962994A (zh) 基于图像处理的三连杆上锁销清洁度检测方法
CN112288760B (zh) 一种粘连细胞图像筛除方法、系统及细胞图像分析方法
CN116777917A (zh) 一种光缆生产用缺陷检测方法及系统
CN113450373A (zh) 一种基于光学实况图像的运载火箭飞行过程特征事件实时判别方法
CN115063603B (zh) 基于边缘信息的木材年轮线精确提取及复原方法
CN111832565B (zh) 一种基于决策树的数码管识别方法
CN110619273B (zh) 一种高效的虹膜识别方法以及识别装置
CN112581398A (zh) 基于区域生长标号的图像降噪方法
CN111968136A (zh) 一种煤岩显微图像分析方法及分析系统
CN110929757A (zh) 一种沥青路面裂缝类型快速分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant