CN113610850A - 一种基于图像处理的装饰纸纹理异常检测方法 - Google Patents

一种基于图像处理的装饰纸纹理异常检测方法 Download PDF

Info

Publication number
CN113610850A
CN113610850A CN202111177405.9A CN202111177405A CN113610850A CN 113610850 A CN113610850 A CN 113610850A CN 202111177405 A CN202111177405 A CN 202111177405A CN 113610850 A CN113610850 A CN 113610850A
Authority
CN
China
Prior art keywords
edge
trend
detected
real
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111177405.9A
Other languages
English (en)
Other versions
CN113610850B (zh
Inventor
林树松
段宝光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Lvquan Decoration Engineering Co ltd
Original Assignee
Jiangsu Lvquan Decoration Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Lvquan Decoration Engineering Co ltd filed Critical Jiangsu Lvquan Decoration Engineering Co ltd
Priority to CN202111177405.9A priority Critical patent/CN113610850B/zh
Publication of CN113610850A publication Critical patent/CN113610850A/zh
Application granted granted Critical
Publication of CN113610850B publication Critical patent/CN113610850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于图像处理的装饰纸纹理异常检测方法。该方法首先采集待测木纹纸的待测表面图像，得到待测边缘；获取待测边缘与真实边缘的边缘形态特征，计算待测边缘和真实边缘的边缘形态特征的特征相似度，得到与待测边缘相似的多个目标真实边缘；获取待测边缘和真实边缘各像素点的趋势向量，计算待测趋势向量集合与真实趋势向量集合的趋势相似度；由特征相似度和趋势相似度得到待测边缘的纹理流畅程度来判断木纹纸是否异常。本发明利用获取各像素点的特征相似度和趋势相似度得到边缘的纹理流畅程度，达到了对细微的边缘不流畅或边缘波动异常的缺陷也能够精确出来的目的，提升了异常检测的准确性。

Description

一种基于图像处理的装饰纸纹理异常检测方法
技术领域
本发明涉及机器视觉技术领域，具体涉及一种基于图像处理的装饰纸纹理异常检测方法。
背景技术
在装饰家具、墙壁、地板时常用到各种各样的装饰纸，有的装饰纸用于美化居住环境或者改善居住氛围，有的装饰纸还兼具特定功能。其中木纹装饰纸的应用十分广泛，例如用于制作地板、座椅、木纹纸等，装饰纸的生产工艺十分复杂，在生产过程中难免会产生缺陷，这些缺陷不仅影响使用，也可能会影响其他产品的质量。如生产木纹纸时，木纹可能不清晰，纹理不是自然流畅的，因此有必要在木纹纸生产之后，对木纹纸的纹理进行抽检，及时发现纹理异常的木纹纸，防止影响产品质量。
目前，常用的木纹纸的纹理检测方法是，提取木纹纸的纹理边缘图像，将提取到的待测纹理边缘图像与数据库中各类木纹纸的纹理边缘图像进行对比。当待测纹理边缘图像存在细微边缘不流畅或边缘波动异常时无法精准检测出缺陷或异常，检测的准确性较低。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图像处理的装饰纸纹理异常检测方法，所采用的技术方案具体如下：
本发明一个实施例提供了一种基于图像处理的装饰纸纹理异常检测方法，该方法包括以下步骤：
采集待测木纹纸的待测表面图像，所述待测木纹纸中包括多条木纹纹理；获取所述待测表面图像中所述木纹纹理的边缘二值图，得到多条待测边缘；
获取所述待测表面图像的任意所述待测边缘的边缘形态特征和真实木纹纸木纹纹理的真实边缘的边缘形态特征，计算所述待测边缘和所述真实边缘的边缘形态特征的特征相似度，得到与所述待测边缘相似的多个目标真实边缘；分别获取所述待测边缘和所述目标真实边缘上各像素点的趋势向量；将所述待测边缘对应的趋势向量构成待测趋势向量集合，将所述目标真实边缘对应的趋势向量构成真实趋势向量集合；获取所述待测趋势向量集合和所述真实趋势向量集合的趋势相似度；
根据所述特征相似度和所述趋势相似度得到所述待测边缘的纹理流畅程度；根据所述纹理流畅程度得到异常木纹纸。
优选的，所述待测表面图像中所述木纹纹理的边缘二值图的获取方式，包括：
将所述待测表面图像进行灰度化得到表面灰度图；
利用高斯模糊核对所述表面灰度图进行模糊处理，利用边缘提取算法对模糊处理后的表面灰度图进行处理得到边缘二值图。
优选的，所述边缘形态特征的获取方法，包括：
获取每条边缘上每个像素点的综合特征向量，对同一边缘内的所述综合特征向量进行聚类得到多个目标聚类类别；将各所述目标聚类类别中所述综合特征向量的均值和目标聚类类别之外的综合特征向量构成的集合作为边缘形态特征。
优选的，所述每条边缘上每个像素点的综合特征向量的获取方法，包括：
将任意边缘上任意像素点作为目标像素点，并获取所述目标像素点周围的各像素点的像素坐标，构建目标集合；
将所述目标集合中的像素坐标进行坐标中心化处理，得到多个第一坐标；
对所述目标集合对应的所述第一坐标进行主成分分析，得到两个主成分方向，所述主成分方向包括第一主成分方向和第二主成分方向；
根据各所述第一坐标在所述第一主成分方向的投影大小得到第一方差、在所述第二主成分方向的投影大小得到第二方差，所述第一方差大于所述第二方差，所述第一主成分方向为方向特征，所述第二方差为波动特征；
由所述方向特征和所述波动特征得到所述综合特征向量。
优选的，所述目标像素点周围的各像素点为：与所述目标像素点位于同一边缘上的距离所述目标像素点最小的多个像素点。
优选的，所述对同一边缘内的所述综合特征向量进行聚类得到多个目标聚类类别，包括：
将同一边缘的所述综合特征向量进行聚类，得到多个初始聚类类别；将每个所述初始聚类类别内各综合特征向量对应的像素坐标进行聚类得到多个目标聚类类别。
优选的，所述计算所述待测边缘和所述真实边缘的边缘形态特征的特征相似度，包括：
利用KM算法将任意所述待测边缘的边缘形态特征对应的待测综合特征向量和任意所述真实边缘的边缘形态特征对应的真实综合特征向量进行匹配得到多个综合特征向量对；
计算各综合特征向量对内所述待测综合特征向量和所述真实综合特征向量的欧式距离作为第一距离；
根据各综合特征向量对的所述第一距离得到所述待测边缘和所述真实边缘的边缘形态特征的特征相似度。
优选的，所述分别获取所述待测边缘和所述目标真实边缘上各像素点的趋势向量，包括：
获取任意像素点的海森矩阵，将所述海森矩阵的最小特征值对应的特征向量作为所述像素点的趋势向量。
优选的，所述待测趋势向量集合和所述真实趋势向量集合的趋势相似度的获取方法，包括：
计算所述待测趋势向量和预设单位向量的内积，得到待测趋势标量，由所述待测趋势标量构成待测趋势标量集合；
获取所述真实趋势向量集合所对应的真实趋势标量集合；
由所述待测趋势标量的高阶原点矩和所述真实趋势标量的高阶原点矩，得到所述待测趋势向量集合和所述真实趋势向量集合的所述趋势相似度。
优选的，所述根据所述特征相似度和所述趋势相似度得到所述待测边缘的纹理流畅程度，包括：
所述纹理流畅程度的计算公式为：
Figure 100002_DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE004
为所述目标真实边缘的数量；
Figure 100002_DEST_PATH_IMAGE006
为所述待测边缘与第
Figure 100002_DEST_PATH_IMAGE008
个所述目标真实边缘的特征相似度；
Figure 100002_DEST_PATH_IMAGE010
为所述待测边缘与第
Figure 229152DEST_PATH_IMAGE008
个所述目标真实边缘对应的趋势相似度。
本发明实施例至少具有如下有益效果：
本发明实施例利用图像处理技术，首先采集待测木纹纸的待测表面图像，对待测表面图像进行灰度化以及边缘检测得到多条待测边缘；获取待测边缘和真实边缘的边缘形态特征，并计算待测边缘和真实边缘的边缘形态特征的特征相似度，由特征相似度得到多条目标真实边缘，将待测边缘与目标真实边缘进行异常检测，避免了待测边缘需要与大量的真实边缘进行对比带来的过拟合问题；获取待测边缘和真实边缘的各像素点的趋势向量，并计算待测趋势向量集合和真实趋势向量集合的趋势相似度。由特征相似度和趋势相似度得到待测边缘的纹理流畅程度，根据纹理流畅程度判断木纹纸是否异常。由各像素点的特征相似度和趋势相似度判断边缘的纹理流畅程度，达到了即使是细微的边缘不流畅或边缘波动异常的缺陷也能够精确出来，提升了异常检测的精准性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图像处理的装饰纸纹理异常检测方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的装饰纸纹理异常检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供一种基于图像处理的装饰纸纹理异常检测方法的具体实施方法，该方法实施例适用于木纹纸纹理异常检测场景。采用RGB线扫描相机对木纹纸进行扫描，将木纹纸平铺在台面上，该台面的上方安装RGB线扫描相机，该RGB线扫描相机以一定的速度均匀运动，使得相机可以平扫整个木纹纸表面，得到木纹纸的纹理图像数据；并在前期采集大量真实木纹纸的真实表面图像，得到真实木纹纸的纹理图像数据，真实木纹纸即为无异常的无缺陷的木纹纸，且真实木纹纸的木纹纹理是流畅的。为了解决木纹纸异常检测不准确的问题，本发明实施例采用了计算各像素点的趋势相似度和特征相似度，来反映边缘的波动情况以及其在局部的弯曲波折变化情况，达到了当待测边缘出现细微边缘不流畅或波动异常时能够及时检测出木纹纸异常缺陷的目的。
下面结合附图具体的说明本发明所提供的一种基于图像处理的装饰纸纹理异常检测方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的装饰纸纹理异常检测方法的步骤流程图，该方法包括以下步骤：
步骤S100，采集待测木纹纸的待测表面图像，待测木纹纸中包括多条木纹纹理；获取待测表面图像中木纹纹理的边缘二值图，得到多条待测边缘。
通过RGB线扫描相机平扫待测木纹纸表面，获取待测木纹纸的待测表面图像。使用线扫描相机的优势在于能够获得清晰的木纹纸的木纹纹理细节。
为了得到待测表面图像中木纹纹理的边缘二值图，首先需要去除灰度图上的高斯噪声和一些细微的细节结构得到模糊处理后的表面灰度图，然后对得到模糊处理后的表面灰度图进行边缘提取得到多条待测边缘。
模糊处理后的表面灰度图的获取方法为：通过将待测表面图像进行灰度化处理得到表面灰度图，利用3×3的高斯模糊核对该表面灰度图进行模糊处理，目的是去除灰度图上的高斯噪声和一些细微的细节结构。
待测边缘的提取方法为：利用边缘提取算法对模糊处理后的表面灰度图进行处理，获得木纹纹理的边缘。在本发明实施例中边缘提取算子采用Canny算子。由模糊处理后的表面灰度图提取到的所有木纹纹理的边缘构成一张边缘二值图。由于木纹纸的主要木纹纹理是大致平行的，因此得到的边缘二值图上的边缘不会相交。对该边缘二值图进行闭运算，达到将微小断裂的边缘粘合在一起的目的。由于木纹纹理的每条边缘都是由灰度值为1相邻坐标的像素点构成的，因此在该边缘二值图上，对灰度值为1的所有像素点的像素坐标使用DBSCAN聚类，得到多个第一聚类类别，每个第一聚类类别都是一条边缘。在本发明实施例中DBSCAN聚类的邻域半径为2个像素，得到了属于同一边缘上的像素点的像素坐标。所得到的多条边缘为待检测的是否为纹理异常的边缘，称为待测边缘。
步骤S200，获取待测表面图像的任意待测边缘的边缘形态特征和真实木纹纸木纹纹理的真实边缘的边缘形态特征，计算待测边缘和真实边缘的边缘形态特征的特征相似度，得到与待测边缘相似的多个目标真实边缘；分别获取待测边缘和目标真实边缘上各像素点的趋势向量；将待测边缘对应的趋势向量构成待测趋势向量集合，将目标真实边缘对应的趋势向量构成真实趋势向量集合；获取待测趋势向量集合和真实趋势向量集合的趋势相似度。
（1）获取每条边缘的边缘形态特征。
将任意边缘上任意像素点作为目标像素点，将目标像素点所在的边缘作为目标边缘，获取与该目标像素点位于同一边缘上的距离目标像素点最小的P个像素点。在本发明实施例中P的取值为50，在其他实施例中实施者可根据实际情况调整该取值。
获取这P个像素点的像素坐标的集合，构建目标集合。将该目标集合中的所有坐标中心化处理，该中心化处理为：计算该目标集合中所有像素点坐标的均值，将各像素点的坐标与所有像素点坐标的均值作差，即为对各像素点的坐标进行了中心化处理。后续再出现的目标集合中的像素点坐标均为中心化处理后得到的坐标，将该中心化处理后的坐标作为第一坐标。
对目标集合中对应的所有第一坐标进行主成分分析，得到两个主成分方向，这两个主成分方向所在的单位向量为
Figure DEST_PATH_IMAGE012
。计算目标集合中各第一坐标构成的向量在向量
Figure DEST_PATH_IMAGE014
上的投影大小的方差，记为
Figure DEST_PATH_IMAGE016
；计算目标集合中所有第一坐标构成的向量在向量
Figure DEST_PATH_IMAGE018
上的投影大小的方差，记为
Figure DEST_PATH_IMAGE020
。
当
Figure DEST_PATH_IMAGE022
时，则
Figure 602014DEST_PATH_IMAGE016
作为第一方差，
Figure 665785DEST_PATH_IMAGE020
作为第二方差，
Figure 677735DEST_PATH_IMAGE014
作为第一主成分方向，
Figure 940089DEST_PATH_IMAGE018
作为第二主成分方向。将第一主成分方向
Figure 510616DEST_PATH_IMAGE014
作为该目标像素点的方向特征，用于表示目标边缘在该目标像素点处的大致分布方向或主要分布方向；将第二方差
Figure 609154DEST_PATH_IMAGE020
作为目标边缘在该目标像素点的波动特征，用于表示目标集合中像素坐标偏离目标边缘的第一主成分方向的大小，该波动特征越大，则说明目标集合中像素点偏离目标边缘的第一主成分方向的程度越大。其中，方向特征为一个方向，波动特征为一个数值。
当
Figure DEST_PATH_IMAGE024
时，则
Figure 242436DEST_PATH_IMAGE020
作为第一方差，
Figure 562559DEST_PATH_IMAGE016
作为第二方差，
Figure 805453DEST_PATH_IMAGE018
作为第一主成分方向，
Figure 843816DEST_PATH_IMAGE014
作为第二主成分方向。将第一主成分方向
Figure 492841DEST_PATH_IMAGE018
作为该目标像素点的方向特征，用于表示目标边缘在该目标像素点处的大致分布方向或主要分布方向；将第二方差
Figure 949361DEST_PATH_IMAGE016
作为目标边缘在该目标像素点的波动特征，用于表示目标集合中像素坐标偏离目标边缘的第一主成分方向的大小，该波动特征越大，则说明目标集合中像素点偏离目标边缘的第一主成分方向的程度越大。
将目标边缘上每一个像素点对应的方向特征和波动特征合并在一起，得到综合特征向量，即每个像素点均对应一个综合特征向量和一个像素坐标。
对同一边缘内所有像素点对应的综合特征向量进行均值漂移聚类，得到多个初始聚类类别，每个初始聚类类别Q1均是综合特征向量的集合，每个初始聚类类别Q1中的综合特征向量具有较高的相似性，集中分布在一起。而不属于这些初始聚类类别中的其他综合特征向量它们是离散的分布的，差别较大。
获取每个初始聚类类别Q1中的所有综合特征向量对应的像素坐标，即每个初始聚类类别Q1对应一个像素坐标集合。对每个初始聚类类别Q1对应的像素坐标集合中的坐标进行DBSCAN聚类，获得目标聚类类别，每个目标聚类类别Q2均是一个像素坐标集合，每个像素坐标集合中的坐标是连续分布在一起的。
通过多次聚类，最终将像素点分成了多个类别，即像素点被分为多个初始聚类类别Q1，而每个初始聚类类别Q1又被聚类为多个目标聚类类别Q2，因此最终一些像素点聚类为多个目标聚类类别Q2，还有一些像素点没有分类。
将每个目标聚类类别Q2中所有像素点对应的综合特征向量取均值，即一个目标聚类类别Q2对应一个平均综合特征向量。
将每个目标聚类类别Q2对应的平均综合特征向量和目标聚类类别之外的综合特征向量合并成一个综合特征向量集合，目标聚类类别之外的综合特征向量即没有被分类的像素的综合特征向量。该综合特征向量集合就用于表示一条边缘，描述边缘不同位置的分布方向以及波动程度，将该综合特征向量集合称为边缘形态特征。
每条边缘均对应一个边缘形态特征。
（2）获取待测边缘和真实边缘的边缘形态特征的特征相似度。
采集大量真实木纹纸的真实表面图像，根据步骤S100获取大量真实木纹纸的真实边缘二值图，该真实边缘二值图表示真实木纹纸的木纹纹理。根据步骤S200（2）获得真实边缘二值图上每条真实边缘的边缘形态特征。
设待测木纹纸上的任意待测边缘的边缘形态特征为
Figure DEST_PATH_IMAGE026
，任意真实边缘的边缘形态特征为
Figure DEST_PATH_IMAGE028
。其中，边缘形态特征
Figure 254834DEST_PATH_IMAGE026
和边缘形态特征
Figure 796805DEST_PATH_IMAGE028
都是一些综合特征向量构成的集合。
利用KM算法将边缘形态特征
Figure 672357DEST_PATH_IMAGE026
中待测综合特征向量和边缘形态特征S2中真实综合特征向量进行匹配得到多个综合特征向量对，使得匹配得到的每对综合特征向量的欧式距离最小。
将边缘形态特征
Figure 91706DEST_PATH_IMAGE026
和边缘形态特征
Figure 925670DEST_PATH_IMAGE028
中的综合特征向量匹配完毕之后，获取所有综合特征向量对之间的欧式距离，作为第一距离。设共匹配成
Figure DEST_PATH_IMAGE030
对综合特征向量对，第
Figure DEST_PATH_IMAGE032
对综合特征向量对的第一距离为
Figure DEST_PATH_IMAGE034
。
根据各综合特征向量对的第一距离的距离大小的均值获取特征相似度，该相似度的值域属于[0,1]。
该特征相似度
Figure DEST_PATH_IMAGE036
的计算公式为：
Figure DEST_PATH_IMAGE038
其中，
Figure 267788DEST_PATH_IMAGE030
为综合特征向量对的数量；
Figure 697763DEST_PATH_IMAGE034
为第
Figure 909301DEST_PATH_IMAGE032
对综合特征向量对的第一距离为
Figure 897855DEST_PATH_IMAGE034
。
对于待测边缘对应的边缘形态特征
Figure 679997DEST_PATH_IMAGE026
，获取与边缘形态特征
Figure 694090DEST_PATH_IMAGE026
特征相似度最大的K个目标真实边缘对应的边缘形态特征
Figure 809070DEST_PATH_IMAGE028
，分别记为
Figure DEST_PATH_IMAGE040
。在本发明实施例中目标真实边缘的数量K取值为10。
（3）获取趋势相似度。
获取任意边缘任意像素点的海森矩阵，海森矩阵用于表示该像素点位置处灰度值在不同方向上的二阶导数。
获取该海森矩阵最小特征值对应的特征向量，该特征向量作为该边缘在该像素点位置处的走向或者说该边缘在该像素点位置附近的方向趋势，将该特征向量称为该像素点的趋势向量。
重复获取该边缘上所有像素点的趋势向量。
像素点的趋势向量和像素点的方向特征都是二维的单位向量，也都是用于描述像素点所在局部区域内的边缘方向特征，但是趋势向量和方向特征这两者所表征的含义和用途是不一致的。其中，趋势向量用于表示像素点位置处边缘的局部走向，边缘在局部的弯曲波折变化都能通过趋势向量表示出来，在本发明实施例利用边缘上所有像素点的趋势向量来表示边缘纹理的弯曲波折变化。而方向特征用于表示像素点附近的一段边缘的主要分布方向，在本发明实施例利用边缘上所有像素点的方向特征表征边缘的分布方向，主要用于参与获取待测边缘和真实边缘的边缘特征向量之间的特征相似度。
获取边缘形态特征
Figure 312732DEST_PATH_IMAGE026
和边缘形态特征
Figure DEST_PATH_IMAGE042
中所有像素点的趋势向量的集合。
本发明需要获取边缘形态特征
Figure 847750DEST_PATH_IMAGE026
对应的趋势向量集合和边缘形态特征
Figure 134375DEST_PATH_IMAGE042
对应的趋势向量集合中元素的差异值，如果差异值越大说明待测边缘的纹理弯曲波折变化情况和真实边缘的木纹纹理差异越大，那么木纹纸上的纹理就越不流畅。在本发明实施例中为真实木纹纸的木纹纹理是流畅的。故需要获取边缘形态特征
Figure 572703DEST_PATH_IMAGE026
和边缘形态特征
Figure 653791DEST_PATH_IMAGE042
的趋势向量集合的分布差异或趋势向量集合的相似度，简称趋势相似度。
具体的，趋势相似度的获取步骤为：
考虑到趋势向量是单位向量，因此每个趋势向量与预设单位向量的内积可以表示每个趋势向量。计算边缘形态特征
Figure 879367DEST_PATH_IMAGE026
的趋势向量集合中所有趋势向量与预设单位向量的内积，得到待测趋势标量，构成待测趋势标量集合
Figure DEST_PATH_IMAGE044
。在本发明实施例中预设单位向量为
Figure DEST_PATH_IMAGE046
。
计算边缘形态特征
Figure 156634DEST_PATH_IMAGE042
对应的趋势向量集合中所有趋势向量与预设单位向量的内积，得到真实趋势标量，构成真实趋势标量集合
Figure DEST_PATH_IMAGE048
。故待测趋势标量集合
Figure 246206DEST_PATH_IMAGE044
和真实趋势标量集合
Figure 514507DEST_PATH_IMAGE048
中的元素均是标量。
获取待测趋势标量集合
Figure 211068DEST_PATH_IMAGE044
中所有待测趋势标量的n阶原点矩。
该待测趋势标量的n阶原点矩的计算公式为：
Figure DEST_PATH_IMAGE050
其中，
Figure DEST_PATH_IMAGE052
表示待测趋势标量集合
Figure 391558DEST_PATH_IMAGE044
的元素数量；
Figure DEST_PATH_IMAGE054
表示待测趋势标量集合
Figure 834172DEST_PATH_IMAGE044
中的第
Figure 771910DEST_PATH_IMAGE032
个元素；
Figure DEST_PATH_IMAGE056
表示n阶。
获取真实趋势标量集合
Figure 362291DEST_PATH_IMAGE048
中所有真实趋势标量的n阶原点矩。
该真实趋势标量的n阶原点矩的计算公式为：
Figure DEST_PATH_IMAGE058
其中，
Figure DEST_PATH_IMAGE060
表示真实趋势标量集合
Figure 374503DEST_PATH_IMAGE048
的元素数量，
Figure DEST_PATH_IMAGE062
表示真实趋势标量集合
Figure 969826DEST_PATH_IMAGE048
中的第
Figure 111088DEST_PATH_IMAGE032
个元素；
Figure 828246DEST_PATH_IMAGE056
表示
Figure 142684DEST_PATH_IMAGE056
阶。
Figure DEST_PATH_IMAGE064
表示待测趋势标量集合
Figure 795776DEST_PATH_IMAGE044
中所有元素的分布特征；
Figure DEST_PATH_IMAGE066
表示真实趋势标量集合
Figure 950682DEST_PATH_IMAGE048
中所有元素的分布特征。其中，
Figure DEST_PATH_IMAGE068
和
Figure DEST_PATH_IMAGE070
从三阶原点矩开始，不包含一阶原点矩和二阶原点矩。在本发明实施例中
Figure 841889DEST_PATH_IMAGE056
取值为10。
如果待测趋势标量集合
Figure 897701DEST_PATH_IMAGE044
中所有元素与真实趋势标量集合
Figure 621943DEST_PATH_IMAGE048
中所有元素的分布一致，那么
Figure 806805DEST_PATH_IMAGE068
与
Figure 21DEST_PATH_IMAGE070
是相似的，否则不相似。需要注意的是本发明实施例考虑到
Figure DEST_PATH_IMAGE072
分别表征待测趋势标量集合
Figure 892147DEST_PATH_IMAGE044
中所有元素和真实趋势标量集合
Figure 487207DEST_PATH_IMAGE048
中所有元素的一阶原点矩，即均值。
Figure DEST_PATH_IMAGE074
分别表征待测趋势标量集合
Figure 702026DEST_PATH_IMAGE044
中所有元素和真实趋势标量集合
Figure 569487DEST_PATH_IMAGE048
中所有元素的二阶原点矩，即方差特征。需要说明的是：二阶原点矩本质上不等于方差，方差是数据的二阶中心矩，但是依然可以用二阶原点矩表征数据的离散程度，即方差特征。
根据步骤S200中的（2）特征相似度的计算可知，由特征相似度得到了与边缘形态特征
Figure 232681DEST_PATH_IMAGE026
相似度最大的K个目标真实边缘对应的边缘形态特征
Figure 121396DEST_PATH_IMAGE028
，分别记为
Figure 461110DEST_PATH_IMAGE040
，故这K个边缘形态特征与边缘形态特征
Figure 566601DEST_PATH_IMAGE026
的特征相似度最大，边缘形态特征
Figure 266441DEST_PATH_IMAGE042
属于这K个边缘形态特征之中，故边缘形态特征
Figure 23045DEST_PATH_IMAGE026
和边缘形态特征
Figure 18814DEST_PATH_IMAGE042
这两个边缘形态特征对应的两条边缘大致走向相似。从边缘整体上来看，这两条边缘的波动曲折可能存在差异，但是平均的波动曲折情况是相似的，即
Figure DEST_PATH_IMAGE076
和
Figure DEST_PATH_IMAGE078
、
Figure DEST_PATH_IMAGE080
和相差不大，因为它们两个反映的都是边缘的大致走向。
故本发明实施例不以或者不主要以
Figure DEST_PATH_IMAGE082
和
Figure DEST_PATH_IMAGE084
来评估待测趋势标量集合
Figure 300016DEST_PATH_IMAGE044
中所有元素与真实趋势标量集合
Figure 794758DEST_PATH_IMAGE048
中所有元素的分布是否一致。而是以更能突出两条边缘差异的分布特征
Figure 937026DEST_PATH_IMAGE068
与分布特征
Figure 572538DEST_PATH_IMAGE070
来评估两条边缘的分布是否一致。
因为分布特征
Figure 682314DEST_PATH_IMAGE068
与分布特征
Figure 474690DEST_PATH_IMAGE070
是数据的高阶据，更能反应数据分布的细节特征，例如偏度和峰度等。
Figure 487776DEST_PATH_IMAGE082
和
Figure 795654DEST_PATH_IMAGE084
反应的是数据分布的低频特征，而分布特征
Figure 143459DEST_PATH_IMAGE068
与分布特征
Figure 490258DEST_PATH_IMAGE070
反应的是数据分布的高频特征，而两个相似边缘的分布差异主要体现在高频分布特征上。
由待测趋势向量集合对应的分布特征
Figure 59648DEST_PATH_IMAGE068
、均值
Figure 82968DEST_PATH_IMAGE076
、方差特征
Figure 872064DEST_PATH_IMAGE078
和真实趋势向量集合对应的分布特征
Figure DEST_PATH_IMAGE086
、均值
Figure DEST_PATH_IMAGE088
、方差特征
Figure DEST_PATH_IMAGE090
得到趋势相似度。
该趋势相似度
Figure 507707DEST_PATH_IMAGE010
的计算公式为：
Figure DEST_PATH_IMAGE092
其中，
Figure DEST_PATH_IMAGE094
为第一调节系数；
Figure DEST_PATH_IMAGE096
为第二调节系数；
Figure DEST_PATH_IMAGE098
为第三调节系数；
Figure DEST_PATH_IMAGE100
为分布特征
Figure 121484DEST_PATH_IMAGE068
和分布特征
Figure 579621DEST_PATH_IMAGE070
的L2范数；
Figure DEST_PATH_IMAGE102
。在本发明实施例中
Figure 229914DEST_PATH_IMAGE094
取值为1.0，
Figure 167783DEST_PATH_IMAGE096
取值为
Figure DEST_PATH_IMAGE104
，
Figure 855641DEST_PATH_IMAGE098
取值为
Figure DEST_PATH_IMAGE106
。
如果
Figure DEST_PATH_IMAGE108
差异越小，则表明分布特征
Figure 876555DEST_PATH_IMAGE068
和分布特征
Figure 436981DEST_PATH_IMAGE070
越相似。如果
Figure 430738DEST_PATH_IMAGE068
和
Figure 376697DEST_PATH_IMAGE070
相似，且
Figure 397874DEST_PATH_IMAGE076
和
Figure 881814DEST_PATH_IMAGE080
相似，
Figure 161485DEST_PATH_IMAGE078
和
Figure DEST_PATH_IMAGE110
也相似时，那么待测趋势标量集合
Figure 558356DEST_PATH_IMAGE044
和真实趋势标量集合
Figure 281593DEST_PATH_IMAGE048
的分布相似程度就越大，说明边缘形态特征S1和边缘形态特征
Figure 534720DEST_PATH_IMAGE042
越相似，即边缘形态特征S1和边缘形态特征
Figure 867350DEST_PATH_IMAGE042
对应的两条边缘的纹理流畅性一致。其中，
Figure DEST_PATH_IMAGE112
可以视为一个高通滤波器的参数。
步骤S300，根据特征相似度和趋势相似度得到待测边缘的纹理流畅程度；根据纹理流畅程度得到异常木纹纸。
由特征相似度和趋势相似度得到待测边缘的纹理流畅程度。
该纹理流畅程度为：
Figure DEST_PATH_IMAGE002A
其中，
Figure 497221DEST_PATH_IMAGE004
为目标真实边缘的数量；
Figure 578310DEST_PATH_IMAGE006
为待测边缘与第
Figure 570930DEST_PATH_IMAGE008
个目标真实边缘的特征相似度；
Figure 208716DEST_PATH_IMAGE010
为待测边缘与第
Figure 983774DEST_PATH_IMAGE008
个目标真实边缘对应的趋势相似度。
当特征相似度越大时越关注边缘
Figure 485031DEST_PATH_IMAGE026
和
Figure 729062DEST_PATH_IMAGE042
的趋势相似度
Figure 888648DEST_PATH_IMAGE010
，纹理流畅程度
Figure DEST_PATH_IMAGE114
越大说明待测木纹纸上的待测边缘的流畅性和真实木纹的真实边缘越一致，说明待测越流畅。
获取待测木纹纸上任意边缘的纹理流畅程度，将纹理流畅程度小于预设流畅阈值的边缘视为异常边缘，将该异常边缘对应的待测木纹纸作为异常木纹纸。在本发明实施例中流畅阈值设定为0.4，在其他实施例中实施者可根据实际情况调整该取值。
综上所述，本发明实施例利用图像处理技术，首先采集待测木纹纸的待测表面图像，对待测表面图像进行处理得到多条待测边缘；获取待测边缘和真实边缘的边缘形态特征，以及待测边缘和真实边缘的边缘形态特征的特征相似度，得到多条目标真实边缘。获取待测边缘和真实边缘的各像素点的趋势向量，并计算待测趋势向量集合和真实趋势向量集合的趋势相似度。由特征相似度和趋势相似度得到待测边缘的纹理流畅程度，根据纹理流畅程度判断木纹纸是否异常。由各像素点的特征相似度和趋势相似度判断边缘的纹理流畅程度，边缘的细微变化也能够反映出来，提高了异常检测的准确性。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，该方法包括以下步骤：
采集待测木纹纸的待测表面图像，所述待测木纹纸中包括多条木纹纹理；获取所述待测表面图像中所述木纹纹理的边缘二值图，得到多条待测边缘；
获取所述待测表面图像的任意所述待测边缘的边缘形态特征和真实木纹纸木纹纹理的真实边缘的边缘形态特征，计算所述待测边缘和所述真实边缘的边缘形态特征的特征相似度，得到与所述待测边缘相似的多个目标真实边缘；分别获取所述待测边缘和所述目标真实边缘上各像素点的趋势向量；将所述待测边缘对应的趋势向量构成待测趋势向量集合，将所述目标真实边缘对应的趋势向量构成真实趋势向量集合；获取所述待测趋势向量集合和所述真实趋势向量集合的趋势相似度；
根据所述特征相似度和所述趋势相似度得到所述待测边缘的纹理流畅程度；根据所述纹理流畅程度得到异常木纹纸。
2.根据权利要求1所述的一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，所述待测表面图像中所述木纹纹理的边缘二值图的获取方式，包括：
将所述待测表面图像进行灰度化得到表面灰度图；
利用高斯模糊核对所述表面灰度图进行模糊处理，利用边缘提取算法对模糊处理后的表面灰度图进行处理得到边缘二值图。
3.根据权利要求1所述的一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，所述边缘形态特征的获取方法，包括：
获取每条边缘上每个像素点的综合特征向量，对同一边缘内的所述综合特征向量进行聚类得到多个目标聚类类别；将各所述目标聚类类别中所述综合特征向量的均值和目标聚类类别之外的综合特征向量构成的集合作为边缘形态特征。
4.根据权利要求3所述的一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，所述每条边缘上每个像素点的综合特征向量的获取方法，包括：
将任意边缘上任意像素点作为目标像素点，并获取所述目标像素点周围的各像素点的像素坐标，构建目标集合；
将所述目标集合中的像素坐标进行坐标中心化处理，得到多个第一坐标；
对所述目标集合对应的所述第一坐标进行主成分分析，得到两个主成分方向，所述主成分方向包括第一主成分方向和第二主成分方向；
根据各所述第一坐标在所述第一主成分方向的投影大小得到第一方差、在所述第二主成分方向的投影大小得到第二方差，所述第一方差大于所述第二方差，所述第一主成分方向为方向特征，所述第二方差为波动特征；
由所述方向特征和所述波动特征得到所述综合特征向量。
5.根据权利要求4所述的一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，所述目标像素点周围的各像素点为：与所述目标像素点位于同一边缘上的距离所述目标像素点最小的多个像素点。
6.根据权利要求3所述的一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，所述对同一边缘内的所述综合特征向量进行聚类得到多个目标聚类类别，包括：
将同一边缘的所述综合特征向量进行聚类，得到多个初始聚类类别；将每个所述初始聚类类别内各综合特征向量对应的像素坐标进行聚类得到多个目标聚类类别。
7.根据权利要求1所述的一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，所述计算所述待测边缘和所述真实边缘的边缘形态特征的特征相似度，包括：
利用KM算法将任意所述待测边缘的边缘形态特征对应的待测综合特征向量和任意所述真实边缘的边缘形态特征对应的真实综合特征向量进行匹配得到多个综合特征向量对；
计算各综合特征向量对内所述待测综合特征向量和所述真实综合特征向量的欧式距离作为第一距离；
根据各综合特征向量对的所述第一距离得到所述待测边缘和所述真实边缘的边缘形态特征的特征相似度。
8.根据权利要求1所述的一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，所述分别获取所述待测边缘和所述目标真实边缘上各像素点的趋势向量，包括：
获取任意像素点的海森矩阵，将所述海森矩阵的最小特征值对应的特征向量作为所述像素点的趋势向量。
9.根据权利要求1所述的一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，所述待测趋势向量集合和所述真实趋势向量集合的趋势相似度的获取方法，包括：
计算所述待测趋势向量和预设单位向量的内积，得到待测趋势标量，由所述待测趋势标量构成待测趋势标量集合；
获取所述真实趋势向量集合所对应的真实趋势标量集合；
由所述待测趋势标量的高阶原点矩和所述真实趋势标量的高阶原点矩，得到所述待测趋势向量集合和所述真实趋势向量集合的所述趋势相似度。
10.根据权利要求1所述的一种基于图像处理的装饰纸纹理异常检测方法，其特征在于，所述根据所述特征相似度和所述趋势相似度得到所述待测边缘的纹理流畅程度，包括：
所述纹理流畅程度的计算公式为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为所述目标真实边缘的数量；
Figure DEST_PATH_IMAGE006
为所述待测边缘与第
Figure DEST_PATH_IMAGE008
个所述目标真实边缘的特征相似度；
Figure DEST_PATH_IMAGE010
为所述待测边缘与第
Figure 465103DEST_PATH_IMAGE008
个所述目标真实边缘对应的趋势相似度。
CN202111177405.9A 2021-10-09 2021-10-09 一种基于图像处理的装饰纸纹理异常检测方法 Active CN113610850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111177405.9A CN113610850B (zh) 2021-10-09 2021-10-09 一种基于图像处理的装饰纸纹理异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111177405.9A CN113610850B (zh) 2021-10-09 2021-10-09 一种基于图像处理的装饰纸纹理异常检测方法

Publications (2)

Publication Number Publication Date
CN113610850A true CN113610850A (zh) 2021-11-05
CN113610850B CN113610850B (zh) 2021-12-07

Family

ID=78343473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111177405.9A Active CN113610850B (zh) 2021-10-09 2021-10-09 一种基于图像处理的装饰纸纹理异常检测方法

Country Status (1)

Country Link
CN (1) CN113610850B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723681A (zh) * 2022-03-22 2022-07-08 江苏禹润智能科技有限公司 一种基于机器视觉的混凝土裂缝缺陷检测方法
CN114897773A (zh) * 2022-03-31 2022-08-12 海门王巢家具制造有限公司 一种基于图像处理的扭曲木材检测方法及系统
CN115082472A (zh) * 2022-08-22 2022-09-20 江苏东跃模具科技有限公司 一种轮毂模具浇注成型产品的质量检测方法及系统
CN116993723A (zh) * 2023-09-26 2023-11-03 山东弘密新材料科技有限公司 基于图像处理的壁纸质量检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121595A1 (en) * 2011-11-11 2013-05-16 Hirokazu Kawatani Image processing apparatus, rectangle detection method, and computer-readable, non-transitory medium
CN106682639A (zh) * 2017-01-03 2017-05-17 安徽农业大学 一种基于视频监测的作物叶部异常图像提取方法
CN108229754A (zh) * 2018-01-31 2018-06-29 杭州电子科技大学 基于相似日分段和lm-bp网络的短期负荷预测方法
CN109978839A (zh) * 2019-03-08 2019-07-05 浙江大学 晶圆低纹理缺陷的检测方法
CN111815601A (zh) * 2020-07-03 2020-10-23 浙江大学 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130121595A1 (en) * 2011-11-11 2013-05-16 Hirokazu Kawatani Image processing apparatus, rectangle detection method, and computer-readable, non-transitory medium
CN106682639A (zh) * 2017-01-03 2017-05-17 安徽农业大学 一种基于视频监测的作物叶部异常图像提取方法
CN108229754A (zh) * 2018-01-31 2018-06-29 杭州电子科技大学 基于相似日分段和lm-bp网络的短期负荷预测方法
CN109978839A (zh) * 2019-03-08 2019-07-05 浙江大学 晶圆低纹理缺陷的检测方法
CN111815601A (zh) * 2020-07-03 2020-10-23 浙江大学 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723681A (zh) * 2022-03-22 2022-07-08 江苏禹润智能科技有限公司 一种基于机器视觉的混凝土裂缝缺陷检测方法
CN114723681B (zh) * 2022-03-22 2022-10-18 江苏禹润智能科技有限公司 一种基于机器视觉的混凝土裂缝缺陷检测方法
CN114897773A (zh) * 2022-03-31 2022-08-12 海门王巢家具制造有限公司 一种基于图像处理的扭曲木材检测方法及系统
CN114897773B (zh) * 2022-03-31 2024-01-05 上海途巽通讯科技有限公司 一种基于图像处理的扭曲木材检测方法及系统
CN115082472A (zh) * 2022-08-22 2022-09-20 江苏东跃模具科技有限公司 一种轮毂模具浇注成型产品的质量检测方法及系统
CN116993723A (zh) * 2023-09-26 2023-11-03 山东弘密新材料科技有限公司 基于图像处理的壁纸质量检测方法
CN116993723B (zh) * 2023-09-26 2023-12-15 山东弘密新材料科技有限公司 基于图像处理的壁纸质量检测方法

Also Published As

Publication number Publication date
CN113610850B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113610850B (zh) 一种基于图像处理的装饰纸纹理异常检测方法
CN114972357B (zh) 一种基于图像处理的轧辊表面缺陷检测方法及系统
CN110431404B (zh) 表面缺陷检查方法及表面缺陷检查装置
CN113963042B (zh) 基于图像处理的金属零件缺陷程度评估方法
CN113538433A (zh) 基于人工智能的机械铸件缺陷检测方法及系统
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN109801286B (zh) 一种lcd导光板的表面缺陷检测方法
CN115082451B (zh) 一种基于图像处理的不锈钢汤勺缺陷检测方法
CN110189290A (zh) 基于深度学习的金属表面细微缺陷检测方法及装置
CN115082477B (zh) 一种基于去反光效果的半导体晶圆加工质量检测方法
CN115274486B (zh) 一种半导体表面缺陷识别方法
CN108889635B (zh) 一种易拉罐制造缺陷在线视觉检测方法
CN115049651B (zh) 一种钣金冲压异常检测方法
CN115018835B (zh) 一种汽车起动机齿轮检测方法
CN116664565A (zh) 一种光伏太阳能电池片的隐裂检测方法及系统
CN117237747B (zh) 基于人工智能的五金件缺陷分类识别方法
CN108805854B (zh) 一种复杂环境下药片快速计数与完整性检测方法
CN116612112B (zh) 一种水桶表面缺陷视觉检测方法
CN115994870B (zh) 一种用于增强去噪的图像处理方法
CN115082449B (zh) 一种电子元器件缺陷检测方法
CN113591923A (zh) 基于图像特征提取与模板匹配的发动机摇臂零件分类方法
CN117372435B (zh) 基于图像特征的连接器针脚检测方法
Chhabra et al. Morphology based feature extraction and recognition for enhanced wheat quality evaluation
CN117474916B (zh) 一种图像检测方法、电子设备及存储介质
CN117635609B (zh) 一种塑胶产品生产质量视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant