CN116611748A - 一种钛合金家具生产质量监控系统 - Google Patents
一种钛合金家具生产质量监控系统 Download PDFInfo
- Publication number
- CN116611748A CN116611748A CN202310893846.1A CN202310893846A CN116611748A CN 116611748 A CN116611748 A CN 116611748A CN 202310893846 A CN202310893846 A CN 202310893846A CN 116611748 A CN116611748 A CN 116611748A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- defect
- reflection
- preset
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910001069 Ti alloy Inorganic materials 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 23
- 230000007547 defect Effects 0.000 claims abstract description 134
- 230000002950 deficient Effects 0.000 claims abstract description 20
- 230000000739 chaotic effect Effects 0.000 claims abstract description 6
- 230000000875 corresponding effect Effects 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 12
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及图像数据处理领域，具体涉及一种钛合金家具生产质量监控系统。该系统根据像素点邻域范围内边缘线的混乱程度得到缺陷可能性，根据像素点的缺陷可能性和显著性获取缺陷显著值；基于像素点的梯度方向的分布特征判断出反光类型并获取反光中心，然后得到像素点的反光程度；若存在反光，则根据像素点的反光程度对缺陷显著值进行修正获取最终显著值，否则将缺陷显著值作为最终显著值，进而根据最终显著值识别出缺陷区域。本发明通过像素点的缺陷可能性和显著性获取的缺陷显著值，基于不同的反光类型获取像素点的反光程度并对缺陷显著值进行修正，在保留缺陷像素点突出性的同时消除了反光的影响，有效的提高了对缺陷区域识别的准确性。
Description
技术领域
本发明涉及图像数据处理领域，具体涉及一种钛合金家具生产质量监控系统。
背景技术
钛合金家具具有很多优点，在市场中有广泛的应用前景，但是钛合金家具在加工过程中，由于钛合金材料表面易出现磨损和刮花等缺陷，所以制造出来的钛合金家具的表面质量可能不如预期，故在生产过程中需要对其表面质量进行检测。
在对钛合金家具表面质量检测的过程中，由于其表面易出现反光现象，而反光现象会降低识别缺陷区域的准确性，甚至会将反光区域误识为缺陷区域，因此需要在缺陷识别过程中降低反光带来的影响，现有技术中通常根据图像的灰度特征将图像分割成不同的区域，根据不同区域的反光程度设置不同的阈值，并根据阈值提取出缺陷区域，从而降低反光对缺陷识别的影响；但由于反光类型的不确定性，可能是点光源反光也可能是线光源反光，不同的反光类型对像素点的影响程度不同，在未考虑反光类型的情况下直接根据区域的反光程度对缺陷进行识别会降低识别出的缺陷区域的精确程度。
发明内容
为了解决在不同反光类型下，无法获得钛合金家具表面准确的缺陷区域的技术问题，本发明的目的在于提供一种钛合金家具生产质量监控系统，所采用的技术方案具体如下：
本发明提出了一种钛合金家具生产质量监控系统，所述系统包括：
图像采集模块，用于获取钛合金家具的表面灰度图像；
缺陷显著值分析模块，用于根据所述表面灰度图像中每个像素点在预设第一邻域范围内边缘线信息的混乱程度获得每个像素点的缺陷可能性，根据像素点的灰度特征获取每个像素点的显著性，根据所述显著性和所述缺陷可能性获得每个像素点的缺陷显著值；
反光分析模块，用于获取所述表面灰度图像的梯度图像，若所述梯度图像中包含预设数量以上的互相平行的直线，则判断出现线光源反光，将灰度均值最大的直线作为反光中心；若所述梯度图像中存在某个像素点预设第二邻域范围内包括所有种类的梯度方向，并且对应像素点的灰度值大于预设灰度阈值，则判断出现点光源反光，对应像素点为标记点，将所有标记点的中心点作为反光中心；根据像素点到所述反光中心的距离、以像素点为中心的预设第三邻域范围的灰度均值、所述预设第三邻域范围内像素点的梯度方向差异获取像素点的反光程度；
缺陷显著值修正模块，用于获取每个像素点的最终显著值；若所述表面灰度图像不存在反光影响，则以所述缺陷显著值作为最终显著值；若存在反光影响，则根据所述反光程度对所述缺陷显著值进行修正，获取每个像素点的最终显著值；
质量监控模块，用于根据最终显著值获取缺陷区域。
进一步地，所述根据所述表面灰度图像中每个像素点在预设第一邻域范围内边缘线信息的混乱程度获得每个像素点的缺陷可能性包括：
根据像素点在预设第一邻域范围内每个边缘线相对于其他边缘线之间的形状差异获得形状混乱程度；
根据像素点在预设第一邻域范围内每个边缘线相对于其他边缘线之间的梯度差异和灰度差异获得像素混乱程度；
将所述预设第一邻域范围内所有边缘线的所述形状混乱程度和所述像素混乱程度的乘积的累加值作为预设第一邻域范围的所述混乱程度；
将所述预设第一邻域范围内边缘线的数量和所述混乱程度的乘积作为所述像素点的缺陷可能性。
进一步地，所述形状混乱程度的获取方法包括：
在所述预设第一邻域范围内，根据形状上下文算法分别获取每个边缘线与每个其他边缘线的相似性；对每个边缘线对应的所有所述相似性进行累加并作负相关映射，获取对应边缘线的相似性映射值；
在每个边缘线上，将在以像素点为中心的预设第四邻域范围内并且在边缘线上的像素点作为像素点的相邻像素点，将像素点与所述相邻像素点的斜率差异的和值作为相邻斜率差异；对每个边缘线上所有像素点对应的所述相邻斜率差异进行累加获取对应边缘线的整体斜率差异；
将每个边缘线对应的所述相似性映射值和所述整体斜率差异的乘积作为对应边缘线的形状混乱程度。
进一步地，所述像素混乱程度的获取方法包括：
在所述预设第一邻域范围内，获取每条边缘线上像素点的平均梯度和平均灰度，获取每个所述边缘线与其他边缘线的平均梯度差异和平均灰度差异的乘积，作为差异乘积值；
将每个边缘线对应的所有所述差异乘积值的累加值作为对应边缘线的像素混乱程度。
进一步地，所述每个像素点的缺陷显著值的获取方法包括：
将每个像素点对应的所述缺陷可能性和所述显著性的乘积作为对应像素点的缺陷显著值。
进一步地，判断出现点光源反光的方法包括：
根据像素点的梯度方向，使用K-means聚类对像素点进行分组，获得聚类簇；在所述梯度图像中，对每个聚类簇中的像素点进行连通域分析获得梯度连通区域；
若所述梯度图像中存在某个像素点的灰度值大于预设灰度阈值并且在所述预设第二邻域范围内的梯度连通区域的种类数量等于聚类簇数量，则判断出现点光源反光。
进一步地，所述像素点的反光程度的获取方法包括：
获取像素点到所述反光中心的距离作为参考距离；
获取像素点与所述预设第三邻域范围内其他每个像素点的梯度方向差异，将所有所述梯度方向差异的和值作为参考差异；
根据所述预设第三邻域范围的灰度均值、所述参考距离和所述参考差异获得像素点的反光程度；所述预设第三邻域范围的灰度均值与所述反光程度呈正相关，所述参考距离和所述参考差异均与所述反光程度呈负相关。
进一步地，所述根据所述反光程度对所述缺陷显著值进行修正包括：
将所述缺陷显著值与所述反光程度相减并归一化作为最终显著值。
进一步地，所述缺陷区域的获取方法包括：
将最终显著值大于预设显著阈值的像素点标记为缺陷像素点，将最终显著值不大于预设显著阈值的像素点标记为正常像素点，所有缺陷像素点构成缺陷区域。
进一步地，根据基于人眼的Itti显著性分析算法获取每个像素点的显著性。
本发明具有如下有益效果：
本发明考虑到缺陷区域中边缘线的混乱程度较大，因此根据像素点邻域范围内边缘线的混乱程度获得像素点在缺陷区域的可能性，即缺陷可能性，并根据像素点的缺陷可能性和显著性获取像素点的缺陷显著值，使得缺陷区域中像素点的显著性更加突出，便于后续对缺陷区域的识别；考虑到线光源反光会导致图像中反光区域的梯度方向整体指向同一个方向，如果在梯度图像中检测出多条相互平行的直线则判断出现线光源反光，而点光源反光则会导致反光区域的梯度方向指向同一点，即反光区域内的梯度方向的种类有很多，如果存在像素点在其邻域内包含所有种类的梯度方向则判断出现点光源反光，进一步结合像素点到反光中心的距离、像素点邻域内的灰度均值和邻域内的梯度方向差异获得像素点的反光程度，有效的解决了由于反光类型的不确定性导致获取的反光程度不准确，进而导致后续对像素点显著性的修正达不到预期的问题；根据反光程度对像素点的缺陷显著值进行修正，消除了由于反光导致无法准确确定每个像素点的缺陷特征的问题。进而利用最终显著值识别出准确的缺陷区域。本发明通过分析像素点邻域内边缘线的混乱程度获得缺陷可能性，根据像素点的缺陷可能性和显著性获取像素点的缺陷显著值使得缺陷像素点更加突出；基于不同的反光类型获取像素点的反光程度并修正像素点的缺陷显著值，在保留缺陷像素点突出性的同时消除了反光的影响，有效的提高了对缺陷区域识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种钛合金家具生产质量监控系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种钛合金家具生产质量监控系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种钛合金家具生产质量监控系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种钛合金家具生产质量监控系统框图，该系统包括：图像采集模块101，缺陷显著值分析模块102，反光分析模块103，缺陷显著值修正模块104，质量监控模块105。
图像采集模块101用于获取钛合金家具的表面灰度图像。
通过工业相机对生产好的家具进行拍摄，并对拍摄得到的图像进行灰度化和除噪预处理，便于后续对图像的操作分析。考虑到拍摄得到的图像中并不是只包含钛合金家具表面区域，还可能包含周围的环境，所以还需要对预处理的图像进行分割，获取只包含钛合金家具表面区域的表面灰度图像。
在本发明的一个实施例中使用语义分割网络获取钛合金家具的表面灰度图像，其中语义分割网络使用现有U-net神经网络，网络输入为：采集图像，输出为：仅包含钛合金家具表面区域的表面灰度图像。网络训练的方式为：钛合金家具区域标记为1，其它区域标记为0，将包含标签信息的训练图像输入网络中，网络损失函数使用交叉熵损失函数进行训练，获得训练好的语义分割网络。需要说明的是，语义分割网络是本领域技术人员熟知的技术手段，在此不再赘述。
缺陷显著值分析模块102用于根据表面灰度图像中每个像素点在预设第一邻域范围内边缘线信息的混乱程度获得每个像素点的缺陷可能性，根据像素点的灰度特征获取每个像素点的显著性，根据显著性和缺陷可能性获得每个像素点的缺陷显著值。
根据缺陷区域的特征可知，缺陷区域内纹理发生了较大的变化，在缺陷区域内部极易形成随机边缘线，由于边缘线形成的随机性导致缺陷区域内边缘线的混乱程度较大，所以可根据像素点的预设第一邻域范围内边缘线的混乱程度获得像素点在缺陷区域中的可能性，即缺陷可能性，预设第一邻域范围内边缘线的混乱程度越大说明像素点位于缺陷区域的可能性就越大，该像素点就越可能是缺陷像素点；由于获取的像素点的显著性可能并不能总是有效的区分出缺陷像素点和正常像素点，所以可根据像素点显著性和缺陷可能性获得每个像素点的缺陷显著值，增强缺陷像素点的显著性，使得缺陷像素点更加突出，便于后续对缺陷像素点的识别。
优选地，在本发明的一个实施例中缺陷可能性的获取方法具体包括：
根据像素点在预设第一邻域范围内每个边缘线相对于其他边缘线之间的形状差异获得形状混乱程度；根据像素点在预设第一邻域范围内每个边缘线相对于其他边缘线之间的梯度差异和灰度差异获得像素混乱程度；将预设第一邻域范围内所有边缘线的形状混乱程度和像素混乱程度的乘积的累加值作为预设第一邻域范围的混乱程度；将预设第一邻域范围内边缘线的数量和混乱程度的乘积作为像素点的缺陷可能性。具体表达式为：
其中，Q表示像素点对应的缺陷可能性；s表示预设第一邻域范围内边缘线的数量；表示预设第一邻域范围内第i条边缘线的形状混乱程度；表示预设第一邻域范围内第i
条边缘线的像素混乱程度；在本发明的一个实施例中预设第一邻域范围的大小设置为11*
11。
在缺陷可能性的获取过程中，其中的表示以像素点为中心的预设第一
邻域范围的混乱程度，混乱程度越大，说明预设第一邻域范围内边缘线越混乱，则对应的像
素点在缺陷区域的可能性就越大；考虑到缺陷区域内边缘线的数量较多，而预设第一邻域
范围内边缘线的数量也能反映出像素点在缺陷区域的可能性，边缘线的数量越多说明像素
点在缺陷区域的可能性就越大，所以将预设第一邻域范围内边缘线的数量与混乱程度的乘
积作为缺陷可能性。
优选地，在本发明的一个实施例中，考虑到在预设第一邻域范围的混乱程度较大的情况下，其中所产生的边缘线的随机性就比较强，所以某一条边缘线与其他边缘线之间的形状的相似性相差较大，并且该边缘线本身形状的变化程度也较大，所以可根据该边缘线与其他边缘线之间的相似性和该边缘线本身形状的变化程度所表示的形状混乱程度反映出预设第一邻域范围的混乱程度，而边缘线本身形状的变化程度可根据该边缘线上像素点之间的斜率差异反映出来，边缘线上像素点之间的斜率差异越大则说明该边缘线本身形状的变化越明显，则该边缘线的形状变化的程度越大；并且某一条边缘线与其他边缘线的之间的平均灰度差异和平均梯度差异也比较大，所以可根据该边缘线与其他边缘线之间的平均灰度差异和平均梯度差异所表示的像素混乱程度反映出预设第一邻域范围的混乱程度。边缘线的形状混乱程度的获取方法具体包括：
在第一预设邻域范围内，根据形状上下文算法分别获取每个边缘线与每个其他边缘线的相似性；对每个边缘线对应的所有相似性进行累加并作负相关映射，获取对应边缘线的相似性映射值；在每个边缘线上，将在以像素点为中心的预设第四邻域范围内并且在边缘线上的像素点作为像素点的相邻像素点，将像素点与相邻像素点的斜率差异的和值作为相邻斜率差异；对每个边缘线上所有像素点对应的相邻斜率差异进行累加获取对应边缘线的整体斜率差异；将每个边缘线对应的相似性映射值和整体斜率差异的乘积作为对应边缘线的形状混乱程度。在本发明的一个实施例中预设第四邻域范围的大小设置为3*3；需要说明的是，形状上下文算法是本领域技术人员熟知的技术手段，在此不做赘述。具体表达式为：
其中，表示预设第一邻域范围内第i条边缘线的形状混乱程度；s表示预设第一邻
域范围内边缘线的数量；表示预设第一邻域范围内第i条边缘线与第j条边缘线之间的
相似性；表示预设第一邻域范围内第i条边缘线上像素点的数量；表示边缘线上第v个
像素点的相邻像素点的数量；表示边缘线上第v个像素点的斜率；表示某一像素点的第
p个相邻像素点的斜率；为第一常数，在本发明的一个实施例中设置为1。
在形状混乱程度的获取过程中，其中的是所求边缘线与其他边缘线
之间相似性的累加值，其值越小，说明所求边缘线与其他边缘线之间形状的差异就越大，在
公式中通过倒数形式进行负相关映射，则经过负相关映射后，所求边缘线对应的形状混乱
程度就越大，考虑到可能为0，为了防止倒数的分母为0无意义，在此设置一个
较小常数以保证公式有意义；表示边缘线上的像素点与其相邻像素点之间
的斜率差异的和值，即该像素点对应的相邻斜率差异，考虑到并不能反映出
该边缘线整体的形状变化的程度，所以将该边缘线上所有像素点对应的相邻斜率差异的累
加值作为整体斜率差异，整体斜率差异越大，说明该边缘线本身形状的
变化就越明显，则对应的形状混乱程度就越大。
边缘线的像素混乱程度的获取方法具体包括：
在预设第一邻域范围内，获取每条边缘线上像素点的平均梯度和平均灰度，获取每个边缘线与其他边缘线的平均梯度差异和平均灰度差异的乘积，作为差异乘积值；将每个边缘线对应的所有差异乘积值的累加值作为对应边缘线的像素混乱程度。具体表达式为：
其中，表示第i条边缘线的像素混乱程度；s表示预设第一邻域范围内边缘线的数
量；表示第i条边缘线的平均梯度；表示第j条边缘线的平均梯度；表示第i条边缘线的
平均灰度；表示第j条边缘线的平均灰度；表示第i条边缘线和第j条边缘线之间
的平均梯度差异；表示第i条边缘线和第j条边缘线之间的平均灰度差异。
根据获得的像素点的缺陷可能性，可对像素点的显著性进行不同程度的增强，使缺陷像素点的显著性更加突出，缺陷区域中的像素点的缺陷可能性比较大，则对其显著性增强程度较大，正常像素点的缺陷可能性比较小，则对其显著性增强程度较小。在本发明的一个实施例中，像素点的显著性通过Itti显著性分析算法得到，需要说明的是，Itti显著性分析算法是本领域技术人员熟知的技术手段，在此不做赘述。
优选地，在本发明的一个实施例中像素点的缺陷显著值的获取方法具体包括：
将每个像素点对应的缺陷可能性和显著性的乘积作为对应像素点的缺陷显著值。具体表达式为：
其中，表示像素点的缺陷显著值；Q表示像素点的缺陷可能性；f表示像素点的显
著性。
根据像素点的缺陷可能性和显著性获得的像素点对应的缺陷显著值，能够使缺陷区域中的像素点的显著性更加突出，使得后续对缺陷区域的识别更加准确。
反光分析模块103用于获取表面灰度图像的梯度图像，若梯度图像中包含预设数量以上的互相平行的直线，则判断出现线光源反光，将灰度均值最大的直线作为反光中心；若梯度图像中存在某个像素点预设第二邻域范围内包括所有种类的梯度方向，并且对应像素点的灰度值大于预设灰度阈值，则判断出现点光源反光，对应像素点为标记点，将所有标记点的中心点作为反光中心；根据像素点到反光中心的距离、以像素点为中心的预设第三邻域范围的灰度均值、预设第三邻域范围内像素点的梯度方向差异获取像素点的反光程度。
由于钛合金家具表面比较光滑，极易出现反光现象，通常来说反光现象存在两种，即线光源反光和点光源反光，由于这两种反光类型都能导致反光区域内像素点的梯度方向出现非常明显的特征，线光源反光会导致反光区域内像素点的梯度方向一部分指向一个方向，另一部分指向相反的方向，而梯度方向与边缘相互垂直，如果存在线光源反光，则梯度图像中必然能够检测出多条相互平行的直线，所以若梯度图像中包含预设数量以上的互相平行的直线，则判断出现线光源反光，线光源反光的反光中心是一条直线，并且这条直线在检测到的所有直线中的灰度均值应该是最大的，所以将灰度均值最大的直线作为线光源反光的反光中心；点光源反光会导致反光区域内像素点的梯度方向指向同一点，则反光区域内包含有多个种类的梯度方向，所以如果存在以像素点为中心的预设第二邻域范围内包含所有种类的梯度方向，并且该像素点的灰度值大于预设灰度阈值，则可判断出现点光源反光，将满足条件的像素点标记为标记点，而标记点与点光源的反光中心之间的距离较近，所以可将所有标记点的中心点作为反光中心；如果像素点与反光中心之间的距离越近、以像素点为中心的预设第三邻域范围的灰度均值越大并且预设第三邻域范围内像素点的梯度方向越一致，说明像素点受到反光的影响就越大，所以可根据像素点到反光中心的距离、以像素点为中心的预设第三邻域范围的灰度均值、预设第三邻域范围内像素点的梯度方向差异获取像素点的反光程度。
在本发明的一个实施例中使用霍夫直线检测的方法检测梯度图像中相互平行的直线，并且检测到互相平行的直线的数量达到至少三个时认为出现线光源反光。需要说明的是，霍夫直线检测是本领域技术人员熟知的技术手段，在此不做赘述。
优选地，在本发明的一个实施例中判断点光源反光的方法具体包括：
根据像素点的梯度方向，使用K-means聚类对像素点进行分组，获得聚类簇；对每个聚类簇中的像素点进行连通域分析获得梯度连通区域；若梯度图像中存在某个像素点的灰度值大于预设灰度阈值并且在预设第二邻域范围内的梯度连通区域的种类数量等于聚类簇数量，则判断出现点光源反光。在本发明的一个实施例中预设第二邻域范围的大小设置为15*15，并且预设灰度阈值设置为200。
需要说明的是，在本发明的一个实施例中K-means聚类的参数K设置为6，若反光区域中包含所有梯度方向，也就是将反光区域中像素点的梯度方向每隔60°形成一个聚类簇，由点光源反光的特性可知，最终获得的梯度连通区域为6个扇形区域。
优选地，在本发明的一个实施例中像素点的反光程度的获取方法具体包括：
获取像素点到反光中心的距离作为参考距离；获取像素点与预设第三邻域范围内其他每个像素点的梯度方向差异，将所有梯度方向差异的和值作为参考差异；根据预设第三邻域范围的灰度均值、参考距离和参考差异获得像素点的反光程度；预设第三邻域范围的灰度均值与反光程度呈正相关，参考距离和参考差异均与反光程度呈负相关。具体表达式为：
其中，W表示像素点的反光程度；G表示以像素点为中心的预设第三邻域范围的灰
度均值；D表示参考距离；表示像素点的梯度方向的角度；表示预设第三邻域范围内第i
个像素点的梯度方向的角度；n表示预设第三邻域范围内像素点的数量；为第二常数；在
本发明的一个实施例中设置为1，预设第三邻域范围的大小设置为5*5。
在反光程度的获取过程中，反光中心处受反光影响的程度最强，所以像素点与反
光中心的距离越近，即参考距离D越小，说明像素点受到反光影响的程度越大，则像素点的
反光程度越大；像素点受到反光影响后，像素点的灰度值会偏大，所以以像素点为中心的预
设第三邻域范围的灰度均值G越大，说明像素点受到反光影响的程度越强，则相应的反光程
度就越大；表示像素点与预设第三邻域范围内像素点之间的梯度方向差异的
和值，即参考差异，其值越小说明预设第三邻域范围内像素点的梯度方向越趋于一致，说明
像素点受到反光影响的程度越强，则像素点的反光程度越大；考虑到分母可能为零，在此设
置一个较小常数以保证公式有意义。
需要说明的是，在本发明其他实施例中也可选用其他基础数学运算实现负相关和正相关映射，此类操作为本领域技术人员熟知的技术手段，在此不做限定及赘述。
缺陷显著值修正模块104用于获取每个像素点的最终显著值；若表面灰度图像不存在反光影响，则以缺陷显著值作为最终显著值；若存在反光影响，则根据反光程度对缺陷显著值进行修正，获取每个像素点的最终显著值。
在钛合金家具生产质量监控的过程中，其表面可能会存在反光，也可能不存在反光，当其表面不存在反光时，由于图像中的像素点没有受到反光的影响，所以可直接将缺陷显著值作为最终显著值，根据最终显著值在后续的步骤中对缺陷区域进行识别；当其表面存在反光时，反光会影响对缺陷的识别，甚至会将反光区域误识为缺陷区域，而像素点的反光程度反映了像素点受到反光的影响程度，所以可根据像素点的反光程度对像素点的缺陷显著值进行修正，抑制受到反光影响的像素点的显著性，从而降低反光对缺陷区域识别的影响。
优选地，在本发明的一个实施例中根据反光程度对缺陷显著值进行修正具体包括：
将缺陷显著值与反光程度相减并归一化作为最终显著值。
在本发明的一个实施例中，获取最终显著值的具体表达式为：
其中，F表示像素点的最终显著值；表示像素点的缺陷显著值；W表示像素点的反
光程度；为归一化函数；z=0表示不存在反光，z=1表示存在反光。
在最终显著值的获取过程中，当不存在反光时，由于未受到反光的影响，可直接将缺陷显著值作为最终显著值，当存在反光时，则需要根据反光程度不同程度的修正缺陷显著值，达到有效抑制反光的效果，所以用像素点的缺陷显著值与反光程度相减并归一化，像素点的反光程度越大，则说明应该更大程度的修正像素点的缺陷显著值，则像素点的最终显著值相应的就越小，从而实现对反光像素点的显著性的抑制作用，达到降低反光对识别缺陷区域影响的效果。
经过对像素点的缺陷显著值的修正，获得像素点对应的最终显著值，使得缺陷区域中的像素点在保留突出性的同时消除了反光带来的影响，使得后续对缺陷区域的识别更加准确。
质量监控模块105用于根据最终显著值获取缺陷区域。
通过上述分析获取的像素点的最终显著值，能够很好的区分出缺陷区域和非缺陷区域，并且消除了反光带来的影响，所以可以根据像素点的最终显著值对图像中的缺陷区域进行识别。
优选地，在本发明的一个实施例中缺陷区域的获取方法具体包括：
将最终显著值大于预设显著阈值的像素点标记为缺陷像素点，将最终显著值不大于预设显著阈值的像素点标记为正常像素点，所有缺陷像素点构成缺陷区域。在本发明的一个实施例中预设显著阈值设置为0.7。
当划分得到缺陷区域时，便可认为此时钛合金家具生产过程中其表面出现了缺陷，则需要进一步进行对缺陷区域的去除操作，本发明在识别缺陷区域的过程中消除了不同反光类型的反光现象带来的干扰，极大地提高了缺陷识别的准确性，通过对钛合金家具表面缺陷信息的监控，保障了在生产过程中钛合金家具的生产质量。
综上所述，本发明实施例首先获取钛合金家具的表面灰度图像；在图像中，根据像素点的预设第一邻域范围内边缘线的混乱程度得到像素点的缺陷可能性，并根据像素点的缺陷可能性和显著性获取像素点的缺陷显著值；根据梯度图像中像素点的梯度方向的分布特征判断出反光类型，并得到相应反光类型的反光中心，然后根据像素点到反光中心的距离、以像素点为中心的邻域的灰度均值、邻域内像素点的梯度方向差异获取像素点的反光程度；如果存在反光，则根据像素点的反光程度对缺陷显著值进行修正获取最终显著值，如果不存在反光，则将缺陷显著值作为最终显著值，进而根据最终显著值识别出缺陷区域。本发明实施例通过像素点的缺陷可能性和显著性获取像素点的缺陷显著值，基于不同的反光类型获取像素点的反光程度并对缺陷显著值进行修正，在保留缺陷像素点突出性的同时消除了反光的影响，有效的提高了对缺陷区域识别的准确性。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (10)
1.一种钛合金家具生产质量监控系统，其特征在于，所述系统包括：
图像采集模块，用于获取钛合金家具的表面灰度图像；
缺陷显著值分析模块，用于根据所述表面灰度图像中每个像素点在预设第一邻域范围内边缘线信息的混乱程度获得每个像素点的缺陷可能性，根据像素点的灰度特征获取每个像素点的显著性，根据所述显著性和所述缺陷可能性获得每个像素点的缺陷显著值；
反光分析模块，用于获取所述表面灰度图像的梯度图像，若所述梯度图像中包含预设数量以上的互相平行的直线，则判断出现线光源反光，将灰度均值最大的直线作为反光中心；若所述梯度图像中存在某个像素点预设第二邻域范围内包括所有种类的梯度方向，并且对应像素点的灰度值大于预设灰度阈值，则判断出现点光源反光，对应像素点为标记点，将所有标记点的中心点作为反光中心；根据像素点到所述反光中心的距离、以像素点为中心的预设第三邻域范围的灰度均值、所述预设第三邻域范围内像素点的梯度方向差异获取像素点的反光程度；
缺陷显著值修正模块，用于获取每个像素点的最终显著值；若所述表面灰度图像不存在反光影响，则以所述缺陷显著值作为最终显著值；若存在反光影响，则根据所述反光程度对所述缺陷显著值进行修正，获取每个像素点的最终显著值；
质量监控模块，用于根据最终显著值获取缺陷区域。
2.根据权利要求1所述的一种钛合金家具生产质量监控系统，其特征在于，所述根据所述表面灰度图像中每个像素点在预设第一邻域范围内边缘线信息的混乱程度获得每个像素点的缺陷可能性包括：
根据像素点在预设第一邻域范围内每个边缘线相对于其他边缘线之间的形状差异获得形状混乱程度；
根据像素点在预设第一邻域范围内每个边缘线相对于其他边缘线之间的梯度差异和灰度差异获得像素混乱程度；
将所述预设第一邻域范围内所有边缘线的所述形状混乱程度和所述像素混乱程度的乘积的累加值作为预设第一邻域范围的所述混乱程度；
将所述预设第一邻域范围内边缘线的数量和所述混乱程度的乘积作为所述像素点的缺陷可能性。
3.根据权利要求2所述的一种钛合金家具生产质量监控系统，其特征在于,所述形状混乱程度的获取方法包括：
在所述预设第一邻域范围内，根据形状上下文算法分别获取每个边缘线与每个其他边缘线的相似性；对每个边缘线对应的所有所述相似性进行累加并作负相关映射，获取对应边缘线的相似性映射值；
在每个边缘线上，将在以像素点为中心的预设第四邻域范围内并且在边缘线上的像素点作为像素点的相邻像素点，将像素点与所述相邻像素点的斜率差异的和值作为相邻斜率差异；对每个边缘线上所有像素点对应的所述相邻斜率差异进行累加获取对应边缘线的整体斜率差异；
将每个边缘线对应的所述相似性映射值和所述整体斜率差异的乘积作为对应边缘线的形状混乱程度。
4.根据权利要求2所述的一种钛合金家具生产质量监控系统，其特征在于,所述像素混乱程度的获取方法包括：
在所述预设第一邻域范围内，获取每条边缘线上像素点的平均梯度和平均灰度，获取每个所述边缘线与其他边缘线的平均梯度差异和平均灰度差异的乘积，作为差异乘积值；
将每个边缘线对应的所有所述差异乘积值的累加值作为对应边缘线的像素混乱程度。
5.根据权利要求1所述的一种钛合金家具生产质量监控系统，其特征在于,所述每个像素点的缺陷显著值的获取方法包括：
将每个像素点对应的所述缺陷可能性和所述显著性的乘积作为对应像素点的缺陷显著值。
6.根据权利要求1所述的一种钛合金家具生产质量监控系统，其特征在于,判断出现点光源反光的方法包括：
根据像素点的梯度方向，使用K-means聚类对像素点进行分组，获得聚类簇；在所述梯度图像中，对每个聚类簇中的像素点进行连通域分析获得梯度连通区域；
若所述梯度图像中存在某个像素点的灰度值大于预设灰度阈值并且在所述预设第二邻域范围内的梯度连通区域的种类数量等于聚类簇数量，则判断出现点光源反光。
7.根据权利要求1所述的一种钛合金家具生产质量监控系统，其特征在于,所述像素点的反光程度的获取方法包括：
获取像素点到所述反光中心的距离作为参考距离；
获取像素点与所述预设第三邻域范围内其他每个像素点的梯度方向差异，将所有所述梯度方向差异的和值作为参考差异；
根据所述预设第三邻域范围的灰度均值、所述参考距离和所述参考差异获得像素点的反光程度；所述预设第三邻域范围的灰度均值与所述反光程度呈正相关，所述参考距离和所述参考差异均与所述反光程度呈负相关。
8.根据权利要求1所述的一种钛合金家具生产质量监控系统，其特征在于，所述根据所述反光程度对所述缺陷显著值进行修正包括：
将所述缺陷显著值与所述反光程度相减并归一化作为最终显著值。
9.根据权利要求1所述的一种钛合金家具生产质量监控系统，其特征在于，所述缺陷区域的获取方法包括：
将最终显著值大于预设显著阈值的像素点标记为缺陷像素点，将最终显著值不大于预设显著阈值的像素点标记为正常像素点，所有缺陷像素点构成缺陷区域。
10.根据权利要求1所述的一种钛合金家具生产质量监控系统，其特征在于，根据基于人眼的Itti显著性分析算法获取每个像素点的显著性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310893846.1A CN116611748B (zh) | 2023-07-20 | 2023-07-20 | 一种钛合金家具生产质量监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310893846.1A CN116611748B (zh) | 2023-07-20 | 2023-07-20 | 一种钛合金家具生产质量监控系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116611748A true CN116611748A (zh) | 2023-08-18 |
| CN116611748B CN116611748B (zh) | 2023-10-20 |
Family
ID=87684034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310893846.1A Active CN116611748B (zh) | 2023-07-20 | 2023-07-20 | 一种钛合金家具生产质量监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116611748B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116758083A (zh) * | 2023-08-21 | 2023-09-15 | 浙江莫克智造有限公司 | 基于计算机视觉的金属洗脸盆缺陷快速检测方法 |
| CN116824516A (zh) * | 2023-08-30 | 2023-09-29 | 中冶路桥建设有限公司 | 一种涉路施工安全监测及管理系统 |
| CN117011297A (zh) * | 2023-10-07 | 2023-11-07 | 惠州市凯默金属制品有限公司 | 基于图像处理的铝合金汽配件模具缺陷检测方法 |
| CN117192423A (zh) * | 2023-11-07 | 2023-12-08 | 深圳市美尔泰电子有限公司 | 一种移动电源剩余电量准确检测方法 |
| CN117333383A (zh) * | 2023-09-07 | 2024-01-02 | 广东奥普特科技股份有限公司 | 一种表面缺陷检测方法、装置和设备 |
| CN117351021A (zh) * | 2023-12-06 | 2024-01-05 | 东莞市南谷第电子有限公司 | 一种光伏连接线生产质量智能检测方法 |
| CN117522719A (zh) * | 2024-01-05 | 2024-02-06 | 自贡市第一人民医院 | 基于机器学习的支气管镜图像辅助优化系统 |
| CN117788467A (zh) * | 2024-02-26 | 2024-03-29 | 宝鸡百润万德钛业有限公司 | 一种钛金属板材缺陷图像分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022042579A1 (zh) * | 2020-08-28 | 2022-03-03 | 歌尔股份有限公司 | 一种用于lcd屏幕的缺陷检测方法、装置 |
| CN115239735A (zh) * | 2022-09-23 | 2022-10-25 | 探长信息技术(苏州)有限公司 | 基于计算机视觉的通信柜表面缺陷检测方法 |
| CN115294338A (zh) * | 2022-09-29 | 2022-11-04 | 中威泵业(江苏)有限公司 | 一种叶轮表面缺陷识别方法 |
| CN115294120A (zh) * | 2022-10-08 | 2022-11-04 | 誉隆半导体设备(江苏)有限公司 | 基于图像识别的阀门表面质量检测方法 |
| CN115861291A (zh) * | 2023-01-06 | 2023-03-28 | 曲阜天博汽车电器有限公司 | 基于机器视觉的贴片电路板生产缺陷检测方法 |
| CN116309570A (zh) * | 2023-05-18 | 2023-06-23 | 山东亮马新材料科技有限公司 | 一种钛合金棒材质量检测方法及系统 |
-
2023
- 2023-07-20 CN CN202310893846.1A patent/CN116611748B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022042579A1 (zh) * | 2020-08-28 | 2022-03-03 | 歌尔股份有限公司 | 一种用于lcd屏幕的缺陷检测方法、装置 |
| CN115239735A (zh) * | 2022-09-23 | 2022-10-25 | 探长信息技术(苏州)有限公司 | 基于计算机视觉的通信柜表面缺陷检测方法 |
| CN115294338A (zh) * | 2022-09-29 | 2022-11-04 | 中威泵业(江苏)有限公司 | 一种叶轮表面缺陷识别方法 |
| CN115294120A (zh) * | 2022-10-08 | 2022-11-04 | 誉隆半导体设备(江苏)有限公司 | 基于图像识别的阀门表面质量检测方法 |
| CN115861291A (zh) * | 2023-01-06 | 2023-03-28 | 曲阜天博汽车电器有限公司 | 基于机器视觉的贴片电路板生产缺陷检测方法 |
| CN116309570A (zh) * | 2023-05-18 | 2023-06-23 | 山东亮马新材料科技有限公司 | 一种钛合金棒材质量检测方法及系统 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116758083B (zh) * | 2023-08-21 | 2023-10-31 | 浙江莫克智造有限公司 | 基于计算机视觉的金属洗脸盆缺陷快速检测方法 |
| CN116758083A (zh) * | 2023-08-21 | 2023-09-15 | 浙江莫克智造有限公司 | 基于计算机视觉的金属洗脸盆缺陷快速检测方法 |
| CN116824516A (zh) * | 2023-08-30 | 2023-09-29 | 中冶路桥建设有限公司 | 一种涉路施工安全监测及管理系统 |
| CN116824516B (zh) * | 2023-08-30 | 2023-11-21 | 中冶路桥建设有限公司 | 一种涉路施工安全监测及管理系统 |
| CN117333383A (zh) * | 2023-09-07 | 2024-01-02 | 广东奥普特科技股份有限公司 | 一种表面缺陷检测方法、装置和设备 |
| CN117011297A (zh) * | 2023-10-07 | 2023-11-07 | 惠州市凯默金属制品有限公司 | 基于图像处理的铝合金汽配件模具缺陷检测方法 |
| CN117011297B (zh) * | 2023-10-07 | 2024-02-02 | 惠州市凯默金属制品有限公司 | 基于图像处理的铝合金汽配件模具缺陷检测方法 |
| CN117192423A (zh) * | 2023-11-07 | 2023-12-08 | 深圳市美尔泰电子有限公司 | 一种移动电源剩余电量准确检测方法 |
| CN117192423B (zh) * | 2023-11-07 | 2024-01-26 | 深圳市美尔泰电子有限公司 | 一种移动电源剩余电量准确检测方法 |
| CN117351021A (zh) * | 2023-12-06 | 2024-01-05 | 东莞市南谷第电子有限公司 | 一种光伏连接线生产质量智能检测方法 |
| CN117351021B (zh) * | 2023-12-06 | 2024-03-26 | 东莞市南谷第电子有限公司 | 一种光伏连接线生产质量智能检测方法 |
| CN117522719A (zh) * | 2024-01-05 | 2024-02-06 | 自贡市第一人民医院 | 基于机器学习的支气管镜图像辅助优化系统 |
| CN117522719B (zh) * | 2024-01-05 | 2024-03-22 | 自贡市第一人民医院 | 基于机器学习的支气管镜图像辅助优化系统 |
| CN117788467A (zh) * | 2024-02-26 | 2024-03-29 | 宝鸡百润万德钛业有限公司 | 一种钛金属板材缺陷图像分类方法 |
| CN117788467B (zh) * | 2024-02-26 | 2024-04-26 | 宝鸡百润万德钛业有限公司 | 一种钛金属板材缺陷图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116611748B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116611748B (zh) | 一种钛合金家具生产质量监控系统 | |
| CN114937055B (zh) | 基于人工智能的图像自适应分割方法与系统 | |
| CN110334706B (zh) | 一种图像目标识别方法及装置 | |
| CN115311292B (zh) | 基于图像处理的带钢表面缺陷检测方法及系统 | |
| CN115082419B (zh) | 一种吹塑箱包生产缺陷检测方法 | |
| CN114419025A (zh) | 一种基于图像处理的纤维板质量评估方法 | |
| CN115351598A (zh) | 一种数控机床轴承检测方法 | |
| CN110287963B (zh) | 用于综合性能试验的ocr识别方法 | |
| CN116385450B (zh) | 基于图像处理的ps片材抗耐磨性检测方法 | |
| CN116977358B (zh) | 一种瓦楞纸生产品质视觉辅助检测方法 | |
| CN110335233B (zh) | 基于图像处理技术的高速公路护栏板缺陷检测系统和方法 | |
| CN115311507B (zh) | 基于数据处理的建筑板材分类方法 | |
| CN114820625B (zh) | 一种汽车顶块缺陷检测方法 | |
| US20140079316A1 (en) | Segmentation co-clustering | |
| CN116309565B (zh) | 基于计算机视觉的高强传送带跑偏检测方法 | |
| CN114972356A (zh) | 塑料制品表面缺陷检测识别方法及系统 | |
| CN116152242B (zh) | 一种篮球用天然皮革缺陷可视化检测系统 | |
| CN117094916B (zh) | 一种市政桥梁支座视觉检测方法 | |
| CN116309577B (zh) | 一种高强传送带物料智能检测方法及系统 | |
| CN112508913A (zh) | 基于图像检测的电缆截面边沿检测方法 | |
| CN106096713B (zh) | 一种基于空间和灰度特征的粗精二级纸张计数方法 | |
| CN117333489B (zh) | 一种薄膜破损检测装置及检测系统 | |
| Bodnár et al. | A novel method for barcode localization in image domain | |
| CN107103289B (zh) | 利用笔迹轮廓特征来进行笔迹鉴别的方法及系统 | |
| Jothi et al. | Intra-ocular lens defect detection using generalized hough transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |