CN117132828B - 一种铜管加工过程固体废料的自动分类方法及系统 - Google Patents
一种铜管加工过程固体废料的自动分类方法及系统 Download PDFInfo
- Publication number
- CN117132828B CN117132828B CN202311108997.8A CN202311108997A CN117132828B CN 117132828 B CN117132828 B CN 117132828B CN 202311108997 A CN202311108997 A CN 202311108997A CN 117132828 B CN117132828 B CN 117132828B
- Authority
- CN
- China
- Prior art keywords
- copper pipe
- image
- solid waste
- information
- meta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 title claims abstract description 283
- 229910052802 copper Inorganic materials 0.000 title claims abstract description 283
- 239000010949 copper Substances 0.000 title claims abstract description 283
- 239000002910 solid waste Substances 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000003754 machining Methods 0.000 title claims description 23
- 238000012545 processing Methods 0.000 claims abstract description 112
- 230000008569 process Effects 0.000 claims abstract description 74
- 239000012535 impurity Substances 0.000 claims abstract description 65
- 238000005520 cutting process Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 239000002699 waste material Substances 0.000 claims abstract description 28
- 238000013145 classification model Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 19
- 239000000463 material Substances 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 239000007787 solid Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000003709 image segmentation Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 238000004064 recycling Methods 0.000 abstract description 4
- 238000009270 solid waste treatment Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及固体废料处理技术领域，尤其涉及一种铜管加工过程固体废料的自动分类方法及系统，方法包括：获取铜管内表面图像和外表面图像，得到铜管图像综合信息；基于铜管图像综合信息，获得铜管内外表面杂质信息；对切削废料进行种类划分，采集各个切削废料的图像，获得固体废料的图像元特征集；对图像元特征集进行任务划分，获得各个固体废料的元特征集；构建固体废料的自动分类模型，对各个固体废料的元特征集进行训练，建立固体废料的自动分类元学习卷积神经网络模型；基于自动分类元学习卷积神经网络模型对固体废料进行识别和分类。通过本发明，有效地解决了废料分类中的不稳定性问题，有助于降低生产成本和提高资源的回收利用率。
Description
技术领域
本发明涉及固体废料处理技术领域，尤其涉及一种铜管加工过程固体废料的自动分类方法及系统。
背景技术
在工业生产过程中，铜管的加工和生产是一项重要的任务，在铜管加工过程中，会产生大量的固体废料，对这些固体废料的分类和处理对于生产成本的降低和资源回收利用至关重要。
传统固体废料的分类主要依赖于人工视觉方法，然而，这种方法通常需要大量的人力和时间，并且在处理复杂多样的废料类型时表现不稳定。此外，人工规则和特征工程方法往往受限于特定的场景和问题，难以应对不同类型的废料分类任务。
公开于该背景技术部分的信息仅仅旨在加深对本公开总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成本领域技术人员所公知的现有技术。
发明内容
本发明提供了一种铜管加工过程固体废料的自动分类方法及系统，可有效解决背景技术中的问题。
为了达到上述目的，本发明所采用的技术方案是：
一种铜管加工过程固体废料的自动分类方法，所述方法包括：
获取加工完成后的铜管内表面图像和外表面图像，并得到铜管图像综合信息；
基于所述铜管图像综合信息，获得铜管内外表面杂质信息；
对所述铜管加工过程产生的切削废料进行种类划分，采集各个切削废料的图像，并结合所述内外表面杂质信息，获得所述铜管加工过程固体废料的图像元特征集，其中，固体废料为铜管内外表面杂质和切削废料；
基于各个固体废料的种类差异，对所述图像元特征集进行任务划分，获得所述各个固体废料的元特征集；
构建铜管加工过程固体废料的自动分类模型，并基于元学习算法对所述各个固体废料的元特征集进行训练，建立铜管加工过程固体废料的自动分类元学习卷积神经网络模型；
基于所述自动分类元学习卷积神经网络模型对所述铜管加工过程固体废料进行识别和分类。
进一步地，获取加工完成后的铜管内表面图像和外表面图像，并得到铜管图像综合信息，包括：
对铜管外表面进行扫描，并获得铜管外表面图像信息；
对铜管内表面进行扫描，并获得铜管内表面图像信息；
将所述铜管外表面图像信息和所述内表面图像信息基于同一铜管进行对应整合，获得所述铜管图像综合信息。
进一步地，基于所述铜管图像综合信息，获得所述铜管内外表面杂质信息，包括：
对所述铜管图像综合信息进行预处理，获得铜管数字图像信息；
根据是否出现表面杂质，对所述铜管数字图像信息进行特征提取，获得铜管特征数字图像；
对所述铜管特征数字图像进行图像分割，获得铜管特征数字分割图像；
基于所述铜管特征数字分割图像，分离出含有内外表面杂质所述铜管特征数字分割图像，并获得所述铜管内外表面杂质信息。
进一步地，对所述铜管加工过程产生的切削废料进行种类划分，采集各个切削废料的图像，并结合所述内外表面杂质信息，获得所述铜管加工过程固体废料的图像元特征集，包括：
根据铜管加工螺纹类型的差异，对产生的所述切削废料进行分类，获得种类划分结果；
基于所述种类划分结果，对所述各个切削废料进行图像采集，并获得所述各个切削废料的图像特征信息；
基于所述各个切削废料的图像特征信息和所述内外表面杂质信息，进行特征级融合，获得固体废料特征融合集，并建立所述铜管加工过程固体废料的图像元特征集。
进一步地，基于所述各个固体废料的种类差异，对所述图像元特征集进行任务划分，获得所述各个固体废料的元特征集，包括：
根据所述铜管加工过程固体废料的图像元特征集，获得图像元特征向量；
对所述图像元特征向量进行降维处理，获得图像一维元特征向量；
基于所述种类差异，对所述图像一维元特征向量进行划分，获得所述各个固体废料的元特征集。
进一步地，所述构建铜管加工过程固体废料的自动分类模型，并基于元学习算法对所述各个固体废料的元特征集进行训练，建立铜管加工过程固体废料的自动分类元学习模型，包括：
基于卷积神经网络模型，构建所述铜管加工过程固体废料的基础模型；
将所述各个固体废料的元特征划分为训练集和测试集，并基于所述元学习算法在所述训练集上进行训练，并得到元学习模型；
基于元学习算法训练得到的模型参数，建立所述铜管加工过程固体废料的自动分类元学习模型；
根据所述测试集对所述铜管加工过程固体废料的自动分类元学习模型进行测试，并对模型做出相应优化和调整。
进一步地，基于所述元学习算法在所述训练集上进行训练，包括：
对所述铜管加工过程固体废料的基础模型进行复制，创建所述铜管加工过程固体废料的基础模型的副本；
基于所述铜管加工过程固体废料的基础模型的副本对所述训练集进行微调，并计算所述铜管加工过程固体废料的基础模型的损失，随时函数为：
其中，yi为所述铜管加工过程固体废料的正确类别的第i个元素，表示样本是否属于第i个类别，Pi为模型的预测输出的第i个元素，表示模型预测样本属于第i个类别的概率；
对损失函数进行微分，并计算所述模型参数的梯度p，公式如下：
基于得到的所述模型参数的梯度p，使用优化算法调整模型的参数。
进一步地，基于所述自动分类元学习卷积神经网络模型对所述铜管加工过程固体废料进行识别和分类，包括：
将所述铜管加工过程的固体废料预处理后的图像输入所述自动分类元学习卷积神经网络模型中进行识别，获取预测输出结果；
基于所述预测输出结果中的概率排序，对所述铜管加工过程固体废料的进行自动分类。
一种铜管加工过程固体废料的自动分类系统，所述系统包括：
综合信息获取模块，获取加工完成后的铜管内表面图像和外表面图像，并得到铜管图像综合信息；
杂质信息获取模块，基于所述铜管图像综合信息，获得铜管内外表面杂质信息；
元特征集获取模块，对所述铜管加工过程产生的切削废料进行种类划分，采集各个切削废料的图像，并结合所述内外表面杂质信息，获得所述铜管加工过程固体废料的图像元特征集，其中，所述固体废料为铜管内外表面杂质和切削废料；
元特征集划分模块，基于各个固体废料的种类差异，对所述图像元特征集进行任务划分，获得所述各个固体废料的元特征集；
分类模型构建模块，构建铜管加工过程固体废料的自动分类模型，并基于元学习算法对所述各个固体废料的元特征集进行训练，建立铜管加工过程固体废料的自动分类元学习卷积神经网络模型；
自动分类运行模块，基于所述自动分类元学习卷积神经网络模型对所述铜管加工过程固体废料进行识别和分类。
进一步地，所述杂质信息获取模块，包括：
预处理单元，对所述铜管图像综合信息进行预处理，获得铜管数字图像信息；
特征提取单元，根据是否出现表面杂质，对所述铜管数字图像信息进行特征提取，获得铜管特征数字图像；
图像分割单元，对所述铜管特征数字图像进行图像分割，获得铜管特征数字分割图像；
信息获取单元，基于所述铜管特征数字分割图像，分离出含有内外表面杂质所述铜管特征数字分割图像，并获得所述铜管内外表面杂质信息。
通过本发明的技术方案，可实现以下技术效果：
有效地解决了废料分类中的不稳定性问题，突破了特定场景的限制，具有较强的适应性，能够应对不同类型的废料分类任务，相比较传统的人工分类提高了工作效率，有助于降低生产成本和提高资源的回收利用率，促进可持续发展。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种铜管加工过程固体废料的自动分类方法及系统的流程示意图；
图2为得到铜管图像综合信息的流程示意图；
图3为获得铜管内外表面杂质信息的流程示意图；
图4为获得铜管加工过程固体废料的图像元特征集的流程示意图；
图5为获得各个固体废料的元特征集的流程示意图；
图6为建立铜管加工过程固体废料的自动分类元学习模型的流程示意图；
图7为基于元学习算法在训练集上进行训练的流程示意图；
图8为对铜管加工过程固体废料进行识别和分类的流程示意图；
图9为一种铜管加工过程固体废料的自动分类系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
如图1所示，本申请提供了一种铜管加工过程固体废料的自动分类方法，方法包括：
S100：获取加工完成后的铜管内表面图像和外表面图像，并得到铜管图像综合信息；
S200：基于铜管图像综合信息，获得铜管内外表面杂质信息；
具体来说，由于内外表面都可能存在各种杂质、损坏等问题，因此需要对铜管的内外表面进行检测，采集铜管外表面图像可以通过光学扫描仪或者专用的图像采集系统等来完成，而获取铜管内表面图像可以通过X射线成像、超声波成像等方法，进而对铜管的内外表面的图像进行整理和分析，并得到铜管图像综合信息。之后对铜管图像综合信息进行一定程度的图像处理，提高图像质量，减少噪声和干扰，以便后续分析，然后通过图像处理和特征提取技术，识别和分离出内外表面的杂质，获得铜管内外表面杂质信息。
S300：对铜管加工过程产生的切削废料进行种类划分，采集各个切削废料的图像，并结合内外表面杂质信息，获得铜管加工过程固体废料的图像元特征集，其中，固体废料为铜管内外表面杂质和切削废料；
S400：基于各个固体废料的种类差异，对图像元特征集进行任务划分，获得各个固体废料的元特征集；
具体而言，由于铜管加工过程中的加工参数、刀具类型、切削方式等的不同，会产生不同种类的切削废料，然后对铜管加工过程产生的切削废料进行种类划分，包括毛刺、切屑、碎片等，可以使用扫描仪等采集方式来采集各个切削废料的图像，并获得各个切削废料的图像的特征。由于铜管内外表面杂质和切削废料都属于固体废料，可以将各个切削废料的图像特征和内外表面杂质信息相结合，获得铜管加工过程固体废料的图像元特征集，由于固体废料的种类差异，将图像元特征集划分为不同的特征提取子任务，每个子任务负责从原始图像中提取一组特定种类的特征，获得各个固体废料的元特征集，为后续的分类模型训练提供更具有区分度的特征。
S500：构建铜管加工过程固体废料的自动分类模型，并基于元学习算法对各个固体废料的元特征集进行训练，建立铜管加工过程固体废料的自动分类元学习卷积神经网络模型；
S600：基于自动分类元学习卷积神经网络模型对铜管加工过程固体废料进行识别和分类。
具体来说，首先可以选择卷积神经网络作为铜管加工过程固体废料的自动分类模型，并将数据集划分为训练集和测试集，训练集用于模型训练，测试集用于调整模型参数，监控模型性能以及评估最终模型的性能，然后在模型中引入元学习算法，并使用训练集对构建的模型进行训练，建立铜管加工过程固体废料的自动分类元学习卷积神经网络模型，模型可以满足预期的精度和鲁棒性要求，就可以将其应用于实际场景中的铜管加工过程固体废料的识别和分类任务，将预处理后的图像输入到模型中，利用模型的学习能力和特征提取能力，自动判断并分类铜管加工过程产生的固体废料。
进一步来说，获取加工完成后的铜管内表面图像和外表面图像，并得到铜管图像综合信息，如图2所示，包括：
S110：对铜管外表面使用激光扫描仪进行扫描，并获得铜管外表面图像信息；
S120：对铜管内表面使用超声波进行扫描，并获得铜管内表面图像信息；
S130：将铜管外表面图像信息和内表面图像信息基于同一铜管进行对应整合，获得铜管图像综合信息。
具体来说，可以有多种方式对铜管外表面进行扫描，由于激光扫描仪能够提供高精度、非接触式的三维测量结果，因此本实施例中选择激光扫描仪对铜管的外表面进行扫描，激光扫描仪通过发射激光束并记录其反射回来的信号，获取铜管外表面的三维坐标数据，并将这些坐标数据转换为二维图像信息，就得到了铜管外表面图像信息，包括铜管外表面的凹凸不平、表面缺陷、纹理等；同样地，选择超声波对铜管内表面进行扫描是因为超声波能够穿透铜管并传播，在铜管中与界面和缺陷发生反射或散射，具有非破坏性、深度穿透能力、高灵敏度和精确度的优势，本步骤通过测量超声波的传播速度和反射情况，获取内表面的图像信息，包括内表面的缺陷、腐蚀、厚度变化等。为了确保铜管内外表面信息数据的一致性和精确对应，并提供更全面的铜管分析，将铜管外表面图像信息和内表面图像信息基于同一铜管进行对应整合，使用相应的配准算法或特征匹配技术，将外表面图像和内表面图像对应到同一个铜管上，通过将外表面和内表面的图像信息叠加或拼接，得到铜管图像综合信息。
进一步来说，基于铜管图像综合信息，获得铜管内外表面杂质信息，如图3所示，包括：
S210：对铜管图像综合信息进行预处理，获得铜管数字图像信息；
S220：根据是否出现表面杂质，对铜管数字图像信息进行特征提取，获得铜管特征数字图像；
对铜管图像综合信息进行预处理，目的是为了优化图像质量、降低噪声干扰，提高图像分析和处理的准确性和可靠性，可以通过图像去噪、图像增强、边缘检测等预处理步骤，消除图像中的噪声、增强关键特征，并为后续的特征提取提供清晰、准确的铜管数字图像信息；在进行特征提取之前，可以先进行表面杂质检测，判断铜管表面是否存在杂质、斑点或凸起等异常区域，然后根据是否出现表面杂质以及表面杂质的特点，选择颜色直方图、如灰度共生矩阵、边缘检测算法等方法，将铜管数字图像中与表面杂质相关的特征提取出来，获得铜管特征数字图像。
S230：对铜管特征数字图像进行图像分割，获得铜管特征数字分割图像；
S240：基于铜管特征数字分割图像，分离出含有内外表面杂质铜管特征数字分割图像，并获得铜管内外表面杂质信息。
具体而言，图像分割是指将一个图像划分为不同区域或对象的过程，并将图像中的区域或对象从背景中分离出来，从而实现对图像的更细粒度的理解和处理，铜管特征数字图像中可能包含多个区域，可以通过基于阈值分割、基于边缘分割、基于区域分割等方法对铜管特征数字图像进行图像分割，将铜管特征数字图像划分为不同的区域，使每个区域内的像素具有相似的特征，便于进一步的目标检测和分析，然后，基于铜管特征数字分割图像，将含有内外表面杂质的区域从其他区域分离出来，获得铜管内外表面杂质信息。
进一步来说，对铜管加工过程产生的切削废料进行种类划分，采集各个切削废料的图像，并结合内外表面杂质信息，获得铜管加工过程固体废料的图像元特征集，如图4所示，包括：
S310：根据铜管加工螺纹类型的差异，对产生的切削废料进行分类，获得种类划分结果；
S320：基于种类划分结果，对各个切削废料进行图像采集，并获得各个切削废料的图像特征信息；
S330：基于各个切削废料的图像特征信息和内外表面杂质信息，进行特征级融合，获得固体废料特征融合集，并建立铜管加工过程固体废料的图像元特征集。
具体来说，由于螺纹的类型和加工方式的不同，在螺纹的加工过程中会使用不同的螺纹工具或刀具，可能会产生不同种类的切削废料，包括切屑、碎屑、丝屑、粉末等，然后观察并记录各种切削废料特征差异，获得种类划分结果；然后，通过红外热像仪、扫描仪等设备对各个切削废料进行图像采集，要确保各个切削废料在图像中能够清晰可见，对于采集到的图像要进行进一步的处理和调整，包括旋转剪裁、去除噪声、图像增强等预处理操作，然后再通过灰度共生矩阵、边缘检测等方法从采集到的图像中提取特征，获得各个切削废料的图像特征信息；接下来将获得的各个切削废料的图像特征信息和内外表面杂质信息通过特征连接、加权求和或基于机器学习的方法进行特征级融合，减轻单一特征的不足之处，提供更全面、更准确的特征表示，并获得固体废料特征融合集，然后根据固体废料的特征融合集，建立一个包含多个废料物体图像及其对应特征的图像元特征集，为后续的废料分类、自动识别以及质量控制提供重要的基础数据。
进一步来说，基于各个固体废料的种类差异，对图像元特征集进行任务划分，获得各个固体废料的元特征集，如图5所示，包括：
S410：根据铜管加工过程固体废料的图像元特征集，获得图像元特征向量；
S420：对图像元特征向量进行降维处理，获得图像一维元特征向量；
S430：基于种类差异，对图像一维元特征向量进行划分，获得各个固体废料的元特征集。
对每个固体废料的图像元特征集进行特征提取，并计算出每个特征相应的特征值，但是在将图像元特征转化为特征向量之前，需要对特征进行归一化处理，包括线性缩放、均值方差归一化等，确保不同特征具有相同的重要性和尺度，以避免某些特征对最终结果的影响过大，然后按照固定顺序排列特征值，或者使用稀疏表示方法将提取和归一化后的图像元特征组合成一个特征向量，获得图像元特征向量。由于图像元特征向量是高维度数据，很难直观地理解和可视化数据，因此需要通过主成分分析、线性判别分析、因子分析等方法对图像元特征向量进行降维处理，将高维数据映射到低维空间，获得图像一维元特征向量，然后基于种类差异，采用聚类等方法将图像一维元特征向量进行划分，例如，层次类聚、密度类聚等，将同一种类的样本归为同一类别，并将不同种类的样本划分到不同的类别中，并获得各个固体废料的元特征集。
进一步来说，构建铜管加工过程固体废料的自动分类模型，并基于元学习算法对各个固体废料的元特征集进行训练，建立铜管加工过程固体废料的自动分类元学习模型，如图6所示，包括：
S510：基于卷积神经网络模型，构建铜管加工过程固体废料的基础模型；
S520：将各个固体废料的元特征划分为训练集和测试集，并基于元学习算法在训练集上进行训练，并得到元学习模型；
S530：基于元学习算法训练得到的模型参数，建立铜管加工过程固体废料的自动分类元学习模型；
S540：根据测试集对铜管加工过程固体废料的自动分类元学习模型进行测试，并对模型做出相应优化和调整。
具体来说，首先构建一个卷积神经网络模型作为铜管加工过程固体废料的基础模型，再将各个固体废料的元特征划分为训练集和测试集，将大部分数据作为训练集用于模型的训练，而将一小部分作为测试集用于评估模型的性能，然后选择适合的元学习算法，例如，元胞自动机、模型无关的元学习等，再使用划分好的训练集和选定的元学习算法，在训练集上进行元学习训练，并生成一个元学习模型；接下来将元学习算法训练得到的模型参数作为初始参数，输入铜管加工过程固体废料的基础模型，建立铜管加工过程固体废料的自动分类元学习模型，将测试集输入到自动分类元学习模型中，观察模型对于不同类别的固体废料样本的分类结果，评估模型的性能指标，例如计算模型的准确率、召回率、精确率等，然后根据模型性能分析结果，对模型进行相应的优化和调整，包括数据增强、调整模型超参数、修改模型的结构等，逐步提高模型的分类准确度和泛化能力。
进一步来说，基于元学习算法在训练集上进行训练，如图7所示，包括：
S521：对铜管加工过程固体废料的基础模型进行复制，创建铜管加工过程固体废料的基础模型的副本；
S522：基于铜管加工过程固体废料的基础模型的副本对训练集进行微调，并计算铜管加工过程固体废料的基础模型的损失，随时函数为：
其中，yi为铜管加工过程固体废料的正确类别的第i个元素，表示样本是否属于第i个类别，Pi为模型的预测输出的第i个元素，表示模型预测样本属于第i个类别的概率；
S523：对损失函数进行微分，并计算模型参数的梯度p，公式如下：
S524：基于得到的模型参数的梯度p，使用优化算法调整模型的参数。
具体而言，元学习算法的核心思想是通过学习多个任务的经验来提升在新任务上的泛化能力，在基于元学习算法在训练集上进行训练的过程中，需要计算每个任务的梯度以调整模型参数，因此通过创建铜管加工过程固体废料的基础模型的副本，就可以在每个任务中使用不同的模型副本，以便分别计算损失函数的导数和梯度，也可以避免在元学习算法中共享权重引起的干扰。使用铜管加工过程固体废料的基础模型的副本，对训练集进行微调，通过将训练集输入到基础模型的副本中，得到模型的预测输出，并计算损失函数的值，再对损失函数进行微分，计算模型参数的梯度，通过计算梯度，可以了解损失函数对于不同模型参数的变化程度，使用随机梯度下降、Adam等优化算法来调整模型的参数，来最小化损失函数，从而提高模型的性能。
进一步来说，基于自动分类元学习卷积神经网络模型对铜管加工过程固体废料进行识别和分类，如图8所示，包括：
S610：将铜管加工过程的固体废料预处理后的图像输入自动分类元学习卷积神经网络模型中进行识别，获取预测输出结果；
S620：基于预测输出结果中的概率排序，对铜管加工过程固体废料的进行自动分类。
具体来说，首先对铜管加工过程的固体废料的图像信息进行预处理，包括图像的缩放、裁剪、归一化或增强等操作，接下来，将经过预处理的图像输入到自动分类元学习的卷积神经网络模型中，卷积神经网络模型会对输入图像进行多次卷积和池化操作，以提取图像中的关键特征，随后，这些特征将被传递给全连接层，通过激活函数计算出每个类别的预测输出结果，通常，模型的输出是一个包含各个类别的概率分布，根据概率大小进行排序，根据概率排序选择最高概率的类别进行自动分类。
通过本发明的技术方案，有效地解决了废料分类中的不稳定性问题，突破了特定场景的限制，具有较强的适应性，能够应对不同类型的废料分类任务，有助于降低生产成本和提高资源的回收利用率，促进可持续发展。
实施例二：
如图9所示，一种铜管加工过程固体废料的自动分类系统，系统包括：
综合信息获取模块，获取加工完成后的铜管内表面图像和外表面图像，并得到铜管图像综合信息；
杂质信息获取模块，基于铜管图像综合信息，获得铜管内外表面杂质信息；
元特征集获取模块，对铜管加工过程产生的切削废料进行种类划分，采集各个切削废料的图像，并结合内外表面杂质信息，获得铜管加工过程固体废料的图像元特征集，其中，固体废料为铜管内外表面杂质和切削废料；
元特征集划分模块，基于各个固体废料的种类差异，对图像元特征集进行任务划分，获得各个固体废料的元特征集；
分类模型构建模块，构建铜管加工过程固体废料的自动分类模型，并基于元学习算法对各个固体废料的元特征集进行训练，建立铜管加工过程固体废料的自动分类元学习卷积神经网络模型；
自动分类运行模块，基于自动分类元学习卷积神经网络模型对铜管加工过程固体废料进行识别和分类。
本发明中的上述调整系统可有效的实现铜管加工过程固体废料的自动分类方法，能够起到的技术效果如上述实施例所描述的，此处不再赘述。
进一步来说，杂质信息获取模块，包括：
预处理单元，对铜管图像综合信息进行预处理，获得铜管数字图像信息；
特征提取单元，根据是否出现表面杂质，对铜管数字图像信息进行特征提取，获得铜管特征数字图像；
图像分割单元，对铜管特征数字图像进行图像分割，获得铜管特征数字分割图像；
信息获取单元，基于铜管特征数字分割图像，分离出含有内外表面杂质铜管特征数字分割图像，并获得铜管内外表面杂质信息。
同样地，对系统的上述优化方案，也分别地可对应实现实施例一中方法对应的优化效果，此处同样不再赘述。
尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。
Claims (6)
1.一种铜管加工过程固体废料的自动分类方法，其特征在于，所述方法包括：
获取加工完成后的铜管内表面图像和外表面图像，并得到铜管图像综合信息；
基于所述铜管图像综合信息，获得铜管内外表面杂质信息；
对所述铜管加工过程产生的切削废料进行种类划分，采集各个切削废料的图像，并结合所述内外表面杂质信息，获得所述铜管加工过程固体废料的图像元特征集，包括：
根据铜管加工螺纹类型的差异，对产生的所述切削废料进行分类，获得种类划分结果；
基于所述种类划分结果，对所述各个切削废料进行图像采集，并获得所述各个切削废料的图像特征信息；
基于所述各个切削废料的图像特征信息和所述内外表面杂质信息，进行特征级融合，获得固体废料特征融合集，并建立所述铜管加工过程固体废料的图像元特征集；
其中，固体废料为铜管内外表面杂质和切削废料；
基于各个固体废料的种类差异，对所述图像元特征集进行任务划分，获得所述各个固体废料的元特征集，包括：
根据所述铜管加工过程固体废料的图像元特征集，获得图像元特征向量；
对所述图像元特征向量进行降维处理，获得图像一维元特征向量；
基于所述种类差异，对所述图像一维元特征向量进行划分，获得所述各个固体废料的元特征集；
构建铜管加工过程固体废料的自动分类模型，并基于元学习算法对所述各个固体废料的元特征集进行训练，建立铜管加工过程固体废料的自动分类元学习卷积神经网络模型，包括：
基于卷积神经网络模型，构建所述铜管加工过程固体废料的基础模型；
将所述各个固体废料的元特征划分为训练集和测试集，并基于所述元学习算法在所述训练集上进行训练，并得到元学习模型；
基于元学习算法训练得到的模型参数，建立所述铜管加工过程固体废料的自动分类元学习模型；
根据所述测试集对所述铜管加工过程固体废料的自动分类元学习模型进行测试，并对模型做出相应优化和调整；
基于所述元学习算法在所述训练集上进行训练，包括：
对所述铜管加工过程固体废料的基础模型进行复制，创建所述铜管加工过程固体废料的基础模型的副本；
基于所述铜管加工过程固体废料的基础模型的副本对所述训练集进行微调，并计算所述铜管加工过程固体废料的基础模型的损失，随时函数为：
其中，为所述铜管加工过程固体废料的正确类别的第/>个元素，表示样本是否属于第个类别，/>为模型的预测输出的第/>个元素，表示模型预测样本属于第/>个类别的概率；
对损失函数进行微分，并计算所述模型参数的梯度，公式如下：
基于得到的所述模型参数的梯度，使用优化算法调整模型的参数；
基于所述自动分类元学习卷积神经网络模型对所述铜管加工过程固体废料进行识别和分类。
2.根据权利要求1所述的铜管加工过程固体废料的自动分类方法，其特征在于，获取加工完成后的铜管内表面图像和外表面图像，并得到铜管图像综合信息，包括：
对铜管外表面进行扫描，并获得铜管外表面图像信息；
对铜管内表面进行扫描，并获得铜管内表面图像信息；
将所述铜管外表面图像信息和所述内表面图像信息基于同一铜管进行对应整合，获得所述铜管图像综合信息。
3.根据权利要求1所述的铜管加工过程固体废料的自动分类方法，其特征在于，基于所述铜管图像综合信息，获得所述铜管内外表面杂质信息，包括：
对所述铜管图像综合信息进行预处理，获得铜管数字图像信息；
判断是否出现表面杂质，对所述铜管数字图像信息进行特征提取，获得铜管特征数字图像；
对所述铜管特征数字图像进行图像分割，获得铜管特征数字分割图像；
基于所述铜管特征数字分割图像，分离出含有内外表面杂质所述铜管特征数字分割图像，并获得所述铜管内外表面杂质信息。
4.根据权利要求1所述的铜管加工过程固体废料的自动分类方法，其特征在于，基于所述自动分类元学习卷积神经网络模型对所述铜管加工过程固体废料进行识别和分类，包括：
将所述铜管加工过程的固体废料预处理后的图像输入所述自动分类元学习卷积神经网络模型中进行识别，获取预测输出结果；
基于所述预测输出结果中的概率排序，对所述铜管加工过程固体废料的进行自动分类。
5.一种铜管加工过程固体废料的自动分类系统，其特征在于，采用如权利要求1所述的铜管加工过程固体废料的自动分类方法，所述系统包括：
综合信息获取模块，获取加工完成后的铜管内表面图像和外表面图像，并得到铜管图像综合信息；
杂质信息获取模块，基于所述铜管图像综合信息，获得铜管内外表面杂质信息；
元特征集获取模块，对所述铜管加工过程产生的切削废料进行种类划分，采集各个切削废料的图像，并结合所述内外表面杂质信息，获得所述铜管加工过程固体废料的图像元特征集，其中，所述固体废料为铜管内外表面杂质和切削废料；
元特征集划分模块，基于各个固体废料的种类差异，对所述图像元特征集进行任务划分，获得所述各个固体废料的元特征集；
分类模型构建模块，构建铜管加工过程固体废料的自动分类模型，并基于元学习算法对所述各个固体废料的元特征集进行训练，建立铜管加工过程固体废料的自动分类元学习卷积神经网络模型；
自动分类运行模块，基于所述自动分类元学习卷积神经网络模型对所述铜管加工过程固体废料进行识别和分类。
6.根据权利要求5所述的铜管加工过程固体废料的自动分类系统，其特征在于，所述杂质信息获取模块，包括：
预处理单元，对所述铜管图像综合信息进行预处理，获得铜管数字图像信息；
特征提取单元，根据是否出现表面杂质，对所述铜管数字图像信息进行特征提取，获得铜管特征数字图像；
图像分割单元，对所述铜管特征数字图像进行图像分割，获得铜管特征数字分割图像；
信息获取单元，基于所述铜管特征数字分割图像，分离出含有内外表面杂质所述铜管特征数字分割图像，并获得所述铜管内外表面杂质信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108997.8A CN117132828B (zh) | 2023-08-30 | 2023-08-30 | 一种铜管加工过程固体废料的自动分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311108997.8A CN117132828B (zh) | 2023-08-30 | 2023-08-30 | 一种铜管加工过程固体废料的自动分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117132828A CN117132828A (zh) | 2023-11-28 |
| CN117132828B true CN117132828B (zh) | 2024-03-19 |
Family
ID=88856086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311108997.8A Active CN117132828B (zh) | 2023-08-30 | 2023-08-30 | 一种铜管加工过程固体废料的自动分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132828B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101981031B1 (ko) * | 2018-05-18 | 2019-05-23 | 제이에이치데이터시스템 주식회사 | 인공지능 기반 철 스크랩 플랫폼 |
| CN109919243A (zh) * | 2019-03-15 | 2019-06-21 | 天津拾起卖科技有限公司 | 一种基于cnn的废钢铁种类自动识别方法及装置 |
| CN112784717A (zh) * | 2021-01-13 | 2021-05-11 | 中北大学 | 一种基于深度学习的管件自动分拣方法 |
| KR102254773B1 (ko) * | 2020-09-14 | 2021-05-24 | 한국건설기술연구원 | 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법 |
| EP3839886A1 (en) * | 2019-12-18 | 2021-06-23 | Vito NV | A method and system for performing characterization of one or more materials |
| WO2022172048A1 (en) * | 2021-02-15 | 2022-08-18 | Inspectahire Instrument Company Limited | Inspection methods for small bore pipes |
| CN115049914A (zh) * | 2022-07-04 | 2022-09-13 | 通号智慧城市研究设计院有限公司 | 垃圾分类方法、装置和终端 |
| WO2023084543A1 (en) * | 2021-11-12 | 2023-05-19 | Waycool Foods And Products Private Limited | System and method for leveraging neural network based hybrid feature extraction model for grain quality analysis |
| CN116205922A (zh) * | 2023-05-05 | 2023-06-02 | 张家港广大特材股份有限公司 | 一种基于钢材内部缺陷数据挖掘的冶炼控制方法及系统 |
| CN116385804A (zh) * | 2023-05-05 | 2023-07-04 | 浙江工业大学 | 一种基于深度学习的复合影像特征分类检测方法 |
| CN116597239A (zh) * | 2023-07-18 | 2023-08-15 | 苏州友得利金属制品有限公司 | 一种建筑用回收钢管的加工处理方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019089825A1 (en) * | 2017-11-02 | 2019-05-09 | AMP Robotics Corporation | Systems and methods for optical material characterization of waste materials using machine learning |
| CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
-
2023
- 2023-08-30 CN CN202311108997.8A patent/CN117132828B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101981031B1 (ko) * | 2018-05-18 | 2019-05-23 | 제이에이치데이터시스템 주식회사 | 인공지능 기반 철 스크랩 플랫폼 |
| CN109919243A (zh) * | 2019-03-15 | 2019-06-21 | 天津拾起卖科技有限公司 | 一种基于cnn的废钢铁种类自动识别方法及装置 |
| EP3839886A1 (en) * | 2019-12-18 | 2021-06-23 | Vito NV | A method and system for performing characterization of one or more materials |
| KR102254773B1 (ko) * | 2020-09-14 | 2021-05-24 | 한국건설기술연구원 | 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법 |
| CN112784717A (zh) * | 2021-01-13 | 2021-05-11 | 中北大学 | 一种基于深度学习的管件自动分拣方法 |
| WO2022172048A1 (en) * | 2021-02-15 | 2022-08-18 | Inspectahire Instrument Company Limited | Inspection methods for small bore pipes |
| WO2023084543A1 (en) * | 2021-11-12 | 2023-05-19 | Waycool Foods And Products Private Limited | System and method for leveraging neural network based hybrid feature extraction model for grain quality analysis |
| CN115049914A (zh) * | 2022-07-04 | 2022-09-13 | 通号智慧城市研究设计院有限公司 | 垃圾分类方法、装置和终端 |
| CN116205922A (zh) * | 2023-05-05 | 2023-06-02 | 张家港广大特材股份有限公司 | 一种基于钢材内部缺陷数据挖掘的冶炼控制方法及系统 |
| CN116385804A (zh) * | 2023-05-05 | 2023-07-04 | 浙江工业大学 | 一种基于深度学习的复合影像特征分类检测方法 |
| CN116597239A (zh) * | 2023-07-18 | 2023-08-15 | 苏州友得利金属制品有限公司 | 一种建筑用回收钢管的加工处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117132828A (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119753B (zh) | 一种重构纹理识别岩性的方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN116229189B (zh) | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 | |
| CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
| CN114998214A (zh) | 一种电缆缺陷检测的采样速度控制方法和系统 | |
| Devereux et al. | A new approach for crack detection and sizing in nuclear reactor cores | |
| CN116740044B (zh) | 基于视觉检测与控制的铜管铣面加工方法及系统 | |
| CN117132828B (zh) | 一种铜管加工过程固体废料的自动分类方法及系统 | |
| CN116597239B (zh) | 一种建筑用回收钢管的加工处理方法及系统 | |
| CN113298798A (zh) | 基于特征融合的主轴颈缺陷检测方法 | |
| Bagga et al. | Experimental investigation of different NN approaches for tool wear prediction based on vision system in turning of AISI 1045 steel | |
| CN109544514B (zh) | 一种融合表观特征的锯材身份辨识方法、装置及设备 | |
| CN111695582A (zh) | 一种颤振纹理的检测方法及其装置 | |
| CN115082449A (zh) | 一种电子元器件缺陷检测方法 | |
| Holden et al. | An image analysis method to determine crystal size distributions of olivine in kimberlite | |
| Karthikeyan et al. | DWT based LCP features for the classification of steel surface defects in SEM images with KNN classifier | |
| CN112150432A (zh) | 一种基于生成对抗网络的光激励红外无损检测方法 | |
| CN117474916B (zh) | 一种图像检测方法、电子设备及存储介质 | |
| CN117474915B (zh) | 一种异常检测方法、电子设备及存储介质 | |
| CN117067112B (zh) | 一种水切割机及其控制方法 | |
| CN117745786B (zh) | 基于三维点云数据的道路裂缝深度检测装置及检测方法 | |
| Aslam et al. | Defect Detection of Coatings on Metal Surfaces Based on K-Means Clustering Algorithm | |
| del Castillo et al. | Use of computer vision to inspect automatically machined workpieces | |
| Jiang et al. | A surface defect detection method for rolling magnesium alloy sheet based on computer vision | |
| Li | Image recognition method of surface defects of prefabricated concrete members in prefabricated building |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |