CN116664961B - 基于信码的防伪标签智能识别方法及系统 - Google Patents
基于信码的防伪标签智能识别方法及系统 Download PDFInfo
- Publication number
- CN116664961B CN116664961B CN202310942759.0A CN202310942759A CN116664961B CN 116664961 B CN116664961 B CN 116664961B CN 202310942759 A CN202310942759 A CN 202310942759A CN 116664961 B CN116664961 B CN 116664961B
- Authority
- CN
- China
- Prior art keywords
- image
- tag
- label
- feature map
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本申请公开了一种基于信码的防伪标签智能识别方法及系统，其获取防伪标签的标签图像；以及，对所述标签图像进行图像特征提取和识别，以得到标签识别结果；这样，可以结合传统图像处理与基于深度模型的图像特征提取，以充分挖掘标签图像的特征，提高对信码的表示能力，进而提高防伪标签识别的效果。
Description
技术领域
本申请涉及智能化识别技术领域，并且更具体地，涉及一种基于信码的防伪标签智能识别方法及系统。
背景技术
防伪标签是一种用于保护商品真伪的技术手段，它通常包含了一些难以复制的信息，如信码、图案、文字等。信码是一种由数字和字母组成的编码，它具有唯一性和可识别性，可以作为防伪标签的核心信息。
然而，由于防伪标签的制作工艺、质量、环境等因素的影响，信码的图像可能存在着阴影和反光等问题，导致信码的识别难度增加。
因此，期待一种优化的基于信码的防伪标签识别方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于信码的防伪标签智能识别方法及系统，其获取防伪标签的标签图像；以及，对所述标签图像进行图像特征提取和识别以得到标签识别结果；这样，可以结合传统图像处理与基于深度模型的图像特征提取，以充分挖掘标签图像的特征，提高对信码的表示能力，进而提高防伪标签识别的效果。
第一方面，提供了一种基于信码的防伪标签智能识别方法，其包括：
获取防伪标签的标签图像；
以及，对所述标签图像进行图像特征提取和识别，以得到标签识别结果。
第二方面，提供了一种基于信码的防伪标签智能识别系统，其包括：
标签图像获取模块，用于获取防伪标签的标签图像；
以及，特征提取和识别模块，用于对所述标签图像进行图像特征提取和识别，以得到标签识别结果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的基于信码的防伪标签智能识别方法的流程图。
图2为根据本申请实施例的基于信码的防伪标签智能识别方法的架构示意图。
图3为根据本申请实施例的基于信码的防伪标签智能识别方法中步骤120的子步骤的流程图。
图4为根据本申请实施例的基于信码的防伪标签智能识别系统的框图。
图5为根据本申请实施例的基于信码的防伪标签智能识别方法的场景示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
防伪标签是一种用于防止伪造和篡改的特殊标签，常用于商品包装、证件等领域，防伪标签可以包含特殊的材料、印刷技术、加密机制和认证手段，使其难以被伪造或复制。消费者可以通过扫描或查看标签上的信息，确认产品的真实性和合法性。
基于信码的防伪标签是一种高级的防伪技术，使用了特殊的编码和加密机制来保护产品的真实性和防止伪造。信码是一种特殊的二维码或条形码，具有高度复杂的编码结构和加密算法，每个信码都是唯一的，并且只有授权的机构或厂商才能生成和验证它们。信码通常包含了产品的关键信息和认证数据，如生产批次、生产地点、有效期等，消费者可以通过扫描信码，使用手机或专用设备获取相关信息，并验证产品的真实性。
基于信码的防伪标签的设计和制作需要特殊的材料和印刷技术，以确保标签本身难以被复制或伪造。此外，标签上的信息和加密算法也需要进行保护，以防止被破解或篡改。
图1为根据本申请实施例的基于信码的防伪标签智能识别方法的流程图。图2为根据本申请实施例的基于信码的防伪标签智能识别方法的架构示意图。如图1和图2所示，所述基于信码的防伪标签智能识别方法，包括：110，获取防伪标签的标签图像；以及，120，对所述标签图像进行图像特征提取和识别，以得到标签识别结果。
其中，在所述步骤110中，确保获取的标签图像清晰度高，图像质量良好，以提高后续图像处理和识别的准确性；确保标签图像的光照条件适当，避免过曝光或欠曝光的情况，以避免影响后续的图像处理和识别结果。获取清晰高质量的标签图像可以提供更多的细节和特征，有助于后续的图像处理和识别算法的准确性和可靠性。适当的光照条件可以提供更好的图像质量，减少图像处理和识别过程中的误差和干扰，提高识别结果的准确性。
在所述步骤120中，使用合适的图像处理和特征提取算法，例如边缘检测、颜色特征提取、纹理特征提取等，以提取标签图像中的关键特征。使用适当的机器学习或深度学习算法对提取的特征进行分类和识别，例如支持向量机（SVM）、卷积神经网络（CNN）等，以得到标签的识别结果。其中，图像特征提取可以提取标签图像中的关键信息，减少冗余信息的干扰，有助于提高识别的准确性和效率，使用机器学习或深度学习算法进行识别可以利用大量的标签图像数据进行训练，提高模型的泛化能力和鲁棒性，提高识别结果的准确性。
通过上述步骤，对于基于信码的防伪标签智能识别方法，获取清晰高质量的标签图像以及进行有效的图像特征提取和识别是关键步骤，可以提高标签识别的准确性和可靠性。
具体地，在所述步骤110中，获取防伪标签的标签图像。针对上述技术问题，本申请的技术构思是结合传统图像处理与基于深度模型的图像特征提取以充分挖掘标签图像的特征，提高对信码的表示能力，进而提高防伪标签识别的效果。
具体地，在本申请的技术方案中，首先获取防伪标签的标签图像。应可以理解，清晰高质量的标签图像可以提供更多的细节和特征信息，有助于提高识别算法的准确性和鲁棒性。通过获取标签图像，消费者可以方便地使用手机或扫描设备进行标签识别，提高用户体验和便利性。通过获取标签图像，可以进行图像处理和特征提取，进一步加强防伪技术，提高防伪标签的安全性和可信度。
也就是，获取防伪标签的标签图像是实施智能识别方法的关键步骤，可以提高识别准确性，提供用户便利性，并增强防伪效果。
具体地，在所述步骤120中，对所述标签图像进行图像特征提取和识别，以得到标签识别结果。图3为根据本申请实施例的基于信码的防伪标签智能识别方法中步骤120的子步骤的流程图，如图3所示，对所述标签图像进行图像特征提取和识别，以得到标签识别结果，包括：121，对所述标签图像进行源域预处理，以得到均衡化标签图像和去阴影标签图像；122，对所述标签图像进行源域数据增强，以得到多通道标签图像；123，对所述多通道标签图像进行标签特征提取，以得到标签浅层特征图和标签深层特征图；以及，124，基于所述标签浅层特征图和所述标签深层特征图，生成所述标签识别结果。
其中，对标签图像进行源域预处理，如均衡化和去阴影处理，可以消除图像的光照不均和阴影等干扰，提高图像的质量和清晰度，从而有助于后续的特征提取和识别。对标签图像进行源域数据增强，可以通过旋转、缩放、平移、翻转等操作，生成多个变换后的图像，从而扩充训练集的样本数量，增加数据的多样性，提高模型的泛化能力和鲁棒性。对多通道标签图像进行标签特征提取，可以使用各种图像处理和特征提取算法，如边缘检测、纹理分析、颜色直方图等，提取标签图像的浅层特征和深层特征。这些特征可以反映标签的形状、纹理、颜色等信息，有助于识别算法对标签进行准确的分类和识别。基于标签浅层特征图和标签深层特征图，可以使用机器学习或深度学习方法，如支持向量机、卷积神经网络等，对特征进行融合和分类，生成标签识别结果，融合不同层次的特征可以提高识别的准确性和鲁棒性。
通过上述步骤，一方面，可以提高准确性，通过预处理和数据增强，可以消除图像的噪声和干扰，提高图像的质量和清晰度，从而提高识别算法的准确性。另一方面，可以增强鲁棒性，通过多通道特征提取和特征融合，可以捕捉标签图像的多样性和复杂性，提高识别算法对不同标签样本的适应能力，增强鲁棒性。再一方面，可以提高效率，通过使用深度学习方法，可以实现端到端的标签识别，减少人工特征设计和手动调参的工作量，提高识别的效率和自动化程度。
首先，对于所述步骤121，包括：对所述标签图像进行直方图均衡化，以得到所述均衡化标签图像；以及，去除所述标签图像中的阴影部分，以得到所述去阴影标签图像。接着，对所述标签图像进行源域预处理，以得到均衡化标签图像和去阴影标签图像。
在本申请的实施例中，对所述标签图像进行源域预处理的实现过程为：先对所述标签图像进行直方图均衡化，以得到均衡化标签图像；同时，去除所述标签图像中的阴影部分，以得到去阴影标签图像。具体而言，通过直方图均衡化可以有效解决标签反光的问题，也就是，直方图均衡化可以去掉所述标签图像中比较明亮的区域，使整个图像颜色更加平衡。此外，阴影部分可能会导致标签上的文字或图案模糊或不可见，从而影响标签的识别，去除标签图像中的阴影部分则可以提高标签图像的清晰度和可读性。
在本申请的一个实施例中，直方图均衡化是一种常用的图像增强技术，用于改善图像的对比度和亮度分布，通过重新分配图像像素的灰度级，使得图像的直方图在整个灰度范围内均匀分布。
在直方图均衡化过程中，首先计算图像的灰度直方图，即统计每个灰度级的像素数量。然后，通过对灰度直方图进行归一化，得到每个灰度级的累积分布函数（CDF）。接下来，将CDF进行线性映射，将原始图像的灰度级映射到新的均衡化灰度级。最后，将映射后的灰度级赋值给原始图像的对应像素，从而得到均衡化后的图像。
直方图均衡化可以增强图像的对比度，使得图像中的细节更加清晰可见，特别适用于灰度分布不均匀的图像，可以使得暗部和亮部的细节都能得到更好的展示。然而，直方图均衡化也可能导致图像的噪声增加，因此在实际应用中需要根据具体情况进行调整和优化。
其中，在本申请的一个实施例中，基于图像处理的方法去除标签图像中的阴影部分，这种方法利用图像处理算法来分析和处理标签图像中的阴影。一种方法是使用阈值分割技术，将图像转换为二值图像，然后通过形态学操作来去除阴影部分。另一种方法是使用灰度变换技术，通过调整图像的灰度级来减少阴影的影响，还可以使用边缘检测算法来检测和去除阴影边缘，以提高标签图像的清晰度和准确性。
在本申请的另一个实施例中，基于机器学习的方法去除标签图像中的阴影部分，这种方法利用机器学习算法来学习和识别标签图像中的阴影部分，并将其去除，可以使用已标记的训练数据来训练一个分类器或深度学习模型，以区分标签和阴影。训练完成后，将模型应用于新的标签图像，识别并去除阴影部分，得到去阴影的标签图像。
应可以理解，在图像采集过程中，应注意避免光照不均匀或阴影干扰，保证标签图像的清晰度和准确性。直方图均衡化是一种通过重新分配图像像素值的方法，使得图像的直方图在灰度级上更加均匀，以增强图像的对比度和细节，使得标签图像更加清晰和易于分析。而且，去除阴影是一个重要的步骤，因为阴影可能会干扰标签的识别和解码。通过采用图像处理算法，如背景建模、阈值分割或颜色分析等方法，可以检测和去除标签图像中的阴影部分，从而得到去阴影的标签图像。
这些预处理步骤可以在标签图像进行机器学习或深度学习算法之前进行，以提高标签的识别准确性和鲁棒性。
然后，对于所述步骤122，包括：将所述标签图像、所述均衡化标签图像和所述去阴影标签图像沿着通道维度进行聚合，以得到所述多通道标签图像。
然后，将所述标签图像、所述均衡化标签图像和所述去阴影标签图像沿着通道维度进行聚合，以得到多通道标签图像。也就是，将所述标签图像、所述均衡化标签图像和所述去阴影标签图像进行整合，以使得作为后续模型的输入，即所述多通道标签图像，具有更为丰富的特征表示。
其中，沿着通道维度聚合标签图像意味着将多个单通道的图像合并成一个多通道的图像，在标签图像中，每个通道代表了不同的信息或特征。例如，如果原始标签图像是灰度图像，只有一个通道，表示像素的灰度级。通过进行直方图均衡化和去阴影处理后，得到的均衡化标签图像和去阴影标签图像仍然是单通道的。
然而，如果将不同的特征或信息合并到一个图像中，可以沿着通道维度将它们聚合成一个多通道的标签图像。例如，可以将均衡化标签图像和去阴影标签图像沿着通道维度进行合并，得到一个具有两个通道的多通道标签图像。在多通道标签图像中，每个通道可以表示不同的特征，例如灰度级和阴影信息，这样的多通道标签图像可以提供更丰富的信息，有助于提高标签的识别和解码准确性。
在本申请中，首先，确保标签图像、均衡化标签图像和去阴影标签图像具有相同的尺寸和空间分辨率。然后，将这三个图像沿着通道维度进行合并，如果标签图像是灰度图像，只有一个通道，可以通过将均衡化标签图像和去阴影标签图像作为额外的通道添加到标签图像中来创建多通道标签图像。接着，合并后的多通道标签图像将包含原始标签图像的灰度信息以及均衡化和去阴影处理后的额外信息。
这样，可以提供更丰富的信息，多通道标签图像可以同时包含多个特征或信息，从而提供更全面和丰富的数据。可以提高准确性和鲁棒性，多通道标签图像中的每个通道可以捕捉不同的特征，通过综合利用这些特征，可以提高标签的识别准确性和鲁棒性。还可以简化处理流程，将不同的标签处理步骤合并到一个多通道标签图像中，可以简化处理流程，提高效率。
换言之，通过沿着通道维度聚合标签图像、均衡化标签图像和去阴影标签图像，可以得到一个多通道的标签图像，提供更全面的信息，从而提高标签识别的准确性和鲁棒性。
接着，对于所述步骤123，包括：将所述多通道标签图像通过基于第一卷积神经网络模型的浅层特征提取器，以得到所述标签浅层特征图；以及，将所述标签浅层特征图通过基于第二卷积神经网络模型的深层特征提取器，以得到所述标签深层特征图。
进一步地，将所述多通道标签图像通过基于第一卷积神经网络模型的浅层特征提取器，以得到标签浅层特征图，并将所述标签浅层特征图通过基于第二卷积神经网络模型的深层特征提取器，以得到标签深层特征图。再通过残差思想来融合所述标签浅层特征图和所述标签深层特征图，以得到分类特征图。通过这样的方式，以综合利用多通道标签图像的浅层特征信息和深层特征信息。
值得一提的是，随着卷积神经网络模型的加深，浅层特征，如颜色、纹理、边缘等，容易被消磨殆尽，但这些特征可以表征标签图像的整体外观的纹理信息，对于标签识别具有重要意义。因此，在本申请的技术方案中，期待从层数较少的所述基于第一卷积神经网络模型的浅层特征提取器中保留浅层特征，以将其与深度特征进行融合，使得所述分类特征图具有更为出色的特征表达能力。
卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
将多通道标签图像通过基于第一卷积神经网络模型的浅层特征提取器进行处理，可以得到标签的浅层特征图，以提取标签的基本形状、纹理和颜色等特征。然后，将标签的浅层特征图通过基于第二卷积神经网络模型的深层特征提取器进行处理，可以得到标签的深层特征图，深层特征提取器可以进一步学习和提取标签的更高级别的特征，例如边缘、角点、纹理组合等。
通过这样的多层特征提取过程，可以获得更具有区分度和表达能力的标签特征表示。这些特征图可以用于后续的分类、识别或验证任务，以实现对防伪标签的智能识别。这种多层特征提取的方法可以提高标签识别的准确性和鲁棒性，使得系统能够更好地应对不同光照条件、噪声干扰和变形等情况。同时，使用卷积神经网络模型可以充分利用图像的空间结构信息，提高特征提取的效果和速度。
最后，对于所述步骤124，包括：融合所述标签浅层特征图和所述标签深层特征图，以得到分类特征图；及，基于所述分类特征图，生成所述标签识别结果。
其中，融合所述标签浅层特征图和所述标签深层特征图，以得到分类特征图，包括：通过残差思想来融合所述标签浅层特征图和所述标签深层特征图，以得到所述分类特征图。
残差思想（Residual Learning）是一种用于深度神经网络的训练技巧，旨在解决深层网络难以训练的问题，该思想最早由He等人在2015年的论文《Deep ResidualLearning for Image Recognition》中提出。
传统的深度神经网络存在梯度消失和梯度爆炸等问题，导致网络层数增加时难以训练，残差思想通过引入"残差块"（Residual Block）来解决这个问题。在传统的神经网络中，每个层的输出是通过前一层的输入进行非线性变换得到的，而在残差块中，每个层的输出是通过前一层的输入与该层的残差进行相加得到的，即残差块的输出可以表示为：输出= 输入 + 残差。
这种设计使得网络能够更容易地学习到残差部分，而不需要完全依赖于前一层的输入，通过这种方式，网络可以更加有效地学习到难以捕捉的细微特征，从而提高网络的表示能力和训练效果。
在图像分类任务中，可以使用残差思想来融合标签的浅层特征图和深层特征图。通过将浅层特征图与深层特征图进行残差连接，可以得到一个更加丰富和表达能力更强的分类特征图，这种融合方式可以帮助网络更好地捕捉标签的细节和上下文信息，提高分类的准确性。
在本申请的技术方案中，在通过残差思想来融合所述标签浅层特征图和所述标签深层特征图，以得到分类特征图时，所述标签浅层特征图和所述标签深层特征图分别表示所述多通道标签图像的不同尺度的浅层和深层图像语义特征，由此，所述分类特征图的每个特征矩阵表达不同尺度和深度下的图像语义特征，因此各个特征矩阵分别在高维特征空间内的高维流形表示无法如单一卷积神经网络模型那样保持沿通道分布的流形几何连续性，从而影响所述分类特征图通过分类器的收敛效果，即，影响了分类器的训练速度和分类结果的准确性。
因此，针对所述分类特征图的沿通道维度的每个特征矩阵，例如记为，进行特征
图的通道维度遍历流形式凸优化，表示为：以如下优化公式对所述分类特征图的沿通道维
度的每个特征矩阵进行通道维度遍历流形式凸优化，以得到多个优化后特征矩阵；其中，所
述优化公式为：
，
其中，和/>分别为基于特征图的全局均值池化向量通过线性变换得到的列向量和行向量，/>表示矩阵的谱范数，/>是所述分类特征图的沿通道维度的每个特征矩阵，且/>为所述多个优化后特征矩阵，/>表示按位置点乘，/>表示矩阵乘法；将所述多个优化后特征矩阵沿通道维度聚合为所述优化后分类特征图。
这里，所述特征图的通道维度遍历流形式凸优化通过结构化调制的特征矩阵的最
大分布稠密性方向来确定特征矩阵流形的基维度，并沿特征图的通道方向对特征矩阵流形
进行遍历，以通过沿通道方向堆叠遍历流形的基维度来约束每个特征矩阵所表示的遍历
流形的凸优化连续性，从而实现由优化后的特征矩阵的遍历流形组成的所述分类特征
图的高维特征流形的几何连续性，以提升所述分类特征图通过分类器的收敛效果，也就提
升了分类器的训练速度和分类结果的准确性。
继而，将所述分类特征图通过分类器，以得到分类结果，所述分类结果用于表示标签识别结果。即基于所述分类特征图，生成所述标签识别结果，包括：对所述分类特征图进行特征分布优化，以得到优化后分类特征图；以及，将所述优化后分类特征图通过分类器，以得到分类结果，所述分类结果用于表示标签识别结果。
应可以理解，分类器是一种机器学习模型，用于将输入数据分为不同的类别或标签。在标签识别任务中，分类器的作用是根据提取的分类特征图对标签图像进行分类，以得到标签识别结果。
分类器包括决策树、支持向量机、朴素贝叶斯、逻辑回归、随机森林和深度神经网络等。选择适合的分类器需要考虑数据特征和任务要求。在标签识别任务中，由于标签图像通常具有复杂的纹理和形状特征，深度神经网络通常是一个有效的选择。
深度神经网络是一种由多个神经元层组成的模型，可以通过学习输入数据的特征来进行分类。常用的深度神经网络结构包括卷积神经网络（Convolutional NeuralNetwork，CNN）、循环神经网络（Recurrent Neural Network，RNN）和Transformer等。
在标签识别任务中，卷积神经网络是最常用的分类器，可以通过卷积层提取图像的局部特征，并通过池化层减少特征的维度。然后，通过全连接层将提取的特征映射到不同的类别上，并使用softmax函数进行分类。
值得注意的是，为了提高分类器的性能，通常需要对数据进行预处理和增强，例如归一化、数据扩充和降噪等。此外，还可以使用交叉验证和调参等技术来优化分类器的参数和模型结构，以达到更好的分类效果。
也就是，分类器在标签识别任务中起着关键的作用，根据提取的分类特征图对标签图像进行分类，从而得到准确的标签识别结果，选择适合的分类器和优化其性能是实现高效标签识别的重要步骤。
进一步地，将所述优化后分类特征图通过分类器，以得到分类结果，所述分类结果用于表示标签识别结果，包括：将所述优化后分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码，以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数，以得到所述分类结果。
综上，基于本申请实施例的基于信码的防伪标签智能识别方法100被阐明，其可以结合传统图像处理与基于深度模型的图像特征提取，以充分挖掘标签图像的特征，提高对信码的表示能力，进而提高防伪标签识别的效果。
在本申请的一个实施例中，图4为根据本申请实施例的基于信码的防伪标签智能识别系统的框图。如图4所示，根据本申请实施例的基于信码的防伪标签智能识别系统200，包括：标签图像获取模块210，用于获取防伪标签的标签图像；以及，特征提取和识别模块220，用于对所述标签图像进行图像特征提取和识别，以得到标签识别结果。
这里，本领域技术人员可以理解，上述基于信码的防伪标签智能识别系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图3的基于信码的防伪标签智能识别方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于信码的防伪标签智能识别系统200可以实现在各种终端设备中，例如用于基于信码的防伪标签智能识别的服务器等。在一个示例中，根据本申请实施例的基于信码的防伪标签智能识别系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于信码的防伪标签智能识别系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于信码的防伪标签智能识别系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于信码的防伪标签智能识别系统200与该终端设备也可以是分立的设备，并且基于信码的防伪标签智能识别系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的基于信码的防伪标签智能识别方法的场景示意图。如图5所示，在该应用场景中，首先，获取防伪标签的标签图像（例如，如图5中所示意的C）；然后，将获取的标签图像输入至部署有基于信码的防伪标签智能识别算法的服务器（例如，如图5中所示意的S）中，其中所述服务器能够基于信码的防伪标签智能识别算法对所述标签图像进行处理，以得到标签识别结果。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (4)
1.一种基于信码的防伪标签智能识别方法，其特征在于，包括：
获取防伪标签的标签图像；以及
对所述标签图像进行图像特征提取和识别以得到标签识别结果；
所述对所述标签图像进行图像特征提取和识别以得到标签识别结果，包括：
对所述标签图像进行源域预处理以得到均衡化标签图像和去阴影标签图像；
对所述标签图像进行源域数据增强以得到多通道标签图像；
对所述多通道标签图像进行标签特征提取以得到标签浅层特征图和标签深层特征图；以及
基于所述标签浅层特征图和所述标签深层特征图，生成所述标签识别结果；
基于所述标签浅层特征图和所述标签深层特征图，生成所述标签识别结果，包括：
融合所述标签浅层特征图和所述标签深层特征图以得到分类特征图；及
基于所述分类特征图，生成所述标签识别结果；
基于所述分类特征图，生成所述标签识别结果，包括：
对所述分类特征图进行特征分布优化以得到优化后分类特征图；以及
将所述优化后分类特征图通过分类器以得到分类结果，所述分类结果用于表示标签识别结果；
对所述分类特征图进行特征分布优化以得到优化后分类特征图，包括：
以如下优化公式对所述分类特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到多个优化后特征矩阵；
其中，所述优化公式为：
，
其中，和/>分别为基于分类特征图的全局均值池化向量通过线性变换得到的列向量和行向量，/>表示矩阵的谱范数，/>是所述分类特征图的沿通道维度的第/>个特征矩阵，且/>为第/>个优化后特征矩阵，/>表示按位置点乘，/>表示矩阵乘法；
将所述多个优化后特征矩阵沿通道维度聚合为所述优化后分类特征图；
对所述标签图像进行源域数据增强以得到多通道标签图像，包括：
将所述标签图像、所述均衡化标签图像和所述去阴影标签图像沿着通道维度进行聚合以得到所述多通道标签图像；
融合所述标签浅层特征图和所述标签深层特征图以得到分类特征图，包括：
通过残差思想来融合所述标签浅层特征图和所述标签深层特征图以得到所述分类特征图。
2.根据权利要求1所述的基于信码的防伪标签智能识别方法，其特征在于，对所述标签图像进行源域预处理以得到均衡化标签图像和去阴影标签图像，包括：
对所述标签图像进行直方图均衡化以得到所述均衡化标签图像；以及
去除所述标签图像中的阴影部分以得到所述去阴影标签图像。
3.根据权利要求2所述的基于信码的防伪标签智能识别方法，其特征在于，对所述多通道标签图像进行标签特征提取以得到标签浅层特征图和标签深层特征图，包括：
将所述多通道标签图像通过基于第一卷积神经网络模型的浅层特征提取器以得到所述标签浅层特征图；以及
将所述标签浅层特征图通过基于第二卷积神经网络模型的深层特征提取器以得到所述标签深层特征图。
4. 一种基于信码的防伪标签智能识别系统，其特征在于，包括：
标签图像获取模块，用于获取防伪标签的标签图像；以及
特征提取和识别模块，用于对所述标签图像进行图像特征提取和识别以得到标签识别结果；
所述特征提取和识别模块，具体用于：
对所述标签图像进行源域预处理以得到均衡化标签图像和去阴影标签图像；
对所述标签图像进行源域数据增强以得到多通道标签图像；
对所述多通道标签图像进行标签特征提取以得到标签浅层特征图和标签深层特征图；以及
基于所述标签浅层特征图和所述标签深层特征图，生成所述标签识别结果；
所述特征提取和识别模块，具体用于：
融合所述标签浅层特征图和所述标签深层特征图以得到分类特征图；及
基于所述分类特征图，生成所述标签识别结果；
所述特征提取和识别模块，具体用于：
对所述分类特征图进行特征分布优化以得到优化后分类特征图；以及
将所述优化后分类特征图通过分类器以得到分类结果，所述分类结果用于表示标签识别结果；
所述特征提取和识别模块，具体用于：
以如下优化公式对所述分类特征图的沿通道维度的每个特征矩阵进行通道维度遍历流形式凸优化以得到多个优化后特征矩阵；
其中，所述优化公式为：
，
其中，和/>分别为基于分类特征图的全局均值池化向量通过线性变换得到的列向量和行向量，/>表示矩阵的谱范数，/>是所述分类特征图的沿通道维度的第/>个特征矩阵，且/>为第/>个优化后特征矩阵，/>表示按位置点乘，/>表示矩阵乘法；
将所述多个优化后特征矩阵沿通道维度聚合为所述优化后分类特征图；
所述特征提取和识别模块，具体用于：
将所述标签图像、所述均衡化标签图像和所述去阴影标签图像沿着通道维度进行聚合以得到所述多通道标签图像；
所述特征提取和识别模块，具体用于：
通过残差思想来融合所述标签浅层特征图和所述标签深层特征图以得到所述分类特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310942759.0A CN116664961B (zh) | 2023-07-31 | 2023-07-31 | 基于信码的防伪标签智能识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310942759.0A CN116664961B (zh) | 2023-07-31 | 2023-07-31 | 基于信码的防伪标签智能识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116664961A CN116664961A (zh) | 2023-08-29 |
| CN116664961B true CN116664961B (zh) | 2023-12-05 |
Family
ID=87710074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310942759.0A Active CN116664961B (zh) | 2023-07-31 | 2023-07-31 | 基于信码的防伪标签智能识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664961B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935180A (zh) * | 2023-09-15 | 2023-10-24 | 东莞市将为防伪科技有限公司 | 基于人工智能的信码防伪标签数据信息采集方法及系统 |
| CN116912831A (zh) * | 2023-09-15 | 2023-10-20 | 东莞市将为防伪科技有限公司 | 信码防伪印刷物的采集信息处理方法及系统 |
| CN117725942A (zh) * | 2024-02-06 | 2024-03-19 | 浙江码尚科技股份有限公司 | 用于标签纹理防伪的识别预警方法及系统 |
| CN118314408B (zh) * | 2024-06-07 | 2024-10-11 | 南京小爬虫大数据有限公司 | 一种基于神经网络的电子集卡章识别系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647648A (zh) * | 2018-05-14 | 2018-10-12 | 电子科技大学 | 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法 |
| CN110428027A (zh) * | 2019-07-22 | 2019-11-08 | 杭州沃朴物联科技有限公司 | 基于lcd防伪标签的识别验伪方法、装置、设备及介质 |
| CN110443623A (zh) * | 2019-07-22 | 2019-11-12 | 杭州沃朴物联科技有限公司 | 针对防伪标签的识别验伪方法、装置、设备及介质 |
| CN115909582A (zh) * | 2022-11-11 | 2023-04-04 | 深圳市星宏智能科技有限公司 | 戴口罩人脸识别的门禁设备及系统 |
| CN115983874A (zh) * | 2023-02-17 | 2023-04-18 | 江苏秀圆果信息科技有限公司 | 酒类防伪溯源方法及其系统 |
| CN116403213A (zh) * | 2023-06-08 | 2023-07-07 | 杭州华得森生物技术有限公司 | 基于人工智能的循环肿瘤细胞检测仪及其方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11921820B2 (en) * | 2020-09-11 | 2024-03-05 | Fortinet, Inc. | Real-time minimal vector labeling scheme for supervised machine learning |
-
2023
- 2023-07-31 CN CN202310942759.0A patent/CN116664961B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647648A (zh) * | 2018-05-14 | 2018-10-12 | 电子科技大学 | 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法 |
| CN110428027A (zh) * | 2019-07-22 | 2019-11-08 | 杭州沃朴物联科技有限公司 | 基于lcd防伪标签的识别验伪方法、装置、设备及介质 |
| CN110443623A (zh) * | 2019-07-22 | 2019-11-12 | 杭州沃朴物联科技有限公司 | 针对防伪标签的识别验伪方法、装置、设备及介质 |
| CN115909582A (zh) * | 2022-11-11 | 2023-04-04 | 深圳市星宏智能科技有限公司 | 戴口罩人脸识别的门禁设备及系统 |
| CN115983874A (zh) * | 2023-02-17 | 2023-04-18 | 江苏秀圆果信息科技有限公司 | 酒类防伪溯源方法及其系统 |
| CN116403213A (zh) * | 2023-06-08 | 2023-07-07 | 杭州华得森生物技术有限公司 | 基于人工智能的循环肿瘤细胞检测仪及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116664961A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116664961B (zh) | 基于信码的防伪标签智能识别方法及系统 | |
| Sun et al. | Face spoofing detection based on local ternary label supervision in fully convolutional networks | |
| US11062163B2 (en) | Iterative recognition-guided thresholding and data extraction | |
| Bayar et al. | A deep learning approach to universal image manipulation detection using a new convolutional layer | |
| Kanwal et al. | Detection of digital image forgery using fast fourier transform and local features | |
| CN113128271A (zh) | 脸部图像的伪造检测 | |
| CN110427972B (zh) | 证件视频特征提取方法、装置、计算机设备和存储介质 | |
| CN110533704B (zh) | 油墨标签的识别验伪方法、装置、设备及介质 | |
| Chatterjee et al. | LSB based steganography with OCR: an intelligent amalgamation | |
| CN115293311B (zh) | 基于微点码的彩色水印防伪方法和装置 | |
| CN109815653A (zh) | 一种基于深度学习的pdf文本水印提取及比对方法 | |
| Roy et al. | Fake currency detection using image processing | |
| Taran et al. | Mobile authentication of copy detection patterns: how critical is to know fakes? | |
| Agarwal et al. | The advent of deep learning-based image forgery detection techniques | |
| CN116935180A (zh) | 基于人工智能的信码防伪标签数据信息采集方法及系统 | |
| Nandanwar et al. | Forged text detection in video, scene, and document images | |
| Rusia et al. | A Color-Texture-Based Deep Neural Network Technique to Detect Face Spoofing Attacks | |
| Younas et al. | D-star: A generic method for stamp segmentation from document images | |
| CN116542610B (zh) | 一种非接触式柜内资产自动盘点装置、方法和存储介质 | |
| CN106934756B (zh) | 一种单色或专色图中嵌入信息的方法和系统 | |
| Kumar et al. | Detection of Fake Currency Notes using Image Processing Technique | |
| CN112070116A (zh) | 一种基于支持向量机的艺术画作自动分类系统及方法 | |
| Taran et al. | Mobile authentication of copy detection patterns | |
| CN115035533B (zh) | 一种数据鉴真处理方法、装置、计算机设备及存储介质 | |
| EP3982289A1 (en) | Method for validation of authenticity of an image present in an object, object with increased security level and method for preparation thereof, computer equipment, computer program and appropriate reading means |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |