CN115240194B - 一种基于视觉的垃圾分类和云回收估价方法 - Google Patents
一种基于视觉的垃圾分类和云回收估价方法 Download PDFInfo
- Publication number
- CN115240194B CN115240194B CN202210901317.7A CN202210901317A CN115240194B CN 115240194 B CN115240194 B CN 115240194B CN 202210901317 A CN202210901317 A CN 202210901317A CN 115240194 B CN115240194 B CN 115240194B
- Authority
- CN
- China
- Prior art keywords
- garbage
- biwint
- block
- recycling
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004064 recycling Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000011084 recovery Methods 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000013461 design Methods 0.000 claims abstract description 5
- 230000007547 defect Effects 0.000 claims description 10
- 239000003973 paint Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000005266 casting Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011179 visual inspection Methods 0.000 claims description 2
- 239000002699 waste material Substances 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/30—Administration of product recycling or disposal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Operations Research (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Development (AREA)
- Entrepreneurship & Innovation (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于视觉的垃圾分类和云回收估价方法，包括以下步骤：S1、用户对待识别垃圾进行拍照，作为图像输入数据；S2、对输入图像进行分类识别，设计BiWinT网络架构；S3、对于识别为不可回收物品的垃圾，给出分类投放指导；对于识别为可回收物品的垃圾，通过市场回收估价，用户在手机网上下单，获得上门回收服务。本发明针对现有基于视觉深度学习技术的垃圾识别方法识别准确度低的问题，设计了基于transformer网络的BiWinT网络架构，通过将pixel embedding和patchembedding分别输入固定窗口多头自注意力机制模块和带移动窗的多头自注意力机制模块，提升不同窗口的信息交换能力，提高识别精度；用户通过对垃圾拍照即可获知废品全种类识别、分类投放建议、废品回收估价三种信息。
Description
技术领域
本发明涉及人工智能领域，具体涉及一种基于视觉的垃圾分类和云回收估价方法。
背景技术
我国是世界人口大国同时也是世界制造业大国，随着人们生活水平的提升，垃圾的数量也越来越多，国家出台了《生活垃圾分类制度实施方案》，引导人们开展生活垃圾分类，维护生态文明。然而目前垃圾分类多以图表方式说明，不方便记忆，一些通过手机小程序进行垃圾识别的应用也只能识别精度较差，对于全种类的垃圾识别分类功能还不够完善。对于一些可回收的二手物品，也仅有手机数码等电子产品有回收途径，而其他可回收物品只能通过线下的废品收购站收购，并且消费者无法得知最新的物品回收价格，就近变卖，无法达到最大化的废品变现。
已有技术存在的问题：
1、基于传统视觉技术的垃圾识别分类方法识别准确率较低，无法做到全种类垃圾识别分类；
2、现有物品回收应用仅限于手机数码产品，回收种类较少；
3、衣物、纸箱、大件家具等二手物品没有线上回收途径，消费者无法得知最新回收价格。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于视觉的垃圾分类和云回收估价方法。
本发明的技术方案如下：
一种基于视觉的垃圾分类和云回收估价方法，包括以下步骤：
S1、用户对待识别垃圾进行拍照，作为图像输入数据；
S2、对输入图像进行分类识别，设计BiWinT网络架构；
S3、对于识别为不可回收物品的垃圾，给出分类投放指导；
对于识别为可回收物品的垃圾，通过市场回收估价，用户在手机网上下单，获得上门回收服务。
步骤S2中，BiWinT网络架构的设计包括以下步骤：
S21、将步骤S1中的待识别垃圾图像，通过切块操作的方式平均切成个序列块，其中，每个块patch的大小是p×p，h、w分别是原图像的高和宽，组成一个块序列：每个块表示为/>i＝1,2,…N；
S22、对每个展平成由像素点构成的像素序列，通过线性映射操作生成pixelembedding：/>其中m为像素个数，i＝1,2,…N是块序号；
S23、创建patch embedding:来保存块的特征，并初始化为0，其中Zclass是class token，表示分类的信息；
S24、对每个pixel embedding和patch embedding，分别加一个像素位置编码pixel position encoding和块位置编码patch position encoding；
S25、将一个块对应的pixel embedding输入到inner WinT block中来处理特征，将处理后的输出通过全连接层变换后，与patch embedding结合，共同输入到outer WinTblock中处理；
S26、经过处理pixel embedding和patch embedding输出定义为BiWinT block；
S27、将BiWinT block堆叠起来，构成BiWinT网络；
S28、将BiWinT网络的输出输入到全连接的多层感知机头中来进行分类；
S29、输出分类结果。
步骤S27中，BiWinT网络由4个BiWinT block堆叠而成。
BiWinT block由一个固定窗口的多头自注意力机制模块和一个带移动窗的多头自注意力机制模块构成，其中pixel embedding输入到固定窗口多头自注意力机制模块中，经过处理后与patch embedding结合后输入到带移动窗的多头自注意力机制模块中，实现了不同窗口的信息交流。
步骤S3中，可回收物品的垃圾分为三大种类，包括生活杂物、电子数码和大件家具。
对于电子数码和大件家具，首先用户通过使用状况评估来提交物品基本情况信息，然后通过基于视觉的外观缺损智能检测，得到物品的外观缺损情况，再通过市场回收估价。
视觉检测指标为裂缝、掉漆、缺角、划伤和油污，其回收估价Pr为：其中PM市场同类回收物品的平均回收价，S1～S5分别是裂缝、掉漆、缺角、划伤、油污的破损程度分数，θ是根据用户提交的物品情况信息作出的回收价格补偿。
相对于现有技术，本发明的有益效果在于：本发明针对现有基于视觉深度学习技术的垃圾识别方法识别准确度低的问题，设计了基于transformer网络的BiWinT(Bi-Window Transformer)网络架构，通过将pixel embedding和patchembedding分别输入固定窗口多头自注意力机制模块和带移动窗的多头自注意力机制模块，提升不同窗口的信息交换能力，提高识别精度；用户通过对垃圾拍照即可获知废品全种类识别、分类投放建议、废品回收估价三种信息；对于大件家具，通过用户描述与基于视觉的外观缺损检测，共同得到物品外观缺损情况，并结合市场价格给出回收估价；网上下单获得上门回收服务。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图；
图2为BiWinT网络架构图；
图3为inner WinT block结构图；
图4为outer WinT block结构图；
图5为BiWinT Block结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例
请参阅图1，本实施例提供一种基于视觉的垃圾分类和云回收估价方法，包括以下步骤：
S1、用户对待识别垃圾进行拍照，作为图像输入数据；
S2、对输入图像进行分类识别，设计BiWinT网络架构，如图2所示；
BiWinT网络架构的设计包括以下步骤：
S21、将步骤S1中的待识别垃圾图像，通过切块操作的方式平均切成个序列块，其中，每个块patch的大小是p×p，h、w分别是原图像的高和宽，组成一个块序列：每个块表示为/>i＝1,2,…N；
S22、对每个展平成由像素点构成的像素序列，通过线性映射操作生成pixelembedding：/>其中m为像素个数，i＝1,2,…N是块序号；
S23、创建patch embedding:来保存块的特征，并初始化为0，其中Zclass是class token，表示分类的信息；
S24、对每个pixel embedding和patch embedding，分别加一个像素位置编码pixel position encoding和块位置编码patch position encoding；
S25、将一个块对应的pixel embedding输入到inner WinT block中来处理特征，将处理后的输出通过全连接层变换后，与patch embedding结合，共同输入到outer WinTblock中处理；
S26、经过处理pixel embedding和patch embedding输出定义为BiWinT block；
BiWinT block由一个固定窗口的多头自注意力机制模块和一个带移动窗的多头自注意力机制模块构成，其中pixel embedding输入到固定窗口多头自注意力机制模块中，经过处理后与patch embedding结合后输入到带移动窗的多头自注意力机制模块中，实现了不同窗口的信息交流；
S27、将4个BiWinT block堆叠起来，构成BiWinT网络；
S28、将BiWinT网络的输出输入到全连接的多层感知机头中来进行分类；
S29、输出分类结果；
S3、对于识别为不可回收物品的垃圾，给出分类投放指导；
对于识别为可回收物品的垃圾，通过市场回收估价，用户在手机网上下单，获得上门回收服务；
可回收物品的垃圾分为三大种类，包括生活杂物、电子数码和大件家具，以便于分类回收；
对于电子数码和大件家具，首先用户通过使用状况评估来提交物品基本情况信息，然后通过基于视觉的外观缺损智能检测，得到物品的外观缺损情况，再通过市场回收估价。
视觉检测指标为裂缝、掉漆、缺角、划伤和油污，外观缺损情况矩阵如下：
其回收估价Pr为：其中PM市场同类回收物品的平均回收价，S1～S5分别是裂缝、掉漆、缺角、划伤、油污的破损程度分数，θ是根据用户提交的物品情况信息作出的回收价格补偿，可结合企业的实际情况，给用户最大的回收价。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于视觉的垃圾分类和云回收估价方法，其特征在于，包括以下步骤：
S1、用户对待识别垃圾进行拍照，作为图像输入数据；
S2、对输入图像进行分类识别，设计BiWinT网络架构，BiWinT网络架构的设计包括以下步骤：
S21、将步骤S1中的待识别垃圾图像，通过切块操作的方式平均切成个序列块，其中，每个块patch的大小是p×p，h、w分别是原图像的高和宽，组成一个块序列：每个块表示为/>
S22、对每个展平成由像素点构成的像素序列，通过线性映射操作生成pixelembedding：/>其中m为像素个数，i＝1,2,…N是块序号；
S23、创建patch embedding:来保存块的特征，并初始化为0，其中Zclass是class token，表示分类的信息；
S24、对每个pixel embedding和patch embedding，分别加一个像素位置编码pixelposition encoding和块位置编码patch position encoding；
S25、将一个块对应的pixel embedding输入到inner WinT block中来处理特征，将处理后的输出通过全连接层变换后，与patch embedding结合，共同输入到outer WinT block中处理；
S26、经过处理pixel embedding和patch embedding输出定义为BiWinT block；
S27、将BiWinT block堆叠起来，构成BiWinT网络，BiWinT网络由4个BiWinT block堆叠而成，BiWinT block由一个固定窗口的多头自注意力机制模块和一个带移动窗的多头自注意力机制模块构成，其中pixel embedding输入到固定窗口多头自注意力机制模块中，经过处理后与patch embedding结合后输入到带移动窗的多头自注意力机制模块中，实现了不同窗口的信息交流；
S28、将BiWinT网络的输出输入到全连接的多层感知机头中来进行分类；
S29、输出分类结果；
S3、对于识别为不可回收物品的垃圾，给出分类投放指导；
对于识别为可回收物品的垃圾，通过市场回收估价，用户在手机网上下单，获得上门回收服务。
2.根据权利要求1所述的一种基于视觉的垃圾分类和云回收估价方法，其特征在于，步骤S3中，可回收物品的垃圾分为三大种类，包括生活杂物、电子数码和大件家具。
3.根据权利要求2所述的一种基于视觉的垃圾分类和云回收估价方法，其特征在于，对于电子数码和大件家具，首先用户通过使用状况评估来提交物品基本情况信息，然后通过基于视觉的外观缺损智能检测，得到物品的外观缺损情况，再通过市场回收估价。
4.根据权利要求3所述的一种基于视觉的垃圾分类和云回收估价方法，其特征在于，视觉检测指标为裂缝、掉漆、缺角、划伤和油污，其回收估价Pr为：其中PM市场同类回收物品的平均回收价，S1～S5分别是裂缝、掉漆、缺角、划伤、油污的破损程度分数，θ是根据用户提交的物品情况信息作出的回收价格补偿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210901317.7A CN115240194B (zh) | 2022-07-28 | 2022-07-28 | 一种基于视觉的垃圾分类和云回收估价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210901317.7A CN115240194B (zh) | 2022-07-28 | 2022-07-28 | 一种基于视觉的垃圾分类和云回收估价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115240194A CN115240194A (zh) | 2022-10-25 |
| CN115240194B true CN115240194B (zh) | 2023-10-13 |
Family
ID=83677473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210901317.7A Active CN115240194B (zh) | 2022-07-28 | 2022-07-28 | 一种基于视觉的垃圾分类和云回收估价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115240194B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115424095B (zh) * | 2022-11-03 | 2023-04-07 | 湖北信通通信有限公司 | 基于废旧物资的质量分析方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158956A (zh) * | 2021-04-30 | 2021-07-23 | 杭州电子科技大学 | 一种基于改进型yolov5网络的垃圾检测与识别方法 |
| CN113610100A (zh) * | 2021-02-04 | 2021-11-05 | 腾讯科技（深圳）有限公司 | 基于图像识别的垃圾处理方法、装置及电子设备 |
| CN113822847A (zh) * | 2021-06-03 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像评分方法、装置、设备及存储介质 |
| CN113859803A (zh) * | 2021-09-29 | 2021-12-31 | 嘉兴地星科技有限公司 | 一种智能识别垃圾桶及其智能识别方法 |
| GB202207295D0 (en) * | 2021-05-25 | 2022-06-29 | Samsung Electronics Co Ltd | Method and apparatus for video recognition |
-
2022
- 2022-07-28 CN CN202210901317.7A patent/CN115240194B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610100A (zh) * | 2021-02-04 | 2021-11-05 | 腾讯科技（深圳）有限公司 | 基于图像识别的垃圾处理方法、装置及电子设备 |
| CN113158956A (zh) * | 2021-04-30 | 2021-07-23 | 杭州电子科技大学 | 一种基于改进型yolov5网络的垃圾检测与识别方法 |
| GB202207295D0 (en) * | 2021-05-25 | 2022-06-29 | Samsung Electronics Co Ltd | Method and apparatus for video recognition |
| CN113822847A (zh) * | 2021-06-03 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像评分方法、装置、设备及存储介质 |
| CN113859803A (zh) * | 2021-09-29 | 2021-12-31 | 嘉兴地星科技有限公司 | 一种智能识别垃圾桶及其智能识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Reversible Data Embedding Using the Sliding Window;Chin-Feng Lee 等;《International Conference on Intelligent Information Hiding and Multimedia Signal Processing》;第1118-1121页 * |
| 社区垃圾分类及废品回收站设计初探;莫红蕾 等;《农家参谋》;第207-208页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115240194A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110806736B (zh) | 一种模锻成形智能制造生产线锻件质量信息检测方法 | |
| Wang et al. | Soft-weighted-average ensemble vehicle detection method based on single-stage and two-stage deep learning models | |
| CN109685780B (zh) | 一种基于卷积神经网络的零售商品识别方法 | |
| CN106599925A (zh) | 一种基于深度学习的植物叶片识别系统与方法 | |
| CN115240194B (zh) | 一种基于视觉的垃圾分类和云回收估价方法 | |
| CN110245663A (zh) | 一种用于钢卷信息识别的方法 | |
| CN111008567A (zh) | 一种驾驶员行为识别方法 | |
| CN112559683A (zh) | 基于多模态数据及多交互记忆网络的方面级情感分析方法 | |
| CN206546593U (zh) | 生活垃圾智能分类回收云识别系统 | |
| CN109034694B (zh) | 基于智能制造的生产原料智能存储方法及系统 | |
| CN115272652A (zh) | 基于多元回归和自适应焦点损失的密集物体图像检测方法 | |
| CN116187718B (zh) | 基于计算机视觉的智慧货物识别分拣方法及系统 | |
| Sunny et al. | Design of a convolutional neural network based smart waste disposal system | |
| CN115082776A (zh) | 一种基于图像识别的电能表自动检测系统及方法 | |
| CN108984576A (zh) | 一种基于卷积神经网络的专利文献获取方法及系统 | |
| CN114972181A (zh) | 基于多尺度检测的重型部件涂装表面缺陷检测方法 | |
| CN109493084A (zh) | 一种基于序贯图像信息码识别的防伪防窜货方法 | |
| CN115879855A (zh) | 一种基于erp管理系统的订单数据分析系统及方法 | |
| Barla et al. | Old fashioned state-of-the-art image classification | |
| Wang et al. | Improving generalization of deep networks for estimating physical properties of containers and fillings | |
| CN115169375B (zh) | 基于ar与枪球联动的高位物料可视化方法 | |
| CN115984632A (zh) | 一种高光谱塑料垃圾材质快速分类方法、装置及存储介质 | |
| CN114996500B (zh) | 一种商标图形检索方法 | |
| CN115035474A (zh) | 一种基于场景注意力的垃圾检测方法、装置及相关介质 | |
| CN111768333A (zh) | 标识去除方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |