CN115984360A - 一种基于图像处理的计算干滩长度的方法及系统 - Google Patents
一种基于图像处理的计算干滩长度的方法及系统 Download PDFInfo
- Publication number
- CN115984360A CN115984360A CN202310012161.1A CN202310012161A CN115984360A CN 115984360 A CN115984360 A CN 115984360A CN 202310012161 A CN202310012161 A CN 202310012161A CN 115984360 A CN115984360 A CN 115984360A
- Authority
- CN
- China
- Prior art keywords
- image
- dry beach
- network
- characteristic
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 1
- 101100434045 Danio rerio acp7 gene Proteins 0.000 description 1
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 1
- 101100434047 Mus musculus Acp7 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像处理的计算干滩长度的方法及系统，包括：获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；基于所述感兴趣区域进行目标类别判定，输出处理后的图像；在处理后的图像中选取参考点。根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。采用本技术方案可以提高识别干滩水面的分界线的位置的精确度，进一步计算干滩长度，从而提高测算精度。
Description
技术领域
本发明涉及智能检测与控制处理技术领域，尤其涉及一种基于图像处理的计算干滩长度的方法及系统。
背景技术
干滩长度测量目前存在几种方法，都会存在一些大大小小的弊端:采用人工在坝体巡视目测估算，准确与否取决于工人的经验，其准确度差、时性差，特别在暴风骤雨等恶劣天气条件下会严重威胁到巡检人员的生命安全；采用硬件采集设备成本较高，尾矿库大部分是依山而建，设备安装和维护比较困难,随着尾矿坝的干滩延长，这些设备都需要后期改变，费时费力；采用标志物测量方法在测量过程中采用人为安放标志物的方法作为水线坐标参考物，不仅存在安全隐患，还增加了误差来源。至少存在两种误差:第一，在人为安放标志物过程中产生的误差，导致参照系不合理，并影响后续测量的真实值；第二，由于标志物在全图中所占比例小，标志物坐标需要人为提取，会产生像素坐标误差，影响测量值。因此，为了满足实际需要，采用深度学习算法计算干滩长度，但是Mask R-cnn算法大目标尺寸物体识别并非最优，进而影响测算精度。
虽然近年来提出了大量的图像处理方法，还出现了通过深度学习和神经网络进行图像处理的方案，但适用于识别干滩水面分界线的方法却很少，如何将干滩长度计算和深度学习、神经网络结合，训练出适合多种不同形式识别干滩水面分界线的神经网络是目前急需解决的问题。
发明内容
本发明提供一种基于图像处理的计算干滩长度的方法及系统，用以解决现有技术中识别干滩水面的分界线的位置的精确度低，进一步解决计算干滩长度精度低的问题。
一方面，为了实现上述目的，本发明提供一种基于图像处理的计算干滩长度的方法，包括：
获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；
基于所述感兴趣区域进行目标类别判定，输出处理后的图像；
在处理后的图像中选取参考点，提取所述参考点的像素坐标，根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。
可选地，对所述干滩图像进行处理包括：将所述干滩图像经过基础ResNet-101网络、特征金字塔FPN网络，得到特征图像；
将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。
可选地，基于所述感兴趣区域ROI进行目标类别判定，输出处理后的图像包括：将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；
将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；
基于目标类别、目标位置生成目标掩膜，输出识别图像。
可选地，所述ResNet-101网络、特征金字塔FPN网络、区域建议RPN网络均统一使用同一损失函数进行训练。
可选地，训练时，将训练好的ResNet-50的学习率权值转移到ResNet-101的训练中；
对图像进行卷积和池化处理，使其特征图的大小不断减小；
进行反卷积操作；
对每一个像素值进行分类。
另一方面，为了实现上述目的，本发明还提供了一种基于图像处理的计算干滩长度的系统，包括：
数据获取模块，用于获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；
数据处理模块，基于所述感兴趣区域进行目标类别判定，输出处理后的图像；
计算模块，用于在处理后的图像中选取参考点，根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。
可选地，数据获取模块包括：
特征图像获取模块，用于将所述干滩图像经过基础ResNet-101网络、特征金字塔FPN网络，得到特征图像；
感兴趣区域ROI生成模块，用于将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。
可选地，数据处理模块包括：
第一处理模块，用于将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；
第二处理模块，用于将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；
第三处理模块，基于目标类别、目标位置生成目标掩膜，输出识别图像。
本发明提供的基于图像处理的计算干滩长度的方法及系统具有以下有益效果：采用本技术方案提高识别干滩水面的分界线的位置的精确度，进一步计算干滩长度，从而提高测算精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的识别干滩水面分界线的流程示意图；
图2是本发明实施例提供的网络改进模型图；
图3是本发明实施例提供的干滩水面分界线的识别生成图像；
图4是本发明实施例提供的改进前和改进后的神经网络损失函数的对比曲线图；
图5是本发明实施例提供的中干滩长度计算模型图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图5描述本发明的一种基于图像处理的计算干滩长度的方法及系统。
如图1所示，本实施例提供一种用于集中供热热力的热泵冷热联供系统，包括以下步骤：
S10、获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；
S20、基于所述感兴趣区域和特征图像进行目标类别判定，输出处理后的图像；输出处理后的图像如图3所示；
S30、在处理后的图像中选取参考点，提取所述参考点的像素坐标，如图5所示，根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。
坐标转换具体包括：以目标建立实际的坐标系-相机坐标系，相机坐标系-图像坐标系，图像坐标系-像素坐标系，即可得到干滩长度测算值L，L的表达式如下：
其中，α是是俯仰角，H是相机高度，fx、fy分别为像素在x轴，y轴上的归一化焦距，(u,v)是参考点坐标，(u0,v0)是为像平面坐标系在像素坐标系中的原点坐标。
在本实施例中，干滩图像数据集中的数据采用配备的是高清摄像头采集的图像结果，采集了2000幅清晰的干滩图像，并随机选取其中的10％构建一个用于测试的清晰图像集，这些图像没有参与训练；从剩下的90％的图像中，通过10次随机裁剪操作进行数据增强，获得了大约14000张图像，用于构建清晰图像数据集，图像数据集可以用于进行训练。
进一步的，对所述干滩图像进行处理的过程如图2所示，具体包括：将所述干滩图像经过基础ResNet-101网络、特征金字塔FPN网络，得到特征图像；
将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。
进一步的，基于所述感兴趣区域和特征图像进行目标类别判定，输出处理后的图像包括：将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；
将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；
基于目标类别、目标位置生成目标掩膜，输出识别图像。
进一步的，ResNet-101网络、FPN网络、区域建议网络RPN均统一使用同一损失函数进行训练。例如：可以使用Lcls，Lbox作Lmask为损失函数进行训练，使用以上损失函数适用于ResNet-101网络、FPN网络、区域建议网络RPN的训练。
进一步的，训练时，将训练好的ResNet-50的学习率权值转移到ResNet-101的训练中，然后进行“端到端”的精调，主要的操作包括：对图像进行卷积和池化处理，使其特征图的大小不断减小；然后进行反卷积操作，不断的增大其特征图，最后对每一个像素值进行分类。从而实现对输入图像的准确分割。
在精调过程中，保持其他参数不变，只更新学习率权值。
ResNet-101网络都是从头开始训练的。但是，本方法不是从头开始训练ResNet-101，而是将训练好的ResNet-50权值转移到ResNet-101的训练中，然后进行“端到端”的精调。在精调过程中，保持其他参数不变，只更新学习率权值。这种方法节省了大量的训练时间，使训练只在1200个周期后收敛。采用PAP，PAP50，PAP75，PApl作为衡量网络性能的指标。
通过实验跟踪整个训练过程中网络性能的变化。如表1本发明中各类神经网络对目标的识别率和图4，可以看出，随着训练周期数的增加，损失变化逐渐趋于平缓，说明网络趋于收敛，同时网络性能也有所提高。经过1200个周期的训练，网络的性能趋于稳定。由于采用反向侧边连接的方法生成特征映射图，包含了低层准确的定位信息和高层语义信息﹐避免了由于MaskR-CNN中FPN只有一条自上而下的侧边连接路径导致的高层特征映射图无法有效包含低层定位信息的问题﹐所提方法对改进FPN的中间层融合了更多的信息，该方法在PAPl上提升了4.3％。在这些数据上获得的令人满意的结果，说明训练良好的网络具有很强的泛化能力，输出的干滩识别图像边缘清晰，可以满足测量要求。
表1
进一步的，由于干滩水面分界线并不是一条直线，只以一个点的像素坐标作为参考不合理。经过分析，取最大值与最小值得中点作为测量的参数，来进一步对干滩进行测量。
对传统的基于几何关系的单目测距模型进行分析，推导目标到相机的距离公式。在实际生活中很难保证相机光轴是平行于水平面的，因此对传统模型做了进一步优化，在其中引入了相机的俯仰角，降低了对相机的安装要求，加入了相机俯仰角的几何关系模型。通过对模型俯仰角，相机高度测试后，确定两者最佳参数。为了保证测量结果的客观有效性，使参考点像素变化区间为±50，每10个像素单位变化计算一次干滩长度，将10个点的平均干滩长度作为最终测量干滩长度。
在一个实施例中，还提供了一种基于图像处理的计算干滩长度的系统，包括：
数据获取模块，用于获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；
数据处理模块，基于所述感兴趣区域进行目标类别判定，输出处理后的图像；
计算模块，用于在处理后的图像中选取参考点。根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。
进一步的，数据获取模块包括：
特征图像获取模块，用于将所述干滩图像经过基础ResNet-101网络、FPN网络，得到特征图像；
感兴趣区域ROI生成模块，用于将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。
进一步的，数据处理模块包括：
第一处理模块，用于将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；
第二处理模块，用于将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；
第三处理模块，基于目标类别、目标位置生成目标掩膜，输出识别图像。
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于图像处理的计算干滩长度的方法，其特征在于，包括：
获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；
基于所述感兴趣区域进行目标类别判定，输出处理后的图像；
在处理后的图像中选取参考点，提取所述参考点的像素坐标，根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。
2.根据权利要求1所述的基于图像处理的计算干滩长度的方法，其特征在于，对所述干滩图像进行处理包括：将所述干滩图像经过基础ResNet-101网络、特征金字塔FPN网络，得到特征图像；
将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。
3.根据权利要求2所述的基于图像处理的计算干滩长度的方法，其特征在于，基于所述感兴趣区域ROI进行目标类别判定，输出处理后的图像包括：将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；
将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；
基于目标类别、目标位置生成目标掩膜，输出识别图像。
4.根据权利要求3所述的基于图像处理的计算干滩长度的方法，其特征在于，所述ResNet-101网络、特征金字塔FPN网络、区域建议RPN网络均统一使用同一损失函数进行训练。
5.根据权利要求4所述的基于图像处理的计算干滩长度的方法，其特征在于，训练时，将训练好的ResNet-50的学习率权值转移到ResNet-101的训练中；
对图像进行卷积和池化处理，使其特征图的大小不断减小；
进行反卷积操作；
对每一个像素值进行分类。
6.一种基于图像处理的计算干滩长度的系统，其特征在于，包括：
数据获取模块，用于获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；
数据处理模块，基于所述感兴趣区域进行目标类别判定，输出处理后的图像；
计算模块，用于在处理后的图像中选取参考点，根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。
7.根据权利要求6所述的基于图像处理的计算干滩长度的方法，其特征在于，数据获取模块包括：
特征图像获取模块，用于将所述干滩图像经过基础ResNet-101网络、特征金字塔FPN网络，得到特征图像；
感兴趣区域ROI生成模块，用于将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。
8.根据权利要求7所述的基于图像处理的计算干滩长度的方法，其特征在于，数据处理模块包括：
第一处理模块，用于将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；
第二处理模块，用于将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；
第三处理模块，基于目标类别、目标位置生成目标掩膜，输出识别图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310012161.1A CN115984360B (zh) | 2023-01-05 | 2023-01-05 | 一种基于图像处理的计算干滩长度的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310012161.1A CN115984360B (zh) | 2023-01-05 | 2023-01-05 | 一种基于图像处理的计算干滩长度的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115984360A true CN115984360A (zh) | 2023-04-18 |
| CN115984360B CN115984360B (zh) | 2024-02-09 |
Family
ID=85966510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310012161.1A Active CN115984360B (zh) | 2023-01-05 | 2023-01-05 | 一种基于图像处理的计算干滩长度的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984360B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310915A (zh) * | 2023-05-22 | 2023-06-23 | 山东科技大学 | 基于uav与深度学习的尾矿干滩指标识别方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652216A (zh) * | 2020-06-03 | 2020-09-11 | 北京工商大学 | 基于度量学习的多尺度目标检测模型方法 |
-
2023
- 2023-01-05 CN CN202310012161.1A patent/CN115984360B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652216A (zh) * | 2020-06-03 | 2020-09-11 | 北京工商大学 | 基于度量学习的多尺度目标检测模型方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIANGUO WANG等: "Research on Dry Beach Length Measurement Based on Improved Mask R-CNN Algorithm", 《2022 INTERNATIONAL CONFERENCE ON COMPUTER NETWORK, ELECTRONIC AND AUTOMATION (ICCNEA)》, pages 1 - 5 * |
| 文帅: "融合多尺度空间特征的尾矿库干滩线检测及预警研究", 《万方学位论文》 * |
| 黄青松: "基于图像分割的尾矿坝干滩长度测量系统研究", 《万方学位论文》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310915A (zh) * | 2023-05-22 | 2023-06-23 | 山东科技大学 | 基于uav与深度学习的尾矿干滩指标识别方法 |
| CN116310915B (zh) * | 2023-05-22 | 2023-08-18 | 山东科技大学 | 基于uav与深度学习的尾矿干滩指标识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115984360B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108364280B (zh) | 结构裂缝自动化描绘及宽度精准测量方法与设备 | |
| CN115797354B (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
| CN112651968A (zh) | 一种基于深度信息的木板形变与凹坑检测方法 | |
| CN109376740A (zh) | 一种基于视频的水尺读数检测方法 | |
| CN108470338B (zh) | 一种水位监测方法 | |
| CN113313047B (zh) | 一种基于车道结构先验的车道线检测方法及系统 | |
| CN111354047B (zh) | 一种基于计算机视觉的摄像模组定位方法及系统 | |
| CN113313107B (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN113240623B (zh) | 一种路面病害检测方法及装置 | |
| CN109341524A (zh) | 一种基于机器视觉的光纤几何参数检测方法 | |
| CN102855485A (zh) | 一种小麦抽穗的自动检测方法 | |
| CN113034474A (zh) | 一种oled显示器晶圆图的测试方法 | |
| CN110503623A (zh) | 一种基于卷积神经网络的识别输电线路上鸟巢缺陷的方法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
| CN111738931B (zh) | 光伏阵列无人机航拍图像的阴影去除算法 | |
| CN114693659B (zh) | 基于图像处理的铜管表面清洗效果评估方法及系统 | |
| CN112101138A (zh) | 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法 | |
| CN115984360B (zh) | 一种基于图像处理的计算干滩长度的方法及系统 | |
| CN115294159A (zh) | 金属紧固件腐蚀区域分割方法 | |
| CN112241964A (zh) | 一种用于线结构光非接触测量的光条中心提取方法 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN113947724A (zh) | 一种基于双目视觉的线路覆冰厚度自动测量方法 | |
| CN116485801B (zh) | 基于计算机视觉的胶管质量在线检测方法及系统 | |
| CN111161264B (zh) | 一种对含有缺陷的tft电路图像的分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |