CN116895023A - 一种基于多任务学习的中尺度涡识别方法及系统 - Google Patents
一种基于多任务学习的中尺度涡识别方法及系统 Download PDFInfo
- Publication number
- CN116895023A CN116895023A CN202311159512.8A CN202311159512A CN116895023A CN 116895023 A CN116895023 A CN 116895023A CN 202311159512 A CN202311159512 A CN 202311159512A CN 116895023 A CN116895023 A CN 116895023A
- Authority
- CN
- China
- Prior art keywords
- mesoscale
- vortex
- mesoscale vortex
- data
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 32
- 238000012216 screening Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000002372 labelling Methods 0.000 description 7
- 239000010410 layer Substances 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 239000013535 sea water Substances 0.000 description 3
- 108091028732 Concatemer Proteins 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- JTJMJGYZQZDUJJ-UHFFFAOYSA-N phencyclidine Chemical class C1CCCCN1C1(C=2C=CC=CC=2)CCCCC1 JTJMJGYZQZDUJJ-UHFFFAOYSA-N 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于多任务学习的中尺度涡识别方法及系统，涉及数字图像处理技术领域，将获取的待识别的海面高、海表温数据输入到训练好的中尺度涡识别模型中，输出中尺度涡识别结果；中尺度涡识别模型采用两路网络结构，第一路网络通过基础残差模块对原始数据进行多次下采样和上采样，利用跳跃链接融合采样前后的特征，提取数据中低频的细节信息与高频的语义信息，学习中尺度涡语义分割特征；第二路网络获取第一路网络中的单通道特征，经过融合和损失学习，提取中尺度涡轮廓特征；基于融合后的中尺度涡特征，进行多任务学习，得到中尺度涡识别结果。本发明通过中尺度涡语义分割和中尺度涡轮廓检测的多任务学习，更好地提升中尺度涡的识别精度。
Description
技术领域
本发明属于数字图像处理技术领域，尤其涉及一种基于多任务学习的中尺度涡识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
中尺度涡旋是海洋中一种常见而复杂的海水流动现象，各大洋中到处都有这种涡流的存在，中尺度涡的结构特征表现为：直径具有100-300千米，寿命为2-10个月的涡旋，相比于常见的涡旋，中尺度涡寿命更长半径更大。中尺度涡分为气旋以及反气旋，根据表现又称为冷涡和暖涡。在整个海洋中，中尺度涡占据了海流动能的90%，对于整个海水运动十分重要，由于其垂直结构和强大的动能，中尺度涡旋在热、盐、生物和化学示踪剂的混合和传输中起着重要作用，中尺度涡准确的检测对于气象学以及海洋生物学具有重要的研究价值。
中尺度涡研究材料包括水文观测值以及高度计观测获取的数据，近年来随着科技的快速发展，获取的中尺度涡数据也越来越丰富，这为利用深度学习进行中尺度涡检测建立了数据基础；通过水文资料能够显示部分海域中尺度涡确实比较活跃，其多涡结构特点也得到大面积水文资料的支持；然而由于资料的时空不连续性，水文调查资料不足以研究中尺度涡的生消过程；而且传统的基于水文资料的中尺度涡检测方法存在推理速度慢、依赖专家经验以及依赖于检测规则的问题，深度学习方法能够较好地解决传统检测方法的局限性，但是当前的深度学习方法随着卷积层过多，导致图像会损失中尺度涡内容，影响检测识别的精度。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于多任务学习的中尺度涡识别方法及系统，通过中尺度涡语义分割和中尺度涡轮廓检测的多任务学习，更好地提升中尺度涡的识别精度。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了一种基于多任务学习的中尺度涡识别方法。
一种基于多任务学习的中尺度涡识别方法，包括：
获取待识别的海面高、海表温数据；
将获取的数据输入到训练好的中尺度涡识别模型中，输出中尺度涡识别结果；
其中，所述中尺度涡识别模型，采用两路网络结构，第一路网络通过基础残差模块对原始数据进行多次下采样和上采样，并利用跳跃链接融合采样前后的特征，提取数据中低频的细节信息与高频的语义信息，学习中尺度涡语义分割特征；第二路网络获取第一路网络中的单通道特征，经过融合和损失学习，提取中尺度涡轮廓特征；基于中尺度涡语义分割特征和中尺度涡轮廓特征融合后的中尺度涡特征，进行中尺度涡语义分割和中尺度涡轮廓检测的多任务学习，得到中尺度涡识别结果。
进一步的，所述中尺度涡识别模型，具体包括编码器、轮廓分支网络和解码器；
其中，编码器和解码器构成第一路网络，编码器和轮廓分支网络构成第二路网络；
所述编码器基于Resnet残差网络架构提取初级特征，根据初级特征，解码器和轮廓分支网络分别提取中尺度涡语义分割特征和中尺度涡轮廓特征。
进一步的，所述解码器，还包括：
对中尺度涡语义分割特征和中尺度涡轮廓特征进行融合，得到中尺度涡特征；
基于中尺度涡特征，进行推理识别，得到中尺度涡识别结果。
进一步的，所述中尺度涡识别模型的训练，包括：
采集原始海面高、海表温数据，通过数据增强、振幅筛选、轮廓信息获取的预处理，得到语义分割数据集和轮廓检测数据集；
基于语义分割数据集和轮廓检测数据集，分别对第一路网络和第二路网络进行训练。
进一步的，所述预处理具体为：
对原始数据进行初始化映射操作，增强数据对比度；
采用粗筛选方法，筛选出振幅强的中尺度涡，并进行中尺度涡种类的标注，得到语义分割数据集；
提取中尺度涡的轮廓细节信息，得到轮廓检测数据集。
进一步的，所述中尺度涡识别结果，为中尺度涡种类、中尺度涡轮廓以及中尺度涡涡心坐标数据；
对提取的中尺度涡特征进行分类得到中尺度涡种类，将识别得到的中尺度涡轮廓数据作为中尺度涡轮廓，基于轮廓数据，对分割后的中尺度涡面积求重心，获取每个中尺度涡的涡心坐标数据。
进一步的，所述中尺度涡识别模型的损失函数，包括Dice损失函数、轮廓损失函数以及L1损失函数；
其中，Dice作为中尺度涡语义分割的损失函数，轮廓损失函数和L1损失函数作为轮廓检测的损失函数。
本发明第二方面提供了一种基于多任务学习的中尺度涡识别系统。
一种基于多任务学习的中尺度涡识别系统，包括数据获取模块和涡识别模块：
数据获取模块，被配置为：获取待识别的海面高、海表温数据；
涡识别模块，被配置为：将获取的数据输入到训练好的中尺度涡识别模型中，输出中尺度涡识别结果；
其中，所述中尺度涡识别模型，采用两路网络结构，第一路网络通过基础残差模块对原始数据进行多次下采样和上采样，并利用跳跃链接融合采样前后的特征，提取数据中低频的细节信息与高频的语义信息，学习中尺度涡语义分割特征；第二路网络获取第一路网络中的单通道特征，经过融合和损失学习，提取中尺度涡轮廓特征；基于中尺度涡语义分割特征和中尺度涡轮廓特征融合后的中尺度涡特征，进行中尺度涡语义分割和中尺度涡轮廓检测的多任务学习，得到中尺度涡识别结果。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种基于多任务学习的中尺度涡识别方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种基于多任务学习的中尺度涡识别方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
本发明基于中尺度涡种类检测算法和中尺度涡轮廓检测算法构建多任务学习的中尺度涡识别算法，学习中尺度涡两种特征，并将两种特征转成中尺度涡种类图像结果以及中尺度涡轮廓图像结果输出，实现中尺度涡的多任务学习以及多任务输出，能够有效克服传统中尺度涡识别算法需要专家经验问题，同时相较于现有的深度学习算法能够使用轮廓细节和中尺度涡特征融合，提升识别准确率以及应用价值。
本发明采用了双标注数据集以及多任务学习提升了网络对中尺度涡边界的注意力，同时优化后的损失函数也提升了网络模型识别的准确度。本发明除了可以进行中尺度涡识别外，还通过轮廓分支网络进行中尺度涡轮廓识别，经过检测后的轮廓也同样具有气旋和反气旋的类别信息，可以用于下游实际应用。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例基于多任务学习的中尺度涡识别方法流程图。
图2为第一个实施例原始数据集以及中尺度涡振幅强弱展示图。
图3为第一个实施例筛选高质量中尺度涡前后对比图。
图4为第一个实施例多源中尺度涡数据示意图。
图5为第一个实施例构建的多任务学习中尺度涡识别网络架构示意图。
图6为第一个实施例基础残差模型架构示意图。
图7为第一个实施例采用基于多任务学习的中尺度涡识别方法进行检测的效果图。
图8为第一个实施例采用再分析数据对中尺度涡进行三维结构可视化的效果图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
传统的基于水文资料的中尺度涡检测方法存在推理速度慢、依赖专家经验以及依赖于检测规则的问题，而高度计在研究中尺度涡方面具有多方面的优越性：一是有较好的空间覆盖率；二是有较好的准同步性和时间连续性；三是反映的信息不仅仅是表层的信息。
因此，本发明提出了一种基于多任务学习的中尺度涡识别方法，基于卫星高度计获取的数据，对基于Encoder-Decoder架构与ContourNet架构融合的中尺度涡识别模型进行训练，实现两个任务分别是中尺度涡语义分割任务以及中尺度涡轮廓检测任务，通过两个任务的结合能够更好地提升模型的识别精度。
实施例一
在一个或多个实施方式中，公开了一种基于多任务学习的中尺度涡识别方法，包括如下步骤：
步骤S1：获取待识别的海面高、海表温数据；
步骤S2：将获取的数据输入到训练好的中尺度涡识别模型中，输出中尺度涡识别结果；
其中，所述中尺度涡识别模型，采用两路网络结构，第一路网络通过基础残差模块对原始数据进行多次下采样和上采样，并利用跳跃链接融合采样前后的特征，提取数据中低频的细节信息与高频的语义信息，学习中尺度涡语义分割特征；第二路网络获取第一路网络中的单通道特征，经过融合和损失学习，提取中尺度涡轮廓特征；基于中尺度涡语义分割特征和中尺度涡轮廓特征融合后的中尺度涡特征，进行中尺度涡语义分割和中尺度涡轮廓检测的多任务学习，得到中尺度涡识别结果。
下面对本实施例一种基于多任务学习的中尺度涡识别方法的实现过程进行详细说明。
本实施例提出了一种基于多任务学习的中尺度涡识别方法，包括：基于公开的海面高数据构建中尺度涡数据集，基于预处理提取中尺度涡的轮廓细节信息，同时基于粗筛选对数据集检测并筛选振幅强的中尺度涡获取标注数据；基于中尺度涡种类检测算法和中尺度涡轮廓检测算法构建多任务学习的中尺度涡识别算法，通过设计的算法使模型能够学习中尺度涡两种特征：中尺度涡语义分割特征和中尺度涡轮廓特征，并将两种特征转成中尺度涡种类图像结果以及中尺度涡轮廓图像结果输出。通过本方法能够实现中尺度涡的多任务学习以及多任务输出，有效克服传统中尺度涡识别算法需要专家经验问题，同时相较于现有的深度学习算法，本方法能够使用轮廓细节和中尺度涡特征融合，提升识别准确率以及应用价值。
具体的，如图1所示，分别从三个方面对本实施例的方法进行详细说明：
第一方面：中尺度涡数据集构建，包括：构建原始海面高、海表温数据集，通过粗筛选构建高质量语义分割数据集，通过轮廓信息的提取构建轮廓检测数据集，图2是原始数据集以及中尺度涡振幅强弱展示图，图像中的横坐标表示经度，纵坐标表示维度，图3是筛选振幅强的活跃性的中尺度涡；中尺度涡训练所采用的数据集包括：海面高SSH、海表温SST、语义分割标注Label_Eddy、轮廓标注Label_Ege四个文件，如图4所示。
具体为：
（1）基于公开数据，获取原始的海面高、海表温数据作为原始数据集。
本实施例中，基于哥白尼海洋数据服务公开数据，获取海面高、海表温原始数据集，采集的图像分辨率为1/4，采集的空间范围北纬0°-北纬30°，东经105°-东经130°，采集的数据时间范围为1993年至2022年，其中1993年-2019年作为训练数据集，2020年-2022年作为测试数据集。
（2）海面高、海表温原始数据进行映射增强前景和背景的对比度作为原始数据集，映射的规则是原始数据值乘100然后加50，进行数据增强变换，将增强后的数据作为训练集。
本实施例对原始数据集进行了统计，海面高值的范围是[0.387，2.006]，但是数值范围不符合图像数值，直接转成图像会降低图像对比度，本实施例对原始数据进行了增强，增强图像对比度，提升网络学习能力，映射公式如下所示：
其中，为图像的每个原始像素值，/>为映射后的图像值，通过增强后会将原始像素范围其映射到[0,255]之间。
（3）通过对海面高原始数据进行粗筛选获取中尺度涡气旋反气旋分割数据集，粗筛选具体内容包括利用传统算法对海面高原始数据检测，筛选振幅强的中尺度涡，并获取中尺度涡分割标注数据，然后通过海洋领域专家进行精筛选完成语义分割数据集。
粗筛选具体是采用传统中尺度涡方法识别原始海面高数据，然后筛选振幅强的中尺度涡进行研究，在本实施例中振幅筛选条件设置为0.015。
筛选振幅强的中尺度涡原因在于：当前基于深度学习的语义分割数据集通常采用传统算法完成的，但直接利用传统算法检测后的数据有很多振幅较低不活跃的中尺度涡，如图2右图所示，图中横坐标表示经度，纵坐标表示维度，右侧栏表示涡旋振幅，振幅越强说明中尺度涡强度越大，实际上当前大多数研究的都是强度比较高的中尺度涡旋，本实施例将筛选前后的数据进行了对比，如图3所示，图中横坐标表示经度，纵坐标表示维度，选择的区域是东经105-130，北纬0-30；ADT表示采用绝对动力高度（absolute dynamictopography）构建海面高数据；图3中的（a）为直接使用不筛选检测后的结果，图3中的（b）表示设置振幅为0.015作为条件筛选后的涡旋，图3中的（c）为局部区域放大后的海洋水平运动Vgos和Ugos可视化的结果。通过图3中的（a）和（b）可以看出经过筛选后，中尺度涡数量大幅减少，同时结合图3中的（b）和（c）可以从海洋水平运动看出：虽然中尺度涡数量减少，但是较强的涡旋都被捕捉到了，通过UV海水流速可以证明本实施例标注数据的有效性和实用性价值。
（4）从原始数据集中提取中尺度涡的轮廓细节信息，构建轮廓检测数据集，具体为：
迭代步骤（3）中尺度涡标注文件中的每日数据，中尺度涡数据中存储了每个中尺度涡的涡心坐标和对应的轮廓坐标，对每日数据中的每个中尺度涡，利用matplot绘制成中尺度涡轮廓，通过中尺度涡轮廓每个点的经纬度信息，构建轮廓检测数据集。
通过以上数据预处理，完成中尺度涡模型训练所需的样本库构建。
第二方面：基于Encoder-Decoder架构与ContourNet架构融合的中尺度涡多任务学习网络设计，通过该网络不仅能够学习到中尺度涡分割任务，也能够学习到中尺度涡轮廓信息任务。
图像分辨率低，如果持续加深网络会导致细节损失，所以针对分辨率低一般减少网络深度，但是网络过浅容易导致特征提取能力不足，无法识别气旋和反气旋的种类，所以针对输入图像分辨率低导致网络深度有限的情况下，本实施例通过增加轮廓分支网络、注意力分支以及主干分支将网络进行拓宽，通过提取多种特征，提升对中尺度涡旋特征的学习能力，具体为：
基于编码器主干特征提取分支，使用空洞卷积网络不降低图像分辨率扩大卷积核的感受野，使网络具备全局感受野和局部感受野；
对网络下采样阶段处理后的特征使用CBAM注意力机制获取通道和空间特征，使网络更加关注到关注气旋和反气旋特征；
基于编码器形成轮廓分支网络（ContourNet）提取中尺度涡轮廓信息。
将以上结构融合组成具有多任务学习的中尺度涡识别模型ML-net，其中ML指的是multi-task learning 。
图5是中尺度涡识别模型的结构图，如图5所示，中尺度涡识别模型具体包括编码器Encoder、轮廓分支网络Contour Net和解码器Decoder；其中，编码器和解码器构成第一路网络，编码器和轮廓分支网络构成第二路网络，分别用于中尺度涡语义分割任务和中尺度涡轮廓检测任务，实现多任务学习。
编码器，采用基于Resnet残差网络架构提取初级特征，如图6所示，在每个特征提取阶段，首先采用1*1的卷积对输入特征C1进行下采样，然后通过3*3将特征通道变成两倍记为C2，使用3*3的卷积对C2处理将通道数恢复记为C3，然后使用1*1卷积对C3处理，将通道数变成2倍记为C4，最后将C2和C4特征进行相加，作为输出结果。每个卷积过程都进行 Relu激活层以及BN层优化提取的特征。由于原始数据的分辨率为0.25°，考虑到转换后的图像分辨率为120*100，相比较720P，1080P图像而言分辨率较小，为了防止细节丢失，在该架构内仅进行3次下采样操作，降低下采样次数过多导致目标细节的损失。经过ResNet结构提取后的特征图记为Block1、Block2以及Block3。然后继续对Block3特征利用空洞卷积网络提取特征，将最后提取的初级特征记为EF(Encoder_Feature)。
为了使网络能够注意到中尺度涡轮廓细节信息，创建了轮廓分支网络，一方面能够通过提取中尺度涡轮廓特征加强中尺度涡分割网络对中尺度涡细节的生成能力，提升网络识别准确率，另一方面可以进行多任务学习，输出中尺度涡轮廓信息用于下游应用。在上述编码器使用Resnet提取初级特征阶段后，获取Block1的特征，利用1*1的卷积层将通道数变成1记为CF_1(ContourFeature)；获取block2特征，利用1*1卷积将通道数变成1记为 CF_2；获取block3特征，利用1*1卷积进行2倍的双线性上采样并将通道数变成1记为CF_3，将CF2和CF_3进行concat操作，然后将对其进行2倍的上采样操作并将通道恢复到1记为CF_4，然后将CF_4和CF_1执行concat操作，得到中尺度涡轮廓特征，记为CF_5，其用途有两个：一方面将特征融合后的结果CF_5传入解码器，另一方面再次将CF_5进行2倍的双线性上采样作为中尺度涡轮廓识别结果。
在解码器阶段主要将语义信息和高分辨率信息进行融合，首先将Block1以及Block2具有高分辨率细节信息使用CBAM空间注意力处理，分别将特征图记为D1和D2，将编码器结果E4进行双线性差值的2倍上采样，与特征图D2进行concat操作并进行2倍上采样，得到中尺度涡语义分割特征，记为D3，将D3与轮廓分支网络提取到的CF_5特征进行融合，将融合后的特征进行双线性差值的2倍上采样处理，与D1进行concat操作，并进行双线性差值的2倍上采样处理，得到融合后的中尺度涡特征，基于融合后的特征进行中尺度涡语义分割。
第三方面：中尺度涡识别模型的推理及应用，包括对上述模型的训练后，通过中尺度涡识别模型对原始的海面高、海表温数据进行检测，能够获取中尺度涡气旋和反气旋的语义分割结果、中尺度涡轮廓以及中尺度涡涡心坐标；
使用语义分割数据集和轮廓检测数据集，对多任务学习的中尺度涡识别模型进行训练，使得模型能够学习到多种特征进行输出；在模型训练完成后，可以通过模型对中尺度涡完成气旋和反气旋以及背景的分割任务、中尺度涡轮廓包括轮廓类别识别任务，通过对中尺度涡的轮廓进行中心检测输出结果就是中尺度涡旋的涡心坐标，从而可以支撑后续中尺度涡三维反演研究。
在训练过程中，采用的损失函数，是由Dice损失函数/>、轮廓损失函数/>以及L1损失函数构成，具体公式为：
其中，表示轮廓损失函数权重系数，在本实施例中取20，/>表示L1损失函数的权重系数，在本实施例中取值为2；加入权重系数能够让网络在学习过程中能够注意到中尺度涡的轮廓细节。
Dice损失函数作为中尺度涡语义分割的损失函数，轮廓损失函数和L1损失函数作为轮廓检测的损失函数。
表示Dice损失函数，具体损失函数公式如下所示：
其中， X表示预测图像，Y表示真实的标注图像。
表示轮廓损失函数,采用的是二值交叉熵，具体公式如下所示：
其中，表示输入图像该点是前景即轮廓的概率，/>表示该点是背景即非轮廓，y表示真实的标注值。
L1表示L1损失函数，具体公式如下所示：
其中，表示输入图像对应标注图像的标注值，/>表示模型对输入图像的预测值。
模型训练完成后，输入待识别的海面高及海表温数据，进行中尺度涡语义分割任务和中尺度涡轮廓检测任务，基于中尺度涡语义分割特征和中尺度涡轮廓特征，检测出中尺度涡的种类即气旋或反气旋以及中尺度涡的轮廓数据，同时进一步对分割后的中尺度涡面积求重心，获取每个中尺度涡的涡心坐标。
在中尺度涡推理及应用方面，本实施例进行中尺度涡气旋反气旋检测结果参考图7所示，图7中的（a）（b）（c）（d）（e）（f）（g）（h）分别表示输入的海面温度数据、中尺度涡语义分割标注数据、中尺度涡轮廓标注数据数据、输入的海面高数据，模型预测的中尺度涡语义分割结果、模型预测的中尺度涡轮廓结果、模型预测的中尺度涡语义分割局部放大图、对应位置的模型预测中尺度涡轮廓放大图，通过图7可以看出和标注数据相比，本实施例提出的方法准确有效地识别到中尺度涡轮廓，这是由于采用了双标注数据集以及多任务学习提升了网络对中尺度涡边界的注意力，同时优化后的损失函数也提升了网络模型识别的准确度。本实施例除了可以进行中尺度涡识别外，设计的网络架构也可以进行中尺度涡轮廓识别，通过图7中的（c）轮廓的标注数据和图7中的（f）预测数据对比可以看出，本实施例提出的轮廓分支网络能够较好的检测中尺度涡轮廓，经过检测后的轮廓也同样具有气旋和反气旋的类别信息，可以用于下游实际应用。通过图7中的（g）局部放大图可以看出中尺度涡语义分割网络将连个独立的中尺度涡联通了，标注图像这两个地方是分开的，但是，通过本实施例的轮廓分支网络预测结果如图7中的（h）所示，这里是其实是分开的，所以轮廓分支网络能够准确有效地检测出中尺度涡的边界轮廓信息。
在支撑中尺度涡三维结构反演方面：本实施例进行中尺度涡三维结构反演可视化结果参考图8所示，使用再分析数据展示某海域的3D温度可视化。再分析数据由50层组成，能够展示深度达到5727米海底情况。左图表示所选择和可视化的特定图层，并带有所选图层及其距海面距离的注释，右图显示了通过左图而获得的中尺度涡流三维可视化结果，提供了该区域中尺度涡流的全面视图。通过观察不同深度的图像，可以明显看出，小振幅涡流对周围影响比较有限，同时随着深度的增加，小涡旋逐步消失。相反，振幅越大，涡旋其动能就越强，其三维垂直结构对周围环境的影响也就越深远。通过图8证明了本实施例所构建的中尺度涡数据集的有效性。
实施例二
在一个或多个实施例中，公开了一种基于多任务学习的中尺度涡识别系统，包括数据获取模块和涡识别模块：
数据获取模块，被配置为：获取待识别的海面高、海表温数据；
涡识别模块，被配置为：将获取的数据输入到训练好的中尺度涡识别模型中，输出中尺度涡识别结果；
其中，所述中尺度涡识别模型，采用两路网络结构，第一路网络通过基础残差模块对原始数据进行多次下采样和上采样，并利用跳跃链接融合采样前后的特征，提取数据中低频的细节信息与高频的语义信息，学习中尺度涡语义分割特征；第二路网络获取第一路网络中的单通道特征，经过融合和损失学习，提取中尺度涡轮廓特征；基于中尺度涡语义分割特征和中尺度涡轮廓特征融合后的中尺度涡特征，进行中尺度涡语义分割和中尺度涡轮廓检测的多任务学习，得到中尺度涡识别结果。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的一种基于多任务学习的中尺度涡识别方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的一种基于多任务学习的中尺度涡识别方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多任务学习的中尺度涡识别方法，其特征在于，
获取待识别的海面高、海表温数据；
将获取的数据输入到训练好的中尺度涡识别模型中，输出中尺度涡识别结果；
其中，所述中尺度涡识别模型，采用两路网络结构，第一路网络通过基础残差模块对原始数据进行多次下采样和上采样，并利用跳跃链接融合采样前后的特征，提取数据中低频的细节信息与高频的语义信息，学习中尺度涡语义分割特征；第二路网络获取第一路网络中的单通道特征，经过融合和损失学习，提取中尺度涡轮廓特征；基于中尺度涡语义分割特征和中尺度涡轮廓特征融合后的中尺度涡特征，进行中尺度涡语义分割和中尺度涡轮廓检测的多任务学习，得到中尺度涡识别结果。
2.如权利要求1所述的一种基于多任务学习的中尺度涡识别方法，其特征在于，所述中尺度涡识别模型，具体包括编码器、轮廓分支网络和解码器；
其中，编码器和解码器构成第一路网络，编码器和轮廓分支网络构成第二路网络；
所述编码器基于Resnet残差网络架构提取初级特征，根据初级特征，解码器和轮廓分支网络分别提取中尺度涡语义分割特征和中尺度涡轮廓特征。
3.如权利要求2所述的一种基于多任务学习的中尺度涡识别方法，其特征在于，所述解码器，还包括：
对中尺度涡语义分割特征和中尺度涡轮廓特征进行融合，得到中尺度涡特征；
基于中尺度涡特征，进行推理识别，得到中尺度涡识别结果。
4.如权利要求1所述的一种基于多任务学习的中尺度涡识别方法，其特征在于，所述中尺度涡识别模型的训练，包括：
采集原始海面高、海表温数据，通过数据增强、振幅筛选、轮廓信息获取的预处理，得到语义分割数据集和轮廓检测数据集；
基于语义分割数据集和轮廓检测数据集，分别对第一路网络和第二路网络进行训练。
5.如权利要求4所述的一种基于多任务学习的中尺度涡识别方法，其特征在于，所述预处理具体为：
对原始数据进行初始化映射操作，增强数据对比度；
采用粗筛选方法，筛选出振幅强的中尺度涡，并进行中尺度涡种类的标注，得到语义分割数据集；
提取中尺度涡的轮廓细节信息，得到轮廓检测数据集。
6.如权利要求1所述的一种基于多任务学习的中尺度涡识别方法，其特征在于，所述中尺度涡识别结果，为中尺度涡种类、中尺度涡轮廓以及中尺度涡涡心坐标数据；
对提取的中尺度涡特征进行分类得到中尺度涡种类，将识别得到的中尺度涡轮廓数据作为中尺度涡轮廓，基于轮廓数据，对分割后的中尺度涡面积求重心，获取每个中尺度涡的涡心坐标数据。
7.如权利要求1所述的一种基于多任务学习的中尺度涡识别方法，其特征在于，所述中尺度涡识别模型的损失函数，包括Dice损失函数、轮廓损失函数以及L1损失函数；
其中，Dice作为中尺度涡语义分割的损失函数，轮廓损失函数和L1损失函数作为轮廓检测的损失函数。
8.一种基于多任务学习的中尺度涡识别系统，其特征在于，包括数据获取模块和涡识别模块：
数据获取模块，被配置为：获取待识别的海面高、海表温数据；
涡识别模块，被配置为：将获取的数据输入到训练好的中尺度涡识别模型中，输出中尺度涡识别结果；
其中，所述中尺度涡识别模型，采用两路网络结构，第一路网络通过基础残差模块对原始数据进行多次下采样和上采样，并利用跳跃链接融合采样前后的特征，提取数据中低频的细节信息与高频的语义信息，学习中尺度涡语义分割特征；第二路网络获取第一路网络中的单通道特征，经过融合和损失学习，提取中尺度涡轮廓特征；基于中尺度涡语义分割特征和中尺度涡轮廓特征融合后的中尺度涡特征，进行中尺度涡语义分割和中尺度涡轮廓检测的多任务学习，得到中尺度涡识别结果。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311159512.8A CN116895023B (zh) | 2023-09-11 | 2023-09-11 | 一种基于多任务学习的中尺度涡识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311159512.8A CN116895023B (zh) | 2023-09-11 | 2023-09-11 | 一种基于多任务学习的中尺度涡识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116895023A true CN116895023A (zh) | 2023-10-17 |
| CN116895023B CN116895023B (zh) | 2024-02-09 |
Family
ID=88315230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311159512.8A Active CN116895023B (zh) | 2023-09-11 | 2023-09-11 | 一种基于多任务学习的中尺度涡识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116895023B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117935023A (zh) * | 2024-03-22 | 2024-04-26 | 青岛哈尔滨工程大学创新发展中心 | 基于注意力机制的中尺度涡识别和特征分析方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160377504A1 (en) * | 2015-06-29 | 2016-12-29 | Rolls-Royce Plc | Vortex identification methods and tools |
| CN108985250A (zh) * | 2018-07-27 | 2018-12-11 | 大连理工大学 | 一种基于多任务网络的交通场景解析方法 |
| CN113343789A (zh) * | 2021-05-20 | 2021-09-03 | 武汉大学 | 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法 |
| CN113434805A (zh) * | 2021-07-14 | 2021-09-24 | 自然资源部第一海洋研究所 | 一种基于海面高度异常和旋转速度的中尺度涡识别方法 |
| CN113807355A (zh) * | 2021-07-29 | 2021-12-17 | 北京工商大学 | 一种基于编解码结构的图像语义分割方法 |
| US20220304255A1 (en) * | 2005-12-22 | 2022-09-29 | Lawrence Sirovich | Weather management of cyclonic events |
| CN115272755A (zh) * | 2022-07-21 | 2022-11-01 | 北京经纬恒润科技股份有限公司 | 一种激光点云检测分割方法及系统 |
| CN116051885A (zh) * | 2022-12-19 | 2023-05-02 | 宁波渔遥科技有限公司 | 用于海洋中尺度涡样本数据的处理及中尺度涡识别方法 |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN116188993A (zh) * | 2023-03-23 | 2023-05-30 | 安徽大学 | 一种基于多任务学习的遥感图像耕地地块分割方法 |
| CN116188996A (zh) * | 2023-04-18 | 2023-05-30 | 重庆邮电大学 | 一种多尺度语义信息和边界信息的遥感图像语义分割方法 |
| CN116229056A (zh) * | 2022-12-16 | 2023-06-06 | 长沙理工大学 | 基于双分支特征融合的语义分割方法、装置、设备 |
-
2023
- 2023-09-11 CN CN202311159512.8A patent/CN116895023B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220304255A1 (en) * | 2005-12-22 | 2022-09-29 | Lawrence Sirovich | Weather management of cyclonic events |
| US20160377504A1 (en) * | 2015-06-29 | 2016-12-29 | Rolls-Royce Plc | Vortex identification methods and tools |
| CN108985250A (zh) * | 2018-07-27 | 2018-12-11 | 大连理工大学 | 一种基于多任务网络的交通场景解析方法 |
| CN113343789A (zh) * | 2021-05-20 | 2021-09-03 | 武汉大学 | 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法 |
| CN113434805A (zh) * | 2021-07-14 | 2021-09-24 | 自然资源部第一海洋研究所 | 一种基于海面高度异常和旋转速度的中尺度涡识别方法 |
| CN113807355A (zh) * | 2021-07-29 | 2021-12-17 | 北京工商大学 | 一种基于编解码结构的图像语义分割方法 |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN115272755A (zh) * | 2022-07-21 | 2022-11-01 | 北京经纬恒润科技股份有限公司 | 一种激光点云检测分割方法及系统 |
| CN116229056A (zh) * | 2022-12-16 | 2023-06-06 | 长沙理工大学 | 基于双分支特征融合的语义分割方法、装置、设备 |
| CN116051885A (zh) * | 2022-12-19 | 2023-05-02 | 宁波渔遥科技有限公司 | 用于海洋中尺度涡样本数据的处理及中尺度涡识别方法 |
| CN116188993A (zh) * | 2023-03-23 | 2023-05-30 | 安徽大学 | 一种基于多任务学习的遥感图像耕地地块分割方法 |
| CN116188996A (zh) * | 2023-04-18 | 2023-05-30 | 重庆邮电大学 | 一种多尺度语义信息和边界信息的遥感图像语义分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| LINGHUI XIA等: "Submesoscale oceanic eddy detection in SAR images using context and edge association network", 《FRONTIERS IN MARINE SCIENCE》 * |
| YUXIAO ZHAO: "SymmetricNet: end-to-end mesoscale eddy detection with multi-modal data fusion", 《FRONTIERS IN MARINE SCIENCE》 * |
| 芦旭熠;单桂华;李观;: "基于深度学习的海洋中尺度涡识别与可视化", 计算机系统应用, no. 04 * |
| 董子意: "基于深度学习的海洋中尺度涡自动检测模型", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117935023A (zh) * | 2024-03-22 | 2024-04-26 | 青岛哈尔滨工程大学创新发展中心 | 基于注意力机制的中尺度涡识别和特征分析方法及系统 |
| CN117935023B (zh) * | 2024-03-22 | 2024-05-28 | 青岛哈尔滨工程大学创新发展中心 | 基于注意力机制的中尺度涡识别和特征分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116895023B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wan et al. | DA-RoadNet: A dual-attention network for road extraction from high resolution satellite imagery | |
| CN111476159B (zh) | 一种基于双角回归的检测模型训练、检测方法及装置 | |
| CN112183432B (zh) | 一种基于中分辨率sar图像的建筑区提取方法以及系统 | |
| CN116895023B (zh) | 一种基于多任务学习的中尺度涡识别方法及系统 | |
| Sun et al. | Global Mask R-CNN for marine ship instance segmentation | |
| CN112465759A (zh) | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 | |
| Abdollahi et al. | SC-RoadDeepNet: A new shape and connectivity-preserving road extraction deep learning-based network from remote sensing data | |
| CN115393734A (zh) | 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 | |
| Kong et al. | Lightweight algorithm for multi-scale ship detection based on high-resolution SAR images | |
| Cao et al. | Multi angle rotation object detection for remote sensing image based on modified feature pyramid networks | |
| Du et al. | Intelligent recognition system based on contour accentuation for navigation marks | |
| Lambhate et al. | W-net: A deep network for simultaneous identification of gulf stream and rings from concurrent satellite images of sea surface temperature and height | |
| Zhang et al. | FRS-Net: An efficient ship detection network for thin-cloud and FOG-covered high-resolution optical satellite imagery | |
| Liu et al. | Pavement distress detection using street view images captured via action camera | |
| Li et al. | SAR image near-shore ship target detection method in complex background | |
| Zhao et al. | Squnet: An high-performance network for crater detection with dem data | |
| Fan et al. | A self-supervised transformer with feature fusion for SAR image semantic segmentation in marine aquaculture monitoring | |
| Li et al. | Improved YOLOv5s algorithm for small target detection in UAV aerial photography | |
| Ji et al. | Domain adaptive and interactive differential attention network for remote sensing image change detection | |
| Zhu et al. | A generalized framework for agricultural field delineation from high-resolution satellite imageries | |
| Huang et al. | A Stepwise Refining Image-Level Weakly Supervised Semantic Segmentation Method for Detecting Exposed Surface for Buildings (ESB) From Very High-Resolution Remote Sensing Images | |
| Wu et al. | Change detection enhanced by spatial-temporal association for bare soil land using remote sensing images | |
| Huang et al. | A deep learning approach to detecting ships from high-resolution aerial remote sensing images | |
| Mao et al. | City object detection from airborne Lidar data with OpenStreetMap‐tagged superpixels | |
| Wang et al. | Sonar Objective Detection Based on Dilated Separable Densely Connected CNNs and Quantum‐Behaved PSO Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |