CN116863251B - 一种分布式光纤传感扰动识别方法 - Google Patents
一种分布式光纤传感扰动识别方法 Download PDFInfo
- Publication number
- CN116863251B CN116863251B CN202311122446.7A CN202311122446A CN116863251B CN 116863251 B CN116863251 B CN 116863251B CN 202311122446 A CN202311122446 A CN 202311122446A CN 116863251 B CN116863251 B CN 116863251B
- Authority
- CN
- China
- Prior art keywords
- hornet
- network model
- optical fiber
- layer
- disturbance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013307 optical fiber Substances 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 36
- 241000256856 Vespidae Species 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012795 verification Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000000253 optical time-domain reflectometry Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 37
- 230000003287 optical effect Effects 0.000 claims description 24
- 230000003993 interaction Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 17
- 239000000835 fiber Substances 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 239000004575 stone Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000006748 scratching Methods 0.000 description 5
- 230000002393 scratching effect Effects 0.000 description 5
- 230000009194 climbing Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
- G01H9/004—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means using fibre optic sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于分布式光纤传感技术领域，公开了一种分布式光纤传感扰动识别方法。本发明首先基于Φ‑OTDR分布式光纤传感系统采集获得多类扰动事件对应的原始数据，原始数据为一维时间序列信号；然后对原始数据进行预处理，得到预处理后的一维时间序列信号；之后通过格拉姆角场转换得到二维图像，将二维图像按照扰动事件的种类进行整理得到数据总集，并划分为训练集和验证集；构建HorNet网络模型，利用训练集、验证集分别对HorNet网络模型进行训练和验证，得到训练好的HorNet网络模型；最后利用训练好的HorNet网络模型进行扰动识别。本发明能够提高分布式光纤传感扰动识别的准确率，并能够减少计算量，提高识别效率。
Description
技术领域
本发明属于分布式光纤传感技术领域，更具体地，涉及一种分布式光纤传感扰动识别方法。
背景技术
分布式光纤传感技术由于其灵敏度高、精度高、成本低，监测范围长等优点，在工程领域及生活中得到了广泛的应用。相位敏感型光时域反射（Φ-OTDR）技术是一种具有高精度振动监测优点的分布式光纤传感技术，在道路监测、管道检测、周界安防领域具有巨大的优势。Φ-OTDR技术通过测量光纤中的后向瑞利散射（或背向瑞利散射）来提取相位，得到的震动信号可准确反应外界干扰行为，并实时预警。
然而，由于传感光纤所在的环境复杂，导致背景噪声复杂多变，导致对不同的信号干扰难以准确识别。目前，针对光纤振动信号的识别方法主要有两种，一种是对振动信号进行时域、频域和时频域的特征提取，将提取到的特征传送到分类器中进行识别。另一种是不进行特征提取，直接将原始振动信号送入分类器中。由于第一种方法通常需要人工提取特征，再进行分类，且特征提取过程繁杂、无法完整准确获取干扰信号的全部特征，导致信息丢失造成误报；第二种方法虽然保留了信号的完整性，但是由于原始信号长度过大，并且包含大量初始噪声，导致干扰部分较多，且需要遍历信号的每一个点，大量的计算导致识别效率低下，无法达到实际应用的需求。
发明内容
本发明通过提供一种分布式光纤传感扰动识别方法，解决现有技术中分布式光纤传感扰动识别的准确率较低、计算量较大的问题。
本发明提供一种分布式光纤传感扰动识别方法，包括以下步骤：
步骤1、基于Φ-OTDR分布式光纤传感系统采集获得多类扰动事件对应的原始数据，所述原始数据为一维时间序列信号；
步骤2、对所述原始数据进行预处理，得到预处理后的一维时间序列信号；
步骤3、对所述预处理后的一维时间序列信号进行格拉姆角场转换，得到二维图像；将所述二维图像按照扰动事件的种类进行整理得到数据总集，将所述数据总集划分为训练集和验证集；
步骤4、构建HorNet网络模型，利用所述训练集对所述HorNet网络模型进行训练，利用所述验证集对所述HorNet网络模型进行验证，得到训练好的HorNet网络模型；
构建的所述HorNet网络模型采用HorNet-Tiny结构，所述HorNet网络模型包括：输入层、特征提取层、全连接层和输出层；所述输入层用于将输入图像连接至所述特征提取层；所述特征提取层包括多个HorBlock模块，所述特征提取层用于得到融合了图像信息的特征向量；所述全连接层包括一个层归一化和一个上采样层，所述全连接层用于对图像进行升维，以进行下一次迭代，并用于将最终得到的空间交互结果映射到指定维度后传输至所述输出层；所述输出层包括Dropout层和分类器，所述分类器包括一个卷积层和一个上采样层，所述输出层用于输出分类标签结果；
步骤5、利用所述训练好的HorNet网络模型进行扰动识别。
优选的，所述步骤1中，所述Φ-OTDR分布式光纤传感系统包括：超窄线宽激光器、信号发生器、声光调制器、掺铒光纤放大器、环形器、传感光纤、光电探测器、数据采集卡和信号处理模块；
所述超窄线宽激光器发出的连续光信号输入至所述声光调制器，所述信号发生器产生的脉冲信号输入至所述声光调制器，所述声光调制器将所述连续光信号调制成脉冲光信号；所述掺铒光纤放大器对所述脉冲光信号进行放大，放大后的脉冲光信号经所述环形器接入所述传感光纤；从所述传感光纤返回的背向瑞利散射光信号经所述环形器后被所述光电探测器接收，所述光电探测器将接收到的光信号转换成电信号，并传输至所述数据采集卡；所述数据采集卡对所述电信号进行采样，并将得到的采样信号传输至所述信号处理模块；所述信号处理模块对所述采样信号进行识别和标记，得到多类扰动事件对应的原始数据。
优选的，所述超窄线宽激光器为可调谐超窄线宽激光器，所述超窄线宽激光器的线宽范围为0.1kHz~0.2kHz。
优选的，所述步骤2中，所述预处理包括：小波去噪、标准化处理和滑动窗口划分；所述标准化处理包括对去噪后的信号进行剪裁，保留有效扰动区域；所述滑动窗口划分包括利用预设步长的滑动窗口对标准化处理后得到的若干样本点进行滑动划分，并在得到时间序列样本后进行归一化处理，将时间序列缩放至[-1,1]的范围内。
优选的，所述步骤3中，进行格拉姆角场转换时采用格拉姆角差场的图像编码方式。
优选的，所述步骤3中，进行格拉姆角场转换时采用格拉姆角和场的图像编码方式。
优选的，所述特征提取层包括18个所述HorBlock模块；所述HorNet网络模型包括四个处理阶段，每个处理阶段均会经过一个卷积层、一个层归一化以及多个所述HorBlock模块，四个处理阶段中经过的所述HorBlock模块的数量分别为2、3、18和2个。
优选的，所述HorBlock模块包括门控卷积gnConv，所述门控卷积gnConv由一个全局滤波器和一个局部滤波器构成；所述全局滤波器用于提取全局上下文信息，所述局部滤波器用于提取局部细节信息，所述全局滤波器和所述局部滤波器之间通过一个门控机制进行动态权重分配，以实现自适应的特征融合。
优选的，所述步骤4中，对所述HorNet网络模型进行训练的过程中，计算所述HorNet网络模型输出的分类标签结果和真实标签结果之间的交叉熵损失，根据损失进行反向传播，更新所述HorNet网络模型的参数；训练完成后，利用所述验证集对所述HorNet网络模型的准确性进行验证。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明首先基于Φ-OTDR分布式光纤传感系统采集获得多类扰动事件对应的原始数据（即一维时间序列信号），将预处理后的一维时间序列信号进行格拉姆角场转换得到二维图像，然后将二维图像送入HorNet网络模型中，对模型进行训练和验证，最后利用训练好的HorNet网络模型进行扰动识别。即本发明提出的是一种基于GAF与HorNet的分布式光纤传感扰动识别方法，采用GAF的编码方式将一维时间序列转换为二维图像，使用HorNet网络模型进行图像分类。本发明一方面考虑到分布式光纤传感系统采集到的数据特性，为了更好地提取振动波形的特征，本发明采用GAF的编码方式将一维时间序列信号转换为二维图像，通过GAF的编码方式有效地保留了原时间序列信号的完整性，不仅无需执行复杂的特征提取步骤，还能够在不丢失信息的同时减少计算量，提高识别效率，本发明另一方面考虑到编码后的图像特性，由于GAF图像是由多个线条组成的，图像内容密集复杂，一般的CNN网络模型对于这种图像形式识别能力有限，因此本发明选用HorNet网络模型进行图像分类，该模型采用动态卷积，对于图像的建模能力较强，适用于编码图像，能有效提取编码图像的特征，有利于实现高准确率的扰动事件识别。本发明将一维数据转为二维图像，将二维图像编码方式应用于分布式光纤传感信号中，基于二维图像进行分类特征的研究，此编码方式也有利于HorNet网络模型的训练，有利于更好地发挥HorNet网络模型在图像分类任务中的优越性能，有利于实现高准确率的扰动事件识别。基于上述设计，本发明能够提高分布式光纤传感扰动识别的准确率，并能够减少计算量，提高识别效率。
附图说明
图1为本发明实施例提供的一种分布式光纤传感扰动识别方法的流程图；
图2为本发明搭建的Φ-OTDR分布式光纤传感系统的原理图；
图3为本发明采集获得的多类扰动事件对应的原始数据；其中，图3中的（a）为采集的原始噪声，图3中的（b）为采集的石头划对应的原始数据，图3中的（c）为采集的纵向拉拽对应的原始数据，图3中的（d）为采集的石头敲击对应的原始数据，图3中的（e）为采集的树枝划对应的原始数据，图3中的（f）为采集的攀爬对应的原始数据；
图4为本发明对原始数据进行预处理和GAF转换的效果图；其中，图4中的（a）为原始数据，图4中的（b）为对原始数据进行小波去噪、标准化处理，图4中的（c）为进行滑动窗口划分，图4中的（d-1）为采用格拉姆角差场的图像编码方式进行GAF转换得到的二维图像，图4中的（d-2）为采用格拉姆角和场的图像编码方式进行GAF转换得到的二维图像；
图5为本发明中HorNet网络模型的基本模块结构图；
图6为本发明中HorNet网络模型的结构图；
图7为HorNet网络模型中门控卷积gnConv的结构图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本实施例提供一种分布式光纤传感扰动识别方法，参见图1，包括以下步骤：
步骤1、基于Φ-OTDR分布式光纤传感系统采集获得多类扰动事件对应的原始数据，所述原始数据为一维时间序列信号。
其中，参见图2，所述Φ-OTDR分布式光纤传感系统包括：超窄线宽激光器201、信号发生器202、声光调制器203、掺铒光纤放大器204、环形器205、传感光纤206、光电探测器207、数据采集卡208和信号处理模块209。
所述超窄线宽激光器201发出的连续光信号输入至所述声光调制器203，所述信号发生器202产生的脉冲信号输入至所述声光调制器203，所述声光调制器203将所述连续光信号调制成脉冲光信号；所述掺铒光纤放大器204对所述脉冲光信号进行放大，放大后的脉冲光信号经所述环形器205接入所述传感光纤206；从所述传感光纤206返回的背向瑞利散射光信号经所述环形器205后被所述光电探测器207接收，所述光电探测器207将接收到的光信号转换成电信号，并传输至所述数据采集卡208；所述数据采集卡208对所述电信号进行采样，并将得到的采样信号传输至所述信号处理模块209；所述信号处理模块209对所述采样信号进行识别和标记，得到多类扰动事件对应的原始数据。
具体的，所述Φ-OTDR分布式光纤传感系统的光源采用所述超窄线宽激光器201，所述超窄线宽激光器201为可调谐超窄线宽激光器，所述超窄线宽激光器的线宽范围为0.1kHz~0.2kHz（例如，取0.1kHz）。使用所述信号发生器202产生连续脉冲信号，利用所述声光调制器203将中心波长为1550nm的连续光调制成重复频率为1kHz~4kHz（例如，取4kHz）、脉冲持续时间为50ns~500ns（例如，取200ns）的脉冲序列。光脉冲由所述掺铒光纤放大器204放大，经过所述环形器205注入总长2km~30km（例如，取20km）的所述传感光纤206（例如，采用标准G652单模传感光纤），当所述传感光纤206沿线上有振动产生时，相应位置的光纤会发生变化导致该位置背向瑞利散射光的相位改变，经所述环形器205后被所述光电探测器207接收，经过滤波放大将光信号转化为电信号，输出信号由所述数据采集卡208以50MHz~400MHz（例如，取100MHz）的采样速率进行采样并传递到所述信号处理模块209进行识别及分析。
其中，采集多类扰动事件对应的原始数据的举例说明如下：分别开展原始噪声和五种扰动事件（石头敲击、石头划、树枝划、纵向拉拽和攀爬）的数据采集，参见图3，图3中的（a）为采集的原始噪声，图3中的（b）为采集的石头划对应的原始数据，图3中的（c）为采集的纵向拉拽对应的原始数据，图3中的（d）为采集的石头敲击对应的原始数据，图3中的（e）为采集的树枝划对应的原始数据，图3中的（f）为采集的攀爬对应的原始数据。即采集到6种不同类型的数据，每种类型数据量在160到300之间。将6类事件打上标签，分别编码为0、1、2、3、4、5、6，生成原始的一维数据集，采集到的原始数据为一维时间序列信号，长度在6400~92160（例如，取61440）。
步骤2、对所述原始数据进行预处理，得到预处理后的一维时间序列信号。
其中，所述预处理包括：小波去噪、标准化处理和滑动窗口划分；所述标准化处理包括对去噪后的信号进行剪裁，保留有效扰动区域；所述滑动窗口划分包括利用预设步长的滑动窗口对标准化处理后得到的若干样本点进行滑动划分，并在得到时间序列样本后进行归一化处理，将时间序列缩放至[-1,1]的范围内。即步骤2是对原始信号进行去噪和标准化处理，得到长度固定的振动波纹信号。
预处理的具体实现步骤如下：
（1）采用小波去噪的方法进行降噪处理。
小波去噪主要分为三个步骤：首先对信号进行小波分解，选择一个小波并确定一个小波分解的层次N，然后对信号进行N层小波分解计算；小波分解高频系数的阈值量化，对第1层到第N层的每一层高频系数（三个方向），选择一个阈值进行阈值量化处理；根据小波分解的第N层的低频系数和经过量化处理后的第1层到第N层的高频系数，进行信号的小波重构。本发明选择通用阈值‘sqtwolog’，根据第一层系数进行噪声层的估计来调整阈值，进行多层（小波去噪层数N的取值范围为1~100，例如，N=50）的小波去噪。
（2）将去噪后的信号进行标准化处理。
将不同类型的扰动信号进行剪裁，仅保留扰动发生的信号部分，通过观察每一类信号的数值特征，针对每一类信号，设定一个阈值M，当检测到a点信号数值大于M时，对（a，a+3000）的部分进行裁剪，即可保留所有的有效扰动信号。
（3）滑动窗口划分。
设置窗口大小为100~1000（例如，取300）的滑动窗口，设置步长为70~700（例如，取210），对样本点进行滑动划分，每个样本具有多个（例如，120个）独立样本点。对于每一个包含n=300的时间序列样本，进行归一化，将得到的时间序列缩放至[-1,1]范围内，计算方法如下：
其中，为时间序列样本中的第i个样本点归一化后对应的数值，/>为时间序列样本中的第i个样本点对应的数值，/>为时间序列样本，/>为时间序列样本中若干样本点对应的最大值，/>为时间序列样本中若干样本点对应的最小值。
步骤3、对所述预处理后的一维时间序列信号进行格拉姆角场转换，得到二维图像；将所述二维图像按照扰动事件的种类进行整理得到数据总集，将所述数据总集划分为训练集和验证集。
其中，进行格拉姆角场转换时采用格拉姆角差场的图像编码方式，或者，进行格拉姆角场转换时采用格拉姆角和场的图像编码方式。
具体的，参见图4，图4为本发明对原始数据进行预处理和GAF转换的效果图，其中，图4中的（a）为原始数据，图4中的（b）为对原始数据进行小波去噪、标准化处理，图4中的（c）为进行滑动窗口划分，图4中的（d-1）为采用格拉姆角差场的图像编码方式进行GAF转换得到的二维图像，图4中的（d-2）为采用格拉姆角和场的图像编码方式进行GAF转换得到的二维图像。
格拉姆角场（Gramian angular field，GAF）可在保留数据时间依赖性的前提下，将一维时间序列编码为唯一的二维图像。GAF图像编码方式包括格拉姆角和场（Gramianangular summation field，GASF）和格拉姆角差场（Gramian angular difference field，GADF）两种。样本转为极坐标形式，将数值看作夹角余弦值，时间戳看作半径。编码具体过程如下：
对于归一化后的一维数据，将其编码为角余弦，将其时间戳编码为半径ｒ，缩放后的时间序列/>（即归一化后的时间序列）即可表示为极坐标形式，极坐标可以保留绝对的时间关系，计算式（即极坐标形式数据的转换公式）为：
其中，是第i时刻在极坐标系的极角，t i是第i时刻对应的时间戳，/>是第i时刻在极坐标系的极半径，N是正则化极坐标系统跨度的常数因子（也表示时序数据中所包含的所有时间点的个数，即时间戳的总数），这种基于极坐标的表示方法是理解时间序列的一种新方法，可以有效保留时间相关性。
计算每个点之间的三角和或三角差，通过两种不同的方式来识别数据点在不同时间间隔内的时间相关性，两种计算方法如下：
其中，i、j分别为行、列索引，i、j∈N且1≤i≤n，1≤j≤n。
选用GASF和GADF两种编码方式对预处理后的数据分别编码，GADF编码方式计算的是角度差值，转为图像后色彩差异更大，图像特征更明显。因此本发明优选采用GADF的编码方式。
步骤4、构建HorNet网络模型，利用所述训练集对所述HorNet网络模型进行训练，利用所述验证集对所述HorNet网络模型进行验证，得到训练好的HorNet网络模型。
其中，构建的所述HorNet网络模型采用HorNet-Tiny结构，所述HorNet网络模型包括：输入层、特征提取层、全连接层和输出层；所述输入层用于将输入图像连接至所述特征提取层；所述特征提取层包括多个HorBlock模块，所述特征提取层用于得到融合了图像信息的特征向量；所述全连接层包括一个层归一化和一个上采样层，所述全连接层用于对图像进行升维，以进行下一次迭代，并用于将最终得到的空间交互结果映射到指定维度后传输至所述输出层；所述输出层包括Dropout层和分类器，所述分类器包括一个卷积层和一个上采样层，所述输出层用于输出分类标签结果。
所述HorBlock模块包括门控卷积gnConv，所述门控卷积gnConv由一个全局滤波器和一个局部滤波器构成；所述全局滤波器用于提取全局上下文信息，所述局部滤波器用于提取局部细节信息，所述全局滤波器和所述局部滤波器之间通过一个门控机制进行动态权重分配，以实现自适应的特征融合。
下面对步骤4做进一步的说明。
（1）搭建HorNet网络模型：采用HorNet-Tiny结构，主要包括输入层、特征提取层、全连接层、输出层。输入层的图像像素大小为32×32×3~1024×1024×3（例如，输入224×224×3的图像），HorNet网络模型总共有四个处理阶段（主要基于特征提取层和全连接层实现），每个处理阶段都会经过一个卷积层（Conv）和一个层归一化（Layer Norm），然后通过多个HorBlock模块，以所述特征提取层包括18个所述HorBlock模块为例，四个处理阶段中经过的所述HorBlock模块的数量分别为2、3、18和2个。所述特征提取层包括多个所述HorBlock模块，所述HorBlock模块包括门控卷积gnConv，即采用多个门控卷积gnConv可得到融合了图像和信号信息的特征向量。
本发明具体选择HorNet-Tiny结构，是因为将由二维图像构成的训练集和验证集输入至各相关模型，通过实验对比后发现HorNet-Tiny结构准确率最高。具体的，利用HorNet-Tiny结构得到的识别准确率为97.22%，最适应图像的大小，性能最优；而HorNet-Small和HorNet-base的准确率分别为95.14%和92.31%，准确率低于HorNet-Tiny结构。
（2）配置训练参数：批大小(batch size)设置为8~1024（例如，取64），训练50~300个（例如，取150）迭代次数(Epochs)。最高学习率设置为0.0001~0.01（例如，取0.001），选择Adam优化器和交叉熵损失函数，将训练样本特征送入构建的模型进行前向传播，得到预测样本标签（即所述HorNet网络模型输出分类标签结果）。采用交叉熵损失函数计算预测标签和真实标签的损失值。
（3）训练模型：采用PyTorch框架，进行训练过程，每个训练周期(epoch)包括以下步骤：
将训练集分成若干个批次(batch)，每个批次包含一定数量的图片和对应的标签。
对每个批次进行以下操作：将图片输入至所述HorNet网络模型，得到输出的分类标签结果；计算所述HorNet网络模型输出的分类标签结果和真实标签结果之间的交叉熵损失；根据损失进行反向传播，更新所述HorNet网络模型的参数；记录当前批次的损失和准确率；对所有批次完成后，计算当前周期的平均损失和准确率。
训练完成后，利用所述验证集对所述HorNet网络模型的准确性进行验证。
例如，可以将所有的二维图像数据集按照7:3的比例随机分为训练集和验证集，将训练集送入所述HorNet网络模型中进行训练，并利用验证集调整模型参数，记录实验结果。具体可利用训练得到的模型进行扰动信号识别，监测识别石头敲击、石头划、树枝划、纵向拉拽、攀爬五种扰动数据和原始噪声。
下面结合附图对所述HorNet网络模型做进一步的展开说明。
所述HorNet网络模型的基本模块结构图如图5所示，包括依次相连的HorBlock模块和前馈神经网络（FFN），所述HorBlock模块内设有递归相连的Layer Norn模块及门控卷积gnConv，FFN内设有递归相连的Layer Norn模块及MLP单元。
在此基础上，本发明构建的HorNet网络模型的结构图如图6所示，图像输入至输入层后，进入四个处理阶段，图6中的所述特征提取层包括18个所述HorBlock模块，四个处理阶段中经过的所述HorBlock模块的数量分别为2、3、18和2个，最后通过输出层输出分类标签结果。
所述HorNet网络模型中门控卷积gnConv的结构图如图7所示，由两个子模块组成：全局滤波器（global filter）和局部滤波器（local filter），图7中的C为通道数，C的取值可以为64、96、128或192，考虑到图像大小，本发明优选取C=64，首先通过全连接层将图像升维到128，然后进行深度可分离卷积，维度变为64、32和16，这样就实现了粗到精的特征提取，通过深度卷积层DWConv，只需要进行一次卷积，降低了计算量。全局滤波器负责提取全局上下文信息，局部滤波器负责提取局部细节信息。两个滤波器之间通过一个门控机制进行动态权重分配，从而实现自适应的特征融合。
所述门控卷积gnConv用于实现长距离建模和高阶空间交互，由标准卷积、线性投影和Element-wise的乘法构建，其中，高阶空间交互分为一阶空间交互和高阶空间交互。
一阶空间交互公式如下所示，设是门控卷积的输入特征，则输出可表示为：
其中，为门控卷积的输入特征，/>为一阶输入特征，H为特征高度，W为特征宽度，C表示特征通道数，/>是进行通道混合的线性投影操作后得到的线性投影函数，f是深度卷积层，/>和/>为相邻特征，/>为进行一次交互的特征，/>和/>为相邻的投影特征，/>表示向量元素依次相乘。
高阶空间交互与一阶空间交互原理相同，首先使用线性投影函数得到一组投影特征/>和/>：
其中，为投影特征，/>为高阶输入特征，为输入的全连接层，n为阶数，/>为第k次迭代的通道维数，/>为初始的通道维数，例如，本发明优选取C=64时，/>为64。
得到切分特征后，将其依次输入到门控卷积中进行递归运算：
其中，k=0，1，…，n-1，将输出缩放以稳定训练，/>是缩放系数，/>是一个深度卷积层，/>是维度映射函数，/>根据不同阶匹配维度数。在每次的交互中/>顺序加1，即为归门控卷积实现交互的方式，该方式中使用一个/>函数将/>的特征串联在一起进行深度卷积，简化了计算步骤。因此/>是运算过程中的维度映射函数：
最后，将递归输出输入到映射层，得到最终/>输出结果。
HorNet网络模型通过门控卷积和递归操作高效地实现任意阶数的信息交互，用门控卷积和递归设计执行高阶空间相互作用的递归门控卷积。gnConv模块不是简单地模仿自我注意方面的成功设计，并且具有自身的优点：基于卷积的实现避免了self-attention的二次复杂度，在执行空间交互过程中逐步增加通道宽度的设计也使其能够实现具有有限复杂性的高阶交互；将自注意中的二阶相互作用扩展到任意阶，进一步提高了建模能力，并且gnConv兼容各种内核大小和空间混合策略；gnConv充分继承了标准卷积的Translation-equivariant特性，为主要视觉任务引入了有益的归纳偏差，避免了局部注意带来的不对称。
步骤5、利用所述训练好的HorNet网络模型进行扰动识别。
例如，利用所述训练好的HorNet网络模型判定输入信号对应的扰动类型属于石头划、纵向拉拽、石头敲击、树枝划、攀爬中的哪一种行为或判定为原始噪声。
本发明采用的HorNet网络模型对图像的识别能力优越，网络对于图像的建模能力随着空间交互阶数的提高而增强。模型架构设计中引入的显式的高阶空间交互作用有利于提高视觉模型的建模能力，能有效识别出转换为二维数据的光纤传感事件，相对于常规的CNN架构准确率有明显提升。为了验证本发明的效果，将GAF转换结合各类网络模型的方案对应的识别准确率及误报率数据进行对比，具体参见表1。
表1 GAF转换结合各类网络模型的方案对应的识别准确率及误报率
通过表1可知，将GAF转换结合HorNet网络模型的方案（即本发明的方案）得到的识别准确率达到了97.22%，误报率低至8.10%，明显优于其他网络模型，相对于将GAF转换结合CNN、VGG16、ResNet34和ResNet101的准确率分别提高了16.75%、4.91%、6.99%、14.41%。
综上，本发明通过搭建Φ-OTDR分布式光纤传感系统，采集了原始噪声信号和多类扰动信号，基于格拉姆角场的原理将预处理后的一维时间序列信号转换成二维图像，不仅能够获得更深层次的特征，并且省去复杂的特征提取的步骤，有效保留原时间序列时间维度的信息，构建HorNet网络模型，并利用HorNet网络模型进行扰动识别，提高了识别准确率和识别效率，有利于实现对入侵行为的精准检测，适合投入实际应用中，在其他应用场景也具有很大的利用价值，对实际工程安全监测具有重要意义。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种分布式光纤传感扰动识别方法，其特征在于，包括以下步骤：
步骤1、基于Φ-OTDR分布式光纤传感系统采集获得多类扰动事件对应的原始数据，所述原始数据为一维时间序列信号；
所述Φ-OTDR分布式光纤传感系统包括：超窄线宽激光器、信号发生器、声光调制器、掺铒光纤放大器、环形器、传感光纤、光电探测器、数据采集卡和信号处理模块；所述超窄线宽激光器发出的连续光信号输入至所述声光调制器，所述信号发生器产生的脉冲信号输入至所述声光调制器，所述声光调制器将所述连续光信号调制成脉冲光信号；所述掺铒光纤放大器对所述脉冲光信号进行放大，放大后的脉冲光信号经所述环形器接入所述传感光纤；从所述传感光纤返回的背向瑞利散射光信号经所述环形器后被所述光电探测器接收，所述光电探测器将接收到的光信号转换成电信号，并传输至所述数据采集卡；所述数据采集卡对所述电信号进行采样，并将得到的采样信号传输至所述信号处理模块；所述信号处理模块对所述采样信号进行识别和标记，得到多类扰动事件对应的原始数据；
步骤2、对所述原始数据进行预处理，得到预处理后的一维时间序列信号；
步骤3、对所述预处理后的一维时间序列信号进行格拉姆角场转换，得到二维图像；将所述二维图像按照扰动事件的种类进行整理得到数据总集，将所述数据总集划分为训练集和验证集；
步骤4、构建HorNet网络模型，利用所述训练集对所述HorNet网络模型进行训练，利用所述验证集对所述HorNet网络模型进行验证，得到训练好的HorNet网络模型；
构建的所述HorNet网络模型采用HorNet-Tiny结构，所述HorNet网络模型包括：输入层、特征提取层、全连接层和输出层；所述输入层用于将输入图像连接至所述特征提取层；所述特征提取层包括多个HorBlock模块，所述特征提取层用于得到融合了图像信息的特征向量；所述全连接层包括一个归一化层和一个上采样层，所述全连接层用于对图像进行升维，以进行下一次迭代，并用于将最终得到的空间交互结果映射到指定维度后传输至所述输出层；所述输出层包括Dropout层和分类器，所述分类器包括一个卷积层和一个上采样层，所述输出层用于输出分类标签结果；
所述HorBlock模块包括门控卷积gnConv，所述门控卷积gnConv由一个全局滤波器和一个局部滤波器构成；所述全局滤波器用于提取全局上下文信息，所述局部滤波器用于提取局部细节信息，所述全局滤波器和所述局部滤波器之间通过一个门控机制进行动态权重分配，以实现自适应的特征融合；
步骤5、利用所述训练好的HorNet网络模型进行扰动识别。
2.根据权利要求1所述的分布式光纤传感扰动识别方法，其特征在于，所述超窄线宽激光器为可调谐超窄线宽激光器，所述超窄线宽激光器的线宽范围为0.1kHz~0.2kHz。
3.根据权利要求1所述的分布式光纤传感扰动识别方法，其特征在于，所述步骤2中，所述预处理包括：小波去噪、标准化处理和滑动窗口划分；所述标准化处理包括对去噪后的信号进行剪裁，保留有效扰动区域；所述滑动窗口划分包括利用预设步长的滑动窗口对标准化处理后得到的若干样本点进行滑动划分，并在得到时间序列样本后进行归一化处理，将时间序列缩放至[-1,1]的范围内。
4.根据权利要求1所述的分布式光纤传感扰动识别方法，其特征在于，所述步骤3中，进行格拉姆角场转换时采用格拉姆角差场的图像编码方式。
5.根据权利要求1所述的分布式光纤传感扰动识别方法，其特征在于，所述步骤3中，进行格拉姆角场转换时采用格拉姆角和场的图像编码方式。
6.根据权利要求1所述的分布式光纤传感扰动识别方法，其特征在于，所述特征提取层包括18个所述HorBlock模块；所述HorNet网络模型包括四个处理阶段，每个处理阶段均会经过一个卷积层、一个归一化层以及多个所述HorBlock模块，四个处理阶段中经过的所述HorBlock模块的数量分别为2、3、18和2个。
7.根据权利要求1所述的分布式光纤传感扰动识别方法，其特征在于，所述步骤4中，对所述HorNet网络模型进行训练的过程中，计算所述HorNet网络模型输出的分类标签结果和真实标签结果之间的交叉熵损失，根据损失进行反向传播，更新所述HorNet网络模型的参数；训练完成后，利用所述验证集对所述HorNet网络模型的准确性进行验证。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311122446.7A CN116863251B (zh) | 2023-09-01 | 2023-09-01 | 一种分布式光纤传感扰动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311122446.7A CN116863251B (zh) | 2023-09-01 | 2023-09-01 | 一种分布式光纤传感扰动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116863251A CN116863251A (zh) | 2023-10-10 |
| CN116863251B true CN116863251B (zh) | 2023-11-17 |
Family
ID=88232636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311122446.7A Active CN116863251B (zh) | 2023-09-01 | 2023-09-01 | 一种分布式光纤传感扰动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863251B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111982271A (zh) * | 2020-09-11 | 2020-11-24 | 电子科技大学中山学院 | 一种基于Wavenet的φ-OTDR模式识别系统及方法 |
| CN113049084A (zh) * | 2021-03-16 | 2021-06-29 | 电子科技大学 | 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法 |
| CN114139586A (zh) * | 2021-12-13 | 2022-03-04 | 浙江工业大学 | 基于多尺度分析二维特征提取的电能质量复合扰动识别方法 |
| CN114199362A (zh) * | 2021-12-17 | 2022-03-18 | 齐鲁工业大学 | 一种分布式光纤振动传感器模式识别的方法 |
| CN114692681A (zh) * | 2022-03-18 | 2022-07-01 | 电子科技大学 | 基于scnn的分布式光纤振动及声波传感信号识别方法 |
| CN114841202A (zh) * | 2022-04-24 | 2022-08-02 | 浙江浙能天然气运行有限公司 | 一种用于分布式光纤管道入侵检测的深度学习模式识别方法 |
| CN115496100A (zh) * | 2022-09-22 | 2022-12-20 | 南昌航空大学 | 一种基于GAF-ConvNeXt-TF的周界安防扰动识别算法 |
| CN115797772A (zh) * | 2022-12-07 | 2023-03-14 | 国网福建省电力有限公司经济技术研究院 | 一种架空输电线路覆冰厚度分类预警方法及系统 |
| CN115841079A (zh) * | 2022-12-16 | 2023-03-24 | 广东工业大学 | 基于HorNet的三维汽车压力预测方法及系统 |
| CN116385773A (zh) * | 2023-03-09 | 2023-07-04 | 西交利物浦大学 | 小目标的检测方法、存储介质及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107425906B (zh) * | 2017-07-25 | 2019-09-27 | 电子科技大学 | 面向地下管网安全监测的分布式光纤传感信号处理方法 |
| US10571509B2 (en) * | 2017-10-17 | 2020-02-25 | Facebook, Inc. | Systems and methods for distributed sensing of a powerline conductor |
| CN108932480B (zh) * | 2018-06-08 | 2022-03-15 | 电子科技大学 | 基于1d-cnn的分布式光纤传感信号特征学习与分类方法 |
| US20230152150A1 (en) * | 2021-11-17 | 2023-05-18 | Nec Laboratories America, Inc | Road surface conditions detection by distributed optic fiber system |
-
2023
- 2023-09-01 CN CN202311122446.7A patent/CN116863251B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111982271A (zh) * | 2020-09-11 | 2020-11-24 | 电子科技大学中山学院 | 一种基于Wavenet的φ-OTDR模式识别系统及方法 |
| CN113049084A (zh) * | 2021-03-16 | 2021-06-29 | 电子科技大学 | 一种基于注意力机制的Resnet的分布式光纤传感信号识别方法 |
| CN114139586A (zh) * | 2021-12-13 | 2022-03-04 | 浙江工业大学 | 基于多尺度分析二维特征提取的电能质量复合扰动识别方法 |
| CN114199362A (zh) * | 2021-12-17 | 2022-03-18 | 齐鲁工业大学 | 一种分布式光纤振动传感器模式识别的方法 |
| CN114692681A (zh) * | 2022-03-18 | 2022-07-01 | 电子科技大学 | 基于scnn的分布式光纤振动及声波传感信号识别方法 |
| CN114841202A (zh) * | 2022-04-24 | 2022-08-02 | 浙江浙能天然气运行有限公司 | 一种用于分布式光纤管道入侵检测的深度学习模式识别方法 |
| CN115496100A (zh) * | 2022-09-22 | 2022-12-20 | 南昌航空大学 | 一种基于GAF-ConvNeXt-TF的周界安防扰动识别算法 |
| CN115797772A (zh) * | 2022-12-07 | 2023-03-14 | 国网福建省电力有限公司经济技术研究院 | 一种架空输电线路覆冰厚度分类预警方法及系统 |
| CN115841079A (zh) * | 2022-12-16 | 2023-03-24 | 广东工业大学 | 基于HorNet的三维汽车压力预测方法及系统 |
| CN116385773A (zh) * | 2023-03-09 | 2023-07-04 | 西交利物浦大学 | 小目标的检测方法、存储介质及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| A piecewise SSB fast detection algorithm for φ-OTDR system disturbance signal;Chen Wang等;《SPIE》;第126023C-1至126023C-6页 * |
| 基于分布式和有限节点监测的光纤传感关键技术研究;王桂英;《中国优秀硕士学位论文全文数据库信息科技辑》(第8期);第I135-261页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116863251A (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111649817B (zh) | 一种分布式光纤振动传感器系统及其模式识别方法 | |
| CN103226028B (zh) | 一种相敏光时域反射仪扰动信号检测与识别方法 | |
| CN108599863B (zh) | 基于浅层cnn分类模型的架空输电线风舞监测预警系统及方法 | |
| CN114857504A (zh) | 基于分布式光纤传感器和深度学习的管道安全监测方法 | |
| CN104463808A (zh) | 基于空间相关性的高光谱数据降噪方法及系统 | |
| CN114510960A (zh) | 一种分布式光纤传感器系统模式识别的方法 | |
| CN115471216A (zh) | 智慧实验室管理平台的数据管理方法 | |
| CN116956222A (zh) | 一种基于自适应特征提取的多复杂度行为识别系统及方法 | |
| CN116402766A (zh) | 一种结合卷积神经网络和Transformer的遥感影像变化检测方法 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN116863251B (zh) | 一种分布式光纤传感扰动识别方法 | |
| CN117349784A (zh) | 遥感数据的处理方法、装置及设备 | |
| CN115859186A (zh) | 基于格拉米角场的分布式光纤传感事件识别方法及系统 | |
| CN116091897A (zh) | 一种基于轻量化的分布式光纤传感事件识别方法及系统 | |
| CN113191321B (zh) | 基于生成对抗网络的光纤分布式地震波信号降噪方法 | |
| CN115905945A (zh) | 行人动作识别方法、装置、设备及存储介质 | |
| CN113160823B (zh) | 基于脉冲神经网络的语音唤醒方法、装置及电子设备 | |
| CN113034543B (zh) | 一种基于局部注意力机制的3D-ReID多目标追踪方法 | |
| Rutigliano et al. | Event-Detection Deep Neural Network for OTDR Trace Analysis | |
| CN115529475A (zh) | 视频流量内容检测与风控的方法和系统 | |
| CN116504005B (zh) | 一种基于改进CDIL-Bi-LSTM的周界安防入侵信号识别方法 | |
| CN117708504A (zh) | 一种基于深度学习的光纤振动信号识别方法 | |
| CN117036982B (zh) | 海上养殖区的光学卫星图像处理方法和装置、设备和介质 | |
| CN117426774B (zh) | 一种基于智能手环的用户情绪评估方法及系统 | |
| CN117372789B (zh) | 图像分类方法及图像分类装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |