CN108960135B - 基于高分辨遥感图像的密集舰船目标精确检测方法 - Google Patents
基于高分辨遥感图像的密集舰船目标精确检测方法 Download PDFInfo
- Publication number
- CN108960135B CN108960135B CN201810712190.8A CN201810712190A CN108960135B CN 108960135 B CN108960135 B CN 108960135B CN 201810712190 A CN201810712190 A CN 201810712190A CN 108960135 B CN108960135 B CN 108960135B
- Authority
- CN
- China
- Prior art keywords
- point
- target
- map
- target frame
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Abstract
本发明涉及一种基于高分辨遥感图像的密集舰船目标精确检测方法,首先通过卷积神经网络对遥感图像进行特征提取,然后通过上采样,和卷积神经网络提取的卷积特征进行特征融合。在特征融合得到的特征图上的每一个点上独立的进行目标预测,具体做法是在得到的特征图上的每个点同时预测属于目标的得分,以及该点到所在目标框四条边的距离和该点所在目标框的角度。当特征图上的某点属于目标的得分大于设定的阈值时,可以通过特征图上点到所在目标框四条边的距离和点所在目标框的角度来计算检测出的目标框。由于是在特征图上的每一个点独立且密集的进行目标预测,因此最后将预测的目标框通过非极大值抑制来得到最终的目标检测结果。
Description
技术领域
本发明属于计算机视觉技术领域,涉及一种对高分辨遥感图像舰船目标精确检测的方法,具体来说是一种基于全卷积神经网络(FCN)框架的高分辨遥感图像舰船目标精确检测方法。
背景技术
目标检测是计算机视觉中重要且富有挑战性的任务,近几年来,基于常规自然图像的目标检测取得了重大的进展,前沿的目标检测算法(如Faster R-CNN,Yolo,SSD,MaskR-CNN等)都是在常规自然图像数据集上实验的。
和常规自然图像不同,遥感图像中的舰船目标有其特殊性,例如尺度多样性,视角多样性,小目标密集问题,多方向问题,背景复杂度高等诸多特点,如果同常规数据集一样,以水平框标注的方式对遥感图像中的舰船目标进行检测,在舰船目标比较密集的情况下,相邻舰船目标的真值框的IOU(Intersection of Union)会比较大,导致基于常规自然图像的目标检测框架在高分辨遥感图像上的检测效果并不理想。因此采用旋转的矩形框来标注舰船目标,即以矩形框中心点的坐标,矩形框的长度和宽度以及角度共五个参数来表示旋转的矩形框,这样可以精确的表示舰船目标而且减小相邻舰船目标的真值框的IOU,因此需要合理的检测模型来对高分辨遥感图像的密集舰船目标进行检测。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于高分辨遥感图像的密集舰船目标精确检测方法。
技术方案
一种基于高分辨遥感图像的密集舰船目标精确检测方法,其特征在于步骤如下:
步骤1:对高分辨遥感图像进行归一化操作,使得高分辨遥感数据集分布符合标准正态分布,即使得高分辨遥感数据集服从于均值为0,标准差为1的分布,然后将图像放缩到固定的大小,然后按照图片的放缩比例对标注的舰船目标坐标的位置进行修改;
步骤2:构建网络模型,网络模型分为特征提取模块、特征融合模块和输出模块,其中特征提取模块采用的网络结构是在经典的残差网络结构的基础上再加入一个残差块,特征融合模块是将得到的卷积特征上采样,并和得到的卷积特征进行特征融合,将特征融合模块得到的特征图通过1×1的卷积核同时得到三种特征图,分别为得分图、位置图以及角度图,其中得分图负责预测特征图上每个点属于舰船目标的概率,位置图负责预测特征图的每个点到其所在目标框四条边的距离,角度图负责预测特征图的每个点所在目标框的角度;
步骤3:根据标注的高分辨遥感图像舰船目标框,计算得分图、位置图和角度图的真值:根据人工标注的舰船目标框,将目标框的四个点等比例向内缩小生成旋转的矩形框作为需要回归的目标框,需要回归的目标框每条边的长度为原始目标框的0.5-0.7倍,将需要回归的目标框对应到特征融合模块得到的特征图上,框内点的计算得分图设置为1,其余点为0;位置图具有四个通道,分别表示目标框内点到框四条边的距离,然后将计算得到的距离以图像的大小进行归一化;角度图为点所在目标框的角度,取值为-45度到45度之间,然后进行归一化,使得角度取值在0-1之间;
步骤4:每次在高分辨遥感图像训练集中随机选取图片作为网络输入,将网络得到的输出结果以及通过人工标注的目标框计算得到的真值计算目标函数,通过梯度下降算法来对整个网络的参数进行更新;其中目标函数由三部分组成,分别是得分图的损失、位置图的损失和角度图的损失;
因此在特征图上某点的总目标函数为L=αLs+p*(βLg+ωLθ),其中α、β、ω分别得分图,位置图和角度图的权重;
步骤5:重复步骤4对整个网络进行训练,直到训练次数达到预先设定的值;
步骤6:把测试集的图片作为网络的输入,利用网络得到的得分图、位置图和角度图对目标框进行预测:若得分图上的某点得分大于设定的阈值,则根据该点的位置图和角度图得到舰船的目标框;按此操作完成所有点的预测后,通过非极大值抑制得到最终的检测结果。
步骤1中图像的固定的大小的宽和高均取512。
步骤4中的γ的取值为2或3。
步骤5中的设定的值为50000-70000次。
步骤6中的设定的阈值取0.7。
有益效果
本发明提出的一种基于高分辨遥感图像的密集舰船目标精确检测方法,克服了传统的目标检测框架无法有效地对高分辨遥感数据集中有倾斜且密集的舰船目标进行检测,通过端到端的检测实现了对高分辨遥感图像舰船目标的快速检测,即使在舰船目标特别密集的情况下,也能够非常有效的对舰船进行精确检测。
附图说明
图1基于高分辨遥感图像的密集舰船目标精确检测框架图
具体实施方式
现结合实施例、附图对本发明作进一步描述:
本发明是在标注形式为旋转矩形框的高分辨遥感数据上训练模型,然后通过训练好的模型对密集舰船目标进行检测。本发明基于FCN的架构对高分辨遥感图像中的舰船进行检测。首先通过卷积神经网络对遥感图像进行特征提取,然后通过上采样,和卷积神经网络提取的卷积特征进行特征融合。在特征融合得到的特征图上的每一个点上独立的进行目标预测,具体做法是在得到的特征图上的每个点同时预测属于目标的得分,以及该点到所在目标框四条边的距离和该点所在目标框的角度。当特征图上的某点属于目标的得分大于设定的阈值时,可以通过特征图上点到所在目标框四条边的距离和点所在目标框的角度来计算检测出的目标框。由于是在特征图上的每一个点独立且密集的进行目标预测,因此最后将预测的目标框通过非极大值抑制来得到最终的目标检测结果。
一种基于高分辨遥感图像的密集舰船目标精确检测方法,步骤如下:
步骤1:对高分辨遥感图像进行归一化操作,使得数据分布符合标准正态分布;
步骤2:构建网络模型,特征提取层在经典的残差网络结构的基础上再加入一个残差块,然后将得到的卷积特征上采样,并和得到的卷积特征进行特征融合,最后通过1×1的卷积核同时得到不同作用的特征图,分别为得分图,位置图以及角度图,其中得分图负责预测特征图上每个点属于舰船目标的概率,位置图负责预测特征图的每个点到其所在目标框四条边的距离,角度图负责预测特征图的每个点所在目标框的角度;
步骤3:根据标注的高分辨遥感图像舰船目标框,计算得分图,位置图和角度图的真值;
步骤4:每次在高分辨遥感图像训练集中随机选取一批图片作为网络输入,将网络得到的输出结果以及通过人工标注的目标框计算得到的真值计算目标函数,通过小批量梯度下降算法来对整个网络的参数进行更新;
步骤5:重复步骤4对整个网络进行训练,直到训练次数达到预先设定的值;
步骤6:把测试集的图片作为网络的输入,利用网络得到的得分图,位置图和角度图得到预测的舰船目标框,然后将得到的舰船目标框通过非极大值抑制得到最终的检测结果。
具体实施例:
步骤1:对高分辨遥感图像进行归一化操作,使得高分辨遥感数据集分布符合标准正态分布,即使得高分辨遥感数据集服从于均值为0,标准差为1的分布,然后将图像放缩到固定的大小,图像的宽和高放缩到512,然后按照图片的放缩比例对标注文件中的舰船目标坐标值进行修改;
步骤2:构建网络模型,如附图1所示,网络模型分为特征提取模块,特征融合模块和输出模块,其中特征提取模块采用的网络结构是在经典的残差网络结构的基础上再加入一个残差块,特征融合模块是将得到的卷积特征上采样,并和得到的卷积特征进行特征融合,将特征融合模块得到的特征图通过1×1的卷积核同时得到三种特征图,分别为得分图,位置图以及角度图,其中得分图负责预测特征图上每个点属于舰船目标的概率,位置图负责预测特征图的每个点到其所在目标框四条边的距离,角度图负责预测特征图的每个点所在目标框的角度;
步骤3:根据标注的高分辨遥感图像舰船目标框,计算得分图,位置图和角度图的真值,具体做法是根据人工标注的舰船目标框,将目标框的四个点等比例向内缩小生成旋转的矩形框作为需要回归的目标框,需要回归的目标框每条边的长度为原始目标框的0.5到0.7倍,将需要回归的目标框对应到特征融合模块得到的特征图上,框内点的计算得分图设置为1,其余点为0。位置图具有四个通道,分别表示目标框内点到框四条边的距离,然后将计算得到的距离以图像的大小进行归一化。角度图为点所在目标框的角度,取值为-45度到45度之间,然后进行归一化,使得角度取值在0-1之间;
步骤4:每次在高分辨遥感图像训练集中随机选取一批图片作为网络输入,通常每次选取的图片个数为8-16,将网络得到的输出结果以及通过人工标注的目标框计算得到的真值计算目标函数,通过小批量梯度下降算法来对整个网络的参数进行更新。其中目标函数由三部分组成,分别是得分图的损失,位置图的损失和角度图的损失。
因此在特征图上某点的总目标函数为L=αLs+p*(βLg+ωLθ),其中α,β,ω分别得分图,位置图和角度图的权重。
步骤5:重复步骤4对整个网络进行训练,直到训练次数达到预先设定的值,设置为50000-70000次;
步骤6:把测试集的图片作为网络的输入,利用网络得到的得分图,位置图和角度图对目标框进行预测,具体而言,若得分图上的某点得分大于设定的阈值(这里取0.7),则根据该点的位置图和角度图得到舰船的目标框;按此操作完成所有点的预测后,通过非极大值抑制得到最终的检测结果。
Claims (5)
1.一种基于高分辨遥感图像的密集舰船目标精确检测方法,其特征在于步骤如下:
步骤1:对高分辨遥感图像进行归一化操作,使得高分辨遥感数据集分布符合标准正态分布,即使得高分辨遥感数据集服从于均值为0,标准差为1的分布,然后将图像放缩到固定的大小,然后按照图片的放缩比例对标注的舰船目标坐标的位置进行修改;
步骤2:构建网络模型,网络模型分为特征提取模块、特征融合模块和输出模块,其中特征提取模块采用的网络结构是在残差网络结构的基础上再加入一个残差块,特征融合模块是将得到的卷积特征上采样,并和得到的卷积特征进行特征融合,将特征融合模块得到的特征图通过1×1的卷积核同时得到三种特征图,分别为得分图、位置图以及角度图,其中得分图负责预测特征图上每个点属于舰船目标的概率,位置图负责预测特征图的每个点到其所在目标框四条边的距离,角度图负责预测特征图的每个点所在目标框的角度;
步骤3:根据标注的高分辨遥感图像舰船目标框,计算得分图、位置图和角度图的真值:根据人工标注的舰船目标框,将目标框的四个点等比例向内缩小生成旋转的矩形框作为需要回归的目标框,需要回归的目标框每条边的长度为原始目标框的0.5-0.7倍,将需要回归的目标框对应到特征融合模块得到的特征图上,框内点的计算得分图设置为1,其余点为0;位置图具有四个通道,分别表示目标框内点到框四条边的距离,然后将计算得到的距离以图像的大小进行归一化;角度图为点所在目标框的角度,取值为-45度到45度之间,然后进行归一化,使得角度取值在0-1之间;
步骤4:每次在高分辨遥感图像训练集中随机选取图片作为网络输入,将网络得到的输出结果以及通过人工标注的目标框计算得到的真值计算目标函数,通过梯度下降算法来对整个网络的参数进行更新;其中目标函数由三部分组成,分别是得分图的损失、位置图的损失和角度图的损失;
因此在特征图上某点的总目标函数为L=αLs+p*(βLg+ωLθ),其中α、β、ω分别得分图,位置图和角度图的权重;
步骤5:重复步骤4对整个网络进行训练,直到训练次数达到预先设定的值;
步骤6:把测试集的图片作为网络的输入,利用网络得到的得分图、位置图和角度图对目标框进行预测:若得分图上的某点得分大于设定的阈值,则根据该点的位置图和角度图得到舰船的目标框;按此操作完成所有点的预测后,通过非极大值抑制得到最终的检测结果。
2.根据权利要求1所述的一种基于高分辨遥感图像的密集舰船目标精确检测方法,其特征在于步骤1中图像的固定的大小的宽和高均取512。
3.根据权利要求1所述的一种基于高分辨遥感图像的密集舰船目标精确检测方法,其特征在于步骤4中的γ的取值为2或3。
4.根据权利要求1所述的一种基于高分辨遥感图像的密集舰船目标精确检测方法,其特征在于步骤5中的设定的值为50000-70000次。
5.根据权利要求1所述的一种基于高分辨遥感图像的密集舰船目标精确检测方法,其特征在于步骤6中的设定的阈值取0.7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810712190.8A CN108960135B (zh) | 2018-07-03 | 2018-07-03 | 基于高分辨遥感图像的密集舰船目标精确检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810712190.8A CN108960135B (zh) | 2018-07-03 | 2018-07-03 | 基于高分辨遥感图像的密集舰船目标精确检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108960135A CN108960135A (zh) | 2018-12-07 |
CN108960135B true CN108960135B (zh) | 2021-10-12 |
Family
ID=64484975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810712190.8A Active CN108960135B (zh) | 2018-07-03 | 2018-07-03 | 基于高分辨遥感图像的密集舰船目标精确检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108960135B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711295B (zh) * | 2018-12-14 | 2020-09-15 | 北京航空航天大学 | 一种光学遥感图像近岸舰船检测方法 |
CN109785298B (zh) * | 2018-12-25 | 2021-03-05 | 中国科学院计算技术研究所 | 一种多角度物体检测方法和系统 |
CN110060508B (zh) * | 2019-04-08 | 2020-11-20 | 武汉理工大学 | 一种用于内河桥区的船舶自动检测方法 |
CN110223343B (zh) * | 2019-05-07 | 2021-06-04 | 熵智科技(深圳)有限公司 | 一种方向包围盒交叉面积确定方法 |
CN110223302B (zh) * | 2019-05-08 | 2021-11-19 | 华中科技大学 | 一种基于旋转区域提取的舰船多目标检测方法 |
CN112307853A (zh) * | 2019-08-02 | 2021-02-02 | 成都天府新区光启未来技术研究院 | 航拍图像的检测方法、存储介质和电子装置 |
CN111160131A (zh) * | 2019-12-12 | 2020-05-15 | 哈尔滨工业大学 | 基于计算机视觉的施工车辆精准智能辨识方法 |
CN111191566B (zh) * | 2019-12-26 | 2022-05-17 | 西北工业大学 | 基于像素分类的光学遥感图像多目标检测方法 |
CN111222574B (zh) * | 2020-01-07 | 2022-04-05 | 西北工业大学 | 基于多模型决策级融合的舰船与民船目标检测与分类方法 |
CN111860336B (zh) * | 2020-07-21 | 2022-02-11 | 西北工业大学 | 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法 |
CN112418106B (zh) * | 2020-11-25 | 2022-08-30 | 北京航空航天大学 | 一种基于密集关键点引导的舰船检测方法 |
CN113033672B (zh) * | 2021-03-29 | 2023-07-28 | 西安电子科技大学 | 基于特征增强的多类别光学图像旋转目标自适应检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400156A (zh) * | 2013-07-04 | 2013-11-20 | 西安电子科技大学 | 基于cfar和稀疏表示的高分辨sar图像舰船检测方法 |
CN107527029A (zh) * | 2017-08-18 | 2017-12-29 | 卫晨 | 一种改进的Faster R‑CNN人脸检测方法 |
CN107527352A (zh) * | 2017-08-09 | 2017-12-29 | 中国电子科技集团公司第五十四研究所 | 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法 |
CN107609601A (zh) * | 2017-09-28 | 2018-01-19 | 北京计算机技术及应用研究所 | 一种基于多层卷积神经网络的舰船目标识别方法 |
CN108121991A (zh) * | 2018-01-06 | 2018-06-05 | 北京航空航天大学 | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10354362B2 (en) * | 2016-09-08 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network |
-
2018
- 2018-07-03 CN CN201810712190.8A patent/CN108960135B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400156A (zh) * | 2013-07-04 | 2013-11-20 | 西安电子科技大学 | 基于cfar和稀疏表示的高分辨sar图像舰船检测方法 |
CN107527352A (zh) * | 2017-08-09 | 2017-12-29 | 中国电子科技集团公司第五十四研究所 | 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法 |
CN107527029A (zh) * | 2017-08-18 | 2017-12-29 | 卫晨 | 一种改进的Faster R‑CNN人脸检测方法 |
CN107609601A (zh) * | 2017-09-28 | 2018-01-19 | 北京计算机技术及应用研究所 | 一种基于多层卷积神经网络的舰船目标识别方法 |
CN108121991A (zh) * | 2018-01-06 | 2018-06-05 | 北京航空航天大学 | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 |
Non-Patent Citations (5)
Title |
---|
Chimney and condensing tower detection based on faster R-CNN in high resolution remote sensing images;Yuan Yao et al.;《 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS)》;20171204;第3329-3332页 * |
Fully Convolutional Network With Task Partitioning for Inshore Ship Detection in Optical Remote Sensing Images;Haoning Lin et al.;《 IEEE Geoscience and Remote Sensing Letters 》;20171031;第14卷(第10期);第1665-1669页 * |
Rotated region based CNN for ship detection;Liu Z K er al.;《Proceedings of the IEEE International Conference on Image Processing. Los Alamitos: IEEE Computer Society Press》;20171231;第900-904页 * |
SAR图像舰船检测与分类方法研究;蒋明哲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315;I136-2057 * |
深度学习在高光谱图像分类领域的研究现状与展望;张号逵 等;《自动化学报》;20180630;第44卷(第6期);第961-977页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108960135A (zh) | 2018-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960135B (zh) | 基于高分辨遥感图像的密集舰船目标精确检测方法 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
CN107871119B (zh) | 一种基于目标空间知识和两阶段预测学习的目标检测方法 | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
CN110837870B (zh) | 基于主动学习的声呐图像目标识别方法 | |
CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
WO2020119103A1 (zh) | 基于深度学习的航空发动机孔探图像损伤智能识别方法 | |
CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
CN113409314A (zh) | 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 | |
CN113435282B (zh) | 基于深度学习的无人机影像麦穗识别方法 | |
CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
CN116863274A (zh) | 一种基于半监督学习的钢板表面缺陷检测方法及系统 | |
CN108694716B (zh) | 一种工件检测方法、模型训练方法及设备 | |
CN115272826A (zh) | 一种基于卷积神经网络的图像识别方法、装置及系统 | |
CN113592839B (zh) | 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统 | |
CN109615610B (zh) | 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法 | |
CN114663382A (zh) | 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法 | |
CN112884795A (zh) | 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法 | |
CN111179278B (zh) | 一种图像检测的方法、装置、设备和存储介质 | |
CN115330705A (zh) | 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |