CN115761267B - 一种解决室外低频图像采集异常检测方法 - Google Patents
一种解决室外低频图像采集异常检测方法 Download PDFInfo
- Publication number
- CN115761267B CN115761267B CN202211689626.9A CN202211689626A CN115761267B CN 115761267 B CN115761267 B CN 115761267B CN 202211689626 A CN202211689626 A CN 202211689626A CN 115761267 B CN115761267 B CN 115761267B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- style
- style migration
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，提供了一种解决室外低频图像采集异常检测方法。目的在于解决在现有风格迁移技术都无法满足变电站基于底图对比异常检测算法对图像预处理要求的问题。主要方案包括步骡1、采集变电站室外监控的正常图像，将采集到的正常图像分为有阴影的图像以及对应的无阴影图像这两类别，得到两类图像。步骤2、将两类图像作为模型训练数据集，训练风格迁移模型使待检测图像风格向底图集中对应图像风格逼近，完成风格迁移模型训练。步骤3、利用训练好的风格迁移模型对变电站室外监控采集的原始数据进行风格迁移，将风格迁移后的图像进行异常检测。步骤4、输出最终检测结果。
Description
技术领域
本发明涉及图像处理技术领域，提供了一种解决室外低频图像采集异常检测方法。
背景技术
解决问题：
在变电站室外实际应用场景中，对户外设备进行异常检测，存在着如下3个不利因素：
1、由于设备处于开放环境，环境中的光照变化很丰富，并受周围环境的影响，会引发被检测设备留有强度不同、形状不同、面积不同、位置不同的阴影、强光区域。
2、异常的大小、形状、位置都是随机产生，无法提前进行预测。
3、监控设备一般采用球机进行多点位监控，每个点位被监控的时间不连续，存在时间跨度大，属于该点位的监控时间短等特性。
由于存在上述3个不利因素，在变电站基于底图对比异常检测算法中，常规的基于视频流的背景建模方法在异常检测中是完全不可行的，因为无法通过有限的底图数据集完全列举可能出现的阴影、强光区域分布情况，也没法通过预先指定异常出现的区域、大小、形状等为算法提供先验知识，避开光照、周围环境造成的阴影、强光区域对异常检测算法的影响，从而造成算法出现大量误检以及大量的漏检。在变电站实际运行过程中，由于变电站室外设备出现异常的概率极低，对异常样本像难以采集。由于缺少有异常的训练集，无法向风格迁移模型提供当存有异常时如何在保留异常的前提下消除阴影、强光区域的先验知识，导致风格迁移模型在有效消除光照、周围环境产生的阴影、强光区域的同时，对设备上出现的异常也会随着阴影的抹除而被抹除，造成异常的漏检。
发明内容
本发明的目的在于解决在现有风格迁移技术都无法满足变电站基于底图对比异常检测算法对图像预处理要求的问题。
为了实现上述目的本发明采用以下技术手段：
一种解决室外低频图像采集异常检测方法，包括以下步骤：
步骤1、采集变电站室外监控的正常图像，将采集到的正常图像分为有阴影的图像以及对应的无阴影图像这两类别，得到两类图像。
步骤2、将两类图像作为模型训练数据集，训练风格迁移模型使待检测图像风格向底图集中对应图像风格逼近，完成风格迁移模型训练。
步骤3、利用训练好的风格迁移模型对变电站室外监控采集的原始数据进行风格迁移，将风格迁移后的图像进行异常检测。
步骤4、输出最终检测结果。
上述技术方案中，步骤1具体包括如下步骤：采集变电站室外不同时间段的正常图像，以覆盖不同时间段出现的基本光照情况，得到采集图像，将采集图像分为两类，两类图像分别为有阴影的图像以及对应的无阴影图像。
上述技术方案中，步骤2具体包括了以下步骤：
步骤2.1、有阴影的作为待迁移图像，没阴影作为风格目标图像，通过异常随机生成的方式向待迁移图像和对应的风格目标图像中在相同位置加上相同异常信息；
步骤2.1.1、对每对待迁移图像和风格目标图像使用柏林噪音算法在两类图像上生成既包含随机性又有自然真实感的噪音权值图；
步骤2.1.2、新建纹理数据库，用于保存基本纹理图片，随机读取纹理数据库中的纹理图；
步骤2.1.3、根据每对待迁移图像以及风格目标图像实际大小情况以及被监控设备在图像中的实际位置，生成被监控设备在图像中的位置配置信息，根据生成的位置配置信息，随机选择异常出现在被监控设备上的坐标。
步骤2.1.4、将噪音权值图和步骤2.1.2获得的纹理图进行融合，将融合后得到的图像作为生成的异常，根据步骤2.1.3获得的坐标信息，在配匹的待迁移图像和风格目标图像中根据坐标信息在两张配匹的待迁移图像和风格目标图像相同位置加上相同的生成的异常。
步骤2.2、将生成的带有异常的待迁移图像和带有同样异常的风格目标图像作为训练数据集，训练风格迁移模型，得到可以保留异常的风格迁移模型。
上述技术方案中，步骤3具体包括了以下步骤：
步骤3.1、将待检测图像经过风格迁移模型处理，得到预处理图像，预处理图像与事先准备好的无阴影、无异常的相应底图一一对比，得到与预处理图像相似度最高的底图图像；
步骤3.2、使用SIFT算法对预处理图像、底图图像进行图像特征点搜索，得到预处理图像的特征点集以及底图图像的特征点集；
步骤3.3、使用KNN方法将预处理图像的特征点集以及底图图像的特征点集一一配对，计算预处理图像的特征点集映射到底图图像的特征点集的单应性矩阵H，将预处理图像和单应性矩阵H相乘，即可得到和底图图像对齐的矫正后的预处理图像；
步骤3.4、将对应底图对齐的预处理图像和对应底图图像求差值，得到图像A，生成与图像A宽高相同，通道数为1的图像B，对图像A获取每个像素坐标对应的三个颜色通道中像数值绝对值最大的像素值，将取得的最大像素值作为图像B对应坐标的像素值，对图像B进行全局自适应二值化处理，对二值化处理后的图像进行连通区域的轮廓面积、轮廓平均像素值、边缘清晰程度分析，保留满足阈值的连通区域，完成异常分析；
步骤3.5、将异常分析完的连通区域在对齐的风格迁移后的图像对应位置标出，显示出异常出现的位置，输出检测结果。
因为本发明采用上述技术方案，因此具备以下有益效果：
本发明一种改进的基于深度学习的风格迁移算法，在消除现有风格迁移算法对异常一起抹除的前提下，仍能很好进行图像风格迁移，并且不受设备监控时间长短、频率，以及周围环境的影响，使检测算法具有很好的精度和鲁棒性。
附图说明
图1为整体检测流程简图；
图2为风格迁移模型训练过程简图。
具体实施方式
以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明，但需要注意的是本发明并不仅仅只局限于这些实施方式。相反，对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解，没有这些具体细节，本发明同样可以实施。
本发明提供了一种解决室外低频图像采集异常检测方法，包括以下步骤：
步骤1、采集变电站室外监控的正常图像，将采集到的正常图像分为有阴影的图像以及对应的无阴影图像这两类别，得到两类图像。
具体为采集变电站室外不同时间段的正常图像，以覆盖不同时间段可能出现的基本光照情况，模拟监控摄像头以不连续、时间跨度大的方式监控设备。采集图像分为有阴影的图像以及对应的无阴影图像。将这两类图像作为算法输入的待迁移图像以及风格目标图像。
步骤2、将两类图像作为模型训练数据集，训练风格迁移模型使待检测图像风格向底图集中对应图像风格逼近，完成风格迁移模型训练。
步骤3、利用训练好的风格迁移模型对变电站室外监控采集的原始数据进行风格迁移，将风格迁移后的图像进行异常检测。
步骤4、输出最终检测结果。
上述技术方案中，步骤1具体包括如下步骤：采集变电站室外不同时间段的正常图像，以覆盖不同时间段出现的基本光照情况，得到采集图像，将采集图像分为两类，两类图像分别为有阴影的图像以及对应的无阴影图像。
为了解决异常的大小、形状、位置无法预测，以及在变电站室外难以采集到具有异常的图像作为风格迁移模型的训练数据集等问题，需要对采集到的无异常的待迁移图像和风格迁移目标图像进行预处理。预处理的方法是通过异常随机生成的方式向待迁移图像和对应的风格目标图像中在相同位置加上相同异常信息。异常随机生成器整体流程如下：
步骤2具体包括了以下步骤：
步骤2.1、有阴影的作为待迁移图像，没阴影作为风格目标图像，通过异常随机生成的方式向待迁移图像和对应的风格目标图像中在相同位置加上相同异常信息；
步骤2.1.1、对每对待迁移图像和风格目标图像使用柏林噪音算法在两类图像上生成既包含随机性又有自然真实感的噪音权值图；
步骤2.1.2、新建纹理数据库，用于保存基本纹理图片，随机读取纹理数据库中的纹理图；
具体的，纹理数据获取
纹理数据库：根据对设备异常情况的分析和总结，积累了大量基本纹理图片(6千张，47个类)，并建立纹理数据库。其中包括岩石纹理、水面纹理、金属纹理、纺织品纹理、裂纹纹理等等，通过这些图片能使生成的异常样本更接近真实世界并有大量的丰富性。
数据随机读取：为了保证生成异常的丰富度，使用随机读取的方式来选择使用哪一种哪一张纹理数据。
步骤2.1.3、根据每对待迁移图像以及风格目标图像实际大小情况以及被监控设备在图像中的实际位置，生成被监控设备在图像中的位置配置信息，根据生成的位置配置信息，随机选择异常出现在被监控设备上的坐标。
步骤2.1.4、将噪音权值图和步骤2.1.2获得的纹理图进行融合，将融合后得到的图像作为生成的异常，根据步骤2.1.3获得的坐标信息，在配匹的待迁移图像和风格目标图像中根据坐标信息在两张配匹的待迁移图像和风格目标图像相同位置加上相同的生成的异常。
具体的，异常样本图本质上就是由正常样本图和纹理图融合而成，但融合的方式与比例是由一开始生成的噪音权值图来决定。详细来说如如下公式：
Axy＝Nxy*Xxy+(1-Nxy)Txy
其中N是将噪音权值图归一化后的二维矩阵，Nxy，代表坐标(x,y)处的权重值；
Xxy代表正常样本图相应坐标的像素值；
Txy代表选出的纹理图相应坐标的像素值；
Axy代表计算出异常样本的相应坐标像素值。
步骤2.2、将生成的带有异常的待迁移图像和带有同样异常的风格目标图像作为训练数据集，训练风格迁移模型，得到可以保留异常的风格迁移模型。
在变电站监控设备实际应用场景中，阴影在设备上出现的强度不同、形状不同、面积不同、位置不同。在上述背景下，法通过背景建模的方式消除阴影对异常检测的干扰。为此，利用深度学习中的风格迁移技术，能很好的消除待检图像中的阴影、强光区域，并且训练数据集在经过异常随机生成的处理后，使得风格迁移模型能从训练数据集中学习到异常在模型中如何表现的深层次知识，使得风格迁移模型在消除阴影、强光区域的同时，能保留住待迁移图像中包含的异常信息，使得待检图像向着理想底图逼近，在排除阴影、强光的影响后，使得使用少量底图去列举现实可能情况变得可能。风格迁移模型由4个编码器、2个生成器、3个判别器组成。4个编码器用来学习两种输入图像的内容特征和风格特征，2个生成器分别用于生成对应风格的图片，3个判别器分别用来判别生成器生成图像是否足够真实。上述技术方案中，步骤3具体包括了以下步骤：
步骤3.1、将待检测图像(未经人为增加异常的图像)经过风格迁移模型处理，得到预处理图像，预处理图像与事先准备好的无阴影、无异常的相应底图一一对比，得到与预处理图像相似度最高的底图图像；
步骤3.2、使用SIFT算法对预处理图像、底图图像进行图像特征点搜索，得到预处理图像的特征点集以及底图图像的特征点集；
步骤3.3、使用KNN方法将预处理图像的特征点集以及底图图像的特征点集一一配对，计算预处理图像的特征点集映射到底图图像的特征点集的单应性矩阵H，将预处理图像和单应性矩阵H相乘，即可得到和底图图像对齐的矫正后的预处理图像；
步骤3.4、将对应底图对齐的预处理图像和对应底图图像求差值，得到图像A，生成与图像A宽高相同，通道数为1的图像B，对图像A获取每个像素坐标对应的三个颜色通道中像数值绝对值最大的像素值，将取得的最大像素值作为图像B对应坐标的像素值，对图像B进行全局自适应二值化处理，对二值化处理后的图像进行连通区域的轮廓面积、轮廓平均像素值、边缘清晰程度分析，保留满足阈值的连通区域，完成异常分析；
步骤3.5、将异常分析完的连通区域在对齐的风格迁移后的图像对应位置标出，显示出异常出现的位置，输出检测结果。
Claims (3)
1.一种解决室外低频图像采集异常检测方法，其特征在于，包括以下步骤：
步骤1、采集变电站室外监控的正常图像，将采集到的正常图像分为有阴影的图像以及对应的无阴影图像这两类别，得到两类图像；
步骤2、将两类图像作为模型训练数据集，训练风格迁移模型使待检测图像风格向底图集中对应图像风格逼近，完成风格迁移模型训练；
步骤3、利用训练好的风格迁移模型对变电站室外监控采集的原始数据进行风格迁移，将风格迁移后的图像进行异常检测；
步骤4、输出最终检测结果;
步骤2具体包括了以下步骤：
步骤2.1、有阴影的作为待迁移图像，没阴影作为风格目标图像，通过异常随机生成的方式向待迁移图像和对应的风格目标图像中在相同位置加上相同异常信息；
步骤2.1.1、对每对待迁移图像和风格目标图像使用柏林噪音算法在两类图像上生成既包含随机性又有自然真实感的噪音权值图；
步骤2.1.2、新建纹理数据库，用于保存基本纹理图片，随机读取纹理数据库中的纹理图；
步骤2.1.3、根据每对待迁移图像以及风格目标图像实际大小情况以及被监控设备在图像中的实际位置，生成被监控设备在图像中的位置配置信息,根据生成的位置配置信息，随机选择异常出现在被监控设备上的坐标；
步骤2.1.4、将噪音权值图和步骤2.1.2获得的纹理图进行融合，将融合后得到的图像作为生成的异常,根据步骤2.1.3获得的坐标信息，在配匹的待迁移图像和风格目标图像中根据坐标信息在配匹的待迁移图像和风格目标图像相同位置加上相同的生成的异常；
步骤2.2、将生成的带有异常的待迁移图像和带有同样异常的风格目标图像作为训练数据集，训练风格迁移模型，得到可以保留异常的风格迁移模型。
2.根据权利要求1所述的一种解决室外低频图像采集异常检测方法，其特征在于，步骤1具体包括如下步骤：采集变电站室外不同时间段的正常图像，以覆盖不同时间段出现的基本光照情况，得到采集图像，将采集图像分为两类，两类图像分别为有阴影的图像以及对应的无阴影图像。
3.根据权利要求1所述的一种解决室外低频图像采集异常检测方法，其特征在于，步骤3具体包括了以下步骤：
步骤3.1、将待检测图像经过风格迁移模型处理，得到预处理图像，预处理图像与事先准备好的无阴影、无异常的相应底图一一对比，得到与预处理图像相似度最高的底图图像；
步骤3.2、使用SIFT算法对预处理图像、底图图像进行图像特征点搜索，得到预处理图像的特征点集以及底图图像的特征点集；
步骤3.3、使用KNN方法将预处理图像的特征点集以及底图图像的特征点集一一配对，计算预处理图像的特征点集映射到底图图像的特征点集的单应性矩阵H，将预处理图像和单应性矩阵H相乘，即可得到和底图图像对齐的矫正后的预处理图像；
步骤3.4、将对应底图对齐的预处理图像和对应底图图像求差值,得到图像A，生成与图像A宽高相同，通道数为1的图像B，对图像A获取每个像素坐标对应的三个颜色通道中像素值绝对值最大的像素值，将取得的最大像素值作为图像B对应坐标的像素值，对图像B进行全局自适应二值化处理，对二值化处理后的图像进行连通区域的轮廓面积、轮廓平均像素值、边缘清晰程度分析，保留满足阈值的连通区域，完成异常分析；
步骤3.5、将异常分析完的连通区域在对齐的风格迁移后的图像对应位置标出，显示出异常出现的位置，输出检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211689626.9A CN115761267B (zh) | 2022-12-27 | 2022-12-27 | 一种解决室外低频图像采集异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211689626.9A CN115761267B (zh) | 2022-12-27 | 2022-12-27 | 一种解决室外低频图像采集异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115761267A CN115761267A (zh) | 2023-03-07 |
| CN115761267B true CN115761267B (zh) | 2023-06-16 |
Family
ID=85347811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211689626.9A Active CN115761267B (zh) | 2022-12-27 | 2022-12-27 | 一种解决室外低频图像采集异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761267B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110351536A (zh) * | 2019-08-20 | 2019-10-18 | 深圳江行联加智能科技有限公司 | 一种变电站环境异常检测系统、方法及装置 |
| CN111242144A (zh) * | 2020-04-26 | 2020-06-05 | 北京邮电大学 | 电网设备异常的检测方法和装置 |
| CN113222845A (zh) * | 2021-05-17 | 2021-08-06 | 东南大学 | 基于卷积神经网络的肖像外部阴影去除方法 |
| CN114066718A (zh) * | 2021-10-14 | 2022-02-18 | 特斯联科技集团有限公司 | 一种图像风格迁移方法、装置、存储介质及终端 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800697B (zh) * | 2019-01-09 | 2022-10-25 | 国网浙江省电力有限公司舟山供电公司 | 基于VGG-net风格迁移的变压器目标检测与外观缺陷识别方法 |
| CN111967393B (zh) * | 2020-08-18 | 2024-02-13 | 杭州师范大学 | 一种基于改进YOLOv4的安全帽佩戴检测方法 |
| CN113450307B (zh) * | 2021-05-12 | 2023-07-25 | 西安电子科技大学 | 一种产品边缘缺陷检测方法 |
| CN114298948B (zh) * | 2021-12-08 | 2024-08-27 | 南京理工大学 | 基于PSPNet-RCNN的球机监控异常检测方法 |
| CN114283082A (zh) * | 2021-12-17 | 2022-04-05 | 重庆邮电大学 | 一种基于注意力机制的红外小目标检测方法 |
| CN115100119B (zh) * | 2022-06-02 | 2024-09-10 | 华中科技大学 | 一种基于异常特征分解与纹理背景转换的缺陷检测方法 |
-
2022
- 2022-12-27 CN CN202211689626.9A patent/CN115761267B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110351536A (zh) * | 2019-08-20 | 2019-10-18 | 深圳江行联加智能科技有限公司 | 一种变电站环境异常检测系统、方法及装置 |
| CN111242144A (zh) * | 2020-04-26 | 2020-06-05 | 北京邮电大学 | 电网设备异常的检测方法和装置 |
| CN113222845A (zh) * | 2021-05-17 | 2021-08-06 | 东南大学 | 基于卷积神经网络的肖像外部阴影去除方法 |
| CN114066718A (zh) * | 2021-10-14 | 2022-02-18 | 特斯联科技集团有限公司 | 一种图像风格迁移方法、装置、存储介质及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115761267A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977790A (zh) | 一种基于迁移学习的视频烟雾检测与识别方法 | |
| CN107230203A (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| CN105068918B (zh) | 一种页面测试方法及装置 | |
| CN110490892A (zh) | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 | |
| Xie et al. | Classification of urban building type from high spatial resolution remote sensing imagery using extended MRS and soft BP network | |
| CN112837290A (zh) | 一种基于种子填充算法的裂缝图像自动识别方法 | |
| CN110133443B (zh) | 基于平行视觉的输电线路部件检测方法、系统、装置 | |
| CN110210428A (zh) | 一种基于mser的远距离复杂环境下的烟雾根节点检测方法 | |
| CN114120094A (zh) | 一种基于人工智能的水污染识别方法及系统 | |
| Lam | Methodologies for mapping land cover/land use and its change | |
| CN113066064A (zh) | 基于人工智能的锥束ct图像生物结构识别及三维重建系统 | |
| CN110503078A (zh) | 一种基于深度学习的远距离人脸识别方法和系统 | |
| CN110807754B (zh) | 基于深度语义分割的真菌显微图像分割检测方法及系统 | |
| CN107992856A (zh) | 城市场景下的高分遥感建筑物阴影检测方法 | |
| CN114120141A (zh) | 一种可全天候遥感监测自动分析方法及其系统 | |
| CN113657339A (zh) | 一种基于机器视觉的仪表指针计数读取方法及介质 | |
| CN116433840A (zh) | 无砟轨道板扣件的特异性伤损图像合成方法及检测方法 | |
| CN116152494A (zh) | 基于两阶段3d点云语义分割的建筑物脚点识别分割方法 | |
| Zhao et al. | Detecting insulators in the image of overhead transmission lines | |
| CN113033386B (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| CN114612787A (zh) | 一种尺度变化策略支持的城市绿地深度学习提取方法 | |
| CN115761267B (zh) | 一种解决室外低频图像采集异常检测方法 | |
| CN113822900B (zh) | 基于矢量约束面向对象的新影像样本自动选择方法及系统 | |
| CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
| CN114998704A (zh) | 一种基于yolov5的瑕疵目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |