CN111311498B - 图像鬼影剔除方法及装置、存储介质、终端 - Google Patents
图像鬼影剔除方法及装置、存储介质、终端 Download PDFInfo
- Publication number
- CN111311498B CN111311498B CN201811510899.6A CN201811510899A CN111311498B CN 111311498 B CN111311498 B CN 111311498B CN 201811510899 A CN201811510899 A CN 201811510899A CN 111311498 B CN111311498 B CN 111311498B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- mapping matrix
- ghost
- matrix corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 175
- 238000013507 mapping Methods 0.000 claims abstract description 149
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 52
- 230000008030 elimination Effects 0.000 claims abstract description 8
- 238000003379 elimination reaction Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 239000010410 layer Substances 0.000 description 239
- 230000008569 process Effects 0.000 description 5
- HXGZBJUOISOSHJ-BFHYXJOUSA-N (4-aminophenyl) [(2r,3s,5r)-2-(hydroxymethyl)-5-(5-methyl-2,4-dioxopyrimidin-1-yl)oxolan-3-yl] hydrogen phosphate Chemical compound O=C1NC(=O)C(C)=CN1[C@@H]1O[C@H](CO)[C@@H](OP(O)(=O)OC=2C=CC(N)=CC=2)C1 HXGZBJUOISOSHJ-BFHYXJOUSA-N 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种图像鬼影剔除方法及装置、存储介质、终端，图像鬼影剔除方法包括：在针对同一目标物体拍摄的多张图像中确定参考图像；对所述参考图像以及待处理图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像，以及所述待处理图像在多个分辨率上的多层第二分解图像；至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；根据各层对应的鬼影映射矩阵、各个第一分解图像以及各个第二分解图像对每个待处理图像中的鬼影进行剔除。本发明技术方案能够提升鬼影剔除的有效性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像鬼影剔除方法及装置、存储介质、终端。
背景技术
为生成接近人眼视觉效果的高动态范围图像，各种高动态范围(high dynamicrange,HDR)技术被广泛采用。其中，基于多帧等曝光连拍图像的HDR合成技术以其更为简化的实现过程及良好的实验效果在手机相机(Camera)HDR成像中的应用受到广泛关注。由一组连续拍摄的等曝光欠曝图像合成一帧HDR图像，合成后的图像具有比单帧图像更高的动态范围，同时能够在合成中利用多帧图像去噪，尤其是降低图像暗光部分噪声。由于合成图像是融合多张连续拍摄图像，因此当拍摄画面中存在局部运动或者变化时，合成图像中往往存在鬼影。鬼影是影响图像质量的一个关键因素。
利用多帧等曝光图像合成HDR图像，算法设计需要考虑有效去除鬼影同时保留更多的原始图像噪声信息用于去噪。然而由于图像噪声水平因亮度变化存在较大差异，且暗光下与背景差异较小的鬼影与噪声很难区分，因此在合成图像中会引起两种现象：1.噪声被过度保留而引起鬼影残留；2.鬼影与噪声都被剔除使合成图像噪声偏大。为确保图像质量，多帧图像的合成算法如何兼顾去鬼影与去噪就变得十分重要。
现有技术中，用于消除合成HDR图像中的鬼影的一种简单方法是基于单层图像的处理，可分为基于点及基于块的方法。这些方法的优势在于算法设计简明，计算量小，效率高。但是，该技术应用的方法在消除部分鬼影的同时，会引入不正常的色彩变异，或者仍会有明显的鬼影残留；且在欠曝场景下，此类方法不易区别暗处不十分明显的鬼影与噪声；且基于块的方法容易导致合成后图像噪声水平不同呈块状分布，引起噪声分层，小尺寸的鬼影也会因占比低而被当成噪声保留下来。
发明内容
本发明解决的技术问题是如何提升鬼影剔除的有效性。
为解决上述技术问题，本发明实施例提供一种图像鬼影剔除方法，图像鬼影剔除方法包括：在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；对所述参考图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像；对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；对于每帧待处理图像，至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；对于每帧待处理图像，结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。
可选的，所述至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵包括：按照分辨率从低到高的顺序，计算当前层第一分解图像与第二分解图像在对应像素位置的像素差的绝对值，以得到像素差矩阵；将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵，所述子映射矩阵与所述当前层相对应，所述子映射矩阵为权值矩阵；将所述当前层的上一层对应的鬼影映射矩阵进行上采样，以使得上采样后的所述当前层的上一层对应的子映射矩阵与所述当前层对应的子映射矩阵具备相同尺寸；将上采样后的所述当前层的上一层对应的子映射矩阵中的各个数值与所述当前层对应的子映射矩阵中的各个数值进行对比运算，以得到所述当前层对应的鬼影映射矩阵。
可选的，所述预设阈值包括第一阈值和第二阈值，所述第一阈值大于所述第二阈值，所述将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵包括：如果像素位置的像素差大于所述第一阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为1；如果所述像素位置的像素差小于所述第二阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为0；如果所述像素位置的像素差小于所述第一阈值且大于所述第二阈值，则计算所述像素位置的像素差与所述第二阈值的差值以及所述第一阈值与所述第二阈值的差值的比值，以作为所述当前层对应的子映射矩阵中所述像素位置处的数值。
可选的，所述预设阈值包括多组第一阈值和第二阈值，各组第一阈值和第二阈值与亮度范围一一对应，每组第一阈值和第二阈值的大小随所述亮度范围的变化而变化，所述第一阈值大于所述第二阈值，所述将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵包括：计算所述第二分解图像在所述当前层的像素位置处的亮度值，并根据所述亮度值确定第一阈值和第二阈值；如果像素位置的像素差大于所述第一阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为1；如果所述像素位置的像素差小于所述第二阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为0；如果所述像素位置的像素差小于所述第一阈值且大于所述第二阈值，则计算所述像素位置的像素差与所述第二阈值的差值以及所述第一阈值与所述第二阈值的差值的比值，以作为所述当前层对应的子映射矩阵中所述像素位置处的数值。
可选的，所述结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除包括：对于具备最低分辨率的层数，根据具备最低分辨率的层数对应的鬼影映射矩阵对所述具备最低分辨率的层数对应的第一分解图像和第二分解图像进行加权融合，以得到所述具备最低分辨率的层数对应的剔除图像；按照分辨率从低到高的顺序，将当前层的上一层对应的剔除图像进行上采样，以使得上采样后的所述当前层的上一层对应的剔除图像具备所述当前层对应的分辨率；按照分辨率从低到高的顺序，计算所述上采样后的所述当前层的上一层对应的剔除图像与所述当前层的第二分解图像之和，以得到当前层对应的融合图像；按照分辨率从低到高的顺序，根据所述当前层对应的鬼影映射矩阵对所述当前层对应的第一分解图像以及所述当前层对应的融合图像进行加权融合，得到所述当前层对应的剔除图像，直至确定具备最高分辨率的层数对应的剔除图像。
可选的，所述至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵包括：按照分辨率从低到高的顺序，在计算得到当前层对应的融合图像后，计算所述当前层对应的融合图像与所述当前层对应的第一分解图像在对应像素位置的像素差的绝对值，以得到像素差矩阵；将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵，所述子映射矩阵与所述当前层相对应，所述子映射矩阵为权值矩阵；将所述当前层的上一层对应的鬼影映射矩阵进行上采样，以使得上采样后的所述当前层的上一层对应的子映射矩阵与所述当前层对应的子映射矩阵具备相同尺寸；将上采样后的所述当前层的上一层对应的子映射矩阵中的各个数值与所述当前层对应的子映射矩阵中的各个数值进行对比运算，以得到所述当前层对应的鬼影映射矩阵。
可选的，所述对所述参考图像以及待处理图像进行分解包括：对所述参考图像进行高斯金字塔分解，以及对所述待处理图像进行拉普拉斯金字塔分解；或者，对所述参考图像以及所述待处理图像进行小波分解。
可选的，所述对所述参考图像以及待处理图像进行分解之前还包括：将所述多张图像中除所述参考图像之外的待处理图像与所述参考图像对齐。
可选的，图像鬼影剔除方法还包括：对剔除后的各个待处理图像进行融合，以得到最终融合图像。
可选的，所述图像鬼影剔除方法还包括：对所述最终融合图像进行滤波降噪。
可选的，所述对所述参考图像以及待处理图像进行分解之前还包括：对所述参考图像以及待处理图像进行VST变换；所述对所述最终融合图像进行滤波降噪之后还包括：对降噪后的融合图像进行IVST变换。
本发明实施例还公开了一种图像鬼影剔除装置，图像鬼影剔除装置包括：参考图像确定模块，适于在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；第一分解模块，适于对所述参考图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像；第二分解模块，适于对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；像素值差异计算模块，适于至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；剔除模块，适于结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。
本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述图像鬼影剔除方法的步骤。
本发明实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述图像鬼影剔除方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明技术方案在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；对所述参考图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像；对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；对于每帧待处理图像，至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；对于每帧待处理图像，结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。本发明技术方案中，通过确定参考图像，并对参考图像以及待处理图像进行分解，可以在多个分辨率上逐层根据第一分解图像和第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，可以增加鬼影与噪声的差异，以实现逐层分离噪声部分与鬼影部分；针对确定的每层第二分解图像中鬼影的位置，可以实现对鬼影的逐层剔除，最终得到鬼影被剔除后的图像，兼顾鬼影剔除的有效性以及噪声的保留完整性。
附图说明
图1是本发明实施例一种图像鬼影剔除方法的流程图；
图2是图1所示步骤S103的一种具体实施方式的流程图；
图3是本发明实施例在一种具体应用场景下的流程示意图；
图4是图1所示步骤S104的一种具体实施方式的流程图；
图5是本发明实施例在另一种具体应用场景下的流程示意图；
图6是本发明实施例一种图像鬼影剔除装置的结构示意图。
具体实施方式
如背景技术中所述，现有技术中的方法在消除部分鬼影的同时，会引入不正常的色彩变异，或者仍会有明显的鬼影残留；且在欠曝场景下，此类方法不易区别暗处不十分明显的鬼影与噪声；且基于块的方法容易导致合成后图像噪声水平不同呈块状分布，引起噪声分层，小尺寸的鬼影也会因占比低而被当成噪声保留下来。
本发明技术方案中，通过确定参考图像，并对参考图像以及待处理图像进行分解，可以在多个分辨率上逐层计算像素值差异，增加鬼影与噪声的差异，以实现逐层分离噪声部分与鬼影部分；针对确定的每层第二分解图像中鬼影的位置，可以实现对鬼影的逐层剔除，最终得到鬼影被剔除后的图像，兼顾鬼影剔除的有效性以及噪声的保留完整性。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种图像鬼影剔除方法的流程图。
如图1所示，所述图像鬼影剔除方法可以包括以下步骤：
步骤S101：在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；
步骤S102：对所述参考图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像；
步骤S103：对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；
步骤S104：对于每帧待处理图像，至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；
步骤S105：结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
如前所述，基于多帧等曝光连拍图像的HDR合成技术需要一组连续拍摄的等曝光欠曝图像合成一帧HDR图像，本发明实施例是在在等曝光条件下连续拍摄得到的多张图像的基础上进行鬼影剔除的。
在步骤S101的具体实施中，选取多张图像中清晰度最高的图像为参考图像，也即图像边缘最锐利的图像。具体地，所述参考图像也可以是多张图像中清晰度最高的图像。所述参考图像的数量为1。多张图像包括单张参考图像RefImage以及至少一张待处理图像AltImage。
可以理解的是，所述多张图像可以是拜耳(Bayer)格式的图像，也可以是RGB图像或者其他格式的彩色图像，还可以是灰度图像。
在步骤S102的具体实施中，对所述参考图像进行分解可以得到所述参考图像在多个分辨率上的多层第一分解图像。
在步骤S103的具体实施中，对所述待处理图像进行分解可以得到待处理图像在多个分辨率上的多层第二分解图像。
需要说明的是，分解后的层数可以根据实际的应用需求以及图像尺寸进行调整，本发明实施例对此不做限制。具体地，层数越多，鬼影剔除的有效性越高，但计算量越大。
在步骤S104的具体实施中，确定每层对应的鬼影映射矩阵。具体地，每层对应的鬼影映射矩阵的大小与每层对应的第二分解图像以及第一分解图像的大小一致。鬼影映射矩阵可以是权值矩阵，鬼影映射矩阵中数值1可以表示在第二分解图像中与该数值位置相同的位置的像素存在鬼影。例如，在层数k对应的鬼影映射矩阵Ghost_map中位置(i,j)处的数值为1，那么在层数k对应的第二分解图像的位置(i,j)处存在鬼影。权值矩阵中数值大小范围为[0,1]。更近一步地，每层对应的鬼影映射矩阵还可以用于指示每层第二分解图像中对应位置的鬼影的强弱。例如，在层数k对应的鬼影映射矩阵Ghost_map中位置(i,j)处的数值为1，那么在层数k对应的第二分解图像的位置(i,j)处存在鬼影且鬼影较强；如果在层数k对应的鬼影映射矩阵Ghost_map中位置(i,j)处的数值为0.4，那么在层数k对应的第二分解图像的位置(i,j)处存在鬼影且鬼影较弱。
进而根据第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。
本发明实施例中，通过确定参考图像，并对参考图像以及待处理图像进行分解，可以在多个分辨率上逐层根据第一分解图像和第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，可以增加鬼影与噪声的差异，以实现逐层分离噪声部分与鬼影部分；针对确定的每层第二分解图像中鬼影的位置，可以实现对鬼影的逐层剔除，最终得到鬼影被剔除后的图像，兼顾鬼影剔除的有效性以及噪声的保留完整性。
本发明一个非限制性的实施例中，图1所示步骤S103具体可以包括以下步骤：
步骤S201：按照分辨率从低到高的顺序，计算当前层第一分解图像与第二分解图像在对应像素位置的像素差的绝对值，以得到像素差矩阵；
步骤S202：将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵，所述子映射矩阵与所述当前层相对应，所述子映射矩阵为权值矩阵；
步骤S203：将所述当前层的上一层对应的鬼影映射矩阵进行上采样，以使得上采样后的所述当前层的上一层对应的子映射矩阵与所述当前层对应的子映射矩阵具备相同尺寸；
步骤S204：将上采样后的所述当前层的上一层对应的子映射矩阵中的各个数值与所述当前层对应的子映射矩阵中的各个数值进行对比运算，以得到所述当前层对应的鬼影映射矩阵。
本实施例中，具备最低分辨率的层对应的鬼影映射矩阵为最低分辨率的层对应的权值矩阵。
具体地，当前层第一分解图像与第二分解图像在对应像素位置的像素差较大时，表示该像素位置处存在鬼影；反之，像素位置的像素差小于预设阈值时，该像素位置在子映射矩阵中的数值为0，表示该像素位置处不存在鬼影。
更具体地，当前层对应的子映射矩阵与当前层对应的像素差形成的像素差矩阵大小一致。换句话说，子映射矩阵中的数值与像素差矩阵中的像素差具备对应关系。
由于当前层的上一层对应的分辨率低于当前层对应的分辨率，因此需要对所述当前层的上一层对应的鬼影映射矩阵进行上采样。
将上采样后的所述当前层的上一层对应的子映射矩阵中的各个数值与所述当前层对应的子映射矩阵中的各个数值进行对比运算，可以使得上一层对应的子映射矩阵与当前层对应的子映射矩阵中存在鬼影的数值全部保留下来，也即将上一层对应的第二分解图像与当前层对应的第二分解图像中存在鬼影的位置进行合并，进一步保证了鬼影位置确定的准确性和全面性。具体地，所述对比运算可以包括最大值运算和均值运算。
进一步地，图2所示步骤S202具体可以包括以下步骤：
如果像素位置的像素差大于所述第一阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为1；
如果所述像素位置的像素差小于所述第二阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为0；
如果所述像素位置的像素差小于所述第一阈值且大于所述第二阈值，则计算所述像素位置的像素差与所述第二阈值的差值以及所述第一阈值与所述第二阈值的差值的比值，以作为所述当前层对应的子映射矩阵中所述像素位置处的数值。
为了进一步保证鬼影确定的准确性，本实施例中的所述预设阈值包括第一阈值和第二阈值。
在本发明的一个具体应用场景中，请参照图3。图3示出了计算当前层k+1对应的鬼影映射矩阵的具体过程。具体可以包括以下步骤：
步骤S301：利用层k+1的第一分解图像Ref_Image_GK+1和第二分解图像Alt_Image_GK+1计算层k+1的像素差矩阵Diff_Image_GK+1；假设当前层k+1的分辨率大小为M×N。
步骤S302：判断位置(i,j)处的像素差是否大于Th_h，如果是，则进入步骤S303，否则进入步骤S304。其中，0<＝i<M，0<＝j<N。
步骤S303：子映射矩阵中位置(i,j)处数值Ghost_v＝1。
步骤S304：判断位置(i,j)处的像素差是否小于Th_1，如果是，则进入步骤S305，否则进入步骤S306。其中，Th_1小于Th_h。
步骤S305：子映射矩阵中位置(i,j)处数值Ghost_v＝0。
步骤S306：执行线性插值。
步骤S307：子映射矩阵中位置(i,j)处数值Ghost_v取值范围为[0,1]。
步骤S308：确定层k+1的子映射矩阵Ghost_map_tmp。
步骤S309：将层k+2的鬼影映射矩阵Ghost_map_Lk+2进行上采样。
步骤S310：子映射矩阵Ghost_map_tmp与层k+2的鬼影映射矩阵Ghost_map_Lk+2进行最大值运算。
步骤S311：确定层k+1的鬼影映射矩阵Ghost_map_Lk+1。
需要说明的是，步骤S302和步骤S304需要遍历整个像素差矩阵Diff_Image_GK+1才能得到层k+1子映射矩阵Ghost_map_tmp。所述最大值运算是指在位置(i,j)处选取子映射矩阵Ghost_map_tmp与层k+2的鬼影映射矩阵Ghost_map_Lk+2中数值最大的值，以作为层k+1的鬼影映射矩阵Ghost_map_Lk+1在位置(i,j)处的数值。
在本发明一个优选实施例中，所述预设阈值还可以包括与各个亮度范围相对应的第一阈值和第二阈值。
与前述实施例不同的是，在确定所述当前层对应的子映射矩阵中所述像素位置处的数值之前，需要先计算所述第二分解图像在所述当前层的像素位置处的亮度值，并根据所述亮度值确定第一阈值和第二阈值。
本发明一个非限制性的实施例中，请参照图4，图1所示步骤S104可以包括以下步骤：
步骤S401：对于具备最低分辨率的层数，根据具备最低分辨率的层数对应的鬼影映射矩阵对所述具备最低分辨率的层数对应的第一分解图像和第二分解图像进行加权融合，以得到所述具备最低分辨率的层数对应的剔除图像；
步骤S402：按照分辨率从低到高的顺序，将当前层的上一层对应的剔除图像进行上采样，以使得上采样后的所述当前层的上一层对应的剔除图像具备所述当前层对应的分辨率；
步骤S403：按照分辨率从低到高的顺序，计算所述上采样后的所述当前层的上一层对应的剔除图像与所述当前层的第二分解图像之和，以得到当前层对应的融合图像；
步骤S404：按照分辨率从低到高的顺序，根据所述当前层对应的鬼影映射矩阵对所述当前层对应的第一分解图像以及所述当前层对应的融合图像进行加权融合，得到所述当前层对应的剔除图像，直至确定具备最高分辨率的层数对应的剔除图像。
本实施例中，每层对应的鬼影映射矩阵将作为加权系数用于对第一分解图像以及第二分解图像进行加权融合。
具体地，对于待处理图像进行分解得到的各层第二分解图像，具备最低分辨率的第二分解图像为待处理图像的低频信息，剩余第二分解图像为待处理图像的高频信息。
对于具备最低分辨率的层数，融合的对象可以是具备最低分辨率的层数对应的第一分解图像和第二分解图像。对于具备其他分辨率的层数，融合的对象可以是当前层对应的第二分解图像，以及所述当前层对应的融合图像。
具体地，在对第一分解图像和第二分解图像进行融合时，鬼影映射矩阵中数值为1时，则保留第一分解图像中的像素值，鬼影映射矩阵中数值为0时，保留第二分解图像中的像素值。
鬼影映射矩阵中数值处于0和1之间时，具体可以采用以下公式对层数k的第一分解图像和第二分解图像进行融合：
R(i,j)＝w×Ref(i,j)+(1-w)×Alt(i,j)，其中，R(i,j)表示层数k的剔除图像位置(i,j)处的像素值，w表示层数k的鬼影映射矩阵位置(i,j)处的数值，Ref(i,j)表示第一分解图像位置(i,j)处的像素值，Alt(i,j)表示层数k的第二分解图像位置(i,j)处的像素值。
在本发明的一个具体应用场景中，请参照图5。图5示出了对当前层k的第二分解图像进行鬼影剔除的具体过程。具体可以包括以下步骤：
步骤S501：获取层k+1的剔除图像Fused_Image_Gk+1。
步骤S502：上采样，以得到采样后的层k+1的剔除图像Fused_Image_Gk+1_up。
步骤S503：计算层k+1的剔除图像Fused_Image_Gk+1_up与层k的第二分解图像之和，以得到层k的融合图像Fused_Image_Gk；
步骤S504：确定层k的鬼影映射矩阵Ghost_map_Gk。
步骤S505：层k的第一分解图像Ref_Image_Gk。
步骤S506：利用鬼影映射矩阵Ghost_map_Gk对层k的第一分解图像Ref_Image_Gk以及层k的融合图像Fused_Image_Gk进行加权和。
步骤S507：确定层k的剔除图像Fused_Image_Gk。
需要说明的是，层k+1的分辨率小于层k的分辨率。
本发明一个非限制性的实施例中，图1所示步骤S102可以包括以下步骤：对所述参考图像进行高斯金字塔分解，以及对所述待处理图像进行拉普拉斯金字塔分解；或者，对所述参考图像以及所述待处理图像进行小波分解。
本实施例中，在对所述参考图像进行小波分解时，可以得到参考图像的低频分量和高频分量，第一分解图像可以是参考图像的低频分量。
本发明一个非限制性的实施例中，图1所示步骤S102之前可以包括以下步骤：将所述多张图像中除所述参考图像之外的待处理图像与所述参考图像对齐。
本实施例中，待处理图像与所述参考图像对齐是指参考图像与待处理图像在预设特征点处重合；或者待处理图像与所述参考图像对齐后，各个位置像素的像素差值最小，以减小噪声对鬼影剔除的影响。
本发明一个非限制性的实施例中，图1所示步骤S104之后可以包括以下步骤：对剔除后的各个待处理图像进行融合，以得到最终融合图像。
通过对剔除鬼影后的各个待处理图像进行融合，使得融合图像可以具备更高的动态范围，同时保证融合图像中鬼影剔除的有效性，提高融合图像的质量。
进一步地，所述方法还可以包括以下步骤：对所述最终融合图像进行滤波降噪。
进一步地，图1所示步骤S102之前可以包括以下步骤：对所述参考图像以及待处理图像进行VST变换；所述对所述最终融合图像进行滤波降噪之后还包括：对降噪后的融合图像进行IVST变换。
通过对参考图像以及待处理图像进行方差稳定转换(variance stabilizingtransformation,VST)变换，以及对融合图像进行IVST变换，可以平稳噪声水平，进一步提升图像质量。
请参照图6，图像鬼影剔除装置60可以包括参考图像确定模块601、第一分解模块602、第二分解模块603、像素值差异计算模块604和剔除模块605。
其中，参考图像确定模块601适于在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；第一分解模块602适于对所述参考图像以进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像，第二分解模块603适于对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；像素值差异计算模块604适于至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；剔除模块605适于根据各层对应的鬼影映射矩阵、各个第一分解图像以及各个第二分解图像对每个待处理图像中的鬼影进行剔除。
本发明实施例中，通过确定参考图像，并对参考图像以及待处理图像进行分解，可以在多个分辨率上逐层计算像素值差异，增加鬼影与噪声的差异，以实现逐层分离噪声部分与鬼影部分；针对确定的每层第二分解图像中鬼影的位置，可以实现对鬼影的逐层剔除，最终得到鬼影被剔除后的图像，兼顾鬼影剔除的有效性以及噪声的保留完整性。
关于所述图像鬼影剔除装置60的工作原理、工作方式的更多内容，可以参照图1至图2中的相关描述，这里不再赘述。
本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行图1至图5中所示的图像鬼影剔除方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
本发明实施例还公开了一种终端，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令。所述处理器运行所述计算机指令时可以执行图1至图5中所示的图像鬼影剔除方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (14)
1.一种图像鬼影剔除方法，其特征在于，包括：
在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；
对所述参考图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像；
对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；
对于每帧待处理图像，至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；
对于每帧待处理图像，结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。
2.根据权利要求1所述的图像鬼影剔除方法，其特征在于，所述至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵包括：
按照分辨率从低到高的顺序，计算当前层第一分解图像与第二分解图像在对应像素位置的像素差的绝对值，以得到像素差矩阵；
将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵，所述子映射矩阵与所述当前层相对应，所述子映射矩阵为权值矩阵；
将所述当前层的上一层对应的鬼影映射矩阵进行上采样，以使得上采样后的所述当前层的上一层对应的子映射矩阵与所述当前层对应的子映射矩阵具备相同尺寸；
将上采样后的所述当前层的上一层对应的子映射矩阵中的各个数值与所述当前层对应的子映射矩阵中的各个数值进行对比运算，以得到所述当前层对应的鬼影映射矩阵。
3.根据权利要求2所述的图像鬼影剔除方法，其特征在于，所述预设阈值包括第一阈值和第二阈值，所述第一阈值大于所述第二阈值，所述将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵包括：
如果像素位置的像素差大于所述第一阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为1；
如果所述像素位置的像素差小于所述第二阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为0；
如果所述像素位置的像素差小于所述第一阈值且大于所述第二阈值，则计算所述像素位置的像素差与所述第二阈值的差值以及所述第一阈值与所述第二阈值的差值的比值，以作为所述当前层对应的子映射矩阵中所述像素位置处的数值。
4.根据权利要求2所述的图像鬼影剔除方法，其特征在于，所述预设阈值包括多组第一阈值和第二阈值，各组第一阈值和第二阈值与亮度范围一一对应，每组第一阈值和第二阈值的大小随所述亮度范围的变化而变化，所述第一阈值大于所述第二阈值，所述将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵包括：
计算所述第二分解图像在所述当前层的像素位置处的亮度值，并根据所述亮度值确定第一阈值和第二阈值；
如果像素位置的像素差大于所述第一阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为1；
如果所述像素位置的像素差小于所述第二阈值，则确定所述当前层对应的子映射矩阵中所述像素位置处的数值为0；
如果所述像素位置的像素差小于所述第一阈值且大于所述第二阈值，则计算所述像素位置的像素差与所述第二阈值的差值以及所述第一阈值与所述第二阈值的差值的比值，以作为所述当前层对应的子映射矩阵中所述像素位置处的数值。
5.根据权利要求1所述的图像鬼影剔除方法，其特征在于，所述结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除包括：
对于具备最低分辨率的层数，根据具备最低分辨率的层数对应的鬼影映射矩阵对所述具备最低分辨率的层数对应的第一分解图像和第二分解图像进行加权融合，以得到所述具备最低分辨率的层数对应的剔除图像；
按照分辨率从低到高的顺序，将当前层的上一层对应的剔除图像进行上采样，以使得上采样后的所述当前层的上一层对应的剔除图像具备所述当前层对应的分辨率；
按照分辨率从低到高的顺序，计算所述上采样后的所述当前层的上一层对应的剔除图像与所述当前层的第二分解图像之和，以得到当前层对应的融合图像；
按照分辨率从低到高的顺序，根据所述当前层对应的鬼影映射矩阵对所述当前层对应的第一分解图像以及所述当前层对应的融合图像进行加权融合，得到所述当前层对应的剔除图像，直至确定具备最高分辨率的层数对应的剔除图像。
6.根据权利要求1所述的图像鬼影剔除方法，其特征在于，所述至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵包括：
按照分辨率从低到高的顺序，在计算得到当前层对应的融合图像后，计算所述当前层对应的融合图像与所述当前层对应的第一分解图像在对应像素位置的像素差的绝对值，以得到像素差矩阵；
将所述像素差矩阵中各个像素位置的像素差与预设阈值比较，以得到子映射矩阵，所述子映射矩阵与所述当前层相对应，所述子映射矩阵为权值矩阵；
将所述当前层的上一层对应的鬼影映射矩阵进行上采样，以使得上采样后的所述当前层的上一层对应的子映射矩阵与所述当前层对应的子映射矩阵具备相同尺寸；
将上采样后的所述当前层的上一层对应的子映射矩阵中的各个数值与所述当前层对应的子映射矩阵中的各个数值进行对比运算，以得到所述当前层对应的鬼影映射矩阵。
7.根据权利要求1所述的图像鬼影剔除方法，其特征在于，所述对所述参考图像以及待处理图像进行分解包括：
对所述参考图像进行高斯金字塔分解，以及对所述待处理图像进行拉普拉斯金字塔分解；
或者，对所述参考图像以及所述待处理图像进行小波分解。
8.根据权利要求1所述的图像鬼影剔除方法，其特征在于，所述对所述参考图像以及待处理图像进行分解之前还包括：
将所述多张图像中除所述参考图像之外的待处理图像与所述参考图像对齐。
9.根据权利要求1所述的图像鬼影剔除方法，其特征在于，还包括：
对剔除后的各个待处理图像进行融合，以得到最终融合图像。
10.根据权利要求9所述的图像鬼影剔除方法，其特征在于，还包括：
对所述最终融合图像进行滤波降噪。
11.根据权利要求9所述的图像鬼影剔除方法，其特征在于，所述对所述参考图像以及待处理图像进行分解之前还包括：
对所述参考图像以及待处理图像进行VST变换；
所述对所述最终融合图像进行滤波降噪之后还包括：
对降噪后的融合图像进行IVST变换。
12.一种图像鬼影剔除装置，其特征在于，包括：
参考图像确定模块，适于在针对同一目标物体拍摄的多张图像中确定参考图像，所述多张图像是在等曝光条件下连续拍摄得到的，所述参考图像的清晰度最高；
第一分解模块，适于对所述参考图像进行分解，以得到所述参考图像在多个分辨率上的多层第一分解图像；
第二分解模块，适于对于每帧待处理图像，对所述待处理图像进行分解，以得到所述待处理图像在多个分辨率上的多层第二分解图像；
像素值差异计算模块，适于至少根据各层第一分解图像与第二分解图像的像素值以及具备较低分辨率的相邻层对应的鬼影映射矩阵确定每层对应的鬼影映射矩阵，每层对应的鬼影映射矩阵用于指示每层第二分解图像中鬼影的位置；
剔除模块，适于结合第一分解图像以及第二分解图像各层及其各层对应的鬼影映射矩阵逐层对待处理图像中的鬼影进行剔除。
13.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至11中任一项所述图像鬼影剔除方法的步骤。
14.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至11中任一项所述图像鬼影剔除方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811510899.6A CN111311498B (zh) | 2018-12-11 | 2018-12-11 | 图像鬼影剔除方法及装置、存储介质、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811510899.6A CN111311498B (zh) | 2018-12-11 | 2018-12-11 | 图像鬼影剔除方法及装置、存储介质、终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311498A CN111311498A (zh) | 2020-06-19 |
| CN111311498B true CN111311498B (zh) | 2022-07-12 |
Family
ID=71146507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811510899.6A Active CN111311498B (zh) | 2018-12-11 | 2018-12-11 | 图像鬼影剔除方法及装置、存储介质、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111311498B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344820B (zh) * | 2021-06-28 | 2024-05-10 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读介质、电子设备 |
| CN113344821B (zh) * | 2021-06-29 | 2022-10-21 | 展讯通信（上海）有限公司 | 图像降噪方法、装置、终端、存储介质 |
| CN115035013A (zh) * | 2022-06-22 | 2022-09-09 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105264567A (zh) * | 2013-06-06 | 2016-01-20 | 苹果公司 | 用于图像稳定化的图像融合方法 |
| CN107093169A (zh) * | 2017-04-21 | 2017-08-25 | 重庆大学 | 基于无参数低秩矩阵恢复的高动态范围成像去鬼影的方法 |
| WO2018136373A1 (en) * | 2017-01-20 | 2018-07-26 | Microsoft Technology Licensing, Llc | Image fusion and hdr imaging |
| CN108416754A (zh) * | 2018-03-19 | 2018-08-17 | 浙江大学 | 一种自动去除鬼影的多曝光图像融合方法 |
-
2018
- 2018-12-11 CN CN201811510899.6A patent/CN111311498B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105264567A (zh) * | 2013-06-06 | 2016-01-20 | 苹果公司 | 用于图像稳定化的图像融合方法 |
| WO2018136373A1 (en) * | 2017-01-20 | 2018-07-26 | Microsoft Technology Licensing, Llc | Image fusion and hdr imaging |
| CN107093169A (zh) * | 2017-04-21 | 2017-08-25 | 重庆大学 | 基于无参数低秩矩阵恢复的高动态范围成像去鬼影的方法 |
| CN108416754A (zh) * | 2018-03-19 | 2018-08-17 | 浙江大学 | 一种自动去除鬼影的多曝光图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111311498A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101743861B1 (ko) | 이미지 안정화를 위한 이미지 융합 방법 | |
| US11127117B2 (en) | Information processing method, information processing apparatus, and recording medium | |
| KR20210114856A (ko) | 딥 컨볼루션 신경망을 이용한 이미지 노이즈 제거 시스템 및 방법 | |
| CN110956219B (zh) | 视频数据的处理方法、装置和电子系统 | |
| US9202263B2 (en) | System and method for spatio video image enhancement | |
| CN111402258A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2015184208A1 (en) | Constant bracketing for high dynamic range operations (chdr) | |
| CN111311498B (zh) | 图像鬼影剔除方法及装置、存储介质、终端 | |
| CN111260580B (zh) | 图像去噪方法、计算机装置及计算机可读存储介质 | |
| CN113992861A (zh) | 一种图像处理方法及图像处理装置 | |
| CN112272832A (zh) | 用于基于dnn的成像的方法和系统 | |
| WO2023273868A1 (zh) | 图像降噪方法、装置、终端、存储介质 | |
| JP6087612B2 (ja) | 画像処理装置および画像処理方法 | |
| EP4089625A1 (en) | Method and apparatus for generating super night scene image, and electronic device and storage medium | |
| CN113344820B (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
| JP2014021928A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN113628123A (zh) | 图像恢复模型的训练方法及装置、电子设备、可读介质 | |
| Wu et al. | Reflectance-guided, contrast-accumulated histogram equalization | |
| CN113379609A (zh) | 一种图像处理方法、存储介质及终端设备 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN117455785A (zh) | 图像处理方法、装置及终端设备 | |
| CN117058019A (zh) | 一种基于金字塔增强网络的低光照下目标检测方法 | |
| CN115035013A (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
| CN111028184B (zh) | 一种图像增强方法及系统 | |
| CN113469889A (zh) | 一种图像降噪的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |