CN107481203A - 一种图像导向滤波方法及计算设备 - Google Patents

一种图像导向滤波方法及计算设备 Download PDF

Info

Publication number
CN107481203A
CN107481203A CN201710693893.6A CN201710693893A CN107481203A CN 107481203 A CN107481203 A CN 107481203A CN 201710693893 A CN201710693893 A CN 201710693893A CN 107481203 A CN107481203 A CN 107481203A
Authority
CN
China
Prior art keywords
pixel
mrow
image
oriented
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710693893.6A
Other languages
English (en)
Other versions
CN107481203B (zh
Inventor
李启东
李志阳
吕仰铭
张伟
许清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201710693893.6A priority Critical patent/CN107481203B/zh
Publication of CN107481203A publication Critical patent/CN107481203A/zh
Application granted granted Critical
Publication of CN107481203B publication Critical patent/CN107481203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种生成导向滤波中导向图的方法和根据该导向图对待处理图像进行导向滤波处理的方法,其中图像导向滤波方法包括步骤:对待处理图像执行生成导向图的方法以生成梯度增强图像和第二导向图;计算第二导向图中像素值的最大值和最小值;对第二导向图进行分块处理,计算每个分块内像素点的标准偏差值;对第二导向图进行偏移处理,得到偏移处理后的第二导向图;根据梯度增强图像生成导向滤波的调整系数;以及根据偏移处理后的第二导向图和调整系数、对待处理图像中的某一通道图像进行导向滤波,以生成去除噪点的图像。本发明一并公开了用于执行上述方法的计算设备。

Description

一种图像导向滤波方法及计算设备
技术领域
本发明涉及图像处理技术领域,尤其是一种图像导向滤波方法及计算设备。
背景技术
在图像处理技术领域,由于拍摄环境、相机等的影响,所拍得的图像常常含有噪声,影响图像质量,因此常需要对图像进行滤波处理以去除图像中的噪声。但在处理过程中,滤波往往会导致过度模糊,使得图像边缘细节丢失,比如人像的皮肤中若有分散的头发,若选用的滤波方法不当,会导致皮肤和头发粘连的效果,而失去原有的细节特征。
常用的滤波方式如维纳滤波、高斯滤波等,在图像降噪处理中,会导致过度模糊,尤其是会丢失图像边缘细节信息。而导向滤波方法因其边缘保持和计算高效在图像滤波处理中获得广泛的应用,但导向滤波在滤波过程中,仍然存在以下问题:(1)采用固定的滤波系数,对于彩色图像里的高频噪声,导向滤波要滤得干净,需要人为选取合理的滤波系数,才能滤去高频噪声,但会导致图像的边缘区域过度模糊,无法达到保边的效果;(2)导向滤波依赖于导向图的合理构建,若导向图不能和原图像保持边缘一致性,也会导致滤波后的结果图存在突兀或者过度模糊的区域,失去边缘保持效果;(3)噪声和边缘同属于梯度较大的区域,若将噪声和边缘区域同等处理,也会失去边缘保持的效果,导向滤波在应用时需借助微分信息来构建导向图进行边缘保持的滤波,而微分信息易受噪声点影响,需要有效处理。
因此,需要一种有效地图像导向滤波方法,既可以有效滤除图像中的噪声又可以保持图像高频细节信息。
发明内容
为此,本发明提供了一种图像导向滤波方法及计算设备,以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面,提供了一种生成导向滤波中导向图的方法,该方法适于在计算设备中执行,包括步骤:获取待处理图像的灰度图;对灰度图做高斯模糊处理,生成第一导向图;计算第一导向图中每个像素点的梯度;根据梯度对第一导向图进行梯度增强处理,生成梯度增强图像;以及对梯度增强图像进行归一化处理,得到第二导向图。
可选地,在根据本发明的生成导向滤波中导向图的方法中,根据梯度对第一导向图进行梯度增强处理,生成梯度增强图像的步骤包括:根据每个像素点的梯度计算出该像素点的新像素值;以及通过迭代第一数目次计算新像素值的步骤生成梯度增强图像。
可选地,在根据本发明的生成导向滤波中导向图的方法中,根据每个像素点的梯度计算出该像素点的新像素值的步骤包括:根据每个像素点的梯度生成垂直于梯度方向的单位向量;根据单位向量计算第一导向图中每个像素点的第一位置和第二位置;分别对第一位置和第二位置进行双线性插值计算第一位置的像素值和第二位置的像素值;以及根据该像素点的像素值和双线性插值后第一位置、第二位置的像素值分别计算该像素点对应的新像素值。
可选地,在根据本发明的生成导向滤波中导向图的方法中,在第一导向图中,若像素点p的初始位置为(x,y),垂直于像素点p的梯度方向的单位向量为(nx,ny),则,像素点p的第一位置为像素点p的第二位置为
可选地,在根据本发明的生成导向滤波中导向图的方法中,像素点p对应的新像素值分别为: 其中,k表示迭代次数,k=0,1,…,分别表示在第k-1次迭代后生成的像素点p对应的新像素值,分别表示在第k-1次迭代时、双线性插值后第一位置和第二位置的像素值。
可选地,在根据本发明的生成导向滤波中导向图的方法中,在梯度增强图像中像素点p的像素值EI(p)为:其中,E(p)为根据第一导向图中像素点p的梯度计算出的梯度大小值,分别为迭代K次后像素点p的新像素值。
根据本发明的又一方面,提供了一种图像导向滤波方法,该方法适于在计算设备中执行,包括步骤:对待处理图像执行如上所述的生成导向滤波中导向图的方法以生成梯度增强图像和第二导向图;计算第二导向图中像素值的最大值和最小值;对第二导向图进行分块处理,计算每个分块内像素点的标准偏差值;根据第二导向图中每个像素点的像素值和标准偏差值与最大值或最小值的关系对第二导向图进行偏移处理,得到偏移处理后的第二导向图;根据梯度增强图像生成导向滤波的调整系数;以及根据偏移处理后的第二导向图和调整系数、对待处理图像中的某一通道图像进行导向滤波,以生成去除噪点的图像。
可选地,在根据本发明的图像导向滤波方法中,根据第二导向图中每个像素点的像素值和标准偏差值与最大值或最小值的关系对第二导向图进行偏移处理的步骤包括:根据第二导向图中每个像素点的像素值和标准偏差值与最大值或最小值的关系计算该像素点的偏移量;以及根据偏移量对所述第二导向图进行偏移处理。
可选地,在根据本发明的图像导向滤波方法中,对于第二导向图中每个像素点p,其对应的偏移量OFF(p)定义为:
式中,G(p)为第二导向图中像素点p的像素值,σG(p)为第二导向图中像素点p的标准偏差值,Gmax为第二导向图中像素值的最大值,Gmin为第二导向图中像素值的最小值。
可选地,在根据本发明的图像导向滤波方法中,导向滤波的调整系数包括第一调整系数和第二调整系数,其中,根据偏移处理后的第二导向图和调整系数、对某一通道图像进行导向滤波的步骤包括:根据下式进行导向滤波:C'(p)=A(p)[G(p)+OFF(p)]+B(p),其中,C'(p)为经导向滤波后像素点p的像素值,A(p)为像素点p的第一调整系数,B(p)为像素点p的第二调整系数。
可选地,在根据本发明的图像导向滤波方法中,生成第一调整系数的步骤包括:计算梯度增强图像的均值和标准偏差值;根据梯度增强图像的像素值、均值和标准偏差值生成第一系数;将待处理图像的某一通道图像的像素值和第二导向图中对应像素位置的像素值相乘生成融合图像对应像素位置的像素值;对融合图像进行分块处理,计算每个分块内像素点的标准偏差值;以及根据融合图像的标准偏差值、第二导向图的标准偏差值和第一系数生成第一调整系数。
可选地,在根据本发明的图像导向滤波方法中,生成第二调整系数的步骤包括:对待处理图像的所述某一通道图像进行分块处理,计算每个分块内像素点的均值;对第二导向图进行分块处理,计算每个分块内像素点的均值;以及根据某一通道图像的均值、第二导向图的均值和第一调整系数生成第二调整系数。
可选地,在根据本发明的图像导向滤波方法中,像素点p的第一调整系数A(p)采用如下方法计算:
其中,将待处理图像中某一通道图像的像素点p的像素值C(p)与第二导向图中像素点p的像素值G(p)相乘所得就是融合图像中像素点p的像素值CG(p),σCG(p)表示融合图像中像素点p对应的标准偏差值,AI(p)为像素点p的第一系数,β为调整因子。
可选地,在根据本发明的图像导向滤波方法中,像素点p的第一系数采用如下方法计算:
其中,EI(p)为梯度增强图像中像素点p的像素值,μEI为梯度增强图像的全图均值,σEI为梯度增强图像的全图标准偏差值。
可选地,在根据本发明的图像导向滤波方法中,像素点p的第二调整系数B(p)采用如下方法计算:B(p)=μC(p)-A(p)·μG(p),其中,A(p)为像素点p的第一调整系数,μC(p)为待处理图像的某一通道图像中像素点p的均值,μG(p)为第二导向图中像素点p的均值。
可选地,在根据本发明的图像导向滤波方法中,β的取值范围为0.5~2.0。
可选地,在根据本发明的图像导向滤波方法中,β采用如下方法计算:β=σGave/σGmax,其中,σGave和σGmax分别表示第二导向图中所有像素点的标准偏差值的平均值和最大值。
根据本发明的再一方面,提供了一种计算设备,包括:一个或多个处理器;和存储器;一个或多个程序,其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行,该一个或多个程序包括用于执行如上所述生成导向滤波中导向图的方法中的任一方法的指令和如上所述图像导向滤波方法中的任一方法的指令。
根据本发明的再一方面,提供了一种存储一个或多个程序的计算机可读存储介质,一个或多个程序包括指令,该指令当计算设备执行时,使得计算设备执行如上所述生成导向滤波中导向图的方法中的任一方法和如上所述图像导向滤波方法中的任一方法。
根据本发明的导向滤波方案,通过边缘梯度增强的方式生成导向滤波处理中的导向图,削弱噪声点的影响,保持了边缘的梯度信息。在此基础上,在对同一幅图像进行导向滤波时,图像内不同区域采用不同的调整系数,避免图像不同区域因为不合理的滤波参数而达不到预期的滤波效果,也无需用户人为选取合适的参数滤波,使得滤波后的图像,其边缘区域具备更好地保边效果,且其平滑区域,如人像皮肤区域,获得更好地滤波效果。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的构造示意图;
图2示出了根据本发明一个实施例的生成导向滤波中导向图的方法200的流程图;
图3A示出了待处理图像的示意图,图3B示出了未经过梯度增强处理所生成的边缘梯度图像的示意图,图3C示出了经过梯度增强处理所生成的边缘梯度图像的示意图;
图4示出了根据本发明一个实施例的图像导向滤波方法400的流程图;以及
图5A示出了按现有导向滤波方法对图3A滤波处理后的示意图,图5B示出了根据本发明一个实施例的导向滤波方法400对图3A滤波处理后的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是示例计算设备100的框图。在基本的配置102中,计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置,处理器104可以是任何类型的处理器,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用,或者在一些实现中,存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置,系统存储器106可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中,应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中,计算设备100被配置为执行图像导向滤波的方法,该方法通过边缘增强的方式生成导向图,再根据生成的导向图对图像的任一通道图(如Y通道)进行导向滤波,能够在边缘保持的同时尽可能滤除噪声,程序数据124中就包含了用于执行所述方法的指令。
计算设备100还可以包括有助于从各种接口设备(例如,输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156,它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、图像输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160,其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。在本方案中,可以通过摄像头之类的图像输入设备实时获取待处理的图像数据,也可以通过通信设备146获取待处理的图像数据。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在一些实施例中,计算机可读介质中存储一个或多个程序,这一个或多个程序中包括执行某些方法的指令,如根据本发明的实施例,计算设备100通过所述指令来执行图像导向滤波方法。
计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分,这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
图2示出了根据本发明一个实施例的生成导向滤波中导向图的方法200的流程图。该方法200通过边缘梯度增强的方式重构导向图,以削弱噪声点的影响,保持边缘的梯度信息。
如图2所示,方法200始于步骤S210,获取待处理图像的灰度图。生成某一图像的灰度图属于本领域很成熟的技术,本发明的实施例对此不作限制。以常见的RGB图像为例,将RGB图像转换为YUV图像,提取Y通道并将U、V通道均赋值128(8bit量化的情况下),得到灰度图。
随后在步骤S220中,对步骤S210生成的灰度图做高斯模糊处理,生成第一导向图。根据本发明的一个实施例,对灰度图作3×3的高斯模糊,生成第一导向图,通过高斯模糊处理可以削弱噪声点的影响。
随后在步骤S230中,计算第一导向图中每个像素点的梯度。应当注意的是,图像梯度的计算方法属于本领域已经比较成熟的技术,如采用中值差分运算、采用各种梯度算子(如Sobel算子、Robinson算子、Laplace算子等)进行运算,本发明的实施例对此不作累述。任何已知的或以后的关于图像梯度的计算方法均可与本发明的实施例相结合,以达到本发明的技术效果,本发明不作限制。
随后在步骤S240中,根据梯度对第一导向图进行梯度增强处理,生成梯度增强图像。根据本发明的实施例,生成梯度增强图像的步骤包括:先根据每个像素点的梯度计算出该像素点新的像素值;再通过迭代第一数目次计算新像素值的步骤生成梯度增强图像。
具体地,根据每个像素点的梯度计算出该像素点的新像素值的步骤包括如下1)~4)4个步骤。
1)根据每个像素点的梯度生成垂直于梯度方向的单位向量。计算第一导向图中每个像素点的梯度,设像素点p的位置为(x,y),其梯度为(dpx,dpy),根据梯度可以算出梯度大小E(p)和梯度方向D(p),其中,梯度方向为单位向量:
D(p)=(dpx,dpy)/E(p)
根据梯度方向生成垂直于该梯度方向的单位向量,表示为(nx,ny)。应当注意的是,梯度的计算方法属于本领域已经比较成熟的技术,此处不再累述。
2)根据单位向量(nx,ny)计算第一导向图中每个像素点的第一位置p+(x+,y+)和第二位置p-(x-,y-):
第一位置
第二位置
3)分别对第一位置和第二位置进行双线性插值计算第一位置的像素值E(p+)和第二位置的像素值E(p-)。
一般地,根据2)算得的第一位置和第二位置均是浮点数坐标,因此需要先对浮点数坐标取整,再插值得该坐标对应的像素值。以下给出一种计算第一位置或第二位置像素值的方式。
设浮点数坐标为(fx,fy),取整后得到整数坐标(ux,uy),ux=floor(fx),uy=floor(fy)。其差值分别记为lx=fx–ux,ly=fy-uy,则插值出原本浮点数坐标(fx,fy)周围的4个坐标为(ux,uy)、(ux+1,uy)、(ux,uy+1)、(ux+1,uy+1),那么,坐标位置(fx,fy)的像素值为:
I(fx,fy)=(1.0-lx)*(1.0-ly)*I(ux,uy)+lx*(1.0-ly)*I(ux+1,uy)+(1.0-lx)*ly*I(ux,uy+1)+lx*ly*I(ux+1,uy+1)。
4)根据该像素点的像素值和双线性插值后第一位置、第二位置的像素值E(p+)和E(p-)分别计算该像素点对应的新像素值:
E+(p)=E(p)+E+(p+)
E-(p)=E(p)+E-(p-)
上式中,以E+和E-分别对应第一位置和第二位置的像素值。
由于在一帧图像中:噪点区域的梯度方向杂乱无章、且像素值增加幅度很小;而非噪点区域的光滑部分,其梯度值相对较小、且像素值增加幅度缓慢;非噪点区域的边缘部分,其梯度方向表现出一致性、且像素值的增加幅度大大超过噪点区域和非噪点区域的光滑部分。
因此,根据本发明的实施例,将上述1)~4)步骤多次迭代,进一步扩大噪点区域和非噪点区域之间的像素差,同时又保留了原本图像中的边缘信息。具体地,迭代公式为:
其中,k表示迭代次数,k=0,1,…,即E(p),分别表示在第k-1次迭代后生成的像素点p对应的新像素值,分别表示在第k-1次迭代时、双线性插值后第一位置和第二位置的像素值。
设第一数目为K,一般地,K取3~5次。在经过K次迭代后,像素点p的像素值EI(p)变为:
式中,E(p)为根据第一导向图中像素点p的梯度计算出的梯度大小值,分别为迭代K次后像素点p的新像素值。
最后,根据K次迭代后算得的像素值EI(p)即可生成梯度增强图像EI。
随后在步骤S250中,对梯度增强图像EI进行归一化处理,得到第二导向图G,即后续导向滤波过程中所需的导向图。可选地,将梯度增强图像EI归一化到0~255范围内。
本领域的技术人员应当了解,导向滤波所需的导向图需要与原图像保持边缘一致性。一般地,根据待处理图像的灰度图计算出梯度图,即可作为导向滤波的导向图,由于梯度属于一阶微分信息,易受噪声点的影响,在实际应用中,根据该方法生成的导向图其滤波效果并不理想。而根据本发明的生成导向图的方案所生成的第二导向图G,其不但与原图像保持了边缘一致性,并且通过对第一导向图的梯度增强处理,边缘已经得到大幅度增强,同时通过多次迭代处理,削弱了噪声点的影响。
为更好地说明梯度增强处理所带来的边缘保持效果,如图3A示出了待处理图像(即,含噪点图像),图3B示出了图3A根据步骤S230所计算的梯度值生成的边缘梯度图像,图3C示出了图3A根据步骤S240进行梯度增强处理后所生成的边缘梯度图像。可以看出,图3B中边缘细节显得很模糊,只提取了一些比较明显的粗边缘,图3A中鹦鹉腹部“羽毛”的一些边缘,并没有提取出来,而图3C提取的边缘信息得到大幅度增强。
图4示出了根据本发明一个实施例的图像导向滤波方法400的流程图。方法400在方法200的基础上实现。首先在步骤S410中,生成待处理图像的导向图。根据本发明的实施例,对待处理图像执行方法200中所述的步骤,以生成梯度增强图像EI和第二导向图G,将第二导向图作为本次导向滤波的导向图。
随后在步骤S420中,计算第二导向图G中像素值的最大值Gmax和最小值Gmin
随后在步骤S430中,对第二导向图G进行分块处理,计算每个分块内像素点的均值和标准偏差值。可选地,以像素点p为中心,r为滤波半径,构建大小为(2r+1)×(2r+1)的块,计算在分块内该像素点的均值μG(p)和标准偏差σG(p)。计算均值和标准偏差属于基础知识,篇幅有限,本发明不再展开描述。
随后在步骤S440中,根据第二导向图G中每个像素点的像素值和标准偏差值与最大值或最小值的关系对第二导向图进行偏移处理,得到偏移处理后的第二导向图。根据本发明的实施例,根据第二导向图G中像素点p的像素值G(p)和标准偏差值σG(p)与最大值Gmax或最小值Gmin的关系计算该像素点p的偏移量OFF(p),并根据该偏移量OFF(p)对第二导向图中的像素值G(p)进行偏移处理,偏移处理后的第二导向图中,像素点p的像素值为:G(p)+OFF(p)。
在导向图中,若像素值差异变化过大,容易在滤波后的图像中产生局部突兀的滤波效果,因此,根据本发明的实施方式,通过对第二导向图的偏移处理,可以有效改善第二导向图中局部区域像素值变化过大的情况。
可选地,对于第二导向图中的每个像素点p,其对应的偏移量OFF(p)定义为:
式中,G(p)为第二导向图中像素点p的像素值,σG(p)为第二导向图中像素点p的标准偏差值,Gmax为第二导向图中像素值的最大值,Gmin为第二导向图中像素值的最小值。
随后在步骤S450中,根据执行方法200生成的梯度增强图像EI生成导向滤波的调整系数。可选地,导向滤波的调整系数包括第一调整系数A(p)和第二调整系数B(p)。
根据本发明的一个实施例,第一调整系数A(p)表示为:
式中,C(p)为待处理图像中某一通道图像的像素点p的像素值,如亮度通道图像可表示为Y(p),将待处理图像中某一通道图像的像素点p的像素值C(p)与第二导向图中像素点p的像素值G(p)相乘得到CG(p),σCG(p)表示其对应的标准偏差值,σG(p)为梯度图中像素点p的标准偏差,ε决定滤波的最终效果,一般情况下,ε取固定值。对于8bit量化、0~255范围表示的图像,该固定常数通常取值为ε=50~500。其取值过大,会导致图像过度模糊,取值过小,滤波不够干净。
然而在一些场景中,图像一般只是在局部区域存在噪点,若ε取固定值,当ε值选取过大时,会导致非噪点区域过度模糊;当ε值选取过小时,噪点区域滤波又不够彻底,达不到滤波效果。因此,根据本发明的又一实施例,对ε进行改进,自适应调整第一调整系数A(p),以达到对不同的局部区域采用不同计算系数的目的。
根据本发明的又一实施例,生成第一调整系数A(p)的步骤包括:
(1)计算梯度增强图像EI全图的均值μEI和标准偏差值σEI。可选地,先将梯度增强图像EI中的像素值归一化到50~500之间,再计算均值和标准偏差值。
(2)根据梯度增强图像EI的像素值、均值μEI和标准偏差值σEI生成第一系数,对于每个像素点p,其第一系数AI(p)表示为:
式中,EI(p)为梯度增强图像中像素点p的像素值,μEI为梯度增强图像的全图均值,σEI为梯度增强图像的全图标准偏差值。
可选地,在计算出的全部像素点对应的第一系数后,将其归一化到预定范围内,如50~500之间。
(3)将待处理图像的某一通道图像的像素值和第二导向图的对应像素位置的像素值相乘生成融合图像的像素值。
(4)对融合图像进行分块处理,计算每个分块内像素点的标准偏差值σCG(p)。此处计算标准偏差值的方法也可以参考前文所述,本发明不作限制。
(5)对于每个像素点,如像素点p,根据融合图像的标准偏差值σCG(p)、第二导向图的标准偏差值σG(p)和第一系数AI(p)生成第一调整系数A(p),公式如下:
上式中,将待处理图像中某一通道图像的像素点p的像素值C(p)与第二导向图中像素点p的像素值G(p)相乘所得就是融合图像中像素点p的像素值CG(p),σCG(p)表示融合图像中像素点p的标准偏差值,AI(p)为像素点p的第一系数,β为调整因子。
可选地,β的取值范围为0.5~2.0。或者,β采用如下方法计算:
β=σGave/σGmax
式中,σGave和σGmax分别表示第二导向图中所有像素点的标准偏差值的平均值和最大值。
根据本发明的另一个实施例,生成第二调整系数B(p)的步骤包括:
(1)对待处理图像的某一通道图像进行分块处理,计算每个分块内像素点的均值。一般地,会对待处理图像中的Y通道图像进行处理,当然在根据本发明的实施方式中,不限于Y通道图像,也可以对U通道图像或V通道图像进行导向滤波处理,或者是采用其它颜色空间进行处理,本发明的实施例对此不作限制。
(2)对第二导向图G进行分块处理,计算每个分块内像素点的均值。
(3)根据该某一通道图像的均值、第二导向图的均值和第一调整系数生成第二调整系数B(p),公式如下:
B(p)=μC(p)-A(p)·μG(p)
上式中,A(p)为像素点p的第一调整系数,μC(p)为待处理图像的某一通道图像中像素点p的均值,μG(p)为第二导向图中像素点p的均值。
随后在步骤S460中,根据偏移处理后的第二导向图(经步骤S440求得)和调整系数(经步骤S450求得)、对待处理图像中的某一通道图像进行导向滤波,以生成去除噪点的图像。
根据本发明的实施方式,导向滤波的计算公式如下:
C'(p)=A(p)[G(p)+OFF(p)]+B(p)
其中,C'(p)为经导向滤波后像素点p的像素值,A(p)为像素点p的第一调整系数,B(p)为像素点p的第二调整系数,G(p)为第二导向图中像素点p的像素值,OFF(p)为像素点p对应的偏移量。
根据本发明的导向滤波方案,通过边缘梯度增强的方式重构导向图,削弱噪声点的影响,保持了边缘的梯度信息。在此基础上,在对同一幅图像进行导向滤波时,图像内不同区域采用不同的调整系数,避免图像不同区域因为不合理的滤波参数而达不到预期的滤波效果,也无需用户人为选取合适的参数滤波,使得滤波后的图像,其边缘区域具备更好地保边效果,且其平滑区域,如人像皮肤区域,获得更好地滤波效果。
为进一步说明根据本发明的导向滤波方案的滤波效果,图5A和图5B示出了按已有导向滤波方法和本发明方法分别对图3A的含噪声图像进行导向滤波处理后的效果对比图:图5A示出了按已有导向滤波方法对图3A滤波处理后的示意图,图5B示出了根据本发明一个实施例的导向滤波方法400对图3A滤波处理后的示意图。对比图5A和图5B可以看出,图5A中有明显的细节损失(如鹦鹉的羽毛、背景上叶子的纹理等),呈现出来的是模糊感,而图5B在滤波的同时,很好地保持了图像的边缘特征和高频细节。
应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明一并公开了:
A9、如A8所述的方法,其中,对于第二导向图中每个像素点p,其对应的偏移量OFF(p)定义为:
其中,G(p)为第二导向图中像素点p的像素值,σG(p)为第二导向图中像素点p的标准偏差值,Gmax为第二导向图中像素值的最大值,Gmin为第二导向图中像素值的最小值。
A10、如A9所述的方法,其中,导向滤波的调整系数包括第一调整系数和第二调整系数,其中,根据偏移处理后的第二导向图和调整系数、对某一通道图像进行导向滤波的步骤包括:根据下式进行导向滤波:C'(p)=A(p)[G(p)+OFF(p)]+B(p),其中,C'(p)为经导向滤波后像素点p的像素值,A(p)为像素点p的第一调整系数,B(p)为像素点p的第二调整系数。
A11、如A10所述的方法,其中生成第一调整系数的步骤包括:计算梯度增强图像的均值和标准偏差值;根据梯度增强图像的像素值、均值和标准偏差值生成第一系数;将待处理图像的某一通道图像的像素值和第二导向图中对应像素位置的像素值相乘生成融合图像对应像素位置的像素值;对融合图像进行分块处理,计算每个分块内像素点的标准偏差值;以及根据融合图像的标准偏差值、第二导向图的标准偏差值和第一系数生成第一调整系数。
A12、如A10所述的方法,其中生成第二调整系数的步骤包括:对待处理图像的某一通道图像进行分块处理,计算每个分块内像素点的均值;对第二导向图进行分块处理,计算每个分块内像素点的均值;以及根据某一通道图像的均值、第二导向图的均值和第一调整系数生成第二调整系数。
A13、如A11所述的方法,其中,像素点p的第一调整系数A(p)采用如下方法计算:
其中,将待处理图像中某一通道图像的像素点p的像素值C(p)与第二导向图中像素点p的像素值G(p)相乘所得就是融合图像中像素点p的像素值CG(p),σCG(p)表示融合图像中像素点p对应的标准偏差值,AI(p)为像素点p的第一系数,β为调整因子。
A14、如A13所述的方法,其中,像素点p的第一系数采用如下方法计算:
其中,EI(p)为梯度增强图像中像素点p的像素值,μEI为梯度增强图像的全图均值,σEI为梯度增强图像的全图标准偏差值。
A15、如A12-14中任一项所述的方法,其中,像素点p的第二调整系数B(p)采用如下方法计算:B(p)=μC(p)-A(p)·μG(p),其中,A(p)为像素点p的第一调整系数,μC(p)为待处理图像的某一通道图像中像素点p的均值,μG(p)为第二导向图中像素点p的均值。
A16、如A13所述的方法,其中,β的取值范围为0.5~2.0。
A17、如A13所述的方法,其中,β采用如下方法计算:β=σGave/σGmax,其中,σGave和σGmax分别表示第二导向图中所有像素点的标准偏差值的平均值和最大值。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明所述的方法。
以示例而非限制的方式,计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (10)

1.一种生成导向滤波中导向图的方法,所述方法适于在计算设备中执行,包括步骤:
获取待处理图像的灰度图;
对所述灰度图做高斯模糊处理,生成第一导向图;
计算所述第一导向图中每个像素点的梯度;
根据所述梯度对第一导向图进行梯度增强处理,生成梯度增强图像;以及
对所述梯度增强图像进行归一化处理,得到第二导向图。
2.如权利要求1所述的方法,其中,所述根据梯度对第一导向图进行梯度增强处理,生成梯度增强图像的步骤包括:
根据每个像素点的梯度计算出该像素点的新像素值;以及
通过迭代第一数目次计算新像素值的步骤生成梯度增强图像。
3.如权利要求2所述的方法,其中,所述根据每个像素点的梯度计算出该像素点的新像素值的步骤包括:
根据每个像素点的梯度生成垂直于梯度方向的单位向量;
根据所述单位向量计算第一导向图中每个像素点的第一位置和第二位置;
分别对所述第一位置和第二位置进行双线性插值计算第一位置的像素值和第二位置的像素值;以及
根据该像素点的像素值和双线性插值后第一位置、第二位置的像素值分别计算该像素点对应的新像素值。
4.如权利要求3所述的方法,其中,在所述第一导向图中,若像素点p的初始位置为(x,y),垂直于像素点p的梯度方向的单位向量为(nx,ny),则,像素点p的第一位置为像素点p的第二位置为
5.如权利要求3所述的方法,其中,像素点p对应的新像素值分别为:
<mrow> <msubsup> <mi>E</mi> <mo>+</mo> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>E</mi> <mo>+</mo> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>E</mi> <mo>+</mo> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msup> <mi>p</mi> <mo>+</mo> </msup> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
<mrow> <msubsup> <mi>E</mi> <mo>-</mo> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>E</mi> <mo>-</mo> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>E</mi> <mo>-</mo> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msup> <mi>p</mi> <mo>-</mo> </msup> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中,k表示迭代次数,k=0,1,…,分别表示在第k-1次迭代后生成的像素点p对应的新像素值,分别表示在第k-1次迭代时、双线性插值后第一位置和第二位置的像素值。
6.如权利要求5所述的方法,其中,在所述梯度增强图像中像素点p的像素值EI(p)为:
<mrow> <mi>E</mi> <mi>I</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>E</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>E</mi> <mo>+</mo> <mi>K</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>E</mi> <mo>-</mo> <mi>K</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中,E(p)为根据第一导向图中像素点p的梯度计算出的梯度大小值,分别为迭代K次后像素点p的新像素值。
7.一种图像导向滤波方法,所述方法适于在计算设备中执行,所述方法包括步骤:
对待处理图像执行如权利要求1-6中任一项所述的方法以生成梯度增强图像和第二导向图;
计算所述第二导向图中像素值的最大值和最小值;
对所述第二导向图进行分块处理,计算每个分块内像素点的标准偏差值;
根据第二导向图中每个像素点的像素值和标准偏差值与最大值或最小值的关系对第二导向图进行偏移处理,得到偏移处理后的第二导向图;
根据所述梯度增强图像生成导向滤波的调整系数;以及
根据所述偏移处理后的第二导向图和调整系数、对待处理图像中的某一通道图像进行导向滤波,以生成去除噪点的图像。
8.如权利要求7所述的方法,其中,所述根据第二导向图中每个像素点的像素值和标准偏差值与最大值或最小值的关系对第二导向图进行偏移处理的步骤包括:
根据第二导向图中每个像素点的像素值和标准偏差值与最大值或最小值的关系计算该像素点的偏移量;以及
根据所述偏移量对所述第二导向图进行偏移处理。
9.一种计算设备,包括:
一个或多个处理器;和
存储器;
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1-6所述方法中的任一方法的指令和如权利要求7-8所述方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当计算设备执行时,使得所述计算设备执行根据权利要求1-6所述的方法中的任一方法和如权利要求7-8所述方法中的任一方法。
CN201710693893.6A 2017-08-14 2017-08-14 一种图像导向滤波方法及计算设备 Active CN107481203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710693893.6A CN107481203B (zh) 2017-08-14 2017-08-14 一种图像导向滤波方法及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710693893.6A CN107481203B (zh) 2017-08-14 2017-08-14 一种图像导向滤波方法及计算设备

Publications (2)

Publication Number Publication Date
CN107481203A true CN107481203A (zh) 2017-12-15
CN107481203B CN107481203B (zh) 2020-05-15

Family

ID=60600427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710693893.6A Active CN107481203B (zh) 2017-08-14 2017-08-14 一种图像导向滤波方法及计算设备

Country Status (1)

Country Link
CN (1) CN107481203B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335275A (zh) * 2018-02-13 2018-07-27 腾讯科技(深圳)有限公司 图像增强方法、装置、计算设备及存储介质
CN110807780A (zh) * 2019-10-23 2020-02-18 北京达佳互联信息技术有限公司 图像处理方法和装置
CN112766272A (zh) * 2021-01-15 2021-05-07 北京迈格威科技有限公司 目标检测方法、装置和电子系统
CN113658053A (zh) * 2021-07-04 2021-11-16 浙江大华技术股份有限公司 图像校正方法、装置、电子设备、计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679656A (zh) * 2013-10-21 2014-03-26 厦门美图网科技有限公司 一种图像自动锐化方法
CN105184743A (zh) * 2015-08-19 2015-12-23 常州工学院 一种基于非线性导向滤波的图像增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679656A (zh) * 2013-10-21 2014-03-26 厦门美图网科技有限公司 一种图像自动锐化方法
CN105184743A (zh) * 2015-08-19 2015-12-23 常州工学院 一种基于非线性导向滤波的图像增强方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
FEI KOU等: "Gradient Domain Guided Image Filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
KAIMING HE等: "Fast Guided Filter", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
YUANHAO GONG等: "Image Enhancement by Gradient Distribution Specification", 《SPRINGER》 *
ZHENGGUO LI等: "Weighted Guided Image Filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
ZHUO SU等: "Edge-Preserving Texture Suppression Filter Edge-Preserving Texture Suppression Filter", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
沈德海等: "一种基于Sobel算子梯度增强的边缘检测算法", 《电子设计工程》 *
郑浩江: "一种快速的边缘保持滤波算法及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈书贞等: "基于改进暗通道和导向滤波的单幅图像去雾算法", 《自动化学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335275A (zh) * 2018-02-13 2018-07-27 腾讯科技(深圳)有限公司 图像增强方法、装置、计算设备及存储介质
CN110807780A (zh) * 2019-10-23 2020-02-18 北京达佳互联信息技术有限公司 图像处理方法和装置
CN110807780B (zh) * 2019-10-23 2022-08-26 北京达佳互联信息技术有限公司 图像处理方法和装置
CN112766272A (zh) * 2021-01-15 2021-05-07 北京迈格威科技有限公司 目标检测方法、装置和电子系统
CN113658053A (zh) * 2021-07-04 2021-11-16 浙江大华技术股份有限公司 图像校正方法、装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN107481203B (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN107481203A (zh) 一种图像导向滤波方法及计算设备
Kim PDE-based image restoration: A hybrid model and color image denoising
CN109670575B (zh) 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置
WO2019168084A1 (ja) 推論装置、畳み込み演算実行方法及びプログラム
CN109255769A (zh) 图像增强网络的训练方法和训练模型、及图像增强方法
CN107454284A (zh) 一种视频去噪方法及计算设备
Kim et al. Structure-texture image decomposition using deep variational priors
CN107729997A (zh) 零系数跳过卷积神经网络引擎
CN109584179A (zh) 一种卷积神经网络模型生成方法及图像质量优化方法
CN107146199A (zh) 一种人脸图像的融合方法、装置及计算设备
CN104376542B (zh) 一种图像增强方法
CN108648163A (zh) 一种人脸图像的增强方法及计算设备
CN109670574B (zh) 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置
CN108038823A (zh) 图像型变网络模型的训练方法、图像型变方法及计算设备
CN109978788A (zh) 卷积神经网络生成方法、图像去马赛克方法及相关装置
CN110047044B (zh) 一种图像处理模型的构建方法、装置及终端设备
JP2019087072A (ja) 処理装置、推論装置、学習装置、処理システム、処理方法、及び処理プログラム
CN109859217A (zh) 人脸图像中毛孔区域的分割方法及计算设备
CN112200300A (zh) 卷积神经网络运算方法及装置
CN110379414A (zh) 声学模型增强训练方法、装置、可读存储介质及计算设备
CN107424184A (zh) 一种基于卷积神经网络的图像处理方法、装置及移动终端
CN109712082A (zh) 协作修图的方法及装置
CN109840912A (zh) 一种图像中异常像素的修正方法及计算设备
CN1809837A (zh) 图像处理装置、图像处理方法和程序及记录介质
CN107808394B (zh) 一种基于卷积神经网络的图像处理方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant