CN106780705B - 适用于dibr预处理过程的深度图鲁棒平滑滤波方法 - Google Patents

适用于dibr预处理过程的深度图鲁棒平滑滤波方法 Download PDF

Info

Publication number
CN106780705B
CN106780705B CN201611185992.5A CN201611185992A CN106780705B CN 106780705 B CN106780705 B CN 106780705B CN 201611185992 A CN201611185992 A CN 201611185992A CN 106780705 B CN106780705 B CN 106780705B
Authority
CN
China
Prior art keywords
depth map
filtering
texture
consistency
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611185992.5A
Other languages
English (en)
Other versions
CN106780705A (zh
Inventor
刘伟
张新刚
叶铁
崔明月
马世榜
刘红钊
郑扬冰
李根全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanyang Normal University
Original Assignee
Nanyang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanyang Normal University filed Critical Nanyang Normal University
Priority to CN201611185992.5A priority Critical patent/CN106780705B/zh
Publication of CN106780705A publication Critical patent/CN106780705A/zh
Application granted granted Critical
Publication of CN106780705B publication Critical patent/CN106780705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法,包括如下步骤:对原始深度图和纹理图像分别进行边缘检测,进行一致性分析,并生成一致性分布图;在维度变换域下对原始深度图进行结合了一致性分布和纹理特征的联合滤波,生成平滑后的深度图。本发明方法在高效的维度变换域下,通过深度图和纹理图之间的一致性分布实现了更广义的联合滤波,从而在滤波的同时实现了不完整深度图区域的自适应扩散修正,避免了传统滤波过程前特定的预修正环节,从而实现了一种DIBR预处理过程中深度图的鲁棒平滑滤波。

Description

适用于DIBR预处理过程的深度图鲁棒平滑滤波方法
技术领域
本发明属于三维视频技术领域,具体涉及2D/3D的视频转换技术,特别是一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法。
背景技术
目前,三维(3D)视频逐渐普及,中国中央电视台(CCTV)也在2012年元旦之际试播了3D频道,3D视频已经逐渐成为了当前发展的一种趋势。然而,视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下,将2D视频转为3D视频是解决此问题的有效途径。
将2D视频转为3D视频总的来说存在两种渲染方式:其中一种是通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对;另一种是基于深度图的渲染(Depth Image-based Rendering,DIBR),它的转换结果是在原视频的基础上附加了每一帧所对应的深度图,最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频后就可以进行观赏(参见“电影2D/3D转换技术概述[J]”,刘伟、吴毅红、胡占义,《计算机辅助设计与图形学学报》,2012,24(1):14-28)。与前者相比,后者以其具有的三个独到特点:高效的压缩传输效率、与现有2D技术和不同设备的兼容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技术优势,在新兴的3DTV、3D移动终端等市场占有绝对的主导地位,是3D渲染技术未来发展的方向。
DIBR渲染是基于深度图的2D/3D转换方法中的重要步骤,它可以利用深度信息渲染出虚拟的立体视频,从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势,但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像,视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来,而这部分区域在变换过程中没有对应的纹理映射,因此就会在目标图像上产生空洞现象。这个问题是DIBR技术近年来的研究热点,也是提高3D图像质量的重要方面。针对这个问题目前常采用如附图1所示的处理流程,通过在DIBR前加入深度图预处理环节及在DIBR后基于图像修复技术来完成空洞的填补。由此可见,深度图预处理是DIBR技术中的一个重要环节。
但是在2D/3D视频转换中,深度图通常是利用2D视频中的一个或多个线索通过算法来预估合成的,难以保证合成深度图的完整性和精确性。特别是近年来越来越流行的全自动算法,直接面向海量的视频进行高效的转换,由于没有人工的修正,不完整的深度图区域影响了DIBR系统渲染出的3D视频效果质量。
发明内容
有鉴于此,本发明方法提出了一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法。与目前传统方法不同,本方法没有在DIBR深度图平滑前增加额外的深度图预修正环节,而是在维度变换域下通过一致性分布图将深度图修正环节统一在联合滤波的框架下,这样将深度图预修正在深度图平滑过程中同时进行,在实现3D视频的转换效果提升的同时保证了算法的运行效率。
为达到上述目的,本发明采用以下技术方案:
一种适用于DIBR预处理过程的深度图融合方法,包括如下步骤:
A)对原始深度图DOri和纹理图像Itexture分别进行边缘检测,进行一致性分析,并生成一致性分布图Ic
B)在维度变换域下结合纹理图像Itexture和一致性分布图Ic,对原始深度图DOri进行联合滤波,生成平滑后的深度图DFin
其中,步骤A)的边缘检测所使用的算子为图像处理中的常用算子,如Sobel算子、Roberts算子、Prewitt算子、Laplacian算子及Canny算子;
其中,步骤A)的一致性分布图Ic具体定义为:
Figure BDA0001185616230000021
其中,GD和GI分别表示原始深度图DOri和纹理图像Itexture中检测出来的边缘。ξ1为预设的常数,描述纹理图像和原始深度图的一致性,取值范围为0.1~0.5。
其中,步骤B)中在维度变换域下的联合滤波为:滤波函数定义如下:
DFin[n]=(1-ad)DOri[n]+adDFin[n-1]
其中,DOri[n]表示初始深度图上一行或一列的像素值,a∈(0,1)是扩散函数的反馈系数,d表示维度变换域中相邻样本xn和xn-1之间的距离。
其中,维度变换域中相邻样本xn和xn-1之间的距离定义为:
d=ct(xn)-ct(xn-1)
其中,ct(u)表示维度变换域,维度变换过程为:
Figure BDA0001185616230000031
其中,|I′texture(x)|表示输入纹理图像的梯度强度,σs和σr分别是滤波器空间和值域参数,用来调节滤波的影响,σs取值范围为200~2500,σr取值范围为0.1~10。σc是一致性影响因子,取值范围为10~100。
其中,滤波过程为迭代过程,且为实现对称滤波,如果在一次迭代中滤波按照从左到右,从上到下的顺序在图像中进行,则下一次迭代中滤波按照从右到左、从下到上的顺序进行。迭代次数为2~10次。
本发明的有益效果是:本发明中的一致性分布图在高效的维度变换空间下结合纹理特征对原始深度图进行联合滤波,能够在反映结构化的分布信息同时,根据深度图各部分的完整性情况自适应的调整滤波强度从而实现对深度图的修复。基于DIBR的2D/3D转换过程依赖于某个或多个线索从2D视频流中生成相应的深度图,特别是全自动转换方法生成的深度图经常出现局部不完整区域,本发明方法可以在深度图平滑滤波的同时实现深度图不完整区域的自适应扩散修正,避免了传统滤波过程前特定的预修正环节,从而实现了一种DIBR预处理过程中深度图的鲁棒平滑滤波。
附图说明
图1是现有的DIBR系统处理流程图;
图2是本发明的方法流程图;
图3是采用本发明方法的深度图及虚拟图像效果对比图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述;
图1显示了现有的DIBR系统处理流程。其中,DIBR渲染处理是2D/3D转换方法中的重要步骤,它描述了一个精确的点到点的映射关系,可以利用深度信息渲染出虚拟的立体视频,从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势,但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像,视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来,而这部分区域在变换过程中没有对应的纹理映射,因此就会在目标图像上产生空洞现象。
现有的系统中有两个环节来解决这个问题,如图1所示,对于输入的原始深度图,一般先经过一个DIBR前的预处理过程对深度图进行平滑滤波,以此通过深度图部分结构的优化减小渲染时大部分空洞的发生;再经过DIBR后的一个空洞填补方法,进一步修复渲染过程中保留的少量空洞。
需要说明的是,在实际2D/3D转换中,尤其是近年来越来越流行的全自动转发流程中,深度图通常是利用2D视频中的一个或多个线索通过算法来预估合成的,难以有效保证合成深度图的完整性和精确性。那么在这种情况下,传统的DIBR系统无法直接对原始深度图进行平滑以减少空洞,在预平滑环节前还须另外增加额外的深度图预修正步骤来对不完整的深度图进行修复,这样会在一定程度上降低转换效率。
针对这个问题,本发明方法在维度变换域下通过一致性分布图将深度图修正统一到了深度图预平滑过程中,既提高了传统模式的转换效率,又能够实现更加鲁棒的深度图平滑滤波。
本发明方法是以纹理图像和原始深度图作为输入的数据源,经过处理后生成鲁棒平滑后的深度图。图2是本发明的方法流程图,结合图2对本发明的具体实施方式进行描述。
本发明方法通过维度变换域下的联合滤波,将深度图预修正和预平滑两个环节统一起来,具体包括以下步骤:
A)对原始深度图DOri和纹理图像Itexture分别进行边缘检测,进行一致性分析,并生成一致性分布图Ic
研究结果发现,在人类视觉中,人眼对物体边缘的分布最敏感,因此在2D/3D转换中,所述完整的深度图可以理解为深度图中的物体边缘和纹理图像中的物体边缘具有高度的一致性。基于此,本发明方法通过两者的边缘检测比对来进行一致性分析并生成一致性分布图。
在实施例中,边缘检测所使用的算子可以为目前图像处理中的常用的各类算子,如Sobel算子、Roberts算子、Prewitt算子、Laplacian算子及Canny算子。一致性分布图Ic具体定义为:
Figure BDA0001185616230000051
其中,GD和GI分别表示原始深度图DOri和纹理图像Itexture中检测出来的边缘。ξ1为预设的常数,描述纹理图像和原始深度图的一致性,取值范围为0.1~0.5,ξ1之所以定义为较小的常数,是为了与维度变换域中定义的联合滤波器统一起来,使当深度图边缘和纹理图像边缘一致性较高时,能够抑制本区域深度图的平滑,从而减小本区域原始深度图的修正;反之,当深度图边缘和纹理图像边缘一致性较低时,能够增强本区域深度图的平滑,从而实现本区域原始深度图的修正;
B)在维度变换域下结合纹理图像Itexture和一致性分布图Ic,对原始深度图DOri进行联合滤波,生成平滑后的深度图DFin
结合纹理特征和上一步得到的一致性分布信息,这里在维度变换域下利用联合滤波器的形式对原始深度图进行滤波。传统的双边滤波器仅仅考虑纹理特征,而本发明方法扩展得到的联合滤波器在此基础上加入了一致性约束,因此能够根据完整性分析来通过控制边缘的扩散程度在滤波的同时实现对深度图的修正;
滤波函数定义如下:
DFin[n]=(1-ad)DOri[n]+adDFin[n-1]
其中,DOri[n]表示原始深度图上一行或一列的像素值,a∈(0,1)是扩散函数的反馈系数,d表示维度变换域中相邻样本xn和xn-1之间的距离;
这里的维度变换域是用2011年Eduardo S.L.Gastal等人在文章“Domaintransform for edge-aware image and video processing”中提出的方法得到的变换空间,它的最大优势是在能够保证图像纹理特征的前提下将多维空间降为一维空间,从而大大提高了计算效率。具体而言,ct(u)表示维度变换域,维度变换过程为:
Figure BDA0001185616230000061
其中,|I′texture(x)|表示输入纹理图像的梯度强度,σs和σr分别是滤波器空间和值域参数,用来调节传播的影响。σs取值范围为200~2500,σr取值范围为0.1~10,σc是一致性影响因子,取值范围为10~100;
上述定义即是联合滤波器的核心,可以看到,前两项将纹理图像中反映的场景结构特征被考虑在内,第三项是本发明方法基于一致性分布图加入的约束,实现对深度图完整性的自适应判断和修正。虽然联合滤波约束较多,但是由于维度变换空间下维数的降低,它的运算效率远远大于传统二维空间下的联合滤波器。
传统的深度平滑滤波器是在二维空间下运行的,上述定义的维度变换过程虽然大大提高了运算效率,却只是一维空间下的滤波器。为了达到同样的效果,在具体的实施例中,滤波用迭代的方式来实现。又因为上述定义的维度变换过程非对称,所以为实现对称滤波,如果在一次迭代中滤波按照从左到右,从上到下的顺序在图像中进行,则下一次迭代中滤波按照从右到左、从下到上的顺序进行。迭代次数为2~10次,一般迭代3次滤波效果可达到稳定,仿真实验中迭代次数为3次。
以下为本发明方法的实验验证。
1)实验条件:
在CPU为
Figure BDA0001185616230000062
CoreTM2Quad CPU Q9400@2.66GHz,内存4G,Windows 7系统上进行了实验;
2)实验内容:
以下参照图3来具体描述根据本发明方法的实验实现细节;
图3是对两组实验图像处理时的情况。其中,图3(a)和图3(d)是原始的纹理图像。第一组实验图像的原始深度图是用基于Depthfrom Motion技术获得的深度线索再经过处理得到的结果(参见文献“An efficient method for automatic stereoscopicconversion”),如图3(b)所示;而第二组实验图像的原始深度图是用基于Structure FromMotion技术获得的深度线索再经过Delaney三角化得到的结果(参考文献“On CreatingDepth Maps from Monoscopic Video using Structure From Motion”),如图3(e)所示。可见两组实验图像获得的原始深度图与纹理图像对比,在完整性和精确性上与实际情况相差较大,如果采用传统方法不经过额外的深度图修正环节,无法直接进行滤波平滑。图3(c)和图3(f)是用本方明方法直接对原始深度图进行鲁棒滤波的结果,可见在滤波的同时深度图在完整性已经得到了较好的修复。如图3(c)所示,原始深度图中树木底部和花坛之间的空洞区域已经得到了填充;如图3(f)所示,原始深度图中屋顶部分经滤波修正后阁楼窗户的轮廓已经清晰可见。由此可见本发明方法在深度图平滑滤波过程中的鲁棒性和高效性。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换,只要不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法,其特征在于:包括如下步骤:
A)对原始深度图DOri和纹理图像Itexture分别进行边缘检测,进行一致性分析,并生成一致性分布图Ic
B)在维度变换域下结合纹理图像Itexture和一致性分布图Ic,对原始深度图DOri进行联合滤波,生成平滑后的深度图DFin
步骤A)所述的一致性分布图Ic具体定义为:
Figure FDA0002649434650000011
其中,GD和GI分别表示原始深度图DOri和纹理图像Itexture中检测出来的边缘,ξ1为预设的常数,描述纹理图像和原始深度图的一致性,取值范围为0.1~0.5;
步骤B)所述的在维度变换域下的联合滤波为:滤波函数定义如下:
DFin[n]=(1-ad)DOri[n]+adDFin[n-1]
其中,DOri[n]表示原始深度图上一行或一列的像素值,a∈(0,1)是扩散函数的反馈系数,d表示维度变换域中相邻样本xn和xn-1之间的距离;
所述维度变换域中相邻样本xn和xn-1之间的距离定义为:
d=ct(xn)-ct(xn-1)
其中,ct(u)表示维度变换域,维度变换过程为:
Figure FDA0002649434650000012
其中,|I′texture(x)|表示输入纹理图像的梯度强度,σs和σr分别是滤波器空间和值域参数,用来调节滤波的影响;σs取值范围为200~2500,σr取值范围为0.1~10,σc是一致性影响因子,取值范围为10~100。
2.如权利要求1所述的一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法,其特征在于,步骤A)所述的边缘检测所使用的算子为Sobel算子、Roberts算子、Prewitt算子、Laplacian算子及Canny算子中的一种。
3.如权利要求1所述的一种适用于DIBR预处理过程的深度图鲁棒平滑滤波方法,其特征在于:所述滤波为迭代过程,且为实现对称滤波,如果在一次迭代中滤波按照从左到右,从上到下的顺序在图像中传播,则下一次迭代中滤波按照从右到左、从下到上的顺序传播,迭代次数为2~10次。
CN201611185992.5A 2016-12-20 2016-12-20 适用于dibr预处理过程的深度图鲁棒平滑滤波方法 Active CN106780705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611185992.5A CN106780705B (zh) 2016-12-20 2016-12-20 适用于dibr预处理过程的深度图鲁棒平滑滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611185992.5A CN106780705B (zh) 2016-12-20 2016-12-20 适用于dibr预处理过程的深度图鲁棒平滑滤波方法

Publications (2)

Publication Number Publication Date
CN106780705A CN106780705A (zh) 2017-05-31
CN106780705B true CN106780705B (zh) 2020-10-16

Family

ID=58896079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611185992.5A Active CN106780705B (zh) 2016-12-20 2016-12-20 适用于dibr预处理过程的深度图鲁棒平滑滤波方法

Country Status (1)

Country Link
CN (1) CN106780705B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107592519A (zh) * 2017-09-30 2018-01-16 南阳师范学院 一种维度变换空间下基于定向滤波的深度图预处理方法
CN108234985B (zh) * 2018-03-21 2021-09-03 南阳师范学院 用于反向深度图渲染处理的维度变换空间下的滤波方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN104954780A (zh) * 2015-07-01 2015-09-30 南阳师范学院 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
KR20160114983A (ko) * 2015-03-25 2016-10-06 한국전자통신연구원 영상 변환 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN104954780A (zh) * 2015-07-01 2015-09-30 南阳师范学院 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN106228507A (zh) * 2016-07-11 2016-12-14 天津中科智能识别产业技术研究院有限公司 一种基于光场的深度图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An enhanced depth map based rendering method with directional depth filter and image inpainting;Wei Liu ET AL.;《Vis comput》;20150311;第579-589页 *
基于DIBR的2D转3D关键技术研究;谭迎春;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115;第I138-1197/正文7-74页 *

Also Published As

Publication number Publication date
CN106780705A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
Daribo et al. A novel inpainting-based layered depth video for 3DTV
CN108234985B (zh) 用于反向深度图渲染处理的维度变换空间下的滤波方法
Zhao et al. Depth no-synthesis-error model for view synthesis in 3-D video
US9621869B2 (en) System and method for rendering affected pixels
Jung et al. A novel 2D-to-3D conversion technique based on relative height-depth cue
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
US9578312B2 (en) Method of integrating binocular stereo video scenes with maintaining time consistency
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN104639933A (zh) 一种立体视图的深度图实时获取方法及系统
CN106028020B (zh) 一种基于多方向预测的虚拟视角图像空洞填补方法
CN104506872A (zh) 一种平面视频转立体视频的方法及装置
CN106791770B (zh) 一种适用于dibr预处理过程的深度图融合方法
CN106780705B (zh) 适用于dibr预处理过程的深度图鲁棒平滑滤波方法
US9019344B2 (en) Apparatus and method for adjusting the perceived depth of 3D visual content
Lu et al. A survey on multiview video synthesis and editing
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
Yao et al. Fast and high-quality virtual view synthesis from multi-view plus depth videos
CN104661014A (zh) 时空结合的空洞填充方法
CN107592519A (zh) 一种维度变换空间下基于定向滤波的深度图预处理方法
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
WO2022155950A1 (zh) 虚拟视点合成方法、电子设备和计算机可读介质
Smolic An overview of 3d video and free viewpoint video
Bharathi et al. 2D-to-3D Conversion of Images Using Edge Information
Cheng et al. A DIBR method based on inverse mapping and depth-aided image inpainting
Liu et al. Texture-adaptive hole-filling algorithm in raster-order for three-dimensional video applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant